De wens om datagedreven te werken heeft gezorgd voor een enorme groei van dataverzamelingen in de cloud en het veelvuldig gebruik daarvan. Traditionele werkwijzen en architectuur voor opslag zijn niet ontworpen voor die situatie. Zie daar de snelgroeiende populariteit van Snowflake. Een belangrijk element van de technologie werd ooit uitgedokterd in Amsterdam. Maar er zitten ook nog wel wat rafelrandjes aan de nog jonge technologische ontwikkeling.

Wie zich regelmatig bezighoudt met de bewerking en opslag van grote hoeveelheden data in de cloud kan snel een aantal beschikbare platformen opnoemen: Hadoop-implementaties, Apache Spark, Amazon Redshift, Microsoft Azure SQL Data Warehouse en Oracle Exadata Cloud Service.

Het gebruik van die technologieën loopt echter tegen grenzen aan nu organisaties steeds hogere eisen stellen aan hun datawarehouses en datalakes. Dat is onder meer het gevolg van een transitie naar datagedreven werken. Niet langer is het gebruik van de gegevens beperkt tot een handvol bigdata-analisten. Het aantal gebruikers binnen een organisatie neemt toe omdat steeds meer afdelingen het nut zien van datagestuurde beslissingen. Veel systemen kunnen niet goed omgaan met veel gelijktijdige gebruikers met verschillende vragen. Het gevolg is dat afdelingen hun eigen datasets aanleggen. Daardoor ontstaan datasilo's die het zicht onttrekken op de beschikbare data en de kwaliteit ervan.

Verder komt steeds vaker de wens naar voren om data realtime te kunnen verwerken. Hadoop kan goedkoop grote hoeveelheden data verwerken, maar query's zijn allesbehalve snel; het kan niet veel gebruikers tegelijk aan.