Innovatie & Strategie

Artificial Intelligence
Marcin Zukowski

Basis voor succes Snowflake ligt in Nederland

Technologie is door een van de oprichters in Amsterdam ontwikkeld.

21 september 2020

Technologie is door een van de oprichters in Amsterdam ontwikkeld.

De op een na grootste beursgang in de VS dit jaar - het bedrijf Snowflake haalde 3,4 miljard dollar op en heeft daarmee een marktwaarde van ruim 70 miljard dollar - heeft een flinke basis in Nederland. CEO Frank Slootman studeerde aan de Erasmus Universiteit en leidde na zijn vertrek naar Silicon Valley diverse innovatieve bedrijven. De wortels van de technologie van Snowflake liggen bij het Amsterdamse Centrum Wiskunde & Informatica (CWI).

"Snowflake heeft de eerste echt voor de cloud ontworpen database-architectuur neergezet", zegt Peter Boncz, hoogleraar Large Data Systems aan de Vrije Universiteit (VU) en onderzoeker bij het CWI. Om applicaties goed schaalbaar te maken (elastisch) worden in de cloud rekenvermogen (compute) en opslag (storage) losgekoppeld van elkaar. "Dat is lastig voor databasesystemen, die graag direct op de storage zitten." Daar zijn oplossingen voor gevonden zoals Redshift, het warehousingsysteem van Amazon. De basistechnologie daarvan is echter niet voor de cloud ontworpen en daarom niet zo flexibel. De technologie van Snowflake is veel efficiënter, zegt Boncz.

In de aanpak van Snowflake spelen twee technologieën een belangrijke rol - 'vectorized query execution' en 'lightweight compression' - waaraan Marcin Zukowski tot 2008 onderzoek deed aan het CWI. Op basis van zijn kennis en ervaring richtte hij eerst VectorWise op in Amsterdam, samen met zijn promotor Peter Boncz. Dat bedrijf werd gekocht door databasebedrijf Ingres Corp. Vervolgens startte Zukowski in 2013 in Silicon Valley Snowflake, samen met Benoit Dageville en Thierry Cruanes. Het bedrijf heeft inmiddels 1300 klanten wereldwijd en geldt als een van de veelbelovende databedrijven in de wereld.

Andere aanpak

Boncz legt de twee kerntechnologieën van Snowflake als volgt uit:

  • Vectorized query execution: een database systeem moet queries in databasetaal SQL uitvoeren. Daarvoor heeft het een interpreter nodig, die een SQL query interpreteert door berekeningen uit te voeren op de data. Om die interpreter efficiënter te maken, is het beter om berekeningen in grotere brokken uit te voeren dan per individuele rij in een tabel. Dat heet "vectorized" executie, waarbij de brokken de vorm aannemen van "vectors": stukjes kolom uit een tabel. Deze methode van het uitvoeren van queries sluit beter aan bij moderne hardware, die speciale hardware-instructies heeft voor het rekenen op vectoren (in Intel-processoren zijn dat SSE-, AVX- en AVX512-instructies).
     
  • Lightweight compression: Als je data kolomsgewijs opslaat, sla je alle data van 1 kolom bij elkaar op in een diskblok. Als je dit niet per kolom, maar per rij (in een tabel) zou doen, raakt de data van verschillende kolommen door elkaar gemengd in een diskblok. Volgens de informatie-theorie leidt kolom-gebaseerde opslag daarom tot minder chaos (lagere entropie). Dat betekent weer dat de data beter gecomprimeerd kan worden. En minder data vertaalt zich weer in sneller transport van disk, over het netwerk naar de cloud, en daarbij dus een lagere rekening voor het cloudgebruik.

Sterk én snel

Marcin Zukowski heeft bij CWI een aantal nieuwe databasecompressiemethoden uitgevonden, die aansluiten op vectorized execution. Deze methoden kunnen data heel sterk comprimeren, dus in erg kleine omvang 'verpakken', maar zijn tegelijkertijd ook zeer snel bij het comprimeren en decomprimeren. Dankzij die eigenschappen worden deze methoden nu veel gebruikt in databestanden en databasesystemen, waaronder die van Snowflake.

Frank Slootman nam in april vorig jaar het roer over bij Snowflake als CEO. Slootman leeft al sinds de jaren '80 in Silicon Valley en werd in 1995 Amerikaans staatsburger. Hij leidde verschillende innovatieve bedrijven. Een van zijn grote successen was Data Domain, de start-up die de basis legde voor datadeduplicatie. Toen hij in 2003 CEO werd van Snowflake bestond dat bedrijf 2 jaar en had het 20 man in dienst. Het ging in 2007 naar de beurs en werd in 2009 gekocht door opslagleverancier EMC voor 2,4 miljard dollar.

Lees meer over
Lees meer over Innovatie & Strategie OP AG Intelligence
2
Reacties
M. Commandeur 21 september 2020 23:42

@Johan: Goed punt!
Het onderstreept dat beloningsverschillen verkleint zouden moeten worden als je in ogenschouw neemt dat het nooit alleen iemands individuele verdienste is maar tot stand komt door de samenleving als geheel. Na het neoliberalisme breekt nu langzaam het besef door dat samenwerken belangrijker is dan onderlinge concurrentiestrijd. Helaas kan je in de USA nog steeds goed geld verdienen met je verworvenheden uit andere landen.
Ietsje meer communisme graag.

Johan 21 september 2020 14:42

Als ik het artikel goed begrijp heeft het CWI veel van dit onderzoek gesponsord en zal het wel een ruim deel van dit bedrag ontvangen. Of lopen er een paar handige Harries mee weg en blijft het CWI ondanks dit succes gewoon de rekening presenteren aan de staat en dus de belastingbetaler?

Reactie toevoegen
De inhoud van dit veld is privé en zal niet openbaar worden gemaakt.