Spin-off CWI pakt gigantische stroom astro-data aan
De Square Kilometre Array moet de grootste radiotelescoop ter wereld worden. De installatie zal uiteindelijk meer dan een vierkante kilometer aan meetoppervlakte bestrijken, verspreid over Australië en Zuid-Afrika. Als hij klaar is, genereert de telescoop per seconde honderden gigabits aan data die vrijwel realtime moet worden geanalyseerd.
Aan MonetDB en CWI is gevraagd deze uitzonderlijk big data-toepassing technisch mogelijk te maken.
Aan MonetDB en CWI is gevraagd deze uitzonderlijk big data-toepassing technisch mogelijk te maken.
Shutterstock
© Shutterstock
Het te ontwikkelen systeem moet ervoor zorgen dat de software en algoritmes in het dataverwerkingsproces ook bij een groeiend datavolume en de complexe query’s correct en efficiënt blijven werken en veilig kunnen worden opgeschaald of verbeterd.
Kolomgebaseerd
Het databasemanagementsysteem is een kritieke component in de verwerking van big data. Het team achter de Square Kilometre Array koos voor het kolomgebaseerde open source databasemanagementsysteem MonetDB. Verder wordt gebruik gemaakt van de ontwikkelomgeving Python in combinatie met MonetDB's Data Vaults-extensie voor het beheren van externe bestanden.
Het Square Kilometre Array-project wordt gefinancierd via het AstroCompute in the Cloud-programma van de SKA Organization en Amazon Web Services. Het totale systeem moet uiteindelijk gaan draaien in de cloud bij Amazon Web Services. Amazon stelt hiervoor 1 petabyte aan opslagruimte beschikbaar. Het project zal naar verwachting eind 2016 gereed zijn.
Spin-off
MonetDB Solutions is een spin-off van het CWI en richt zich op technische consultancy rond Business Intelligence en big data analytics op basis van het open-source databasesysteem MonetDB.
Gerelateerde artikelen
Gerelateerde artikelen
Reacties
Om een reactie achter te laten is een account vereist.
Inloggen Word abonnee