Airbnb maakt eigen datascience-platform open source

De organisatie achter de boekingssite Airbnb liep tegen het probleem aan dat voor het delen en beoordelen van data-analyses geen tooling bestaat. Ze ontwikkelden zelf een nieuw systeem op basis van procedures en hulpmiddelen die wel voor de ontwikkeling van computercode bestaan.

Organisaties die veel aan data-analyse doen zullen het probleem van Airbnb herkennen. Het kost veel tijd om onderzoeken - uitgevoerd door anderen - te traceren. Ze zijn opgeslagen in e-mail, op afdelingsservers of in een of andere clouddienst. Het gevolg is dat veel tijd verloren gaat met zoeken en beoordelen van die onderzoeken. Vaak worden analyses dan maar opnieuw gedaan.

Dus kropen de ontwikkelaars achter hun toetsenbord en ontwikkelden op basis van Git een eigen platform om dergelijke data te delen. Git is het platform voor code-uitwisseling dat Linus Thorvald creëerde voor de ontwikkeling van Linux.

Airbnb kondigde het initiatief al in februari aan via een blog. Nu is het team zo ver dat een eerste ruwe versie op Github is gepubliceerd. Het project heet Knowledge Repository en is gebaseerd op een combinatie van Git en Markdown templates voor het rapporteren van resultaten.

Git levert goede review-tools

Het voordeel van het gebruik van Git is dat dit platform methoden heeft ingebouwd voor het evalueren en toevoegen van commentaar. Software-ontwikkelaars gebruiken dat om elkaars code te reviewen. Bij de Knowledge Repository wordt die eigenschap ingezet voor het beoordelen van data-analyses.

De ontwikklelaars van Airbnb waarschuwen dat het project nog in een prille fase verkeerd en nodigen andere ontwikkelaars uit hun bijdragen te leveren aan het opschonen en verbeteren van de code van Knowledge Repository