Managers, let op uw databaseportabiliteit!

Organisaties beginnen vaak aan AI-toepassing met kleine proefprojecten. Voor dit type prototyping lenen zich lichtgewicht tools zoals DuckDB en SQLite. Bij opschaling is vaak behoefte aan zwaardere systemen zoals Postgres en MySQL. Dan is het belangrijk dat de overstap kan worden gemaakt zonder hoge migratiekosten, die bijvoorbeeld het gevolg zijn van het moeten herschrijven van queries. Lange tijd was dat niet zo’n groot probleem omdat voor veel toepassingen dezelfde database-architectuur werd gebruikt.

Snelle ontwikkeling gespecialiseerde databases

Er ontstaat echter een probleem nu steeds vaker voor specifieke AI-toepassingen toegespitste vectordatabasetools worden ontwikkeld. Bijvoorbeeld voor het doen van realtime aanbevelingen zijn nu Faiss, Annoy en ScaNN populair vanwege hoge verwerkingssnelheid en schaalbaarheid bij het vergelijken van miljoenen objecten. Bij antifraudesystemen zijn aangepaste vectorsearch-oplossingen en machinelearning-modellen gecreëerd zoals Isolation Forest en Autoencoders.

Door afscheid te nemen van de one-size-fits-all-benadering neemt het risico van vendor-lockin en het ontstaan van technical debt toe. De oplossing ligt in het gebruik van een abstractielaag die de applicatie losmaakt van de onderliggende database, legt Mihir Ahuja, AI/ML engineer en open-source ontwikkelaar, uit in een artikel bij VentureBeat. “Het landschap aan vectordatabases gaat de komende tijd niet convergeren [tot een ideale optie, red.]. In plaats daarvan groeit het aantal opties en elke leverancier maakt aanpassingen gericht op specifieke use cases. Het introduceren van een abstractielaag is daarom een strategische keuze”, zegt hij. Organisaties kunnen dan makkelijker experimenteren met prototypes en daarna op een flexibele manier overgaan tot een organisatiebrede invoering van de AI-toepassing. Na verloop van tijd is het ook eenvoudiger om gebruik te maken van nieuwe technologie die beschikbaar komt.

Ahuja noemt VectorWrap als voorbeeld van een abstractielaag, die als opensource-project beschikbaar is. De software maakt het mogelijk via een enkele Python-API een groot aantal databases als backend in te zetten.