ChatGPT hallucineert, maar Nederlandse startup kan helpen

"Jeff Beck, de Britse gitarist die bekend stond om zijn innovatieve technieken en emotionele expressie is op 15 januari 2020 op 75-jarige leeftijd overleden." Dit is de eerste zin uit een door ChatGPT geschreven in memoriam. Hoewel de rest van de tekst een aardig beeld schetst van de muzikant, klopt de genoemde datum van geen kant. Jeff Beck overleed vorige week.

Feitelijke missers zijn een groot probleem bij het gebruik van op AI-gebaseerde taalmodellen als ChatGPT. En mensen hebben de neiging de resultaten die de bot schrijft, voor waar aan te nemen. Een taalmodel kan helpen teksten te schrijven, maar om inhoudelijke uitglijders te voorkomen moet je inhoudelijk wel op de hoogte zijn, benadrukte een AI-deskundige van de IT-organisatie voor onderwijs SURF vorige week nog in AG Connect.

Twee AI-technologieën werken samen

Het inmiddels tien man sterke Zeta Alpha ontwikkelt sinds 2019 een zoekmachine op basis van semantische neurale zoektechnologie. In plaats van te zoeken op losse zoektermen, houdt deze relatief nieuwe zoektechnologie rekening met de semantische relatie tussen woorden, dus de betekenis, en de plek waar ze in een zin staan (syntax). Zo'n zoekmachine is veel beter in staat relevante informatie naar boven te halen in grote hoeveelheden ongestructureerde documenten, bijvoorbeeld in een bedrijfsomgeving of uit wetenschappelijke literatuur.

"De combinatie van neuraal zoeken en GPT is een bijna magische doorbraak", zegt Jakub Zavrel, de oprichter van het in Amsterdam gevestigde Zeta Alpha. "Mensen verspillen nu zo veel tijd aan het doorlezen van documenten om kleine brokjes informatie te vinden of veel feitjes te verzamelen in bredere inzichten."

Hallucinatie wordt voorkomen

Door de semantische neurale zoekmachine te koppelen aan GPT, kan deze bot teksten schrijven op basis van de door de neurale zoekmachine gevonden documenten. Het kan bovendien zelf de onderbouwing van de redenering leveren in de vorm van referenties naar de bron. Daarmee wordt een groot probleem van generatieve taalmodellen ondervangen, namelijk dat ze de neiging hebben te gaan 'hallucineren', zoals dat in wetenschappelijke kringen wordt omschreven: bij het genereren van de teksten wijken ze af van de feiten en maken ze zelf combinaties die weliswaar aannemelijk lijken, maar in de werkelijkheid niet bestaan.