AI-taalmodel GPT-3 krijgt verhoogde aanpasbaarheid

GPT-3 is een toepassing van deep learning voor het genereren van teksten die door een mens geschreven lijken te zijn. Maar het model valt bijvoorbeeld ook te gebruiken om computercode te genereren. GPT-3 is ontwikkeld door OpenAI-lab, de organisatie opgezet door onder meer Tesla-topman Elon Musk. Microsoft heeft in 2019 een miljard gestoken in de onderneming en heeft een exclusieve licentie op GPT-3. Het taalmodel is voorzien van een OpenAI-API, waarlangs externe organisaties het model kunnen inzetten. Inmiddels hebben volgens OpenAI al enkele tienduizenden ontwikkelaars gebruik gemaakt van het model dat nu per dag 4,5 miljard woorden produceert.

Aftrekposten opsporen met AI

Tot nog toe waren gebruikers echter gebonden aan de algemene ontwikkeling van het taalmodel, hoewel OpenAI ook al wel zelf de afgeleide genaamd Codex had gemaakt, specifiek gericht op het automatisch genereren van softwarecode. OpenAI kondigt nu aan gebruikers zelf in staat te stellen het taalmodel aan te passen voor eigen doelen. En dat levert veel voordelen op. Zo heeft OpenAI in een proefsituatie twee varianten van GPT-3 getraind op 8.000 redactiesommen, ofwel rekensommen waar de leerling zelf het probleem moet opstellen uit informatie uit een verhaaltje. Het bleek dat de accuratesse van de modellen meer dan verdubbelde door het eerst te trainen op deze specifieke dataset.

Een geselecteerde externe klant Keeper Tax heeft in de testfase de nieuwe mogelijkheid van GPT-3 getraind op het interpreteren van bankafschriften om snel mogelijke aftrekposten op te sporen. Door het model voortdurend te finetunen naar aanleiding van situaties waar het model onder een bepaald niveau presteert, lukt het nog elke week een verbetering van 1% in de prestaties te krijgen. Dat lijkt niet heel veel, maar de verbetering telt op over de weken.

Lagere kosten mogelijk

Voor de gebruikers van de GPT-3-API kunnen de nieuwe mogelijkheden -afgezien van betere prestaties- tevens een kostenbesparing betekenen. Zij betalen namelijk OpenAI per token (woord) dat het model genereert. Hoe accurater het model hoe minder tokens hoeven worden afgenomen. OpenAI rekent weliswaar een premiumtarief op het gebruik van de mogelijkheid te finetunen, maar de balans slaat doorgaans gunstig door, zei Rachel Lim, medewerker van het technische team rond GPT-3, tegen Venturebeat.