Innovatie & Strategie

Artificial Intelligence
tekst bol

AI-taalmodel GPT-3 krijgt verhoogde aanpasbaarheid

Finetunen op specifieke doelen verbetert nauwkeurigheid van model.

© Shutterstock BsWei
15 december 2021

Finetunen op specifieke doelen verbetert nauwkeurigheid van model.

Gebruikers van het krachtige natuurlijke taalmodel GPT-3 van OpenAI krijgen de mogelijkheid het model beter af te stellen op eigen gebruikssituaties. De prestaties van dit AI-model kunnen daardoor makkelijk verdubbelen.

GPT-3 is een toepassing van deep learning voor het genereren van teksten die door een mens geschreven lijken te zijn. Maar het model valt bijvoorbeeld ook te gebruiken om computercode te genereren. GPT-3 is ontwikkeld door OpenAI-lab, de organisatie opgezet door onder meer Tesla-topman Elon Musk. Microsoft heeft in 2019 een miljard gestoken in de onderneming en heeft een exclusieve licentie op GPT-3. Het taalmodel is voorzien van een OpenAI-API, waarlangs externe organisaties het model kunnen inzetten. Inmiddels hebben volgens OpenAI al enkele tienduizenden ontwikkelaars gebruik gemaakt van het model dat nu per dag 4,5 miljard woorden produceert.

Aftrekposten opsporen met AI

Tot nog toe waren gebruikers echter gebonden aan de algemene ontwikkeling van het taalmodel, hoewel OpenAI ook al wel zelf de afgeleide genaamd Codex had gemaakt, specifiek gericht op het automatisch genereren van softwarecode. OpenAI kondigt nu aan gebruikers zelf in staat te stellen het taalmodel aan te passen voor eigen doelen. En dat levert veel voordelen op. Zo heeft OpenAI in een proefsituatie twee varianten van GPT-3 getraind op 8.000 redactiesommen, ofwel rekensommen waar de leerling zelf het probleem moet opstellen uit informatie uit een verhaaltje. Het bleek dat de accuratesse van de modellen meer dan verdubbelde door het eerst te trainen op deze specifieke dataset.

Een geselecteerde externe klant Keeper Tax heeft in de testfase de nieuwe mogelijkheid van GPT-3 getraind op het interpreteren van bankafschriften om snel mogelijke aftrekposten op te sporen. Door het model voortdurend te finetunen naar aanleiding van situaties waar het model onder een bepaald niveau presteert, lukt het nog elke week een verbetering van 1% in de prestaties te krijgen. Dat lijkt niet heel veel, maar de verbetering telt op over de weken.

Lagere kosten mogelijk

Voor de gebruikers van de GPT-3-API kunnen de nieuwe mogelijkheden -afgezien van betere prestaties- tevens een kostenbesparing betekenen. Zij betalen namelijk OpenAI per token (woord) dat het model genereert. Hoe accurater het model hoe minder tokens hoeven worden afgenomen. OpenAI rekent weliswaar een premiumtarief op het gebruik van de mogelijkheid te finetunen, maar de balans slaat doorgaans gunstig door, zei Rachel Lim, medewerker van het technische team rond GPT-3, tegen Venturebeat.

Lees meer over
Reactie toevoegen
De inhoud van dit veld is privé en zal niet openbaar worden gemaakt.