Student maakt eigen ChatGPT-detector

Schrijvers zien hun werk zien verdwijnen en problemen rondom plagiaat toenemen. Leraren denken dat studenten verslagen niet meer zelf zullen schrijven, maar dit overlaten aan tekstschrijvende AI's. De oplossing voor deze problemen lijkt nu te komen van Edward Tian, student Journalistiek aan de Princeton Universiteit. Hij bouwde tijdens de jaarwisseling GPTZero, een app die door kunstmatige intelligentie geschreven teksten kan detecteren.

Twee 'tells'

GPTZero baseert zich op twee factoren die volgens Tian aantonen dat een tekst door een persoon en niet door software is geschreven: ‘perplexity’ en ‘burstiness’. Met eerstgenoemde wordt de variëteit in woordgebruik en zinsopbouw bedoeld. AI heeft namelijk de neiging om terug te vallen op een beperkt aantal woorden en bouwt zinnen vaak op dezelfde manier op. Mensen doen dit niet, omdat ze veel verschillende manieren van schrijven en vertellen kennen.

Met de tweede detectiefactor wordt de gelijkenis tussen zinnen aangegeven. Mensen schrijven niet vaak dezelfde zinnen, AI doet dit juist met regelmaat. Aan de mate waarin perplexity en burstiness voorkomen in teksten valt dan te deduceren of de auteur een mens of machine is. Dit zijn dan als het ware 'tells' die verraden 'wie' er achter een voorgeschotelde tekst zit.

Menselijke input

De GPTZero-app gebruikt natuurlijk meerdere teksten en artikelen als basis. Het achterliggende model van Tian werkt in essentie dus als een toepassing van kunstmatige intelligentie met een dataset ingevoerd door een persoon, in dit geval Tian. De app vergelijkt een ingevoerde tekst met de dataset en geeft hieraan een score op basis van de eerder genoemde criteria. Deze wordt vervolgens gekoppeld aan referentiescores voor AI-teksten en menselijke teksten om in te schatten of de tekst door software is gegenereerd of door mensen.

Op dit moment lijkt GPTZero alleen te werken met Engelse teksten. Alle Nederlandse teksten, door ChatGPT gegenereerd of zelf geschreven, ziet hij als menselijk. Met Engelse teksten ziet de app wel verschil. In 4 van de 5 tests die we deden, had de app het goed. Maar de tekst over fietsen die we in de stijl van een comedian door ChatGPT lieten schrijven, werd toch gelabeld als "waarschijnlijk door een mens geschreven".

Uitbreidingsplannen

Tian geeft in zijn nieuwsbrief op Substack aan dat hij nog werkt aan de app. Zo wil hij de herkenningsmogelijkheid uitbreiden en de app in zijn geheel opschalen. Ondertussen werkt OpenAI, het bedrijf achter ChatGPT, ook aan een oplossing voor plagiaat. Het bedrijf wil in de toekomst een watermerk toevoegen aan teksten die door de chatbot zijn gegenereerd.

Dit artikel verscheen eerder op Business Insider, zustertitel van AG Connect.