'Iedereen kan AI-schrijfsels van echt onderscheiden'

In een paar jaar tijd zijn de prestaties van tekstgenererende kunstmatige intelligentie enorm vooruit gegaan. Dat heeft een schokgolf teweeg gebracht bij onder meer onderwijsinstellingen en de overheid omdat de gangbare methoden voor het ontdekken van plagiaat niet meer voldoen. Toch is de situatie minder ernstig dan het lijkt, claimen onderzoekers van de Penn Engineering school van de Pensylvania University in een blog. Uit onderzoek blijkt dat mensen best in staat zijn onderscheid te maken tussen machinegegenereerde en door mensen geschreven teksten.

Ze gebruikten voor het onderzoek een geavanceerde test. In de reguliere tests om het onderscheid te maken, krijgen proefpersonen een tekst van een robot of een tekst van een mens voorgeschoteld; een ja/nee-vraag dus. In de Real or Fake Text?-test echter begint elk onderdeel met een door een mens geschreven tekst en gaat deze op enig moment over in door machine gegenereerde tekst. De proefpersonen moeten aangeven waar die overgang zit door te letten op fouten.

Uit de onderzoeksresultaten blijkt dat mensen significant beter scoren dan een random keuze. AI maakt weliswaar tegenwoordig verbazingwekkend goede teksten, maar maakt ook altijd fouten, uiteenlopend van fouten die een mens met gezond verstand niet maakt, fouten met relevantie van zinnen, redenatiefouten en logische fouten. Het is volgens de auteurs van het artikel dus goed mogelijk deze fouten te herkennen.

Blijven trainen is noodzakelijk

Het grote probleem waar mensen zich zorgen over moeten maken is niet of het mogelijk is machinegegenereerde tekst te herkennen, maar dat mensen voortdurend zullen moeten blijven trainen om het onderscheid te kunnen blijven maken naarmate de technologie zich verder ontwikkelt, zegt Liam Dugan, een van de auteurs van het artikel.

Wanneer mensen beter in staat zijn de zorgen over de ontwikkeling van kunstmatige intelligentie in te kaderen, kan er meer gekeken worden hoe deze tools mensen kunnen helpen bij het schrijven van interessantere teksten, suggereert Chris Callison-Burch, de leider van het onderzoek. De onderzoekers zien meer toepassing voor tekstrobots in het prikkelen van de creativiteit bij schrijvers van fictie, dan bijvoorbeeld voor journalisten. Het gebrek aan garanties dat er geen feitelijke onjuistheden in machinegegenereerde teksten sluipen, maakt dat deze tools minder geschikt zijn voor het schrijven van nieuwsverhalen, schoolopdrachten of juridische adviezen, concluderen de onderzoekers.