'Ontgiftigen' van taalmodellen versterkt bias juist

Door op die trainingssets detoxificatie-methoden los te laten, ontstaat een voorkeur voor het Engels dat de witte gemeenschap gebruikt, concludeert Venturebeat. De modellen krijgen daardoor minder training op het taalgebruik van de minderheidsgroepen en kunnen daar dus ook minder goed mee overweg. Dat wordt dan gekarakteriseerd als incorrect of slecht taalgebruik.

De onderzoekers - werkzaam aan de UC Berkeley en de University of Washington - pakten GPT-2 als testmodel. Ze gebruikten de dataset van Jigsaw - een dochteronderneming van Alphabet die zich richt op het bestrijden van online pesten - als trainingsdata. In natuurlijke taalverwerking wordt als maat voor de kwaliteit van de output van een model op een bepaalde eigenschap gemeten in een perplexity-score. Hoe lager de score hoe beter het model presteert. De onderzoekers vonden dat door training met de opgeschoonde English Jigsaw Civil Comments dataset de perplexity-score voor "wit-gerelateerd Engels" opliep met een factor 2,1. Maar voor data waar veel gegevens van minderheden in zaten, liep de score op met een factor 4,3. Het opschonen van de trainingsdata zorgde dus voor een versterking van de bias.

Het toepassen deze technieken leidt er toe dat onderwerpen die spelen in minderheidsgemeenschappen eerder vermeden worden wanneer deze opgeschoonde taalmodellen worden gebruikt.

Detoxificeren is nu toch enige optie

De onderzoekers constateren nu in hun wetenschappelijk artikel (pdf) dat het nog niet goed mogelijk is accurate modellen te trainen op datasets waarin een bias voorkomt. Daarom moet er meer aandacht komen voor het opstellen van methoden om datasets van hun bias te ontdoen. Het wordt steeds duidelijker wat de consequenties zijn van de ingebakken vooroordelen in kunstmatige intelligentie. De toepassingsmogelijkheden nemen daardoor af.