Innovatie & Strategie

Artificial Intelligence
neuraal netwerk

'Ontgiftigen' van taalmodellen versterkt bias juist

Pogingen trainingsdata op te schonen hebben averechts effect.

© Shutterstock Pdusit
21 april 2021

Pogingen trainingsdata op te schonen hebben averechts effect.

Onderzoek naar de resultaten van verschillende methoden om trainingsdata te ontdoen van vooroordelen, suggereert dat in datasets zoals de English Jigsaw Civil Comments onterechte verbindingen zitten tussen enerzijds de taalgewoonten van Afrikaans-Engelse bevolkingsgroepen, moslimgroepen en andere minderheden en anderzijds de labeling van 'giftige termen' (toxic labels).

Door op die trainingssets detoxificatie-methoden los te laten, ontstaat een voorkeur voor het Engels dat de witte gemeenschap gebruikt, concludeert Venturebeat. De modellen krijgen daardoor minder training op het taalgebruik van de minderheidsgroepen en kunnen daar dus ook minder goed mee overweg. Dat wordt dan gekarakteriseerd als incorrect of slecht taalgebruik.

De onderzoekers - werkzaam aan de UC Berkeley en de University of Washington - pakten GPT-2 als testmodel. Ze gebruikten de dataset van Jigsaw - een dochteronderneming van Alphabet die zich richt op het bestrijden van online pesten - als trainingsdata. In natuurlijke taalverwerking wordt als maat voor de kwaliteit van de output van een model op een bepaalde eigenschap gemeten in een perplexity-score. Hoe lager de score hoe beter het model presteert. De onderzoekers vonden dat door training met de opgeschoonde English Jigsaw Civil Comments dataset de perplexity-score voor "wit-gerelateerd Engels" opliep met een factor 2,1. Maar voor data waar veel gegevens van minderheden in zaten, liep de score op met een factor 4,3. Het opschonen van de trainingsdata zorgde dus voor een versterking van de bias.

Het toepassen deze technieken leidt er toe dat onderwerpen die spelen in minderheidsgemeenschappen eerder vermeden worden wanneer deze opgeschoonde taalmodellen worden gebruikt.

Detoxificeren is nu toch enige optie

De onderzoekers constateren nu in hun wetenschappelijk artikel (pdf) dat het nog niet goed mogelijk is accurate modellen te trainen op datasets waarin een bias voorkomt. Daarom moet er meer aandacht komen voor het opstellen van methoden om datasets van hun bias te ontdoen. Het wordt steeds duidelijker wat de consequenties zijn van de ingebakken vooroordelen in kunstmatige intelligentie. De toepassingsmogelijkheden nemen daardoor af.

Lees meer over Innovatie & Strategie OP AG Intelligence
Reactie toevoegen
De inhoud van dit veld is privé en zal niet openbaar worden gemaakt.