Forse fouten gevonden in AI-gezichtsherkenning

Het onderzoek is uitgevoerd door de Stanford University in Silicon Valley en MIT in Boston. Alle drie de veelgebruikte programma's wisten met een foutpercentage van minder dan 0,8 procent het geslacht van mannen met lichtgekleurde huid te bepalen op basis van portretfoto's. Werden echter vrouwen met een donker huidtype gebruikt, liep het foutpercentage op tot bijna 47 procent.

Selectie trainingsdata verkeerd

Het onderzoek maakt pijnlijk duidelijk hoe slecht de gebruikte neurale netwerken worden getraind en gecontroleerd. Uit het onderzoek blijkt dat het systeem van een groot Amerikaans technologiebedrijf - dat een accuratesse claimt van meer dan 97 procent - datasets gebruikt om het systeem te testen die voor 77 procent uit mannen bestaan en waarin meer dan 83 procent van de mensen een lichte huidskleur heeft.

Hoofdonderzoeker Joy Buolamwini benadrukt de gevaren van de gehanteerde methoden. Dezelfde methoden die in deze systemen werden gebruikt voor het bepalen van het geslacht van iemand op de foto, worden ook gebruik voor het identificeren van iemand in een criminologisch onderzoek of bij het ontgrendelen van een telefoon. "Ik hoop echt dat dit onderzoek aanleiding is om kritisch te kijken naar andere ongelijkheden", zegt Buolamwini.

Gezicht donkergekleurde vrouw niet herkend

Buolamwini - een donkergekleurde vrouw - startte haar onderzoek naar aanleiding van een persoonlijke ervaring. Zij werkte als student mee aan het opzetten van een interactief multimediakunstproject waarbij passanten kleurrijke patronen geprojecteerd op een muur konden besturen door met hun hoofd te bewegen. De installatie werkte op basis van een commercieel verkrijgbaar gezichtsherkenningsysteem. Hoewel het team dat de installatie had ontwikkeld bestond uit een etnisch gevarieerd gezelschap, bleek deze bij een demonstratie aan een groter publiek alleen goed te werken bij teamleden met een lichtgekleurde huid. Bij sommige donker gekleurde teamleden werkte de installatie heel onbetrouwbaar.

Geïnteresseerd door deze ervaring ging Buolamwini aan de slag met foto's van haarzelf die ze aan verschillende commercieel verkrijgbare gezichtsherkenningspakketten aanbood. In sommige gevallen werd het gezicht van Buolamwini helemaal niet herkend, maar in vrijwel alle gevallen werd ze als man getypeerd.

Daarop startte ze een wetenschappelijk onderzoek samen met Timnit Gebru, een student aan Stanford University en nu werkzaam bij Microsoft. De drie onderzochte programma's zijn bedoeld om het geslacht, de leeftijd en de stemming te bepalen van personen op een foto. Er is gekeken naar de nauwkeurigheid bij het bepalen van het geslacht. De programma's boden slechts twee mogelijkheden: man of vrouw. Ze gebruikten in totaal een set van 1200 foto's die allemaal met behulp van een dermatoloog werden geclassificeerd op een zespunts schaal.

Benchmarks geven een vals beeld

Buolamwini: "Wanneer een commercieel gebruikt systeem bij een simpele binaire keuze in meer dan één op de drie keer een fout maakt, moet je je afvragen of die foutscores zouden worden toegestaan als ze optreden in een andere subgroep. Een andere belangrijke les is dat onze benchmarks, de standaarden waartegen we succes afmeten, op zichzelf een vals gevoel van vooruitgang kunnen geven."

Buolamwini en Gebru prestenteren hun onderzoek eind februari op de Conference on Fairness, Accountability, and Transparency aan de New York University.