Innovatie & Strategie

Artificial Intelligence
gezichtsherkenning

Bias gezichtsherkenning neemt toe in plaats van af

Aandacht voor discriminatieprobleem heeft niet het verwachte effect.

10 september 2020

Aandacht voor discriminatieprobleem heeft niet het verwachte effect.

Gezichtsherkenningssystemen presteren de afgelopen maanden eerder slechter dan beter in het accuraat identificeren van met name mensen met een niet-witte huidskleur. Dat blijkt uit een vergelijking van benchmark-resultaten van NIST.

De verklaring is wellicht heel simpel. Gezichtsherkenning is nog altijd heel lastig en foutgevoelig. Daarbovenop zijn in het verleden trainingsdata gebruikt die niet voldoende breed van samenstelling waren voor een universeel gezichtsherkenningssysteem. Een aantal grote bedrijven heeft dat ingezien nadat diverse marktonderzoeken gewezen hadden op de in de systemen ingebakken vooroordelen. Onder meer Amazon, IBM en Microsoft hebben hun systemen van de markt gehaald of de toepassing ervan door bijvoorbeeld politie of andere overheidsdiensten geblokkeerd.

Dat was echter voor andere - wellicht minder geavanceerde - leveranciers een gat in de markt omdat de genoemde diensten vaak wel de technologie wilden gebruiken, ondanks tekortkomingen. Het Amerikaanse National Institute for Science and Technology (NIST) voert elke paar maanden een benchmark uit op de beschikbare systemen. In de benchmark wordt gekeken hoe vaak een systeem de fout in gaat, bijvoorbeeld door een witte vrouw te labelen als zwarte vrouw of vice versa of een zwarte man te herkennen als een andere zwarte man. Zo zijn er 8 criteria waar naar wordt gekeken.

VentureBeat heeft de resultaten van een aantal leveranciers naast elkaar gelegd. Het blijkt dat de systemen op heel verschillende aspecten de fout in gaan. De systemen hebben allemaal het meeste moeite met het herkennen van vrouwen met een donkere huidskleur. Het voorkomen van die fout lijkt wel af te nemen in de loop der tijd, maar niet bij TrueFace, een leverancier van identificatiesystemen op onder meer een basis van de Amerikaanse luchtmacht.

Het systeem van RealNetworks - onder meer ingezet door het Amerikaanse leger in drones en bodycams - presteert in de loop der tijd beter op dat vlak maar laat juist een verslechtering zien bij het correct herkennen van mannen met een donkere huidskleur. Zo heeft Venturebeat op basis van de NIST data een hele reeks toepassingen gevonden waarbij de correctheid van de herkenning eerder af- dan toenam.

Lees meer over
Lees meer over Innovatie & Strategie OP AG Intelligence
1
Reacties
Bop 14 september 2020 15:31

Een 'baaijas' is een soort vooroordeel, zeg maar.

Reactie toevoegen
De inhoud van dit veld is privé en zal niet openbaar worden gemaakt.