Innovatie & Strategie

Artificial Intelligence
Bias

Bias in AI komt niet alleen door slechte trainingsdata

Menselijke keuzes bij AI-implementatie spelen ook grote rol.

© Shutterstock Aleutie
8 april 2021

Menselijke keuzes bij AI-implementatie spelen ook grote rol.

Onderzoekers maken een reeks van keuzes bij het implementeren van een AI-toepassing die discriminatie in de hand werken. Dat blijkt uit onderzoek van wetenschappers van de Amerikaanse Cornell en Brown University. Het zijn dus niet alleen de trainingsdatasets die vooroordelen in de hand werken.

Een van de grote problemen waar de toepassing van kunstmatige intelligentie op stuit, zijn de onbedoelde vooroordelen die de algoritmen binnensluipen. Doorgaans wordt daarbij al snel gewezen op de datasets waarmee het model is getraind. Wanneer groepen over- of ondervertegenwoordigd zijn, zal het model ook geen evenwichtige uitkomst kunnen geven.

Maar de datasets zijn niet de enige oorzaak van die vooringenomenheid van AI-implementaties, zo blijkt uit onderzoek dat is gedaan aan de Cornell en Brown University. Er zit ook een probleem bij de selectie van modellen. De methoden die worden gebruikt om onderscheid te maken tussen de modellen, zijn onderhevig aan interpretatie en beoordeling op basis van een kleine set testdata. Dan wordt geselecteerd op bijvoorbeeld nauwkeurigheid. Vervolgens worden de prestaties verbeterd door het leerproces te herhalen.

De resultaten op basis van de eerste test kunnen echter andere eigenschappen van het model verhullen. Tijdens de trainingsfase worden die versterkt en kunnen een belangrijke invloed hebben op het eindresultaat.

Contextuele informatie bepaalt keuze

De auteurs halen in de wetenschappelijke publicatie een praktijkvoorbeeld aan waarbij proefpersonen werd gevraagd om een ​​‘eerlijk’ huidkankerdetectiemodel te kiezen op basis van de meetgegevens die ze identificeerden. Ze kozen vrijwel allemaal voor een model met de hoogste nauwkeurigheid, ook al vertoonde dit de grootste ongelijkheid tussen mannen en vrouwen. De statistische methode om de nauwkeurigheid te bepalen gaf bovendien geen uitsplitsing van fout-positieven ( per abuis diagnosticeren van kanker terwijl het in feite niet aanwezig is) en fout-negatieven (het missen van een diagnose van kanker). Het opnemen van deze statistieken zou de proefpersonen hebben kunnen beïnvloeden bij het maken van de beslissing welk model het 'beste' was. Het komt er op neer dat contextuele informatie erg belangrijk is bij het selecteren van een model, stellen de onderzoekers.

Maar dat is niet het enige probleem dat de mens introduceert en wat kan leiden tot vooroordelen in AI-modellen. Venturebeat wijst op een onderzoek van MIT waarin fouten bij het labelen van testdata aanleiding geven tot 2.900 fouten in ImageNet, een populaire database voor het trainen van computervisionmodellen. Een ander onderzoek van wetenschappers aan de Colombia University toont aan dat ook de samenstelling van de teams die aan de slag gaan met AI een effect heeft op het creëren van nieuwe modellen. Hoe minder divers het team hoe problematischer de uitkomst.

Lees meer over
Lees meer over Innovatie & Strategie OP AG Intelligence
5
Reacties
Bop 20 mei 2021 23:19

Een baai-jas is niet voor op vakantie, maar een soort voorkeur/vooroordeel, zeg maar.

Thijs Doorenbosch 15 april 2021 09:14

@Ruud Schmeitz: Dank voor de correctie. De omwisseling is hersteld.

Boomer 14 april 2021 19:36

@piet puk: ik begrijp dat je er ook geen bezwaar tegen hebt dat jouw autoverzekering fors omhoog gaat omdat in jouw buurt veel BMW- en Teslarijders wonen die veel snelheidsovertredingen maken? Dat je geen lening krijgt omdat je neefjes een beetje foute vrienden hebben? Dit heeft niks met politieke correctheid te maken. Beslissingen moet je maken op feiten niet op schimmige aannames!

Ruud Schmeitz 12 april 2021 17:23

"(...) fout-positieven (het missen van een diagnose van kanker) en fout-negatieven (per abuis diagnosticeren van kanker terwijl het in feite niet aanwezig is)."

Moet dat niet andersom zijn ?

zie : https://nl.wikipedia.org/wiki/Foutpositief_en_foutnegatief
"Als getest wordt of iemand een bepaalde ziekte heeft en de test geeft een bevestigende (positieve) uitslag terwijl de ziekte in werkelijkheid niet aanwezig is, dan is de uitslag van de test foutpositief."

Piet Puk 09 april 2021 12:45

Helaas voor de personen die vinden dat we allemaal discrimineren, blijkt door AI dat er ook inderdaad verschillen bestaan tussen mensen. Of het nu man, vrouw, blank, gekleurd, mono of bi-cultureel is. Juist een algoritme dat wil optimaliseren zal het ultieme onderscheid in mensen proberen te vinden om zo beter voorspellingen te kunnen doen. Als ik blank, 50 en man ben zal een model dat de kans berekent of ik een lening kan afbetalen dat anders doen dan voor een ander persoon. Is logisch. Want dat wil je ook met zo'n model. Als dan blijkt dat een 30 jarige bi-culturele man de lening niet krijgt moet je niet zeuren :) Als 25% van de mannen in de Haagsche Schilderswijk ooit in aanraking zijn geweest met de wet moet je niet raar op kijken dat een AI systeem de kans op criminaliteit van een baby jongen geboren in die wijk hoger in schat dan een baby uit Wassenaar. Een AI systeem is niet politiek correct maar feitenlijk.

Reactie toevoegen
De inhoud van dit veld is privé en zal niet openbaar worden gemaakt.