Dat AI-systemen bias kunnen bevatten, is een veelbesproken onderwerp. Steeds meer leveranciers komen daarom met tools waarmee automatisch bias kan worden gedetecteerd. Kun je een IT-tool inzetten om bias te ontdekken in een IT-tool? Zo’n detectietool zorgt voor bewustwording, zeggen experts, maar haalt niet alle bias uit de data of het algoritme.

Voorbeelden van IT-systemen die bias bevatten zijn er genoeg en ze zijn allemaal pijnlijk. Een sollicitatiesysteem dat vooral CV’s van mannen er uit haalt, omdat het zich baseert op historische data en in het verleden zijn veel mannen aangenomen. Een Amerikaans preventiesysteem dat zich baseert op data van verzekerden en alleen preventie-advies aan witte mensen kan geven, omdat in de trainingsdata te weinig data van zwarte mensen zit. Het aantal verzekerden onder de zwarte bevolking is namelijk lager omdat zij zich vaak niet kunnen verzekeren.