Human-in-the-loop: een verantwoordelijk idee?

Afgelopen september is de bestuurder van de zelfrijdende auto, die het eerste dodelijke ongeluk met zo’n auto had “veroorzaakt”, aangeklaagd voor doodslag van Elaine Herzberg. Ondanks dat de auto zelf het gevaar veel te laat onderkende. En ondanks dat de bestuurder een taak moest uitvoeren waar hij niet op was voorbereid – het controleren van een autonome machine.

Reinoud KaasschieterMeer van deze auteur

Op dit moment speelt in de lopende discussie rondom ethiek en kunstmatige intelligentie (AI) een belangrijk onderwerp: Human-in-the-Loop (HITL). Hiermee wordt niet alleen bedoeld dat mensen betrokken moeten worden bij het ontwerp van AI, maar ook dat mensen de werking van een AI-toepassing moeten controleren. Mensen moeten gaan bepalen of een algoritme geen foute beslissingen neemt voor de betrokkenen, geen schade gaat toebrengen aan milieu of maatschappij en dat de organisatiebelangen niet worden geschaad.

Het Europese Parlement ziet twee redenen om mensen AI te laten controleren:

De mens kan wangedrag van een autonoom systeem herkennen en corrigerende maatregelen nemen.
Door humans-in-the-loop te houden zorg je voor vertrouwen in het autonome systeem omdat er een aanwijsbare persoon is die verantwoordelijk gehouden kan worden voor de consequenties van mogelijke fouten.

Bij beide punten kan je de nodige vragen stellen. Kunnen mensen wel kunstmatige intelligente systemen in de gaten houden? Wat wanneer deze systemen steeds slimmer worden en het moeilijker wordt om beslissingen te controleren?

Weinig schaalvoordelen

Sommigen stellen voor AI alleen maar aanbevelingen te laten doen en de kenniswerker te laten beslissen. Dit scenario heeft zo zijn beperkingen, waarvan de voornaamste is dat het weinig schaalvoordelen oplevert. Dit gaat best met een paar beslissingen per uur, maar wat als het AI-systeem er bijvoorbeeld duizenden per minuut neemt. Zoals het samenstellen van persoonlijke newsfeeds bij Facebook. Dat wordt automatisch gedaan, zonder dat er een mens aan te pas komt. Want dan kan je niet alleen heel veel doen, maar vooral veel goedkoper.

Maar de hoofdvraag is, is de mens wel in staat een dergelijke taak uit te voeren? En zo ja, kan hij dan ook verantwoordelijk worden gehouden voor de beslissingen van de AI-toepassing? Google heeft het over een “AI Systems Operator”. Dit is een nieuwe functie, die meer lijkt op een operator in de procesindustrie dan op een medewerker in een kantoor. Een operator is speciaal getraind om systemen, waar het mis gaat, weer in het gareel te krijgen. Maar daarvoor gaan er wel alarmbellen af wanneer signaalwaardes worden overschreden. Maar huidige AI-systemen geven geen signalen af wanneer er foute beslissingen worden genomen.

Drukken op de rode knop

De vraag blijft: wie mag wanneer en waarom op de rode knop drukken wanneer het verkeerd gaat? En hoe moet ik dat dan verantwoorden? De vraag is ook: hoe moet ik verantwoorden wanneer ik niet op de rode knop heb gedrukt wanneer het verkeerd ging. Of op de knop heb gedrukt terwijl het eigenlijk wel goed ging? Moeten we juist zo’n operator nou verantwoordelijk maken voor alle individuele beslissingen die een AI-systeem neemt?

Human-in-the-loop is ethisch correct, zeker zolang AI niet goed de menselijke maat kan houden. Maar in de praktijk is het moeilijk uitvoerbaar. Het wordt een moeilijke organisatorische en menselijke opgave om Human-in-the-loop zo te organiseren, dat het goed gaat werken. Want wie wil nou verantwoordelijk zijn met een slecht werkend controlesysteem, kunstmatig intelligent of niet.