Innovatie & Strategie

Artificial Intelligence
BMW zelfsturend

Human-in-the-loop: een verantwoordelijk idee?

Ethisch correct maar moeilijk uitvoerbaar

© BMW
9 oktober 2020

Afgelopen september is de bestuurder van de zelfrijdende auto, die het eerste dodelijke ongeluk met zo’n auto had “veroorzaakt”, aangeklaagd voor doodslag van Elaine Herzberg. Ondanks dat de auto zelf het gevaar veel te laat onderkende. En ondanks dat de bestuurder een taak moest uitvoeren waar hij niet op was voorbereid – het controleren van een autonome machine.

Op dit moment speelt in de lopende discussie rondom ethiek en kunstmatige intelligentie (AI) een belangrijk onderwerp: Human-in-the-Loop (HITL). Hiermee wordt niet alleen bedoeld dat mensen betrokken moeten worden bij het ontwerp van AI, maar ook dat mensen de werking van een AI-toepassing moeten controleren. Mensen moeten gaan bepalen of een algoritme geen foute beslissingen neemt voor de betrokkenen, geen schade gaat toebrengen aan milieu of maatschappij en dat de organisatiebelangen niet worden geschaad.

Het Europese Parlement ziet twee redenen om mensen AI te laten controleren:

  1. De mens kan wangedrag van een autonoom systeem herkennen en corrigerende maatregelen nemen.
  2. Door humans-in-the-loop te houden zorg je voor vertrouwen in het autonome systeem omdat er een aanwijsbare persoon is die verantwoordelijk gehouden kan worden voor de consequenties van mogelijke fouten.

Bij beide punten kan je de nodige vragen stellen. Kunnen mensen wel kunstmatige intelligente systemen in de gaten houden? Wat wanneer deze systemen steeds slimmer worden en het moeilijker wordt om beslissingen te controleren?

Weinig schaalvoordelen

Sommigen stellen voor AI alleen maar aanbevelingen te laten doen en de kenniswerker te laten beslissen. Dit scenario heeft zo zijn beperkingen, waarvan de voornaamste is dat het weinig schaalvoordelen oplevert. Dit gaat best met een paar beslissingen per uur, maar wat als het AI-systeem er bijvoorbeeld duizenden per minuut neemt. Zoals het samenstellen van persoonlijke newsfeeds bij Facebook. Dat wordt automatisch gedaan, zonder dat er een mens aan te pas komt. Want dan kan je niet alleen heel veel doen, maar vooral veel goedkoper.

Maar de hoofdvraag is, is de mens wel in staat een dergelijke taak uit te voeren? En zo ja, kan hij dan ook verantwoordelijk worden gehouden voor de beslissingen van de AI-toepassing? Google heeft het over een “AI Systems Operator”. Dit is een nieuwe functie, die meer lijkt op een operator in de procesindustrie dan op een medewerker in een kantoor. Een operator is speciaal getraind om systemen, waar het mis gaat, weer in het gareel te krijgen. Maar daarvoor gaan er wel alarmbellen af wanneer signaalwaardes worden overschreden. Maar huidige AI-systemen geven geen signalen af wanneer er foute beslissingen worden genomen.

Drukken op de rode knop

De vraag blijft: wie mag wanneer en waarom op de rode knop drukken wanneer het verkeerd gaat? En hoe moet ik dat dan verantwoorden? De vraag is ook: hoe moet ik verantwoorden wanneer ik niet op de rode knop heb gedrukt wanneer het verkeerd ging. Of op de knop heb gedrukt terwijl het eigenlijk wel goed ging? Moeten we juist zo’n operator nou verantwoordelijk maken voor alle individuele beslissingen die een AI-systeem neemt?

Human-in-the-loop is ethisch correct, zeker zolang AI niet goed de menselijke maat kan houden. Maar in de praktijk is het moeilijk uitvoerbaar. Het wordt een moeilijke organisatorische en menselijke opgave om Human-in-the-loop zo te organiseren, dat het goed gaat werken. Want wie wil nou verantwoordelijk zijn met een slecht werkend controlesysteem, kunstmatig intelligent of niet.

Reactie toevoegen
4
Reacties
Bop 13 oktober 2020 18:52

"ondanks dat bestuurder een taak moest uitvoeren waar hij niet op was voorbereid – controleren van een autonome machine"

Hoezo niet op voorbereid?
Dat was precies zijn, of eigenlijk haar, TAAK.
En nogal SIMPEL ook.

Alleen wat gebeurde er: de 'bestuurster' zat op haar TELEFOON te kloten terwijl de auto een overstekende voetganger niet opmerkte.

Dus dit gaat niet over hoogdravende theorie, maar komt gewoon neer op MENSELIJKE nonchalance. Zoals we ELKE DAG kunnen zien met voetgangers, fietsers en automobilisten die hetzelfde doen.

Dat de mens verzaakt door LUIHEID maakt diens rol niet minder NOODZAKELIJK.

https://en.wikipedia.org/wiki/Death_of_Elaine_Herzberg

Bop 13 oktober 2020 18:40

'Joeman in ze loep', menselijke controle, zeg maar.

Ronald Kunenborg 09 oktober 2020 19:36

Ha. Dus omdat de aanbieders van autonome systemen het niet nodig vinden om extra zaken in te bouwen in hun systeem, moet men maar accepteren dat we door zo'n systeem worden vermoord zonder dat er iemand aansprakelijk is. Lijkt me niet.

Wat er zo te zien gaat gebeuren is dat mensen die het systeem bedienen verantwoordelijk zullen worden gehouden, zoals recent ook gebeurd is. En als je dan vind dat je niet genoeg mogelijkheden hebt om die verantwoordelijkheid na te komen, dan moet je die misschien niet accepteren. Je zou dan ook de leverancier onder druk kunnen zetten om een systeem te leveren waarbij dat probleem er niet is.

Dit zal lastig zijn voor aanbieders van dit soort oplossingen. Pech gehad. Als je mee wil doen op terreinen waarbij je potentieel doden veroorzaakt dan zijn er wat extra regels te verwachten.

Mr A.F. le Gras 09 oktober 2020 19:19

Ik maak me ernstig zorgen. Als experts als Kaasschieter zo hun twijfel hebben of het
"human in the loop" vereiste wel uitvoerbaar is en publiekelijk verklaren dat niemand voor een slecht werkend controlesysteem verantwoordelijk wil of kan zijn, dan zit er maar één ding op : verbieden die handel !

Want wie vindt het nou aanvaardbaar dat iemand ,die door een autonoom rijdende auto aangereden wordt, zijn schade vervolgens op niemand kan verhalen, omdat niemand verantwoordelijk zou zijn voor de beslissingen van de auto ?

Het betoog van Kaasschieter getuigt derhalve van de nodige wereldvreemdheid. Ik zou hem en zijn collega's er graag op willen wijzen dat in deze wereld een ieders verantwoordelijkheid en aansprakelijkheid zo is geregeld dat er, behoudens bij natuurrampen en nog een aantal vooraf gedefinieerde voorvallen, ALTIJD iemand verantwoordelijk cq aansprakelijk is. Dat geldt net zo goed voor beslissingen van de overheid als voor producten en diensten van bedrijven en handelingen van particulieren.

Wie dus iets ontwikkelt dat de basis zou moeten zijn van te nemen beslissingen of te verlenen diensten of te leveren producten , is gehouden ervoor te zorgen dat het eindresultaat voldoet aan alle (kwaliteits- en rechtmatigheidseisen van) wet - en regelgeving. Als AI aan die eisen niet kan voldoen is het een onvoldragen bedenksel en mag het simpelweg de weg niet op.