Innovatie & Strategie

Artificial Intelligence
zorgelijk

Ethische principes rond AI stuiten op weerbarstige praktijk

Hoe pas je 'open' en 'eerlijk' toe in je technisch ontwerp?

© Shutterstock fizkes
30 september 2022

Hoe pas je 'open' en 'eerlijk' toe in je technisch ontwerp?

Wat hebben energievoorziening, gezondheidszorg en wapens met elkaar gemeen? Dat kunstmatige intelligentie en met name 'autonome' systemen een steeds belangrijker rol krijgen. Maar wat is 'autonomie' en wie is verantwoordelijk als er wat misgaat? Merel Noorman onderzoekt als 'veldfilosoof' met alle betrokkenen wat er nodig is om eerlijkheid, verantwoordelijkheid en ethische principes in het ontwerp van de technologie te krijgen.

Een veelheid aan overheden, ngo's, vakorganisaties en bedrijven buitelen tegenwoordig over elkaar heen met het publiceren van richtlijnen, principes en manifesto's over de ethisch verantwoorde omgang met data en algoritmen. Het moet 'open', het moet 'transparant' en het moet 'eerlijk'. De publicaties zijn een reactie op ontspoorde ontwikkelingen. Denk aan het SyRi-algoritme waarmee gemeenten geautomatiseerd frauderisico's in kaart dachten te brengen of  het algoritme waarmee de Belastingdienst de fout inging met de Toeslagenaffaire.

'Open' en 'eerlijk' klinken mooi, maar hoe vertaal je dat in de praktijk zodat het tot uiting komt in het ontwerp en het gebruik van de technologie? Dat kan best ingewikkeld zijn, is de ervaring van Merel Noorman. Zij houdt zich bezig met de regulering en governance van AI als universitair docent bij TILT, het interdisciplinair instituut van de Tilburg University. Daar wordt onderzoek gedaan op het snijvlak van recht, technologie en maatschappij. Een van de belangrijke obstakels bij het onderzoek naar hoe nieuwe slimme en complexe technologie op een goede manier kan worden ingebed in bestaande praktijken, is dat er geen eenduidigheid bestaat over gebruikte termen. "Neem autonomie. Er bestaat het begrip 'machine autonomy', dat is een vrij nauwe definitie: gewoon zonder directe sturing door mensen. Daarnaast heb je een meer moreel filosofische definitie van autonomie. Die is sterk verbonden met verantwoordelijkheid. We kunnen als mens verantwoordelijk gehouden worden omdat we autonome wezens zijn en daarom hebben we ook bepaalde rechten."

Merel Noorman
Merel Noorman © Marike van Pagée

In discussies raken die begrippen vaak verwikkeld met elkaar. Dus is het belangrijk zo vroeg mogelijk in een ontwikkelingsproces de begrippen scherp te krijgen voor alle betrokkenen. Het probleem is wel dat in dat hele vroege stadium nog niet zo veel mensen betrokken zijn bij de technologieontwikkeling.  "Je zult dus niet snel alle perspectieven op tafel krijgen."

Noorman werkt nu voornamelijk met een aantal collega's aan het project Megamind. "We kijken naar wat voor bestaande governance frameworks we kunnen gebruiken om nieuwe AI-systemen op een goede manier in praktijk te brengen. Het gaat om de juridische aspecten, maar ook breder de sociale normen of ethische principes." Omdat haar onderzoeksmethode praktijkgericht is, neemt ze in dit project specifiek het gebruik van AI in elektriciteitssystemen onder de loep.

Verleden

Noorman werkt echter al langer aan dergelijke vraagstukken, bijvoorbeeld bij de ontwikkeling van autonome wapensystemen en AI in de gezondheidszorg. Het probleem van de discussies over autonome wapensystemen is dat de regulering bepaald wordt op het niveau van de Verenigde Naties en dat verschillende grootmachten zoals de Verenigde Staten en China, daar een politieke stempel op drukken. "Er is in dat kader wel heel uitgebreid gesproken over autonomie. Er worden grenzen aangegeven van wat acceptabel is en wat niet. Ook zijn er nieuwe concepten geïntroduceerd zoals 'meaningful human control'. Als je het niet eens kan worden over 'autonomie', waar gaat het ons dan eigenlijk om: dat is menselijke controle. Wat betekent dat dan?"

Hoe verantwoordelijkheden liggen in dagelijkse leven van mensen, verschilt per domein.  "In zo'n militaire setting is verantwoordelijkheid een heel centraal begrip en heeft een formele invulling. In de gezondheidszorg is dat weer heel anders." Toch is er ook overlap. "Juist door te kijken naar die verschillen en overeenkomsten, leer je hoe je die ontwikkeling van AI kunt sturen."

Heden

In het huidige Megamind-project werken de universiteiten van Tilburg, Eindhoven, Twente en Delft samen in het kader van het door NWO gefinancierde 'Perspectief'-programma. Er wordt nagedacht over toekomstige oplossingen voor de energiesector die raakvlakken hebben met de huidige situatie. "Met nieuwe energiebronnen ontstaat een veel dynamischer netwerk dat veel ingewikkelder is om te besturen dan tien jaar geleden. De belofte van AI is dat je het beheer voor een deel kunt automatiseren. Door bepaalde coördinatiemechanismen te decentraliseren zijn vraag en aanbod lokaal af te stemmen. Maar als je gaat decentraliseren, komt de bestaande coördinatie onder druk te staan en daarmee ook de 'checks and balances' en de verdeling van verantwoordelijkheden. De vraag is dan hoe, en wat, je dan gaat aanpassen en wat moet hetzelfde blijven? Hoe zorg je dat iedereen eerlijke en veilige toegang heeft tot elektriciteit?"

De onderzoekers in Eindhoven en Delft kijken in dit project  vooral naar de technische kant waaronder de inzet van AI. De Tilburgse onderzoekers  richten zich op het juridische raamwerk en op governance en ethische aspecten. Het doel is de verschillende disciplines zo veel mogelijk samen te laten werken om elkaar aan te vullen. De praktijk is bij het onderzoek betrokken door deelnamen van organisaties als Alliander, Enexis, Stedin, Tennet, Transdef  SST en PWC.  "Mijn rol als veldfilosoof is om met ontwikkelaars, beleidsmakers en onderzoekers te praten en te zien waar er vragen opkomen. Waar spelen ethische waarden, zoals eerlijkheid en verantwoordelijkheid, en hoe ga je daarmee om? Ik probeer dan die vragen scherper te krijgen zodat ze daar op een goede manier beslissingen over kunnen nemen."

In een eerder project rond smart cities werden op vergelijkbare manier 'AI en governance'-clinics georganiseerd voor de publiek-private samenwerkingen waar gemeenten in deelnemen. In die projecten lopen zij ook tegen ethische vragen aan bij projecten waarin datagedreven slimme technologie wordt ingezet. Het gaat dan vooral om vragen rondom publiek belang. "Als die expliciet gemaakt zijn, kun je vervolgens kijken wat je kunt met bestaande governance-structuren om ze te beantwoorden. Wanneer er dan gaten overblijven, ga je op zoek naar mogelijkheden om die in te vullen."

Een van de uitdagingen die elke keer weer naar boven komen, blijft de vertaling naar verschillende werelden. Juristen hebben bijvoorbeeld een bepaald idee over 'eerlijkheid', maar computer engineers hebben daar weer een net iets ander beeld bij en dat kan weer verschillen van het beeld dat filosofen en beleidsmedewerkers hebben. "Die vertaling moet elke keer opnieuw gemaakt worden en op een manier dat er niet te veel wegvalt en ook geen valse verwachtingen worden gewekt. Een van de onderzoeksvragen is hoe je die vertaling het best kan doen en liefst op een manier dat ook andere organisaties verder kunnen met de resultaten van discussies."

Toekomst

In de clinics komt regelmatig de vraag terug welke verantwoordelijkheid individuele ontwikkelaars en beleidsmakers zelf hebben bij het verlenen van hun medewerking aan een project waar ze zelf niet helemaal achter staan. "Je ziet tegenwoordig dat beslissingen die vroeger in het publieke domein werden genomen, bijvoorbeeld in de gemeenteraad, nu op het bordje terecht zijn gekomen van commerciële partijen of zelfs individuele engineers. Dan is de vraag hoe je die democratische controle opnieuw kunt beleggen. Democracy by design en Democratic AI zijn dan ook onderwerpen die steeds vaker aan de orde gaan komen naar mate het gebruik van kunstmatige intelligentie toeneemt. Een ontwikkelaar kan bijvoorbeeld wel beslissingen nemen over welke data binnen een bepaald kader gebruikt kunnen worden. Op het moment dat het gebruik op of over die grenzen gaat, moet je misschien escaleren naar de divisie of uiteindelijk naar de gemeenteraad?"

Magazine AG Connect

Dit artikel is ook gepubliceerd in het magazine van AG Connect (september 2022). Wil je alle artikelen uit dit nummer lezen, zie dan de inhoudsopgave.

4
Reacties
Hans Donkhorst 02 oktober 2022 11:21

Goed om te zien dat disciplines bijeen worden gebracht en samenwerking vorm en inhoud krijgt. Juristen gaan uit van beginselen (zoals in het bestuursrecht), die hebben een sterkere verplichte inhoud die terug te vinden moet zijn in zowel opzet als bestaan en werking. Juist die beginselen vragen om meer aandacht omdat de inrichting van processen en procesondersteunende systemen te weinig aantoonbaar voldoet aan die beginselen.
De context van begrippen bij kennisgebieden blijft een belangrijk onderdeel van het werk. Autonomie van een systeem is in strijd met het verbod op geautomatiseerde besluitvorming zonder menselijke betrokkenheid. Terwijl menselijke autonomie juist beperkt kan worden via wetgeving. De autonomie van de burger wordt ook beperkt als de overheid eisen stelt aan de digitale bereikbaarheid maar daar zelf geen voorzieningen voor aanbiedt. De verantwoordelijkheidsverdeling die daar bij hoort is een andere witte vlek in de aandacht voor beginselen, menselijke maat en overige ethiek.

j.a. (jaap) Karman 01 oktober 2022 13:17

De bias rond het wijzen naar Syri dan wel de belastingdienst is uitgemaakte zaak van altijd foute AI springt er uit.
Het hoeft niet eens waar te zijn maar de publieke opinie heeft geoordeeld en veroordeeld.

Dat is een wonderlijke iets met de gewenste openheid en eerlijkheid verderop in het artikel. Vergeten wordt dat menselijke beslissers kennelijk zeer veel fout mogen doen en niemand er van opkijkt. Wordt het echter een advies vanuit de computer dan wordt er ineens heel anders tegen aan gekeken. Als is het aantal fouten veel kleiner, elke imperfectie zal als een schanddaad gebracht worden. Dat is niet goed voor openheid en niet goed voor eerlijkheid

Jelle Vrieswijk 30 september 2022 11:02

Baba

Mark Paauwe 28 september 2022 14:01

Er zit een groot verschil tussen richtlijnen en principes.
Als een oplossing open, eerlijk, transparant en verantwoordelijk dient te worden ontworpen, omdat de oplossing dan waarschijnlijk beter is voor de gebruikers, dan spreken we hier over richtlijnen. Richtlijnen zijn optioneel. Je kunt ervoor kiezen om het wel of niet te doen.
Het principe van openheid, het principe van eerlijkheid, het principe van transparantie en het principe van verantwoordijkheid zijn allemaal geen richtlijnen, maar werkingsmechanismen/waarheden (de wijze waarop de wereld werkt) met een inevitable consequence in zich.
Een principe begint bij voorkeur met het woordje door. Door ..... wordt ervoor gezorgd dat ....., waardoor ....
De vraag is: hoe formuleer je op juiste wijze deze principes/werkingsmechanismen/waarheden en hoe gebruik je deze principes bij het maken van een ontwerp zodat je de principes/werkingsmechanismen terug ziet in je ontwerp en oplossing ?

Mark Paauwe is directeur van Dragon1 en promotieonderzoeker architectuurprincipes

Reactie toevoegen
De inhoud van dit veld is privé en zal niet openbaar worden gemaakt.