Management

Zo pas je ethiek praktisch toe
In 3 stappen naar een goed gesprek over ethiek.
In 3 stappen naar een goed gesprek over ethiek.
Hoewel bijna elke IT-professional ethiek van groot belang vindt bij de ontwikkeling en het gebruik van algoritmen, weten maar weinigen hoe ze dan die ethiek praktisch kunnen integreren en toepassen, ziet Marc Steen. Een proces van drie stappen waarin gereflecteerd en beraadslaagd kan worden, biedt hulp.
Laat ik beginnen met twee vragen. Vind jij ethiek een belangrijk onderwerp bij het ontwikkelen en toepassen van algoritmen en AI-systemen? En vind jij het gemakkelijk om ethiek in de praktijk mee te nemen bij het ontwikkelen en toepassen van algoritmen en AI-systemen? Ik stel deze twee vragen vaak als ik een lezing of presentatie geef. Bij de eerste vraag steken bijna alle mensen in de zaal hun hand omhoog. Bij de tweede vraag gaan bijna alle handen omlaag. We vinden ethiek belangrijk in onze projecten. Maar we vinden het niet gemakkelijk om ethiek te integreren in deze projecten.
Er zijn allerlei redenen om ethiek te willen integreren in je projecten. Bijvoorbeeld omdat technologie nooit neutraal is. Als je een algoritme gaat ontwikkelen, verzamel je eerst data, om het algoritme te trainen. En bij het verzamelen van die data maken mensen allerlei keuzes, meestal impliciet: welke soort data worden wel en welke soort data worden niet verzameld, en welke labels worden op die data geplakt, bij supervised learning. En al die keuzes zorgen voor bias in het algoritme. Als de trainingsdata vooral bestaat uit lichtgekleurde gezichten, dan gaat het algoritme moeite hebben met donkergekleurde gezichten. Berucht is het voorbeeld van Google dat de tag ‘gorillas’ plaatste bij een foto van twee donkere tieners; een probleem dat ze volgens mij nog steeds niet goed hebben gefixt.
Verantwoordelijkheid
Aangezien technologie niet neutraal is, hebben wij - IT-professionals, ontwikkelaars, beslissers of inkopers, onderzoekers of adviseurs, of vul maar in - een bepaalde verantwoordelijkheid. Wij helpen mee om iets in de wereld te zetten dat effecten zal hebben op de wereld. Ethiek kan helpen om met die verantwoordelijkheid om te gaan; om verantwoordelijkheid te nemen.
Soms schrikken mensen van dat woord: ethiek. Ze zien dan iemand voor zich met een opgeheven vinger. Ethiek is dan een barrière die innovatie tegenhoudt. Ik zie ethiek anders: als een stuur. Als jouw IT-project een auto is, dan is ethiek het stuur in die auto. Ethiek kan helpen om jullie project op de goede weghelft te houden, niet in de berm te belanden en de juiste afslag te nemen, zodat je project daar komt waar je het wilt hebben, op een goede bestemming, zonder ongelukken.
Proces van reflecteren en beraadslagen
Je kunt ethiek praktisch maken door een proces van reflecteren en beraadslagen te organiseren. Dat kan goed in een proces van drie stappen:
1) Leg de issues of risico’s op tafel, waar je je zorgen over maakt, wat er mis zou kunnen gaan.
2) Organiseer gesprekken waarin je die issues van verschillende kanten bekijkt. Dat kun je doen binnen je projectteam, maar ook met mensen van buiten je organisatie.
3) Neem besluiten, liefst op een iteratieve manier. Je gaat iets uitproberen, evalueert de uitkomsten en stuurt bij.
Belangrijk voordeel van zo’n proces is ook dat je transparant en accountable kunt zijn over de stappen die je hebt genomen; je hebt serieus gekeken naar issues, daarover gesproken met verschillende mensen en hebt maatregelen genomen. In de praktijk kun je variëren in hoe je dit organiseert. Je kunt die drie stappen bijvoorbeeld doorlopen in één workshop van anderhalf uur. Of je kunt die ethische reflectie en beraadslaging als terugkerend agendapunt opnemen in je wekelijkse of maandelijkse projectmeetings, en verschillende experts er bij betrekken.
Gevolgenethiek
Twee ethische perspectieven die je kunt gebruiken om die reflectie en beraadslaging inhoudelijk in te vullen zijn gevolgenethiek en plichtethiek.
Gevolgenethiek gaat over het in kaart brengen van plussen en minnen. Stel dat je dit systeem in de wereld zet, welke voordelen en welke nadelen zal dat opleveren in de wereld? Je kunt de situatie zónder dat systeem vergelijken met de situatie mét dat systeem. Of je kunt verschillende opties met elkaar vergelijken: welke voordelen en welke nadelen hebben de verschillende opties? Je kiest dan de optie met de meeste of grootste voordelen, en met de minste of kleinste nadelen. Dit ethische perspectief spreekt vaak aan: plussen en minnen als basis voor het maken van keuzes. Als je ermee in de praktijk aan de slag gaat, kom je echter wel enkele complicaties tegen. Laten we een voorbeeld erbij pakken: zelfrijdende auto’s. Je kunt je een situatie voorstellen zonder zelfrijdende auto’s en die vergelijken met een situatie met zelfrijdende auto’s. Welk probleem gingen we ook alweer willen oplossen met zelfrijdende auto’s? En zou je dat probleem ook kunnen oplossen met bijvoorbeeld beter openbaar vervoer? Je project staat dan ter discussie, als gedachte-experiment. Daarnaast speelt de vraag: waar trek je de grenzen van het systeem dat je analyseert? Welke plussen en minnen tel je mee? En welke tel je niet mee? De voordelen voor de bezitter van de zelfrijdende auto; die tel je mee. De nadelen voor andere verkeersdeelnemers; misschien. En stel dat je bij je zelfrijdende auto een premium dienst kunt kopen waarmee je voorrang krijgt op kruispunten en toegang krijgt tot spitsstroken. In het kader van een zogenaamde smart city. Tel je dan de nadelen voor de andere verkeersdeelnemers en inwoners van de stad ook mee? Je kunt de grenzen ver weg leggen en ook de menselijke en ecologische kosten meetellen van het produceren van zulke auto’s. Maar dat stopt natuurlijk ergens. Je moet ergens een grens trekken. Bovendien speelt daarbij de vraag: hoe verdeel je de plussen en minnen? Hoe verdeel je die tussen verschillende partijen of tussen verschillende groepen mensen: automobilisten, voetgangers, spelende kinderen. En, als je wat verder kijkt, bijvoorbeeld naar het winnen van zeldzame mineralen: de omstandigheden van arbeiders in andere landen, en de impact daarvan op de natuur, op planten en dieren.
Plichtethiek
Een tweede perspectief is plichtethiek. Dat gaat over plichten en rechten. Laten we een ander voorbeeld nemen: camera’s op straat. Je kunt je een project voorstellen met als opdrachtgever een gemeente. Die gemeente heeft als plicht om te zorgen voor een veilige leefomgeving. Om die plicht in te vullen, hangen ze camera’s op in de openbare ruimte. In Amsterdam, bijvoorbeeld, zijn zo’n 30.000 camera’s geregistreerd. Dit roept vragen op over privacy. Of preciezer: vragen over de risico’s van het schenden van het recht op privacy van burgers. Dus de plichten van één partij hangen samen met de rechten van een andere partij. In het geval van een gemeente levert het recht van privacy van burgers weer een plicht op voor de gemeente, namelijk de plicht om te zorgen voor een veilige leefomgeving én de plicht om het recht op privacy te respecteren. Veel mensen zien hierin een conflict. Dat je moet kiezen tussen veiligheid of privacy. Maar dat hoeft niet. In de praktijk kun je technologieën kiezen die veiligheid en privacy combineren. Bijvoorbeeld door data minimalisatie of door privacy enhancing technologies. Jaap-Henk Hoepman schreef er een boek over: Privacy is hard and seven other myths [1]. Tot slot, een beetje maf voorbeeld dat ik vaak geef als inspiratie voor het zoeken naar creatieve combinaties: Stel je voor dat je in de jaren zeventig wilt gaan kamperen. Je kon toen kiezen uit een lekkere ruimte tent die heel zwaar is, of een lichte tent die heel klein is. Er was een conflict tussen volume en gewicht. Totdat lichte, waterdichte materialen en stevige, flexibele stokken werden uitgevonden. Nu kun je een groot volume en een klein gewicht combineren. Zulke creatieve combinaties kun je zoeken met veiligheid en privacy. Of met veiligheid en bruikbaarheid, een bekend conflict in cybersecurity.
In de praktijk lopen verschillende ethische perspectieven door elkaar. Je wilt die perspectieven dan ook tegelijkertijd meenemen. Je wilt plussen en minnen analyseren en je wilt rekening houden met plichten en rechten. Een voorbeeld: een algoritme om fraude op te sporen. De voordelen: het algoritme kan rode vlaggen zetten bij mogelijke gevallen van fraude en op die manier de efficiency en effectiviteit van opsporing verbeteren. Nadelen: de kosten van het bouwen en onderhouden van dit algoritme. Ik schrijf expres ook: onderhouden, want zo’n algoritme moet je periodiek evalueren en zo nodig bijstellen.
False positive errors
Andere nadelen zijn de false positive errors. Rode vlaggen bij gevallen die bij nader onderzoek geen fraude blijken. Dat kan enorme nadelen opleveren voor de mensen die foutief van fraude werden verdacht, zoals we zagen bij de kinderopvangtoeslagenaffaire. En ook kosten voor de organisatie, die besteedt immers capaciteit aan gevallen die geen fraude zullen blijken te zijn. Bovendien spelen hierbij plichten en rechten. Dat was het geval bij SyRI, het Systeem voor Risico Indicatie dat in 2019 werd verboden door de rechter. Aan één kant is er de plicht van de overheid om zorgvuldig om te gaan met geld en om fraude op te sporen; in het geval van SyRI ging het om fraude met sociale voorzieningen en uitkeringen. Aan de andere kant hebben burgers recht op privacy, waarbij privacy breed wordt opgevat, volgens Artikel 8 van het Europees Verdrag voor de Rechten van de Mens: het recht op eerbiediging van privé-, familie- en gezinsleven. De rechter woog die tegen elkaar af en bepaalde dat de inzet van SyRI niet proportioneel is.
Er zijn meer ethische perspectieven dan deze twee. In een volgend artikel zal ik verder ingaan op relatie-ethiek en deugdethiek.
[1] Jaap-Henk Hoepman, Privacy is hard and seven other myths.
Dit artikel is ook gepubliceerd in het magazine van AG Connect (nummer 3 2023). Wil je alle artikelen uit dit nummer lezen, zie dan de inhoudsopgave.
werkt als senior research scientist bij TNO, als expert in responsible innovation en toegepaste ethiek. Hij behaalde MSc, PDEng- en PhD-graden in Industrial Design Engineering aan de TU Delft. Onlangs verscheen zijn boek: Ethics for people who work in tech (Routledge).