Innovatie & Strategie

Artificial Intelligence
Feedback

Betrek ook de burger bij inclusief design

Niet alleen de ontwerpers en de beslissers van belang voor verantwoorde AI

26 september 2022

Niet alleen de ontwerpers en de beslissers van belang voor verantwoorde AI

Inclusief design kan bijdragen aan het voorkomen van bias in AI. Niet alleen een evenwichtige samenstelling van de designerteams is hierbij van belang, maar ook is meer inclusiviteit vereist bij de manier waarop de beslissingen over het design genomen worden. Erdinç Saçan en Bart Wernaart pleiten ervoor dat hierbij veel meer de stem van de burger - de uiteindelijke gebruiker - gehoord wordt. 

Aangewakkerd door diverse overheidsschandalen en tech regrets uit het bedrijfsleven, is inclusieve technologie in Nederland onder het publiek een bekend urgent thema geworden. In toenemende mate klinkt de oproep om beter toe te zien op de werking van algoritmes en AI, en op hoe overheden en bedrijven omgaan met data. In een lijvig rapport onderstreept de Wetenschappelijke Raad voor het Regeringsbeleid dat onze overheid veel beter moet nadenken over de maatschappelijke inbedding van AI, [1] en – zoals bekend - is de EU-wetgever bezig nadere wetgeving te maken die de ethische aspecten van AI moet bewaken.[2] Inclusiviteit is hierbij een fundamenteel begrip. Maar wat bedoelen we nu eigenlijk met ‘inclusief’?

Om te voorkomen dat dit het volgende containerbegrip wordt, is nadere nuancering vereist. We kunnen dit begrip op ten minste drie manieren inbedden in het debat rondom inclusieve technologie. In de praktijk spitst het debat zich overigens meer en meer toe op specifiek algoritmes en artificiële intelligence.[3] We gaan nader in op inclusieve designerteams, inclusief design van technologie en inclusieve designbeslissingen.

Inclusive designers

Het maakt uit wie technologie ontwerpt. De voorkeuren van designers resoneren in de ontworpen technologie.[4] In zijn algemeenheid maken technologie-ontwerpers deel uit van een redelijk homogene groep. Zo kan het voorkomen dat een studie naar 189 gezichtsherkenningsalgoritmes laat zien dat deze toepassingen beduidend minder goed werken onder vrouwen van kleur.[5] Om technologie daadwerkelijk inclusief te maken, is het dus ook nodig te reflecteren op de samenstelling van designerteams. Door deze aan de voorkant inclusiever samen te stellen kan de inclusiviteit van de technologie zelf beter geborgd zijn. Dit betekent voornamelijk dat er werk aan de winkel is voor HRM-afdelingen die zorg dragen voor R&D-afdelingen om inclusiviteit te prioriteren in aannamebeleid. In technologie is een gelijkmatigere verdeling van gender en herkomst van belang.

Inclusive design

Vervolgens is het van belang om te reflecteren op de werking van technologie. Zoals we hierboven al schreven, kan in de toepassing van technologie bedoeld of onbedoeld een bias ontstaan die specifieke bevolkingsgroepen benadeelt. Het is daarom belangrijk om de maatschappelijke impact van technologie niet alleen aan de voorkant in te schatten aan de hand van bijvoorbeeld een Moral Intensity Dashboard for Designers (MIDD)[6], maar ook te blijven monitoren aan de hand van technology impact tools.[7] Deze zogeheten feedback loop is cruciaal om te blijven monitoren of de technologische impact (nog steeds) goed is afgesteld op de maatschappelijke verwachtingen van hen die de impact van deze technologie ondervinden. Het is vanzelfsprekend dat dit in de voorbeelden uit de introductie niet het geval was.

Inclusive design decisions

Maar het is wellicht het allerbelangrijkste om diegene die het betreft een stem te geven aan de designtafel aan de voorkant van het designproces. Het helpt wanneer bewoners mee kunnen ontwerpen aan de slimme stad van de toekomst, en bijvoorbeeld mee kunnen ontwerpen aan drone-routes, camerasystemen of algoritmes rondom stadsmobiliteit. Dat is een lastige uitdaging, omdat dit enerzijds mensen zijn die niet technologisch onderlegd zijn, en anderzijds mensen zijn die niet altijd eenvoudig aan tafel te krijgen zijn. Wanneer we het doel om inclusieve technologie te ontwikkelen dus daadwerkelijk serieus willen nemen, zullen we veel nadrukkelijker moeten nadenken over hoe we
1) burgers en gebruikers kunnen helpen zich een voorstelling te maken van technologie die nog niet bestaat, en welke maatschappelijke vraagstukken daarbij te verwachten vallen, en
2) niet alleen de ‘usual suspects’ aan tafel krijgen bij ontwerpsessies, inspraakavonden of burgerparticipatie-initiatieven, maar juist de input van de burger of gebruiker kunnen zoeken die de meeste impact ondervindt van de te gebruiken technologie. Zeker in het geval van technologie die wordt ingezet door overheden zijn dat bij uitstek juist de minder mondige, soms kwetsbare, burgers.
De Moral Data City Hunt (MDCH)-methodiek zoals voorgesteld in het kader biedt daartoe een aanzet om hier bewuster mee om te gaan, en om designbeslissingen – zeker met een maatschappelijke impact – inclusiever te nemen.

Laten we kortom genuanceerd denken over begrippen als ‘inclusive design’, ‘inclusive AI’ of ‘inclusive tech’. Inclusiviteit zit in verschillende lagen van het ontwerp- en gebruiksproces van nieuwe technologie en dient in samenhang inclusiever te worden, met aandacht voor de specifieke context van de te ontwerpen technologie. Daarbij is idealiter een hoofdrol weggelegd voor diegene die de meeste impact ondervindt van deze technologie. Dat is vaak niet de ontwerper zelf, de bestuurder, of de mondige burger.

Referenties

[1] https://www.wrr.nl/publicaties/rapporten/2021/11/11/opgave-ai-de-nieuwe…

[2] https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX%3A52021PC0206

[3] https://www.fontys.nl/actueel/asset/1142970/erdincsacan-inclusieveartif…

[4] https://www.wageningenacademic.com/doi/abs/10.3920/978-90-8686-922-0_2

[5] https://nvlpubs.nist.gov/nistpubs/ir/2019/NIST.IR.8280.pdf

[6] https://www.sciencedirect.com/science/article/pii/S0160791X20312690?via…

[7] https://www.wageningenacademic.com/doi/10.3920/978-90-8686-922-0_3

[8] Deze methodiek werd gepresenteerd tijdens de Philosophy of Human-Technology Relations Conference, 5-7 July 2022, Copenhagen: Wernaart, B., Kamp, J-A., Nader, B., Van Hest, I., Sweep, A-M. & Roberta Vaznytė, R. The moral data city hunt – how to morally map a city by combining empirical and linguistic data analysis?.

De Moral Data City Hunt

In 2021 ontwikkelde de onderzoeksgroep Moral Design Strategy (Fontys Hogeschool) een methodiek waarmee het techno-morele ethische onderbuikgevoel van burgers in ontluikende slimme steden geduid kan worden.[8]

Centraal staat de aanpak om letterlijk door de straten van de stad te trekken met onderzoekers om per wijk in contact te komen met bewoners. De methodiek bestaat uit twee complementaire delen. Enerzijds worden respondenten uit de betreffende stad uitgenodigd te interacteren met een mobiel moral lab waarin ze zelf aan de ethische knoppen kunnen draaien van toekomstige technologie. In deze moral labs wordt de te ontwikkelen technologie in verschillende technologisch haalbare scenario’s gepresenteerd en moeten binnen deze scenario’s morele besluiten geprogrammeerd worden. Waar mag een bezorgdrone bijvoorbeeld vliegen? En hoeveel risico mag een drone opleveren voor een voetganger vergeleken met een bestelbusje? Of: mogen camerabeelden van een drone die en passant mogelijk strafbare feiten registreren gedeeld worde met de politie?

Door bewoners met deze settings te laten spelen kunnen we in kaart brengen welke ethische settings door wat voor bewoners worden onderschreven. Anderzijds wordt gebruik gemaakt van ongestructureerde open interviews (liever: gesprekken) die naderhand linguïstisch geanalyseerd worden aan de hand van een zogeheten Personal Value Dictionary. Door deze aanpak is het taalniveau van de respondent weinig relevant, en is de kans op sturing van het gesprek door de interviewer minimaal. Hierdoor kan in kaart gebracht worden (eventueel zelfs op wijkniveau) welke waarden ten grondslag liggen aan de gekozen morele programmering en ook op wat voor manier waarden tussen bewoners schuren in de toepassing van de betreffende technologie. Hierdoor kan kortom beter geduid worden op welke manier technologie op een maatschappelijk verankerde manier bezield kan worden met moraliteit, maar ook wat de drijfkracht is achter deze morele settings. Door op wijkniveau te meten en letterlijk de wijken in te gaan kan gesproken worden van stadsbrede en inclusieve(re) co-design van nieuwe technologie.

Magazine AG Connect

Dit artikel is ook gepubliceerd in het magazine van AG Connect (september 2022). Wil je alle artikelen uit dit nummer lezen, zie dan de inhoudsopgave.

Reactie toevoegen
De inhoud van dit veld is privé en zal niet openbaar worden gemaakt.