Innovatie & Strategie

Software-ontwikkeling
Robot-intelligentie

De computer heeft het dus nooit gedaan

Pleidooi voor meer transparantie en controlemogelijkheden bij algoritmisch zakendoen.

© Pixabay CC0 Public Domain
22 november 2016

Pleidooi voor meer transparantie en controlemogelijkheden bij algoritmisch zakendoen.

'Computer says no'. De Engelse satire Little Britain heeft daar een gevleugelde uitspraak van gemaakt. Maar het is natuurlijk feitelijk nooit de computer die verantwoordelijk is voor besluiten. En daarom moeten organisaties en ontwikkelaars hun verantwoordelijkheid nemen.

Besluitvorming op basis van algoritmes levert uit het oogpunt van efficiency vaak grote voordelen op. Maar het heeft ook de neiging tot vergissingen of ongewenste uitkomsten te leiden, constateren Nicholas Diakopoulos en Sorelle Friedler in het artikel How to hold algorithms accountable in MIT Technology Review. Algoritmes kunnen structurele discriminatie verergeren, of individuen ten onrechte diensten weigeren.

Als voorbeeld geven Diakopoulos en Friedler het systeem dat de Amerikaanse justitie gebruikt ter ondersteuning van justitiële beslissingen ten aanzien van verdachten. Dat algoritme berekent het risico van het vrij laten rondlopen van een verdachte in afwachting van een proces, de risico's voor de samenleving van een proeftijd, en dergelijke. Recent onderzoek heeft laten zien dat deze algoritmes door vooroordelen gekleurd zijn, waardoor zwarte verdachten een grotere kans lopen onterecht vastgezet te worden. Gezien de consequenties voor de betrokkene zou het betreffende op algoritmes berustende besluitvormingsproces verantwoordelijk moeten worden gehouden als de beslissingen ervan negatieve consequenties hebben.

Algoritme treft geen blaam

Maar het is natuurlijk niet het algoritme dat blaam treft. Het zijn de mensen die het algoritme hebben ontworpen die schuld op zich laden als het algoritme in de fout gaat. Dat geldt volgens hen ook wanneer het algoritme in kwestie niet rechtstreeks door een mens is geschreven, maar bijvoorbeeld tot stand kwam via machineleerprocessen of genetische algoritmes. "Algoritmes en de data waarop die werken zijn ontworpen en voortgebracht door mensen. Er is uiteindelijk altijd een mens verantwoordelijk voor besluiten die gemaakt zijn door of op basis van een algoritme. 'Het algoritme heeft het gedaan' is niet een acceptabel excuus wanneer algoritmische systemen vergissingen maken of onwenselijke gevolgen hebben, ook wanner machineleren de basis ervan is", schrijven Diakopoulos en Friedler.

Transparantie over sociale impact

Samen met een tiental andere wetenschappers pleiten Diakopoulos en Friedler er om die reden voor dat organisaties die algoritmes inzetten en software-ontwikkelaars die ze bouwen, hun verantwoordelijkheid nemen. Concreet betekent dat volgens hen een Social Impact Statement moeten opstellen dat steeds beoordeeld en herzien moet worden na de ontwerpfase, direct voor lancering en na lancering. Daarna zou dit statement publiek gemaakt moeten worden zodat het voor de gemeenschap transparant wordt wat ze van het onderhavige besluitvormingsproces mogen verwachten.

Dat Social Impact Statement moet volgens de wetenschappers  invulling geven aan vijf principes bij de bouw van algoritmische systemen:

  1. Verantwoordelijkheid: Het moet voor de buitenwacht inzichtelijk zijn hoe eventuele negatieve effecten van een algoritmisch besluitvormingssysteem rechtgezet kunnen worden; daar moet intern een verantwoordelijke voor worden aangewezen.
  2. Verklaarbaarheid: Algoritmische besluiten en de gegevens die daarvoor de basis vormen, moeten aan eindgebruikers en betrokken in niet-technische termen uitgelegd kunnen worden.
  3. Accuratesse: Identificeer bronnen van vergissingen of onzekerheden in de algoritmes en de gebruikte data, leg deze vast en zorg dat men daarvan op de hoogte is, zodat verwachte en meest ongunstige implicaties begrepen kunnen worden en de basis kunnen worden van procedures om negatieve effecten op te vangen.
  4. Controleerbaarheid: Stel geïnteresseerde derden in staat het gedrag van algoritmes te doorgronden en te beproeven door informatie vrij te geven die monitoring en controleren mogelijk maken; dat impliceert vrijgave van gedetailleerde informatie, technisch bruikbare application programming interfaces en de nodige toestemmingen om de algoritmes te gebruiken.
  5. Rechtvaardigheid: Verzeker dat algoritmisch genomen besluiten niet discrimineren of een onrechtvaardige uitwerking hebben voor verschillende bevolkingsgroepen.

Op de website Fairness, Accountability and Transparancy in Machine Learning geven de wetenschappers voorbeelden van de invulling van zo'n Social Impact Statement. Ook roepen ze organisaties en ontwikkelaars die betrokken zijn bij algoritmische systemen op om te reageren op hun voorstel.

Zo'n discussie is wel welkom. Meer transparantie op dit terrein ontstaat niet vanzelf. En de politie heeft zich er nog niet diepgaand mee gemoeid. Als de mensen die rechtstreeks betrokken zijn bij het ontwikkelen van dergelijke systemen niet het voortouw nemen, komen er pas maatregelen als het kalf verdronken is.

Lees meer over
Lees meer over Innovatie & Strategie OP AG Intelligence
2
Reacties
Atilla Vigh 23 november 2016 06:49

Ik mag toch hopen dat elke zich zelf respecterende organisatie tijdens de functionele analyse (dus ook in agile vorm, maar dan zijn het snippets van functionele onderdelen) de wenselijkheid van wat men dan ook aan het bouwen is toetst aan meer aspecten dan "het werkt!".

PJ Westerhof 22 november 2016 18:36

Ja, dat heet 'Machine Bias'. Iets waar ook blockchain aan onderhevig is.
Naast 'Privacy by Design' en 'Security-by-Design' zou ook 'Value Sensitive Design' meer aandacht moeten krijgen.

Reactie toevoegen
De inhoud van dit veld is privé en zal niet openbaar worden gemaakt.