Management

Juridische zaken
Marlies van Eck

Marlies van Eck: ‘Nog altijd gaten in toezicht algoritmen'

Antiracisme-debat legt algoritmen verder onder vergrootglas

Marlies van Eck © Eigen foto
21 juli 2020

Antiracisme-debat legt algoritmen verder onder vergrootglas

Er zijn nog altijd flinke gaten in het toezicht op algoritmen van de overheid, dat constateert universitair docent van Universiteit Leiden en adviseur Marlies van Eck. Twee jaar geleden maakte haar proefschrift over geautomatiseerde ketenbesluiten veel los. “Bij de automatisering van menselijke overheidstaken heb ik nog nooit structurele toezichthoudende activiteiten gezien.”

De Tweede Kamer sprak een jaar geleden uit dat er strenger moet worden gekeken naar algoritmen van de overheid. Een toezichthouder op algoritmen of een aparte meldplicht moest de situatie verbeteren. Ze kwamen er beiden niet. Nog altijd liggen algoritmen onder een vergrootglas, zoals onlangs het ‘Risico taxatie instrument’ van reclassering, dat volgens sommige onderzoekers etnisch profileren in de hand werkt. Missie gefaald? "Dat is lastig te beoordelen, maar er zijn nog altijd flinke gaten in het toezicht", vertelt Van Eck, strategisch adviseur bij Hooghiemstra & Partners.

Recht op beslissingen

Ze sprak de afgelopen jaren verschillende toezichthouders over computerbesluiten. “Ze zeiden tegen me: ‘We hebben de kennis nog niet, we zijn nu druk bezig om dat in te halen.’ En inderdaad: inmiddels zie je wel steeds meer toezichthouders die zich klaarmaken voor toezicht op AI.” Toch is de context rondom die besluiten volgens Van Eck ook belangrijk. “Wanneer een toezichthouder alleen bezig is met algoritmen, dan wordt misschien de context waarin zo’n systeem opereert ook gemist.”

Toch ziet van Eck wel duidelijk grote gaten in het toezicht. “Ik heb zelf nog nooit toezichthoudende activiteiten gezien bij de ‘gewone’ automatisering van menselijke taken. Mijn proefschrift ging over hoe de Sociale Verzekeringsbank Kinderbijslag uitkeert en hoe de Belastingdienst beslissingen neemt. Daar komt meestal geen mens meer aan te pas. Ik wil dan weten: hoe zit die programmatuur in elkaar? Welke keuzes worden daarin gemaakt en kan ik deze aanvechten bij de rechter? En hoe zijn begrippen uit de wet gedefinieerd?”

Toezicht op computertaal

Diezelfde vragen heeft Van Eck rondom de inmiddels veelbesproken toeslagenaffaire, waarbij burgers onterecht als fraudeurs werden aangewezen. Van Eck wil, al met al, graag zien hoe mensentaal naar ‘computertaal’ is vertaald en vice versa. “Een individuele burger of een rechter alleen kan dat niet. Er moet toezicht op komen en dat zie ik niet terug, terwijl de ontwikkeling van computerbesluiten al twintig of misschien wel dertig jaar aan de hand is. Dat maakt mij niet zo optimistisch voor de toekomst.”

‘We vinden het weer al lastig te voorspellen’

Het instrument voor Risicotaxatie van Reclassering noemt ze een voorbeeld van zo’n lastig vraagstuk. Er is discussie over of het wel of niet bijdraagt aan etnisch profileren. “We vinden het weer al lastig te voorspellen. Met dit instrument moet het gedrag van mensen worden voorspeld. Gaan de mensen een nieuwe start maken of terugvallen in hun oude gedrag? Dat is een haast ondraaglijke verantwoordelijkheid voor Reclassering.” Een systeem kan best een goed hulpmiddel zijn, denkt Van Eck. “Wat je van zo’n systeem wil weten is: wat wordt er allemaal gebruikt aan informatie? Welke factoren zijn er en hoe zwaar wegen ze?”

Vergrootglas op algoritmen

In de afgelopen maanden was er veel aandacht voor het antiracismedebat. Van Eck ziet dat als een belangrijke aanjager in het onder de loep nemen van geautomatiseerde processen binnen de overheid. “Er komt steeds meer debat over die processen. Het racismedebat draagt eraan bij dat we anders kijken naar geautomatiseerde beslissingen bij de overheid. De technologische leveranciers van de Amerikaanse overheid bijvoorbeeld, vinden dat er daar zoveel fout is in de organisatie, dat zij weigeren de technologie voor gezichtsherkenning nog te leveren omdat dit ongelijkheid versterkt.”  

Onderscheid maken met technologie komt nóg meer onder een vergrootglas te liggen, vertelt Van Eck. De bewustwording neemt toe, maar concrete stappen lijken nog te ontbreken. “Het rapport van de Autoriteit Persoonsgegevens over het gebruik van dubbele nationaliteiten in het risicomodel van Toeslagen laat zien dat er erg moeilijk en tijdrovend kan zijn onderzoek te doen naar gedragingen bij de overheid. Als de overheid vanaf nu alle stappen en afspraken gestructureerd vastlegt, scheelt dat de toezichthouder alvast veel werk.”

Wie bepaalt de wetten?

De toeslagenaffaire is één voorbeeld waarbij burgers geraakt worden door geautomatiseerde beslissingen. Maar er zijn er veel meer te vinden. “De rechtstaat zou je ‘Rule of Law’ kunnen noemen. De gemeente valt eronder, die met verordeningen regels op straat bepaalt. Maar soms regeert ook de ‘Rule of Code’. En dat zijn stoplichten die werken met warmtecamera’s die temperatuur registeren. De code beoordeelt dan welke fietser eerder mag.” Van Eck ziet steden steeds meer ‘controlrooms’ worden. “Wat ik ermee probeer te zeggen: De overheid die een systeem bouwt voor het nemen van besluiten, interpreteert daarmee de wet die moet worden uitgevoerd. Voor iedereen en voor komende jaren. Dit wordt niet voor niets pseudowetgeving genoemd Dit proces zou veel gestructureerder en transparanter moeten zijn en dit kan ook zoals Mariette Lokin in haar proefschrift heeft laten zien.”

Afhankelijk van Brussel

Gaan we op termijn anders met algoritmen om? De komende periode wordt spannend, denkt Van Eck. Het is de vraag of Nederland aanhaakt bij Europese wetgeving, of toch zijn eigen pad kiest.  “We zijn soms volledig afhankelijk van wetgeving die in Brussel wordt gemaakt. Dat is ook het geval met de AVG.” Nederland loopt niet voorop als het gaat om wetgeving met algoritmen. “Nee. Nee. Zeker niet. Bij de coronacrisis zie je dat veel zaken nationaal bepaald zijn. Onze aanpak is heel anders dan die van Frankrijk, bijvoorbeeld. De vraag is dus, als het gaat om algoritmen: willen we wachten op wat er vanuit Brussel komt? Of gaan we zelf een positie kiezen. Vergeet ook niet dat Nederland al heel ver gedigitaliseerd is ten opzichte van andere landen.”

Politieke agenda

Van Eck vindt ook dat algoritmen nog een stuk hoger mogen op de politieke agenda. “Twintig jaar geleden was het nog gerechtvaardigd als er vier Kamerleden in een debat over digitalisering zitten. Nu gebeurt dat nog altijd. Dan denk ik: het gaat hier over onze digitale toekomst. Dat is gewoon dé toekomst. Het is zorgwekkend dat digitalisering nog altijd als één onderwerp wordt behandeld. We moeten de mystiek ervan afhalen. Zorg ervoor dat Kamerleden goed worden bijgepraat.”

Lees meer over
Lees meer over Management OP AG Intelligence
3
Reacties
Lezer#3551 Karman 24 juli 2020 12:02

Toeslagen van de belastingdienst is nu net een voorbeeld waar het niet om geautomatiseerde besluiten gaat.
De wetgever en de kamers hebben onvoldoende vastgelegd dan wel zelf begrepen wat de algoritmes in door politici bedachte teksten en opdrachten teweeg brachten. Met een grote achterliggende IV organisatie en vele andere afdelingen is uit de Wobs te herleiden dat een gebrek aan samenwerking en eenduidig doel als logisch algoritme de uitkomst heeft van een aantal verkeerd afgehandelde gevallen. Dat het met de ongelooflijk grote aantallen van toeslagen om veel verkeerd afgehandelde gevallen gaat is een logisch gevolg.

Je lost dat enkel op met eenvoudige wetgeving waarbij de te maken berekeningen wat complexer mogen zijn dan die eenvoudige een harde grens. Een glijdende vloeiende overgang voorkomst gevoelige breekpunten.
Computers rekenen beter en sneller dan mensen. Dat is techniek die vroeger niet bestond.

Hans Dé 21 juli 2020 13:28

"Als de overheid vanaf nu alle stappen en afspraken gestructureerd vastlegt"
Als in; de Archiefwet nakomen en formele verantwoording afleggen over de besluitvorming tav procesinrichting

Atilla Vigh 21 juli 2020 12:16

Het probleem is veel fundamenteler. Het idee dat wetgeving de "hoe" vraag moet beantwoorden is natuurlijk levensgevaarlijk. Zolang de wetgever niet in staat is om het "wat" fatsoenlijk te omschrijven, zal het ook lastig worden om het "hoe" daarbij te verzinnen. Laat staan de "waarmee" vraag. Probleem is dat besluitvorming in zijn meest elementaire zin vooraf gegaan wordt door een stevige vraagarticulatie, probleemanalyse en uiteindelijk in een oplossingscontour. Volgens mij zijn we in de wetenschap nog lang niet zo ver dat we elke gewenst vraagstuk in al zijn dynamiek zo te ontrafelen dat we altijd het meeste geschikte oplossingscontour kiezen. De totale oplossingsruimte is oneindig groot, het aantal aanvliegroutes om uit de probleemsituatie naar een gekozen oplossingscontour te komen is oneindig groot en er zijn heel veel methoden en technieken waarmee je die reis kan maken. Aan de achterkant van dit probleem beginnen is leuk, maar dat zal hem niet worden. Wat mij betreft is hier een typische top-down aanpak voor nodig. Sommige zaken hebben een natuurlijke volgordelijkheid.

Reactie toevoegen
De inhoud van dit veld is privé en zal niet openbaar worden gemaakt.