Rotterdams algoritme vliegt uit de bocht

Deze vier journalistieke onderzoeksplatforms kregen het complete algoritme in handen middels een reeks beroepen op de Wet open overheid (Woo). Er zijn 30.000 Rotterdammers met een uitkering. Jaarlijks worden een paar honderd van hen onderzocht. Om hen te selecteren worden ze op 315 criteria beoordeeld, zoals persoonskenmerken, gezinssituatie en (mentale) gezondheidsproblemen. Die scores resulteren in een risicocijfer tussen de 1 en 10. De meest ‘riskante’ uitkeringsgerechtigden worden geselecteerd en gecontroleerd.

Al eerder twijfels

De onderzoeksplatforms hebben het Rotterdamse algoritme –met de naam Analytics Uitkeringsfraude – na een serie Woo-verzoeken in handen gekregen. Voor het eerst brengen buitenstaanders zo in kaart hoe een geavanceerd datamodel van de overheid fraude voorspelt: welke gegevens over mensen erin gaan, hoe de computercode hiermee rekent en wie de hoogste risico-scores krijgen. Daaruit blijkt dat de meest kwetsbare groepen het meest onder de loep liggen: bijstandsgerechtigden die het Nederlands niet goed machtig zijn, jongeren, alleenstaande vrouwen met kinderen die uit een lange relatie komen en mensen met financiële problemen.

Het is niet de eerste keer dat er twijfels worden geuit over het gebruik van algoritmes met een voorspellend karakter in Rotterdam. In 2021 werd door de Rekenkamer Rotterdam ook al gewaarschuwd voor de ethische risico’s van dergelijke algoritmes. Door extra nadruk te leggen op criteria als taal en nationaliteit zouden deze kunnen leiden tot discriminatie. Uit voorzorg werd het systeem eind 2021 stilgelegd.

Twintig taalvariabelen

Maar ook in het door de journalisten onderzochte algoritme speelt taal nog steeds een belangrijke rol als voorspellend criterium voor bijstandsfraude. Er zijn zelfs twintig verschillende variabalen in het algoritme die tot taal te verleiden zijn, zoals spreektaal, schrijfvaardigheid en het al dan niet voldoen aan de taaleis voor de bijstand. ‘Als alle taalvariabelen zo worden ingesteld dat ze wijzen op een slechte Nederlandse taalvaardigheid, dan zorgt dit ervoor dat deze mensen ruim twee keer vaker in de hoogste risico-scores voorkomen dan personen die Nederlands als moedertaal hebben’, stellen de onderzoekers.

Dit artikel is eerder verschenen op Binnenlands Bestuur, zustertitel van AG Connect.