Development

Artificial Intelligence
Algoritmen

Zorgen over algoritmes van reclassering die etnisch profileren

Oproep om voorlopig met algoritme te stoppen

Black box. © Shutterstock
26 juni 2020

Oproep om voorlopig met algoritme te stoppen

Juridisch onderzoeker Gijs van Dijck aan de Universiteit Maastricht vreest dat reclassering een algoritme gebruikt dat etnisch profileert. In het Nederlands Juristenblad wordt de casus beschreven. Het gaat om risicotaxatie-instrument OXREC. De kwaliteit van het voorspellingsmodel is vanuit praktisch oogpunt twijfelachtig, aldus van Dijck.

"Met het systeem lijken Reclassering Nederland en ook rechters zich lte laten eiden voorspellingen die geregeld niet accuraat zijn, niet beter presteren dan reeds bestaande voorspellingsmodellen en waarbij ongelijke behandeling op basis van ras, sociale klasse of andere sociale ongelijkheden op de loer ligt", aldus Van Dijck.

Stoppen met algoritme

Tegenover dagblad Trouw doet Van Dijck de oproep om voorlopig te stoppen met het algoritme dat werd ontwikkeld door de Universiteit van Oxford. Sinds een jaar wordt het ingezet door reclasseringsmedewerkers, om in te schatten hoe groot de kans op recidive is. Er wordt daarbij gekeken naar verschillende factoren zoals leeftijd, inkomen, opleiding maar ook postcode. Met name de gegevens over de buurt baren Van Dijck zorgen.

“Postcodes verhullen bepaalde informatie. Ze kunnen bijvoorbeeld iets zeggen over iemands etnische achtergrond, omdat er wijken zijn waar veel mensen met een bepaalde achtergrond wonen", zo vertelt hij in de krant. 

Open brief

Een grote groep wetenschappers, data scientists en sociologen vinden dat uitgevers gaven eerder deze week aan dat wetenschappers moeten stoppen met het publiceren van onderzoek dat pretendeert met behulp van kunstmatige intelligentie crimineel gedrag af te kunnen leiden uit een combinatie van gezichtskenmerken en statistieken over criminaliteit.

De  Coalition for Critical Technology stelde een open brief op naar aanleiding van aankondigingen dat een van de grote wetenschappelijke uitgevers - Springer - op het punt staat een onderzoeksartikel te publiceren getiteld “A Deep Neural Network Model to Predict Criminality Using Image Processing”

Lees meer over
Lees meer over Development OP AG Intelligence
2
Reacties
cyberiad 29 juni 2020 13:28

Deze is nog leuker: "Een grote groep wetenschappers, data scientists en sociologen vinden dat uitgevers gaven eerder deze week aan dat wetenschappers moeten stoppen met het publiceren van ..."
Haastwerk zonder eindcontrole

Ferry de Jong 29 juni 2020 12:23

"Met het systeem lijken Reclassering Nederland en ook rechters zich lte laten eiden voorspellingen die geregeld niet accuraat zijn, niet beter presteren dan reeds bestaande voorspellingsmodellen en waarbij ongelijke behandeling op basis van ras, sociale klasse of andere sociale ongelijkheden op de loer ligt"

Hier is wat mis gegaan: ook rechters zich lte laten eiden voorspellingen die

Reactie toevoegen
De inhoud van dit veld is privé en zal niet openbaar worden gemaakt.