Management
Juristen bezorgd na rechterlijke uitspraak 'black box algoritme' Castricum
Mogelijk gevolgen voor andere zaken
Mogelijk gevolgen voor andere zaken
Een uitspraak van het Gerechtshof over een geschil over een vastgestelde WOZ-waarde tussen gemeente Castricum en een inwoner leidt tot zorgen bij juristen. Gemeente Castricum hoefde de werking van een zogeheten ‘black box algoritme’ aan een burger niet uit te leggen van de rechter. AlgorithmWatch, een non-profitorganisatie die zich inzet voor openheid rondom algoritmische besluitvorming, maakt melding de uitspraak op haar website.
De zaak kwam op gang toen een inwoner van Castricum naar de rechter stapte toen de gemeente de WOZ-waarde van zijn woning op 320.000 euro vaststelde. De man was het met dat besluit oneens en voerde aan dat zijn woning schade had opgelopen door een aardbeving in 1997. Huisbezoeken door de gemeente om de schade te constateren weigerde hij vervolgens.
Nadat de rechter de WOZ-waarde door experts had laten berekenen werd gemeente Castricum in het gelijk gesteld. Zaak gesloten. Maar wat opviel, is dat gemeente zowel de man als de rechter niet kon uitleggen hoe de WOZ-waarde van de woning tot stand kwam. Dat gebeurde namelijk met software op basis van statistische modellen en algoritmen.
Gevaarlijk precedent
Omdat de gemeente de werking van de software niet kon uitleggen van de rechter, maar toch in het gelijk werd gesteld, is er volgens juristen een ‘gevaarlijk precedent’ geschapen. “Volgens de Nederlandse jurisprudentie en AVG moet een openbaar lichaam de details en mechanismen kunnen verstrekken die tot een geautomatiseerd besluit hebben geleid”, zo schrijft AlgorithmWatch.
Marlies van Eck, universitair docent aan de Radboud Universiteit met een specialisatie in algoritmen stelt dat de rechter ‘de verkeerde kant op gaat’. “Het was een nogal bijzonder zaak, omdat de man in kwestie zo’n beetje ieder jaar procedeert tegen zijn WOZ-waarde. Dat is een belangrijk stukje voorgeschiedenis. Maar als de gemeente de algoritmen niet kan uitleggen, had ik het besluit over de WOZ-waarde vernietigd.”
Gevolg voor zaken in de toekomst
Van Eck vindt gemeenten die software gebruiken om WOZ-waarden te berekenen prima. “Maar je moet wel kunnen uitleggen hoe die software werkt. Het precedent wat nu geschapen is baart mij dus het meeste zorgen, want nu kan het gebruikt worden voor andere zaken met betrekking tot algoritmen waarbij de gevolgen wél heel groot kunnen zijn.” Van Eck las over de zaak in een juridisch tijdschrift. “Ik las het en dacht: we hebben toch afgesproken dat er géén black box-algoritmen meer mogen zijn?” Volgens Van Eck is Castricum niet de enige gemeente waarbij algoritmen niet worden uitgelicht. In Waalwijk speelde eerder een soortgelijke zaak.
'Waarde eerdere uitspraak verwatert'
De rechter maakte niet lang geleden nog korte metten met zogeheten ‘black box algoritmen’. “Er is over software voor stikstofberekeningen door de Raad van State uitgesproken dat er altijd een uitleg moet worden gegeven over hoe algoritmen voor besluitvorming werken. Dus hoe model erachter in elkaar steekt, welke data worden ingevoerd en op welke manier de uitkomsten eruit rollen.” Burgers kunnen volgens Van Eck dan veel gerichter naar de WOZ-waarderingen kijken en daar bezwaren in aanwijzen. Van Eck ziet nu het ‘principiële punt’ over algoritmen langzaam wegvallen. “Als een rechter nu ineens zegt dat het geen probleem is dat je algoritmen niet kan uitleggen, dan zijn verwatert de waarde van die eerdere uitspraak enorm.”
Twijfel over precedentwerking
Jurist Menno Weij van BDO Legal, gespecialiseerd in juridische aspecten van technologie, betwijfelt of de uitspraak de precedentwerking gaat hebben waar Van Eck en AlgorithmWatch voor vrezen. “De Hoge Raad heeft in 2018 een duidelijke norm gesteld, en die staat. Deze uitspraak maakt die norm niet anders. Hoogstens wordt de norm niet goed toegepast, of kan je als kritiekpunt opwerpen dat het hof te makkelijk vaststelt dat een verzoek om gegevens niet zinvol is.
@ Bezemer
Ik begrijp de redenering, alleen zijn geen van de genoemde 3 opties valide om de simpele reden dat het hier een overheidsbeslissing betreft die in geen van de genoemde opties aan de basisvoorwaarde voldoet : transparantie.
Dat geldt ook voor optie 3, want het kan niet zo zijn dat in een onderonsje van rechter en gemeente over het hoofd van de burger een beslissing genomen wordt die weer niet uitlegbaar is aan die burger omdat er anders een bedrijfsgeheim geschonden wordt. Dan zou niet alleen de beslissing van de gemeente, maar ook de beslissing van de rechter voor de burger een blackbox beslissing zijn , waartegen hij dan niet in beroep zou kunnen gaan,
omdat hij de overwegingen niet kent.
Hoe je het ook draait of keert, de conclusie is telkens weer dat AI in het overheidsdomein niet toepasbaar is en in veel gevallen zelfs niet toelaatbaar
De vraag is: hebben we te maken met een ECHT black box algoritme (dat bv. tot stand gekomen is via de tensors van een AI) of met een leverancier, die OF zo beroerd gebouwd heeft dat hij er zelf geen touw meer aan vast kan knopen OF "onwillig" is om de logica erachter prijs te geven uit bv. concurrentie overwegingen.
Om even met optie 1 te beginnen - ja, dat is een valide uitgangspunt. Optie 2 is absurd. In dat geval zou het bedrijf m.i. de kosten moeten dragen om de logica te achterhalen. Optie 3 is onaanvaardbaar. IANAL, maar m.i. zou de rechtbank dan moeten afwegen welk belang groter is. Wellicht zijn er opties om de rechtbank inzicht te geven in het algoritme zonder dat de belangen van het bedrijf geschaad worden.
Een andere oplossing is een hele simpele: TREK DE UITKOMST IN. Er kan gewoon een menselijke expert aan te pas komen om tot validatie van de uitkomst of een onafhankelijk rapport op te stellen. Deze uitspraak schept m.i. onnodig jurisprudentie op een gevoelig onderwerp.
De rechter heeft zich wel degelijk uitgesproken over de waardebepaling van de Gemeente Castricum, alleen niet door het besluit van de Gemeente te vernietigen, maar door zelf experts aan te wijzen om tot een nieuwe waardebepaling te komen. Daarmee staat in ieder geval vast dat de rechter met de motivering van het besluit van de Gemeente niet uit de voeten kon. Niettemin ben ik het met van Eck eens dat het beter ware geweest als de duidelijkere weg gekozen was om het besluit te vernietigen wegens ontbrekende cq ontoereikende motivering. We moeten ons ook afvragen of het wel verstandig is om in een geval als dit vervolgens op basis van contra-expertise recht te spreken. Dat lijkt een praktische benadering, maar het ongewenste gevolg is dat de rechter daarmee in feite op de stoel van de Gemeente gaat zitten. Omdat (toevallig?) de uitkomst van de nieuwe waardebepaling niet afweek van die van de Gemeente was het resultaat dat de meer fundamentele vragen mbt de motivering van het besluit van de Gemeente onbesproken bleven. Jammer, want een gemiste kans op heldere jurisprudentie.
Het eisen van absoluut na te rekenen iets is voor schatting van een waarde niet zinvol. Een menselijke makelaar kan het evenmin uitleggen en weet dat er genoeg onzekerheden zin bij een schatting.
In de chaostheorie (lorenz) is vastgesteld dat al zou je alle waarden weten, dan nog kan je de uitkomst niet met absolute zekerheid bepalen. Dat gaat tegen de menselijke wens van maakbaarheid in.
Heel veel politieke besluiten komen op verdacht ronde getallen uit om daarna met een jaarlijkse correctie op heel andere meer random bedragen uit te komen. Dat duidt er op dat het ronde bedrag niet echt onderbouwd is.
Laten we stoppen woorden als algoritmen te gebruiken. De meeste (zelfs in het IT-vakgebied) hebben geen idee wat een algoritme is.
Er is gewoon een applicatie gebruikt om de WOZ-waarde "te berekenen". Geen enkele applicatie behoeft een blackbox te zijn. Geef me de code, en met reversed engineering kom ik er uiteindelijk wel achter hoe e.e.a. werkt. Dat de gemeente dit niet kan is helemaal niet relevant. De applicatiebouwer kan het echt wel.
Voor zover ik weet wordt de WOZ-waarde in Nederland zodanig bepaalt, dat er steekproeven en data uit het kadaster gebruikt wordt om de de waarde van alle woningen te schatten. En natuurlijk zitten daar fouten in. Als in mijn straat de laatste 5 jaar het type huis waar ik in woon nooit meer is verkocht of er een taxatie is geweest, dan is het lastig om de exacte prijs te bepalen. Naast de gebruikelijke waardevermeerderingen en verminderingen die te wijten zijn aan incidentele woningverbeteringen en schades. De softwarebouwer zal vermoedelijk gebruik maken van deze bronnen en daar middels een schatting een waarde uit destilleren.
Wat ik triest vind is dat een rechter een oordeel velt door te stellen dat het niet relevant is hoe de gemeente tot het besluit is gekomen. Stel dat de gemeente geen gebruik had gemaakt van geautomatiseerde hulpmiddelen, had de rechter dan tot eenzelfde besluit gekomen. Het moet voor inwoners wel transparant zijn op basis van welke gegevens en de wijze waarop het besluit tot stand is gekomen. Daar waar in het besluitvorming subjectieve beoordelingscriteria worden gebruikt moeten die expliciet worden gemaakt. De wetgever zou de jurisprudentie die vermoedelijk steeds meer gaat komen, gebruiken om hier zo duidelijk mogelijk in te zijn.
Ik kan me wel voorstellen dat een jurist van BDO zegt dat het niet zo'n vaart loopt, de kans is groot dat in de toekomst een algoritme van zijn werkgever BDO ter discussie gesteld wordt en dan ligt er toch maar mooi jurisprudentie die gebruikt kan worden om de zakelijke belangen van BDO te beschermen.
Het wordt dus echt tijd dat we toe gaan naar open source en software freedom, bedrijven die zelf programmatuur schrijven voor derden hebben er namelijk veel te veel belang bij dat hun software een bedrijfsgeheim mag zijn, want daar zit hun verdien model in.
Maar bij software die juridische gevolgen heeft in de openbare sector, is transparantie veel belangrijker dan bedrijfsgeheim. De software is tenslotte ook betaald met gemeenschapsgeld, en dient het leven van de burger te verbeteren, niet de grondbeginselen en grondrechten van burgers te schenden, zonder dat de burger de mogelijkheid heeft om zichzelf te beschermen. Je zou ook kunnen zeggen, het moet geen toeslagen affaire worden waarbij alle betrokken mensen kunnen zeggen: ik wist het niet, het algoritme besliste daarover.
Sjoerd goed artikel.!
Je moet de volgende keer wel aangeven welk Gerechtshof het betreft, want je hebt 5 Gerechtshoven in Nederland.