Management
Eed van Hippocrates ook voor IT’ers?
'Waar we van artsen een bepaalde gedragscode verwachten, bestaat dat voor een IT’er niet.'
‘Computersysteem vervangt huisarts bij ggz-verwijzing’ of ‘computers kunnen net zo goed ziekten herkennen als artsen - of beter’. Dit zijn slechts een aantal voorbeelden van wat krantenartikelen. Er wordt gesproken over technologieën zoals artificial intelligence, machine learning en algoritmes alsof het de normaalste zaak van de wereld is. Maar achter deze technologieën zitten techneuten die - in tegenstelling tot artsen - geen ‘Eed van Hippocrates’ hebben afgelegd. Worden we daar echt beter van?
Een van de belangrijkste onderdelen van deze eed is de zin ‘Ik zal aan de patiënt geen schade doen’. Moet dat dan niet ook gelden voor technologie? Iedereen weet dat technologie niet kwaadaardig zou moeten zijn. Het probleem is alleen dat maar weinig mensen weten hoe ze moeten voorkomen dat technologie toch wel kwaad doet.
Stel je voor dat een developer een spellingscontrole algoritme zou ontwikkelen en dit in de zorg zou worden ingezet. Opeens corrigeert het algoritme automatisch de namen van medicijnen, waardoor sommige patiënten de verkeerde medicatie meekrijgen. Ligt de verantwoordelijkheid dan bij de makers, bij de gebruikers of bij de technologie zelf?
Dat het gebruik van technologie in de zorg mensen al schade toebrengt geeft de studie ‘Racial bias in health algorithms’ uit 2019 aan. Daaruit bleek dat er raciale vooroordelen te vinden waren in veel gebruikte algoritmes in de zorg. Mensen van kleur bleken minder snel doorverwezen te worden dan even zieke witte mensen. Ze moesten dus zieker zijn om dezelfde zorg te ontvangen. Volgens de onderzoekers kreeg 17,7% van de patiënten van kleur de zorg die ze nodig hadden. Zou het algoritme onbevooroordeeld zijn dan zou dat aandeel eerder richting de 46,5% gaan. Een bizar verschil met verstrekkende gevolgen.
Het gaat hierbij niet om een specifiek algoritme. Het gaat om het gehele systeem waarin we bepaalde problemen met algoritmes proberen op te lossen. Het achteraf fixen van biases in algoritmes is lastig. Het zou juist voorkomen moeten worden.
Momenteel gebruiken we technologie voornamelijk om artsen te helpen bij hun besluitvorming. Dat bespaart namelijk kosten. De artsen worden dus zelf nog niet vervangen, maar de rol van technologie binnen de zorg wordt wel groter. Wat zou een arts doen als de eigen diagnose niet overeenkomt met het advies van een algoritme? Waar vertrouw je dan op?
Iedereen kan zich IT’er noemen. Het is een vrij beroep. Maar dat houdt ook in dat ook iedereen technologieën kan ontwikkelen voor de zorgsector. Waar we van artsen een bepaalde gedragscode verwachten, bestaat dat voor een IT’er niet. Met alle mogelijke gevolgen van dien.
Dit artikel is ook gepubliceerd in het magazine van AG Connect (oktober 2022). Wil je alle artikelen uit dit nummer lezen, zie dan de inhoudsopgave.
heeft meer dan 10 jaar ervaring in de e-commerce. Voorheen begeleidde ze development trajecten voor webshops met miljoenen euro's omzet. Nu is ze adviseur, spreker en geeft ze masterclasses over social tech & e-commerce. Daarnaast schreef ze het boek De IT girl, over het gebrek aan vrouwen in de Nederlandse techindustrie.
Hi Chantal, die gedragscode is er, al jaren. Via de VRI (https://www.vri.nl). Alleen er zijn drempels. Als je de RI titel wil voeren, moet je de gedragsregels niet alleen onderschrijven, maar ook aan permanente educatie doen en regelmatig intervisie uitvoeren, en zo nog wat inspanningen. En zolang het aanbod zoveel kleiner is dan de vraag zijn er niet veel opdrachtgevers die dit vragen …
We hebben we in de zorg al uitgebreide regulering, zoals de MDR. Voor software in de pharmaceutische hoek hebben we de richtlijnen van de EMA, waarbij het V-model belangrijk is om te waarborgen dat wat je bouwt ook overeen komt met de specificaties. Die kunnen fout zijn, maar dat is de verantwoordelijkheid van de opsteller. En bij grove fouten staan daar stevige sancties op, waarvan de minste ontslag op staande voet.
Het probleem rond algoritmes die vervelend doen is niet een IT-probleem maar een te groot vertrouwen in technologie bij de afnemer. Dat los je niet op met een eed voor IT-ers. Eerder met training voor afnemers.
Tot een aantal jaren geleden was er de VRI (vereniging register informatici), die een register bijhielden met mensen die een gedragscode ondertekenden en zich verplichten tot permanente educatie.
Tot een aantal jaren geleden was er de VRI (vereniging register informatici), die een register bijhielden met mensen die een gedragscode ondertekenden en zich verplichten tot permanente educatie.
Ik heb het wat gehad met dergelijke artikels. Waar gaat dit eigenlijk over? De racial bias wordt er bijgehaald en ineens heb je developers die medicijnen aanpassen. En als je niet goed leest, lijkt het alsof het echt gebeurd is. Misbruik van technologie is zou oud als de straat (het wapenprobleem in de VS bvb?), dit is stemmingmakerij.
Laten we eerst maar eens de gender bias bij dokters aanpassen want blijkbaar sterven er meer vrouwen omdat de huisarts de symptomen verkeerd leest. En dan hebben we ook nog verpleegkundigen die gewoon het verkeerde pilletje geven wegens te veel werkdruk. Oeps, foutje.
Dus om met jouw woorden af te sluiten: worden we hier echt beter van?