Beheer

Datamanagement
archief

Archiving by design helpt bij duurzame opslag algoritmen

Handreiking voor transparantere opslag van algoritmen

© CC0 - Pixabay.com Pexels
10 september 2020

Handreiking voor transparantere opslag van algoritmen

Gemeenten moeten verantwoording afleggen over hun handelen om tot een transparantere overheid te komen. En dat betekent met het toenemend gebruik van algoritmen dat ook die duurzaam toegankelijk moeten zijn. De archivering daarvan is echter niet eenvoudig. Archiving by design is hiervoor een mogelijke oplossing, verwacht Migiza Victoriashoop. Een handreiking hiervoor kan informatiebeheerders en archiefprofessionals een flink eind op weg helpen.

Steeds meer gemeenten zetten in op datagestuurd werken om aan betere en efficiëntere dienstverlening te doen. Hierbij worden algoritmen gebruikt om processen (deels) te automatiseren. Wettelijk gezien zijn gemeenten verplicht verantwoording af te leggen over hun handelen en op die manier bij te dragen aan een transparantere overheid. Een verplichting die al voldoende uitdagend was vanwege de digitalisering, is met de komst van complexe informatieobjecten als algoritmen in een stroomversnelling geraakt. De praktijk laat namelijk zien dat de werking en het gebruik van algoritmen voornamelijk verborgen zitten in systemen. Voor gemeenten en andere overheden is het lastig om op een begrijpelijke manier uit te leggen wat er in de ‘black box’ dat het algoritme is, gebeurt. Het gevolg is een toename aan maatschappelijke vragen en zorgen over het gebruik van algoritmen, die gepaard gaan met een roep om deze inzichtelijker te maken; nu, maar ook in de toekomst.

Intensievere samenwerking

Het faciliteren van het inzichtelijk maken van informatieobjecten is iets waar informatiebeheerders en archiefspecialisten zich op richten. In de informatieketen zorgen de beheerders ervoor dat informatie en data binnen de gemeentelijke organisatie toegankelijk zijn, maar ook waar nodig en toegestaan toegankelijk voor burgers. Dat betekent dat data vindbaar, beschikbaar, leesbaar, interpreteerbaar en betrouwbaar moeten zijn.

De archiefspecialisten richten zich op het ‘organiseren’ van het duurzaam toegankelijk maken van informatieobjecten die voor blijvende bewaring in aanmerking komen. De archiefinstelling neemt als het ware op een bepaald moment in de informatieketen de beheertaken over van de gemeente. Binnen deze context wordt met 'duurzaam' bedoeld dat de toegankelijkheid bestand is tegen veranderingen. Denk bijvoorbeeld aan het gebruik van open bestandsformaten, zodat de noodzaak voor conversies beperkt blijft. De toegankelijkheid van informatie speelt voor archiefinstellingen een nog belangrijkere rol, omdat zij openbare informatie beschikbaar stellen. Dat de burger met deze informatieobjecten uit de voeten kan, is cruciaal. Door de toename in het gebruik van complexere informatieobjecten zoals algoritmen, is een intensievere samenwerking tussen informatiebeheerders en archiefspecialisten nodig om de toegankelijkheid te borgen.

In het tijdperk van de documentaire informatie kwam die samenwerking er vaak op neer dat bij de overbrenging – het moment waarop het beheer van de informatieobjecten in de keten overgaat van de gemeente naar de archiefstelling – gekeken werd naar de staat van de bestanden. Vaak werd dan besloten dat herstelwerkzaamheden nodig waren om overbrenging naar het systeem van de archiefinstelling mogelijk te maken. Een tijdrovende en kostbare exercitie.

Toegenomen complexiteit

Door technologische ontwikkelingen is de complexiteit van informatieobjecten toegenomen. Waar de nadruk in eerste instantie lag op het duurzaam toegankelijk maken van relatief eenvoudige Worddocumenten, powerpoints en spreadsheets, zijn daar datasets, videotulen en algoritmen bij gekomen. De complexiteit bij dit type informatieobjecten zit vooral in het feit dat ze uit meerdere onderdelen bestaan. Bij het archiveren is het streven de context, structuur en inhoud van een informatieobject te behouden. Bij complexe toepassingen als algoritmen binnen processen is de invulling van de drie aspecten niet eenduidig. Kun je archivering borgen met vastgelegde documentatie en trainingsdata, of moeten de output van het algoritme en daaruit voortkomende producten als rapportages ook worden meegenomen?

Om duurzame toegankelijkheid goed mogelijk te maken, moet je vooraf stilstaan bij dergelijke vragen. Om de vragen en praktijkervaringen rondom het gebruik van algoritmen te bundelen en te structureren, is vanuit het platform Informatiehuishouding Overheden, onderdeel van het Kennisplatform Informatie en Archief (KIA), een werkgroep opgericht. De werkgroep heeft gewerkt aan een handreiking om algoritmen duurzaam toegankelijk te maken. De handreiking is ingestoken vanuit de archiving-by-design-gedachte. Uitgangspunt hiervan is dat er bij het ontwerp en de inrichting van systemen al gekeken moet worden naar de maatregelen die nodig zijn om aan archiveringseisen te voldoen. Door dit toe te passen op algoritmen, wordt in een vroeg stadium al voorgesorteerd op de uiteindelijke taak om duurzame toegankelijkheid te borgen.

Dicht bij de praktijk

Naast duurzame toegankelijkheid speelt adequate verantwoording over de totstandkoming van beslissingen waarbij algoritmen zijn gebruikt, een belangrijke rol. Bij het ontwikkelen van de handreiking was het doel om voor beide aspecten de te nemen maatregelen in kaart te brengen. De eerste stap hierbij was het formuleren en uitwerken van principes. Denk bijvoorbeeld aan het kunnen borgen van inzicht in de kwaliteit van data, of het aan de selectielijst kunnen koppelen van beslissingen om data te bewaren of te vernietigen (het basisdocument voor het bewaren en vernietigen van archiefbescheiden). Bij het formuleren heeft de werkgroep er bewust voor gekozen om principes te hanteren die dicht bij de praktijk staan. In het verleden zijn voldoende pogingen gedaan waarbij de relatie met de praktijk onvoldoende was.

Als vervolgstap is gekeken naar de mogelijke impact die het gebruik van een algoritme kan hebben. Die impact heeft namelijk gevolgen voor de archivering. Wordt een algoritme bijvoorbeeld ter ondersteuning van fraudebestrijding ingezet, dan kunnen beslissingen die daaruit voortkomen grote gevolgen hebben voor individuen. In dergelijke gevallen moeten overheden, volgens de Algemene wet bestuursrecht, individuele beslissingen kunnen herleiden. Om dit mogelijk te maken, is het essentieel om bij het ontwerpen van het algoritme de benodigde maatregelen te treffen. Zo moeten data beschikbaar en vindbaar zijn. Hierdoor kunnen de genomen beslissingen in het proces dat ondersteund wordt door een algoritme gereconstrueerd worden en kan een betreffend overheidsorgaan adequate verantwoording afleggen.

Om informatie- en archiefprofessionals op weg te helpen bij het in kaart brengen van de mogelijke gevolgen van het gebruiken van algoritmen, zijn vier impactprofielen beschreven: persoonlijk, maatschappelijk, bedrijfsmatig en cultuurhistorisch. Per profiel zijn het belang van archiveren en de belangrijkste kenmerken beschreven. Denk hierbij aan het belang van verantwoording over ethische afwegingen en de mogelijke impact op groepen in de samenleving.

Al deze aspecten zijn opgetekend in een handreiking. Hierin zijn de principes, aandachtspunten en profielen uitgewerkt. Afgelopen zomer is de eerste volledige versie van de handreiking online gepubliceerd.

De handreiking

Om de archiving-by-design-gedachte succesvol toe te passen, is het van belang dat informatiebeheerders en archiefprofessionals hun eisen goed voor het voetlicht kunnen brengen. Zo moeten ze bij het ontwerp van het algoritme kunnen aangeven of ze een escrow willen bij het leveren van de service door leveranciers. Daarnaast moeten ze ook de juiste vragen kunnen stellen om na te gaan of duurzame toegankelijkheid voldoende geborgd is. Denk hierbij aan het vindbaar kunnen maken van outputdata via een specialistische applicatie die gekoppeld is aan een zoekmachine. Een dergelijke vertaling van eisen en vragen is niet eenvoudig. De handreiking bestaat uit een overzichtsplaat, vragenlijst en bijsluiter. Gezamenlijk dienen ze als handvat voor de informatiebeheerder en archiefprofessional.

De overzichtsplaat schetst op hoofdlijnen het proces vanaf het ontstaan tot de archivering van het algoritme. Dit proces is opgedeeld in drie fases: analyse, ontwerp en beheer/archivering (hierna archivering). Per fase staan vragen geformuleerd die helpen bij het nemen van maatregelen die de duurzame toegankelijkheid van het algoritme bevorderen. Zo ligt in de analysefase de nadruk op het helder krijgen van de processen die ondersteund worden door het algoritme en de mogelijk impact van het gebruik.

In de ontwerpfase ligt de nadruk op de verschillende componenten van het algoritme. In deze handreiking valt een algoritme uiteen in documentatie, trainingsdata, outputdata en logica (het model). Deze componenten kunnen bewaard en vastgesteld worden. Daarbij is het essentieel in kaart te brengen wie de gebruikers zijn van de data die uit de componenten voortkomen, en via welke systemen/applicaties dat gebeurt. Wie zijn de primaire en secundaire gebruikers van de data? In welke vorm zijn de data beschikbaar? Worden de data realtime via een API of periodiek via dumps aangeleverd?

Voor de archiveringsfase wordt naar belangrijke beheerprocessen (overbrenging, vernietiging, beschikbaarstelling et cetera) gekeken. Per beheerproces staan vragen geformuleerd die de informatiebeheerder en archiefspecialist de benodigde maatregelen helpen bepalen. Denk hierbij aan het openbaarheidsregime dat van toepassing is. Maar ook aan in welke vorm het algoritme wordt overgebracht. Als collectie na een bepaald jaar? Is het gewenst dat trainingsdata worden aangeleverd? Hierover moeten de betreffende informatiebeheerders en archiefprofessionals afspraken maken.

Tot slot zijn er de vragenlijst en de bijsluiter. In de vragenlijst komen alle vragen gestructureerd per processtap en fase bij elkaar. Zo kunnen vanuit een overzicht de vragen worden doorlopen. In de bijsluiter wordt nadere toelichting geboden op de overzichtsplaat en de vragenlijst. Dit gebeurt aan de hand van praktijkvoorbeelden en beschreven overwegingen. Zo wordt bij de behandeling van de logica in de ontwerpfase stilgestaan bij de auteur van de broncode. Deze kan open source, shared source, privaat of zelfontwikkeld zijn. Vaak heeft de organisatie die het algoritme gebruikt zelf geen toegang tot de broncode. Vanuit die praktijk wordt beschreven hoe de organisatie een escrowcontract kan inzetten als een externe partij stopt met het leveren van de service.

Hoe nu verder?

Momenteel wordt de handreiking gereviseerd. Het streven is om dit najaar de handreiking als geheel online beschikbaar te stellen. De insteek van de werkgroep is de handreiking actueel en relevant te houden. Zo wordt er na de oplevering gemonitord op feedback en worden waar nodig aanpassingen doorgevoerd.

Magazine AG Connect

Dit artikel is ook gepubliceerd in het magazine van AG Connect (oktobernummer, 2020). Wil je alle artikelen uit dit nummer lezen, klik dan hier voor de inhoudsopgave.

Lees meer over Beheer OP AG Intelligence
Reactie toevoegen
De inhoud van dit veld is privé en zal niet openbaar worden gemaakt.