Management
Agile ontwikkeling auditen? Data-analyse helpt!
De benodigde data zijn er vaak al
De benodigde data zijn er vaak al
Bij agile systeemontwikkeling is risicomanagement lastig door de informele werkwijze en korte ontwikkelcycli. IT-management en risicomanagers hebben daardoor minder grip op bijvoorbeeld het opleveren van ongewenste softwarefunctionaliteit en achterstallig systeemonderhoud. Data-analyse kan volgens Hans Koster helpen om de risico’s beter te beoordelen en tegelijkertijd systeemontwikkelaars te ontlasten. IT-management kan het gebruik van data-analyse faciliteren door data te gebruiken die toch al aanwezig is in het systeemontwikkeltraject.
Risicomanagement en auditactiviteiten zijn lastig bij agile systeemontwikkeling, omdat uitgebreide ontwerpdocumenten vaak ontbreken. Daarnaast werkt agile met korte sprints. Daardoor is er weinig tijd om opgeleverde software en documentatie te beoordelen. Tenslotte kunnen software-ontwikkelteams zelfstandig bepalen of nieuwe software live kan, zonder traditionele acceptatiemomenten waarbij alle betrokken partijen hun oordeel over in productie name van nieuwe software uitspreken. Dit alles geeft risicomanagers weinig houvast om risico’s te identificeren.
Risicomanagers kunnen wel profiteren van het feit dat de softwareontwikkelorganisatie veel data en data-analysehulpmiddelen gebruikt. Onder meer voor het plannen van teams, testen van nieuwe software, meten van softwarekwaliteit en leveringstijd (time-to-market). Door de beschikbare data te analyseren kunnen risicomanagers met weinig inspanning en kosten de systeemontwikkeling beoordelen. Mogelijke databronnen die gebruikt kunnen worden zijn bijvoorbeeld Jira, Microsoft Dynamics, Azure, DevOps en Github.
Voordelen van het gebruik van data-analyse voor risicomanagement voor systeemontwikkeling zijn dat:
- het werk van systeemontwikkelaars minder verstoord wordt met interviews, vragen om documentatie en het bespreken van bevindingen. Dit verbetert de ‘developer experience’;
- data-analyse een risicoprofiel kan geven van de hele systeemontwikkelorganisatie, die kan bestaan uit honderden ontwikkelteams.
Er is nog geen standaardmethode voor data-analyse gericht op audit en risicomanagement. IT- en de risicomanagementafdelingen moeten daarom met elkaar aan de slag om methodes voor data-analyse te bedenken.
Tips om data-analyse te verbeteren
Wat kan de IT-afdeling doen om risicomanagement te verbeteren met data-analyse?
- Neem het initiatief om als IT-afdeling samen te werken met risicomanagement en auditafdelingen. Maak data dashboards beschikbaar en transparant voor alle betrokkenen. Ga het gesprek aan met de risicomanager en auditor over wat zij nodig hebben. Start een werkgroep met IT- en risicoafdelingen die op data-analyse gebaseerde controle gaat invullen. Dit kost tijd en inspanning, maar eenmaal opgezette data-analysemodellen zijn - mits onderhouden - herbruikbaar.
- Richt data-analyse op senior (IT-)managementbehoeften: wat houdt hen bezig? Er is maar beperkte tijd en capaciteit voor data-analyse. Voorkom dat deze wordt ingezet op operationele activiteiten waar maar beperkt winst te halen is. Beter is het om te richten op strategische activiteiten en doelstellingen.
- Voor IT-managers is het belangrijk om voortdurend te blijven vragen om doelen en tijdlijnen. Zonder aandacht van het management bloeden zelfs de beste experimentele initiatieven dood ten koste van meer urgente prioriteiten. Aandacht van het management is essentieel om het ‘data-analysevuurtje warm te houden’. Bespreek regelmatig de prioriteiten en stel vast of doelen gehaald worden.
Zo help je de risicomanagement en auditafdelingen hun normstelling duidelijk en op de praktijk gericht te maken. IT-afdelingen kunnen transparant maken welke data beschikbaar zijn. In dialoog tussen de IT- en de risicomanagementafdelingen ontstaat een op data-analyse gebaseerd risk-control-raamwerk. Dit kan gebruikt worden om audits, risico en financiële analyses beter op zwakke punten te richten en ‘overlast’ voor de IT-afdeling te beperken. Besef dat reguliere audits en risicomonitoring hiermee niet verdwijnen, maar wel kunnen verminderen.
Omdat standaarden voor data-analyse gericht op agile systeemontwikkeling ontbreken, bij deze drie praktijkcases gericht op productiviteit, strategie en risicomanagement:
Productiviteit
Stel, een risicomanager of auditor wil zich een mening vormen over de productiviteit van systeemontwikkelteams. Dit kan met een langdurige audit gericht op de beoordeling van processen en de organisatie voor productiviteitsmeting. Maar je kunt ook met hen bespreken hoe ze data gerelateerd aan systeemontwikkeling kunnen gebruiken. Als IT Jira als workflowmanagementtool gebruikt, maak dan data over de opgeleverde hoeveelheden software per team beschikbaar. Je kunt de resultaten uit Jira aanvullen met data over bedrijfs-KPI’s en testresultaten. Je kunt zelfs text mining uitvoeren op notulen van voortgangsoverleggen. Bij cliëntgerichte applicaties kun je feedback van gebruikers (de ‘vijf sterren’) analyseren om gebruiksvriendelijkheid of beschikbaarheid van systemen te beoordelen. De uitkomsten geven antwoord op de vragen of ontwikkelteams voldoende relevante en goed functionerende nieuwe software maken en waar extra aandacht nodig is. In figuur 2 vind je een overzicht van mogelijke databronnen. Na een analyse van de IT-portfolio kunnen gerichter vervolgonderzoeken worden opgestart gericht op specifieke teams of geïdentificeerde problemen.
Strategie
Stel dat de strategie van jouw bedrijf is om de IT-organisatie eenvoudiger te maken. Risicomanagementafdelingen kunnen dan plannen van aanpak en architectuurdocumenten gaan lezen voor hun oordeelsvorming en mogelijke aanbevelingen. Overweeg om met gebruik van data-analyse te kijken of het aantal producten, applicaties, operating systems, databases, etc. daadwerkelijk afneemt. Bespreek met de risicomanagers of auditors wat ze willen meten en maak de gewenste gegevens beschikbaar. De auditor en de IT-organisatie kunnen in gesprek gaan over de observaties, zoals: ‘Waarom neemt component x wel af maar component y niet?’ De vereenvoudigingsstrategie wordt zo ‘auditable’ en kan nu worden besproken met data die ‘live’ de werkelijke situatie van het bedrijf weergeven.
Risicomanagement
Een board (RvB, RvC, IT Committee, MT IT) ontvangt veel informatie om de bedrijfsdoelstellingen en risico’s te managen, ook gerelateerd aan het systeemontwikkelproces. Je kunt de auditors en risicopartijen uitdagen om ‘de juiste seniormanagementvragen’ te stellen. Daarmee kunnen data-analyses starten en de vragen op boardniveau worden beantwoord. Leg de volgende vragen maar eens bij de auditor en andere risicopartijen op tafel:
(1) Welke actuele vraag over systeemontwikkeling in onze organisatie is relevant voor de board?
(2) Is hier al informatie over? Welke data is beschikbaar om de vraag te beantwoorden?
(3) Hoe kunnen we met het antwoord vlot impact hebben?
Het vraagt niet meer dan een ‘ik vind dit belangrijk’-houding om dit op te starten. Afhankelijk van de situatie zijn veel antwoorden mogelijk. Hier zijn twee voorbeelden:
- Wat zijn de belangrijkste risico’s die onze agile softwaredevelopmentteams identificeren? (Gebruik vervolgens bijvoorbeeld data uit de risk logs van de devops-teams om antwoorden te vinden)
- Welke HR- en cultuuraspecten hebben impact op de effectiviteit en risicobeheersing van agile developmentteams? (Combineer data uit de incidentendatabases met data over teambezetting, opleiding en productiviteit van teams om lowperformanceteams te identificeren)
Vragen en antwoorden kunnen met de board besproken worden en zo tot nieuwe inzichten bij senior management leiden.
Tot slot
Er zijn diverse modellen om vast te stellen hoe jouw IT-organisatie ervoor staat met data-analyse en hoe je op een hoger niveau kunt komen. In figuur 1 is het Deltamodel van Davenport (2020) gebruikt. Voor een aantal corporate bedrijven is vastgesteld waar ze staan (rood) en waar ze zouden willen staan (groen). Hiermee kunnen vervolgactiviteiten worden geïdentificeerd. Het gaat te ver om dit hier verder uit te werken. Aarzel niet om de auteur te benaderen als je hierover in gesprek wilt.
Dit artikel is ook gepubliceerd in het magazine van AG Connect (nummer 2 - 2023). Wil je alle artikelen uit dit nummer lezen, bekijk dan de inhoudsopgave.
is bij Group Audit van ABN Amro verantwoordelijk voor de audit van IT met focus op development en beheer, de key-applicaties, IT governance en strategische IT-programma’s. Daarnaast is hij voorzitter van de Kennisgroep Betalingsverkeer bij NOREA, de beroepsvereniging voor IT auditors, en voorzitter van de adviesraad voor de IT Audit-opleiding van TIAS - Tilburg University.