Schattingskwaliteit ICT-projecten van Rijksoverheid moet omhoog

27 mei 2011

De Rijksoverheid heeft naar aanleiding van de onrust over gigantische kostenoverschrijdingen bij vele ICT-projecten een jaarrapportage ingesteld met daarin gegevens over het verloop van de risicovolle en grote ICT-projecten bij de overheid. De meest recente rapportage, die op 17 mei 2011 is gepubliceerd, beschrijft ruim veertig risicovolle en grote IT-projecten. De totale kosten bedragen ongeveer 2 miljard euro. Dat is veel te veel geld voor zo weinig projecten.

Als je met zoveel geld werkt, kun je je niet veroorloven om er al te ver naast te zitten met je inschattingen van kosten en doorlooptijden. Besluiten zouden immers makkelijk anders kunnen uitpakken, als vooraf bekend was dat erg optimistisch begroot is, of dat de kans op budgetoverschrijding groot is. Maar wat is te ver? Die vraag leidt tot de meer algemene vraag wat de kwaliteit is van de schattingen van de overheid, en hoe zich die verhoudt tot hoe andere organisaties daarbij presteren.

Ook de vraag of er sprake is van een systematische afwijking bij de schattingen is relevant. Er wordt immers wel beweerd dat bij het begroten om politieke redenen de kosten sterk worden getemperd om de besluitvorming te beïnvloeden. Er mag er geen politiek luchtje aan de schattingen zitten, zoals de knoflooklucht van de salamitaktiek. Het is tenslotte belastinggeld.

Uit de rapportage van 17 mei valt het verschil tussen initiële schatting en de laatste update ervan te berekenen. Opgeteld bedragen de overschrijdingen ruim 600 miljoen euro. Maar dat een project duurder is geworden dan verwacht, of langer duurt dan gedacht, is op zich onvoldoende als indicatie van de schattingskwaliteit. Een voorbeeld. Stel je schat de kosten van de Betuwelijn op 800 miljoen euro. Uiteindelijk kost dat ding zo’n 4 miljard. Toch kan de eerste schatting best accuraat geweest zijn, want het uiteindelijke tracé is veel complexer geworden dan oorspronkelijk gepland. Omdat er meer is gedaan - zoals tunnels graven, omleggingen aanleggen en dergelijke - zijn er ook hogere kosten gemaakt. Maar die hogere kosten kunnen op zich heel goedkoop zijn voor hetgeen geleverd is.

Lastig concept
Het concept schattingskwaliteit zit dus lastiger in elkaar dan je zo zou denken. De vraag is dan ook hoe je gegeven het feit dat eisen en wensen onderweg veranderen, er dingen mis kunnen gaan, en de omvang van projecten of onderdelen daarvan aan het begin soms gewoon moeilijk te schatten is, toch een scherp beeld kunt krijgen van de schattingskwaliteit. Zowel in termen van hoe goed je de feitelijke waardes kunt voorspellen als wat de systematische afwijking is.

Verhoef-03

Een goede maat om dat te meten is Estimation Quality Factor. De EQF bereken je uit de afwijking van alle schattingen die voor een project gemaakt zijn ten opzichte van de feitelijke waarde (of de laatste herijking). De EQF meet in principe de omvang van de misschatting(en) vermenigvuldigd met de tijd dat je in de waan verkeerde dat je schatting juist was. Door deze wijze van meten verdisconteer je voortschrijdend inzicht en veranderingen in het programma van eisen in de loop van het project. Dat geeft een realistischer beeld van de schattingskwaliteit.

Van slechte kwaliteit
De verhoudingsgetallen voor de projecten waar de Algemene Rekenkamer over gerapporteerd heeft leren, dat de kwaliteit van de initiële schattingen van de overheid slecht is. Er gaapt veelal een behoorlijk gat tussen initiële schatting en actuele waarde. Dat is niet zo gek, want via deze methode onderzoek je de afwijking van meestal de slechtste schatting. Dat moet je niet verwarren met schattingskwaliteit.

Een tweede constatering is, dat van de meeste projecten het quotiënt van initiële waarde en actuele waarde beneden de 1 ligt. De mediaan van initiele schattingen is 0,83. De overheid schat bij de aanvang van IT-projecten de kosten dus systematisch te laag in. Eén project – dat nu geschat wordt op 21,6 miljoen euro - heeft zelfs een ratio van minder dan een vijfhonderdste. Als je althans de laagste schatting neemt. De initiële schatting was 1 tot 17 miljoen – geen schoolvoorbeeld van een schatting waarop verantwoord een beslissing te nemen valt.

Ook bij aanpassingen van de schattingen tijdens het project blijkt de overheid te optimistisch, blijkt uit de rapportage. De verhouding tussen laatste schatting of feitelijke waarde en de schatting bij zogeheten herijkingen tijdens projecten ligt vaker onder dan boven de 1; de mediaan is 0,96. Dus ook bij bijstellingen wordt systematisch onderschat.

Het vierde dat we leren van deze exercitie is dat de schattingen naarmate het project het einde nadert, convergeren naar de feitelijke waarde. Je zou denken: natuurlijk doen ze dat! Maar dat hoeft helemaal niet zo te zijn, weten we uit grootschalig onderzoek aan schattingskwaliteit. Dat betekent dat de zekerheden die je kunt ontlenen aan de schattingen toeneemt naarmate het project vordert. Een addertje onder het gras: als het om de laatste update gaat dan vergelijken we niet met de feitelijke waarde maar een latere schatting daarvan, dus het is dan niet zeker of je zult convergeren. Het lijkt er hier in ieder geval wel op.

Een vijfde gegeven dat opvalt is, dat herschattingen op zijn vroegst op 20 procent van de projectduur uitgevoerd worden, en meestal veel later. Omdat we zien dat er systematisch onderschat wordt, is het aan te bevelen om juist aan het begin van deze trajecten vaker te herijken. In een vroeg stadium kun je besluiten gemakkelijker heroverwegen als je ziet dat het de verkeerde kant op gaat.

Nog wel binnen de grenzen
De mediane EQF voor IT-projecten bij de overheid is 5,28. Dat wil zeggen dat de overheid er bij 50 procent van de projecten er bij de kostenschattingen maximaal 18,9 procent naast zit. Omdat we tevens weten dat er systematisch onderschat wordt, is er dus sprake van een kleine 20 procent onderschatting bij 50 procent van de projecten, dus niet soms teveel en soms te weinig.

Een slecht begroot project heeft een initiële kostenschatting van 1 tot 17 miljoen. Dit soort projecten hebben een verstorend effect op de berekening van deze maat, maar het effect blijft beperkt. Er is ook een project met een bijzonder hoge EQF van boven de honderd. Daarvan moet je eigenlijk ook vaststellen of het niet toevallig een fixed price project was, of dat er op het budget geschreven is tot het geld op was. En dan moet je wederom corrigeren voor die uitschieter. Als we alles onder een EQF van 1 (afwijking van 100 procent) en boven de 40 (afwijking is 2,5 procent) er uit laten, komen we op een mediane EQF van 4,9. Grof gezegd kan dus gesteld worden dat de Rijksoverheid er in 50 procent van de gevallen er maximaal zo’n 20 procent naast zit. Omdat de overheid consequent te laag begroot, betekent dit dat men er dus steeds zo’n 20 procent onder zit.

Overigens waren niet van elk project voldoende gegevens bekend om de EQF te berekenen. Of omdat de gegevens ontbraken, of omdat herijkingen waarschijnlijk herhalingen van de initiële schatting waren. Voor de 32 projecten waar we het wel van konden berekenen zijn de kosten zo’n 2 miljard.

Uitgebreid onderzoek heeft uitgewezen dat in de IT-sector een mediane EQF van vier goed haalbaar is. Dan zit je er dus in 50 procent van de gevallen maximaal 25 procent naast. We weten ook dat mediane EQF’s in de orde van 10 haalbaar zijn. Die treffen we aan in het bedrijfsleven. In dat geval is er in 50 procent van de gevallen sprake van een maximale afwijking van zo’n 10 procent. Bovendien treffen we bij dit soort hoge EQF’s geen systematische afwijkingen aan: men zit er even vaak boven als onder.

Dat leidt tot de conclusie dat de schattingskwaliteit bij de overheid omhoog moet. Weliswaar valt een EQF van 5,28 binnen de minimale norm van wat ook buiten de overheid in IT-projecten gerealiseerd kan worden. Maar de overheid heeft sterk de neiging om de projectomvang te onderschatten. Als je er bij projecten ter waarde van zo’n 2 miljard euro in de helft van de gevallen bijna 20 procent onder zit, hebben we het over massieve overschrijdingen van de initiële schattingen. Het staat buiten kijf dat je dit soort verassingen niet wilt, wat de oorzaak ook moge zijn.

Het is dan ook zaak om dit soort projecten tegen het licht te houden en te begrijpen hoe dat heeft kunnen gebeuren. Met die kennis kun je in de toekomst fouten vermijden. Maatregelen die in dit verband nodig zijn, zijn: meer en betrouwbaardere gegevens verzamelen, oorzaken van afwijkingen onderzoeken en daarop acteren, voldoende vaak herijken en eerder genomen beslissingen dan ook heroverwegen in het licht van de nieuwe cijfers. En vooral: de kwaliteit van de schattingen blijven meten en publiceren.

Estimation Quality Factor

De Estimation Quality Factor geeft een preciezer beeld van de kwaliteit van de schatting, doordat in deze maat het effect van aanpassingen in het programma van eisen, niet te voorziene tegenvallers worden verdisconteerd. Daarbij wordt bekeken, hoe groot de afwijking tussen oorspronkelijke schatting en de actuele waarde is. Om de EQF te berekenen wordt voor iedere schatting die van de projectomvang is gemaakt berekend, wat het quotiënt is van die schatting en de actuele waarde. Dat quotiënt wordt vermenigvuldigd met het quotiënt van de periode dat men de schatting voor accuraat hield, en de totale projectduur. Een onderschatting met de helft gedurende 20 procent van de looptijd van het project resulteert dan in een score van 0,1, een overschatting met 40 procent gedurende 20 procetn van de tijd in een score van 0,08. De EQF is dan 1 gedeeld door de som van de zo berekende scores. In het ideale geval, waarin de omvang bij het begin exact is geschat, wordt de EQF oneindig. In de IT-praktijk is momenteel een waarde van 10 ‘best of class’. En bij hogere waardes kan het ook een fixed priceproject zijn, dus is er niet geschat.De open cirkels stellen kostenschattingen voor. Daarbij hebben we de schatting gedeeld door de meest actuele waarde; dat kan een schatting zijn maar ook de feitelijke kosten als het project is afgerond. Waar een schatting overeenkomt met de feitelijke waarde is de ratio 1. Als die ratio kleiner dan 1 is, dan heb je de kosten onderschat, overschattingen hebben een waarde groter dan 1.

Verhoef-01Verhoef-02

Horizontaal is de voortgang van projecten uitgezet. Bij nul is een project gestart, en bij 1 is het project afgelopen. De initiële schattingen staan dus links, de bijstellingen staan verspreid over de figuur.

De plot van de verhoudingen tussen initiële en meest recente schatting geeft ook handvatten voor de voorbereiding van besluiten over nieuwe projecten. Ter illustratie daarvan dient de ‘kegel’ die in de figuur is getekend. Die komt overeen met een Estimation Quality Factor van 2,75, oftewel een afwijking in de realisatie van maximaal 36 procent ten opzichte van de schatting. Die waarde is niet toevallig gekozen: 80 procent van de gemeten EQF’s bij de overheid is beter dan 2,75. De kegel dient als een soort van 80 procentsbetrouwbaarheidsinterval over de looptijd van een project heen. Als je nu een nieuw project overweegt, heb je hiermee een referentiekegel waarmee je de kostenschattingen en hun onzekerheden plus systematische afwijking kunt meenemen over de tijd. Daarmee kun je de besluitvorming en moitoring een stuk transparanter krijgen. Rekening houdend met die onzekerheden kun je verschillende scenario’s doorrekenen. Voor als het tegenvalt (de onderste rode lijn), als het probleemloos verloopt (de rode stippellijn), of als het meevalt (de bovenste rand van de kegel). Met de drie kostenscenario’s kun je een veel evenwichtiger afweging maken of het belastinggeld wel effectief en efficiënt besteed zal worden.Voor doorlooptijden kun je eenzelfde soort berekening doorvoeren als voor kostenramingen. Meteen is te zien dat initieel de doorlooptijden door de overheid veel te kort worden ingeschat. Welgeteld één van de initiële schattingen heeft een waarde (net) boven de 1. Dat betekent dat de initiële doorlooptijden systematisch onderschat zijn.

Tevens is waar te nemen dat ook bij bijstellingen van de schattingen tijdens het project de onderschattingen talrijker zijn dan de overschattingen. De mediaan van deze ratio is 0.93; als er geen systematische afwijking zou zijn, zou die om en nabij de 1 moeten zijn. De mediane EQF van de doorlooptijden is 4,75, dus iets lager dan die voor kostenschattingen. Bij de overheid zit in 50 procent van de projecten de doorlooptijden er maximaal 21 procent onder.

Prof. dr. Chris Verhoef is hoogleraar Informatica aan de Vrije Universiteit Amsterdam

 
Lees het hele artikel
Je kunt dit artikel lezen nadat je bent ingelogd. Ben je nieuw bij AG Connect, registreer je dan gratis!

Registreren

  • Direct toegang tot AGConnect.nl
  • Dagelijks een AGConnect nieuwsbrief
  • 30 dagen onbeperkte toegang tot AGConnect.nl

Ben je abonnee, maar heb je nog geen account? Laat de klantenservice je terugbellen!