Projectfalen gevolg van rammelend concept van succes

18 januari 2012

De Amerikaanse Standish Group definieert succes in IT-projecten als complete oplevering binnen tijd en binnen budget. Die definitie is sinds de jaren negentig wereldwijd de de facto norm die ten grondslag ligt aan de meeste statistieken over slagen en falen in IT. Maar feitelijk hoeft overschrijding in tijd en budget niet per se te betekenen dat een project faalde. “Je zou met hetzelfde recht kunnen beweren dat de raming van de projectkosten en doorlooptijd niet goed was”, stelt Laurenz Eveleens. Eveleens promoveerde vorige maand op een onderzoek naar manieren om de kwaliteit van IT-projectschattingen te verbeteren.

Regelmatig komen IT-projecten in het nieuws omdat ze niet voldoen aan initiële verwachtingen. Als projecten niet tijdig worden afgerond, aanzienlijk duurder uitpakken of volledig mislukken, is de impliciete aanname al snel dat de uitvoerende IT’ers faalden. Zelden staan de initiële schattingen ter discussie, terwijl deze toch cruciaal mogen worden geacht voor zowel de beslissing het project te starten als voor het volgen van de voortgang.

In het kader van zijn promotie-onderzoek hield Eveleens 12.389 schattingen tegen het licht. Ze hadden, vooraf en gedurende de looptijd, betrekking op 1926 uitgevoerde projecten bij vier bedrijven. Een groot aantal schattingen was, zoals te verwachten, te optimistisch. Maar er waren uiteraard ook projecten die sneller werden afgerond en/of minder kostten dan vooraf geschat. Wat daarbij opviel, was dat deze merendeels binnen één organisatie waren gedaan. Bij deze organisatie was meer dan driekwart van de schattingen te hoog. Sommige bleken vele tientallen malen hoger dan de feitelijke kosten. De meest welwillende uitleg is natuurlijk dat deze organisatie over een buitengewoon goed gemanagede IT-afdeling beschikt. Maar helaas; navraag wees uit dat het IT-management, dat voor de schattingen verantwoordelijk was, werd beloond voor projecten die binnen tijd en budget worden afgerond.

Je zou dus kunnen stellen dat hier sprake was van een systematische afwijking, veroorzaakt door een perverse incentive om te hoog te schatten. Maar andersom staat er, al is dat geen formele arbeidsvoorwaarde, in veel organisaties wel degelijk ook een beloning op laag schatten. Want een lage schattingen vergroten de kans dat de projecten doorgaan. Ook dat zou je een systematische fout kunnen noemen.

Betere schattingen

Als directies meer voorspelbare IT-projecten willen, zouden ze volgens Eveleens in de eerste plaats moeten streven naar betere schattingen. En een te hoge schatting is niet beter of slechter dan een te lage. De kwaliteit van schattingen is niets anders dan de (relatieve) afwijking van de schatting ten opzichte van de feitelijke kosten of doorlooptijd. Maar die is alleen achteraf vast te stellen. Eveleens gunt de bestuurders van vandaag meer dan dat. Daarom pleit hij ervoor dat schatters in de toekomst niet alleen de meest waarschijnlijke kosten of doorlooptijd noemen, maar tevens berekende marge bij hun schatting vermelden. Daartoe kan dan worden aangehaakt bij kansrekenkundige modellen, waarbij op basis van de eerdere schattingsafwijkingen mogelijke overschrijdingsrisico’s berekend kunnen worden.

Tja, en de kwaliteit van de schattingen van deze bandbreedtes? “Die is toetsbaar, al is het achteraf.”

 

Eveleens maakt schattingen vergelijkbaar door de geschatte waardes te delen op de feitelijk kosten c.q. doorlooptijd. Schattingen die op 1 uitkomen zijn precies raak. Ligt het verhoudingsgetal lager dan 1, dan was de schatter blijkbaar te optimistisch en ligt ze hoger dan 1 dan was de schatting te hoog. Bijgaande ‘scatterplot’ toont de scores van 923 doorlooptijdschattingen uit 121 projecten bij het bedrijf Landmark Graphics. Verticaal staat de hoogte van de schatting (relatief ten opzichte van de feitelijke inspanning) en horizontaal de relatieve projectvoortgang (0 is de start en 1 is de beëindiging). Duidelijk is dat de schatters er minder naast zitten naarmate de afronding van het project nadert. De rode lijnen markeren de nauwkeurigheidsmarge waarbinnen redelijkerwijze zo’n 80 procent van de schattingen zou moeten uitkomen. 

 
Lees het hele artikel
Je kunt dit artikel lezen nadat je bent ingelogd. Ben je nieuw bij AG Connect, registreer je dan gratis!

Registreren

  • Direct toegang tot AGConnect.nl
  • Dagelijks een AGConnect nieuwsbrief
  • 30 dagen onbeperkte toegang tot AGConnect.nl

Ben je abonnee, maar heb je nog geen account? Neem contact met ons op!