Reference Class Forecasting

Reference Class Forecasting (RCF) betreft een methode voor het corrigeren van voorspellingen met betrekking tot kosten, doorlooptijd en baten bij projecten en investeringsbesluiten (Flyvbjerg, 2006). De methode is ontwikkeld vanuit gedragswetenschappelijke inzichten en moet als reactie op traditionele ramingsmethoden worden beschouwd die structureel leiden tot overschatting van prestaties en onderschatting van risico’s (Kahneman & Lovallo, 1993; Flyvbjerg, Holm, & Buhl, 2002).

De RCF is geworteld in onderzoeken naar oordeelsvorming onder onzekerheid, met name in de cognitieve psychologie en gedragseconomie (Kahneman & Tversky, 1979; Kahneman & Lovallo, 1993). Hierbij wordt aangetoond dat mensen bij het verrichten van voorspellingen systematisch gebruikmaken van wat wordt aangeduid als de inside view. Dit houdt in dat men een project beschouwt als een uniek geval en redeneert vanuit:

• de specifieke scope en planning;
• geïdentificeerde risico’s en beheersmaatregelen;
• expertise en ervaring van betrokken professionals.

Deze manier van redeneren voelt rationeel en professioneel, maar leidt volgens onderzoek structureel tot onderschatting van kosten en tijd en tot overschatting van baten (Buehler, Griffin, & Ross, 2010). Cruciaal is dat deze afwijkingen niet willekeurig zijn, maar vrijwel altijd in dezelfde richting optreden (Flyvbjerg, 2006).

Reference Class Forecasting introduceert daartegenover de outside view. Dit perspectief abstraheert van het individuele project en beschouwt het als een observatie binnen een statistische populatie van vergelijkbare projecten. In plaats van te vragen waarom dit project zal slagen, wordt gevraagd wat er historisch gezien is gebeurd met projecten van dit type (Kahneman & Lovallo, 1993).

De kern van RCF is dat het stelt historische realisaties betere informatie bevatten over toekomstige uitkomsten dan gedetailleerde projectplannen, juist omdat zij niet worden beïnvloed door optimism bias, planning fallacy en strategische vertekening (Lovallo & Kahneman, 2003; Flyvbjerg, 2006).

Hoe Reference Class Forecasting wordt toegepast

De toepassing van Reference Class Forecasting is geenszins een rekenkundige truc, maar een andere manier van redeneren bij besluitvorming.

Allereerst wordt expliciet vastgelegd welke grootheid wordt voorspeld en bij welk besluitmoment. Dit kan betrekking hebben op totale projectkosten, doorlooptijd tot operationele oplevering of verwachte baten. Reference Class Forecasting corrigeert altijd de oorspronkelijke ex ante raming die wordt gebruikt om een besluit te nemen.

Vervolgens wordt een reference class afgebakend. Dit betreft een verzameling afgeronde projecten die afdoende vergelijkbaar zijn qua functie, schaal, complexiteit en institutionele context. Het is essentieel dat deze groep representatief is en dat ook mislukte en problematische projecten worden meegenomen, omdat juist deze de spreiding van uitkomsten bepalen.

Voor elk project in de reference class wordt vastgesteld wat de oorspronkelijke raming was en wat de uiteindelijke gerealiseerde uitkomst is. Het verschil wordt uitgedrukt als relatieve afwijking, bijvoorbeeld als het percentage waarmee de gerealiseerde kosten afwijken van de oorspronkelijke raming.

Deze afwijkingen worden niet samengevat in een gemiddelde, maar beschouwd als verdeling en dit is een cruciaal punt: Reference Class Forecasting gaat niet over het vinden van een juiste raming, maar over het begrijpen van de kansverdeling van mogelijke uitkomsten.

De raming van het nieuwe project wordt vervolgens geplaatst binnen deze verdeling. Op dat moment verandert het gesprek fundamenteel. De vraag is niet langer of men de raming gelooft, maar welk risico men bereid is te accepteren.

Reference Class Forecasting dwingt expliciet tot een keuze over risicotolerantie. Een raming op P50-niveau betekent dat in de helft van de gevallen een overschrijding optreedt. Een P80-raming betekent dat slechts twintig procent van de vergelijkbare projecten slechter uitviel. Deze keuze is normatief en bestuurlijk van aard en kan niet door het model worden uitgerekend.

De gekozen correctie wordt vervolgens toegepast op de oorspronkelijke raming. Deze correctie is geen buffer of onderhandelingsruimte, maar een statistische correctie gebaseerd op historische realisaties.

Voorbeeld 

Een organisatie staat op het punt een omvangrijk IT-programma te starten, bijvoorbeeld de vervanging van een kernsysteem dat bedrijfskritisch is voor de dagelijkse operatie. Het besluit om dit programma te starten moet worden genomen op basis van een businesscase waarin kosten, doorlooptijd en risico’s zijn opgenomen. Het bestuur wil expliciet inzicht in de mate van onzekerheid die met dit besluit gepaard gaat en kiest daarom voor toepassing van Reference Class Forecasting.

Stap 1 – Vaststellen van de grootheid en het besluitmoment

Allereerst wordt vastgelegd welke grootheid wordt voorspeld en op welk moment deze voorspelling relevant is. In dit geval gaat het om de totale projectkosten op het moment van investeringsgoedkeuring. Dit is het klassieke besluitmoment waarop een organisatie zich financieel committeert.

Het projectteam presenteert een ex ante raming die tot stand is gekomen via de gebruikelijke inside view benadering, gebaseerd op scope, planning, risicoanalyse en expertise.

• Geraamde totale kosten: EUR 20 miljoen
• Geplande doorlooptijd: 24 maanden

Deze raming vormt het vertrekpunt voor de RCF-analyse, maar wordt niet zonder meer als verwachte uitkomst beschouwd.

Stap 2 – Afbakenen van de reference class

Vervolgens wordt een reference class samengesteld die als empirische basis dient voor de correctie. Het gaat om een set afgeronde projecten die inhoudelijk en contextueel vergelijkbaar zijn met het voorgenomen programma. De reference class bestaat uit:

• 30 afgeronde IT-programma’s
• vergelijkbaar qua:
  • type (kernsysteem of ERP-achtig),
  • schaal (globaal tussen EUR 10 en 50 miljoen),
  • complexiteit (organisatiebreed, meerdere ketens),
  • governance (centraal aangestuurd, externe leveranciers).

Cruciaal is dat deze groep alle relevante uitkomsten bevat, inclusief projecten die:

• voortijdig zijn herijkt;
• substantieel zijn uitgelopen;
• of fors boven budget zijn geëindigd.

Juist deze projecten bepalen de spreiding van uitkomsten en zijn daarom onmisbaar voor een realistische outside view.

Stap 3 – Bepalen van historische afwijkingen

Voor elk project in de reference class wordt vastgesteld:

• wat de oorspronkelijke raming was bij investeringsbesluit;
• wat de uiteindelijke gerealiseerde kosten zijn geweest.

De afwijking wordt berekend als relatieve afwijking: (gerealiseerde kosten minus geraamde kosten) gedeeld door geraamde kosten. Deze analyse levert geen enkelvoudig getal op, maar een verdeling van uitkomsten, waarvan de belangrijkste kenmerken zijn:

• P50 (mediaan): plus 30 procent
• P80: plus 60 procent
• P90: plus 85 procent

Dit betekent concreet:

• In de helft van de vergelijkbare projecten werd het oorspronkelijke budget met minimaal 30 procent overschreden;
• In 80 procent van de gevallen bedroeg de overschrijding ten minste 60 procent;
• Slechts 10 procent van de projecten bleef binnen een overschrijding van 85 procent of minder.

Deze cijfers zijn geen aannames of scenario’s, maar een samenvatting van feitelijke gerealiseerde uitkomsten.

Stap 4 – Positioneren van de nieuwe raming

De oorspronkelijke raming van EUR 20 miljoen wordt nu expliciet geplaatst binnen deze verdeling. Daarmee wordt zichtbaar dat deze raming statistisch gezien aan de optimistische kant ligt.

Het gesprek verandert hier van aard. De discussie gaat niet langer over de vraag of het projectteam zijn werk goed heeft gedaan, maar over de impliciete risicoacceptatie die met de raming samenhangt. Een raming van EUR 20 miljoen correspondeert, gezien de verdeling, met een hoge kans op overschrijding.

Stap 5 – Bestuurlijke keuze voor risicotolerantie

Op grond van deze informatie bespreekt het bestuur welk risiconiveau acceptabel is. Men besluit expliciet te kiezen voor een P80-niveau, omdat:

• het een strategisch en reputatiegevoelig programma betreft;
• budgetoverschrijdingen moeilijk op te vangen zijn;
• een overschrijdingskans van circa 20 procent acceptabel wordt geacht.

Deze keuze is nadrukkelijk normatief en bestuurlijk en kan niet door het model worden afgedwongen.

Stap 6 – Toepassen van de correctie

De gekozen P80-correctie bedraagt plus 60 procent. Deze correctie wordt toegepast op de oorspronkelijke raming: EUR 20 miljoen x 1,60 resulteert in EUR 32 miljoen.

Belangrijk is dat dit bedrag niet wordt gepresenteerd als worst case of veiligheidsbuffer, maar als een kansbewuste, statistisch gecorrigeerde raming die expliciet aansluit bij de gekozen risicotolerantie.

Resultaat

De organisatie staat nu niet langer voor een impliciete keuze, maar voor een expliciete afweging:

• EUR 20 miljoen betekent: hoge kans op overschrijding en een optimistische verwachting
• EUR 32 miljoen (P80) betekent: lagere kans op overschrijding en een expliciet geaccepteerd risico

Reference Class Forecasting maakt hiermee zichtbaar wat traditionele ramingen vaak verhullen: niet de vraag of een raming klopt, maar welk risico eraan verbonden is.

Welke kanttekeningen kunnen bij de RCF worden geplaatst?

Hoewel Reference Class Forecasting onderzoeksmatig sterk is onderbouwd, kunnen er enkele kanttekeningen worden geplaatst. 

1. Een eerste aandachtspunt is de afbakening van de reference class. Te brede klassen verliezen relevantie, terwijl te smalle klassen onvoldoende statistische kracht hebben. De keuze van de reference class is daarom nooit volledig neutraal en vereist expliciete verantwoording (Baerenbold, 2023).
   
2. Daarnaast veronderstelt Reference Class Forecasting een zekere stabiliteit van historische patronen. Bij fundamentele technologische, institutionele of marktrelatieve veranderingen kan de voorspellende waarde van historische data afnemen (Ibid).
   
3. De Reference Class Forecasting corrigeert uitsluitend verwachtingen en verbetert  geen uitvoering. De methode zegt niets over hoe overschrijdingen kunnen worden voorkomen, maar maakt slechts zichtbaar hoe waarschijnlijk zij zijn (Ibid).
   
4. Tot slot kan routinematige toepassing van vaste correcties perverse prikkels veroorzaken wanneer projectteams ramingen strategisch laag houden in anticipatie op deze correcties. Dit onderschrijft het belang van onafhankelijke toepassing en governance (Flyvbjerg, 2006; Lovallo & Kahneman, 2003).

LITERATUUR

1. Baerenbold, R. (2023). Reducing risks in megaprojects: The potential of reference class forecasting. Results in Engineering, 18.
2. Buehler, R., Griffin, D., & Ross, M. (2010). The planning fallacy. Advances in Experimental Social Psychology, 43, 1–62.
3. Flyvbjerg, B. (2006). From Nobel Prize to project management: Getting risks right. Project Management Journal, 37(3), 5–15.
4. Flyvbjerg, B., Holm, M. K. S., & Buhl, S. L. (2002). Underestimating costs in public works projects. Journal of the American Planning Association, 68(3), 279–295.
5. Kahneman, D., & Lovallo, D. (1993). Timid choices and bold forecasts. Management Science, 39(1), 17–31.
6. Kahneman, D., & Tversky, A. (1979). Prospect theory: An analysis of decision under risk. Econometrica, 47(2), 263–291.
7. Lovallo, D., & Kahneman, D. (2003). Delusions of success. Harvard Business Review, 81(7), 56–63.