Rekenmodellen

Civis Mundi Digitaal #137

door Herman Hümmels

Marc Jacobs is datawetenschapper en modelleur, en eigenaar van MSJ (Modelling & Statistics for You). Ronald Meester is hoogleraar waarschijnlijkheidsrekening aan de Vrije Universiteit.

Modellen
Het gaat in dit boek om wiskundige modellen en de vraag of ze wel goed worden ingezet en begrepen bij beleidsvraagstukken. Hoe heeft het kunnen gebeuren dat onze rekenmodellen ons op dit punt zo in de steek hebben gelaten?
“Op de keper beschouwd is een formule gewoon een manier om met een bepaalde taal een idee of een relatie uit te drukken. Deze taal is universeel en maakt dat wanneer we een model wiskundig formuleren, mensen over de hele wereld kunnen begrijpen wat we bedoelen. Maar voor een boek als dit zijn formules overbodig.” (p15)
Er zijn drie typen wetenschappelijke modellen: concrete (schaalmodellen en proefopstellingen), wiskundige en analoge (bijvoorbeeld metaforen). “Een wiskundig model is een wiskundige beschrijving van een systeem, meestal met als doel systematische analyse mogelijk te maken en om voorspellingen over het systeem te kunnen doen.” (Wikipedia) Jacobs en Meester vatten modellen epistemologisch op, dit wil zeggen: een model is beter naarmate het de voor ons zichtbare realiteit beter beschrijft, verklaart of voorspelt.
Een centrale vraag in het boek is: “Worden modellen wel goed gebruikt?” Vanaf het begin komt de aanbeveling naar voren om met modellen ‘in gesprek’ te gaan.

Succes
Wiskundige modellen hebben in de fysieke wereld tot opzienbare successen geleid. Dat begon bij de klassieke mechanica van Isaac Newton. Tegenwoordig wordt steeds meer kunstmatige intelligentie (AI) gebruikt. Het gebruik van modellen wordt in eerste instantie beschreven aan de hand van een viertal voorbeelden: de Covid-19-pandemie, het doorrekenen van partijprogramma’s bij verkiezingen, het weer en de energieomzetting (inclusief CO2 uitstoot). Die voorbeelden hebben één ding gemeen: het gaat om modellen die bedoeld zijn om iets uit onze ervaringswereld zo getrouw mogelijk te beschrijven.

COVID-19
“Roel Coutinho, de voorganger van Jaap van Dissel bij het RIVM, zei over modellen het volgende: ‘Modellen zijn heel nuttig om te kijken wat er kán gebeuren, maar ze kunnen nooit voorspellen wat er zál gebeuren.’ Maar zelfs dat is maar de vraag.” (p43)

Uitgebreid gaan de schrijvers in op het handelen van de overheid tijdens de pandemie. “De meeste of misschien zelfs wel alle interventies hadden daarom helemaal niets aan de modellen die ervoor in stelling werden gebracht. Als het model al zou voorspellen dat het effect van een interventie een bepaalde kant op zou gaan, dan was dat effect er expliciet door de maker van het model in gestopt.” (p152) Ook de pers speelde een dubieuze rol. Zo bracht het CBS een rapport uit over de sterfte en de oversterfte in 2020 en 2021. “Het eindrapport van het onderzoek gaf niet de gewenste duidelijkheid, zoals in de conclusies ook expliciet werd vermeld. Dat weerhield de Nederlandse dagbladen er niet van om met grote koppen te vertellen dat het onderzoek had aangetoond dat de oversterfte niets met de vaccins te maken had.” (p161)
Verkeerd gebruik van modellen gebeurt als politici hun strategie laten bepalen door modellen. Nog buiten het feit dat er, zoals bij covid-19, verschillende modellen met andere uitslagen in omloop waren. Daarbij kwam dat de politici geen goed inzicht hadden in deze modellen.

Partijprogramma’s
Het model achter de doorrekeningen van partijprogramma’s is grotendeels terug te vinden op de website van het CPB (Centraal Planbureau). Dit model is op een bepaalde manier voorspellend, maar het zegt vooral iets over een werkelijkheid die nooit gerealiseerd is of zal worden. “Het model is deterministisch van aard, dat wil zeggen dat er geen zekerheid is over het gevolg van bepaalde ingrepen en dat wat eruit komt volledig wordt bepaald door wat we erin stoppen.” (p44) Bovendien gaan de modellen over geld en over wat gemeten of in getallen uitgedrukt kan worden. Het gaat niet over wat we verder nog van waarde achten: schone lucht, biodiversiteit, gezondheid… "Daarmee zijn deze wetenschappelijke berekeningen een schoolvoorbeeld van een onredelijke en tamelijk zinloze verwetenschappelijking van de samenleving.” (p46) 

Energieomzetting
Bij de productie en distributie van de energie die we gebruiken, gaat veel energie verloren. Het is zaak om dit verlies zo laag mogelijk te houden. De overblijvende opbrengst wordt ‘het rendement’ genoemd. Bij een hoger rendement heb je minder verlies van fossiele brandstof, wat minder ongunstig is voor het klimaat.
De overheid bepaalt haar beleid aan de hand van de CO2-uitstoot, die bepaald wordt met behulp van rekenmodellen. “Het model pretendeert niet om het omzettingsproces zelf te modelleren, maar doet alleen een numerieke uitspraak over het uiteindelijke rendement. Hiermee worden vervolgens allerlei berekeningen uitgevoerd, zoals bijvoorbeeld de energieprestatie van woningen.” (p51)
De PEF (primaire energiefactor) is een voorbeeld van zo’n rekenmodel: “Een PEF van bijvoorbeeld 3 betekent dat elke kWh finale energie 3 kWh primaire energie kost – een rendement van iets meer dan 33%. Sinds 1995 hanteert de overheid een PEF voor elektriciteit van 2,56, maar deze waarde is inmiddels wel wat achterhaald. Daar zijn twee redenen voor: energie wordt door technologische verbeteringen efficiënter opgewekt en het aandeel hernieuwbare energiebronnen neemt toe.” (p52)
In 2021 schreef de overheid pardoes een waarde van 1,45 voor. "Uitgedrukt in rendement betekende dat een sprong van 39%, naar maar liefst 69%.” (p52) Op dat moment lag landelijk de werkelijke waarde echter in de buurt van de 1,9 (volgens het CBS). “De overheid nam bij het aanpassen van de PEF een voorschot op de toekomst: de gedachte was dat het niet lang zou duren voordat een PEF van 1,45 realistisch zou zijn. Deskundigen maakten echter gehakt van deze verwachting.” (p52)
“Dat is het aardige van modellen: je kunt bij onheus gebruik ervan de conclusies een beetje naar je hand zetten. Als je de CO2-uitstoot niet meet maar via een model berekent, dan is het kennelijk een koud kunstje om dat model zodanig te veranderen dat je op papier fantastisch bezig bent, terwijl er in de praktijk echt helemaal niets verandert.” (p52)

Gebruik van modellen
Na een eerste kennismaking met het gebruik van modellen, volgen in het boek een paar ‘lichtelijk filosofisch getinte’ hoofdstukken en worden de thema’s aardbeving Groningen en het toeslagenschandaal uitgediept en er wordt aandacht geschonken aan het gebruik van kunstmatige intelligentie. In Groningen wordt de schade verklaard aan de hand van modellen, terwijl het onmogelijk is om op basis van een rekenkundig model de werkelijke oorzaak van een scheur in een muur te bepalen. Wel wordt aan de hand hiervan vastgesteld of iemand voor een vergoeding in aanmerking komt of niet. Duidelijk wordt dat allerlei andere belangen een rol spelen, evenals de dubieuze rol van de overheid en van onder andere de NAM.
Bij de toeslagenaffaire worden modellen gebruikt voor het opsporen van misbruik van huur- en kinderopvangtoeslagen. De Belastingdienst gebruikt hierbij het risicoclassificatiesysteem. Het wordt gebruikt voor het vroegtijdig opsporen van potentiële fraude.
Data-analisten bepalen aan de hand van ervaringen uit het verleden welke indicatoren aan het model worden aangeboden en welke grenswaarden de beste inschattingen kunnen geven. De gegevens werden door het systeem zelf automatisch aangepast aan de hand van een zelflerende module. Dit systeem is gebruikt tot 2019, in 2020 werd de pilot gestart van het ’behandelkeuze model’ en het ‘voorspellend model problematische terugvorderingen’. Ook deze modellen worden niet vrijgegeven, zodat oncontroleerbaar is hoe ze werken en op grond waarvan.

Is ‘meten’ ook ‘weten’?
Wat gebeurt er als we bepaalde maatregelen niet nemen? De overheid nam, in verband met de Covid-19-pandemie, zeer ingrijpende maatregelen. “Hoe zinvol is dat eigenlijk: iets zeggen over een alternatieve werkelijkheid die nooit is gerealiseerd?" (p116)

Modelvoorspellingen beloven iets, maar controle is in veel gevallen niet mogelijk. “Voorspellen is iets anders dan verwachten”, heeft weervrouw Helga van Leur ons vaak voorgehouden.
Jacobs en Meester diepen de vraag uit naar voorspelbaarheid en noemen ook andere toepassingsgebieden: het construct ‘intelligentie’; verzekeringen; levens-loop modellen. In verband met rechterlijke uitspraken pleiten Jacobs en Meester voor een ‘kansenrechter’, omdat rechters nogal eens een inschattingen moeten maken over het toekomstig gedrag van wetsovertreders, en daartoe vaak niet zijn toegerust, met name als een ‘deskundige’ zich beroept op statisch materiaal of kansmodellen.
De schrijvers geven ‘een template voor de overheid’ bestaande uit elf vragen die door beleidsmakers beantwoord zouden moeten worden.

Eindbalans
Als conclusie komen de schrijvers tot de slotsom dat we af moeten van de cijfertjescultuur. De overheid moet inzien dat we onderscheid moeten maken tussen de echte wereld en de modellenwereld. Wetenschappers krijgen de aanbeveling om over de grenzen van hun onmiddellijke vakgebied heen te kijken. “Wetenschap gedijt niet bij marktwerking waarin de grootste schreeuwers in de talkshows de meeste aanhangers krijgen.” (p208)

Conclusie
Jacobs en Meester geven een duidelijk beeld van de mogelijkheden en vooral van het verkeerd gebruik van rekenkundige modellen door mensen die geen statistieken en grafieken kunnen lezen en onvoldoende van het werkelijke probleem afweten. Het gebruik en het begrijpen van modellen, en met name hun plaats ten opzichte van de werkelijkheid, vraagt om deskundigheid en levenswijsheid. Daar komt nog bij dat versimpelde voorstellingen, zoals dit bij grafieken het geval is, makkelijk misbruikt kunnen worden door hun suggestieve werking. Bovendien zeggen modellen niets als ze niet transparant zijn en niet bekend is op welke aannames ze gestoeld zijn. Dit wordt in het boek duidelijk door de bespreking van recent gebruik door de overheid. Met name de beperkte bruikbaarheid, voor het oplossen van beleidsvraagstukken, wordt na het lezen van dit boek duidelijk.