Opnieuw valt wetenschap door de mand?

Civis Mundi Digitaal #66

door Wim Couwenberg

Als wetenschapper was ik zeer verbaasd over deze kop, op de voorpagina van een onzer kwaliteitskranten. Ik heb me daarom verdiept in de wijze waarop dat wordt toegelicht. Eerst was er crisis in de psychologie, toen in de economie, en nu blijken studies te rammelen in de gehele sociale wetenschappen. Wat is er misgegaan? Een groep van onderzoekers herhaalt 21 sociaalwetenschappelijke studies uit toptijdschriften, zoals Nature en Science. Maar dat levert in acht gevallen niet dezelfde resultaten op als in het oorspronkelijke onderzoek. De replicacrisis in de wetenschap breidt zich zodoende uit. Drie jaar geleden begon die crisis, toen wetenschappers 100 psychologische studies gingen herhalen; bijna twee derde daarvan sneuvelde, omdat herhaling niet de eerder geclaimde resultaten opleverde. Een jaar later werd een herhaling op touw gezet van 18 economische experimenten. In zeven gevallen, bijna 40 procent, was de uitkomst anders. En nu dus de sociale wetenschappen: van de 21 experimenten sneuvelen er acht. In de resterende 13 herhalingen is de oorspronkelijke bevinding inderdaad terug te vinden, maar vaak wel zwakker dan beweerd.

Dit betekent niet dat er op grote schaal gefraudeerd wordt, maar wel dat resultaten van experimenten vaak rooskleuriger worden voorgesteld dan ze zijn. In het wetenschappelijke bedrijf is herhaling van andermans onderzoek niet op prijs gesteld. Voor replicastudies krijg je ook moeilijk middelen. De financiers van onderzoek steken liever hun geld in nieuw onderzoek. De crisis, die begon in de psychologie en nu uitmondt in andere takken van wetenschap, heeft weliswaar de ogen geopend voor het belang van replicastudies, maar fondsen ervoor zijn moeilijk los te krijgen.

Dat valt natuurlijk zeer te betreuren, maar om hiermee te stellen op de voorpagina van een kwaliteitskrant dat de wetenschap opnieuw door de mand valt, is natuurlijk sterk overdreven. Die genoemde wetenschappen zijn ook niet te vergelijken met de natuurwetenschappen. Nieuw in het huidige onderzoek is dat er veel meer dan vroeger geëxperimenteerd wordt, met alle daarmee verbonden risico’s. Op termijn komen we op die manier veel meer te weten dan vroeger. In de moderne wetenschap onderscheidt men tegenwoordig tussen waarheidstrechters en interventietrechters. Waarheidstrechters kanaliseren niet alleen, maar transformeren tegelijk te problemen die zij verwerken. Zij reduceren dus het waarheidsgehalte van onderzochte problemen tot een smalle rationaliteit; interventietrechters reduceren de praktische behandeling van problemen tot rationele interventies. Dit alles tezamen zouden we met Huizinga kunnen omschrijven als de geestelijke vorm waarin een samenleving zich rekenschap geeft van haar bestaanswijze en ontwikkelingsgang.

Zoals gezegd, vergeleken met mijn jonge jaren wordt er nu veel meer onderzocht en geëxperimenteerd dan vroeger. En dat de eis van de nodige replicastudies tekortschiet, dat is kort gezegd meer een financieel probleem dan een bewust resultaat van wetenschappers. Conclusie: moderne wetenschap valt volstrekt niet door de mand, maar maakt ongekende vorderingen in kennis en kunde.

Op die misleidende krantenkop reageerde ook een hoogleraar waarschijnlijkheidsrekening, onder de titel Niet de wetenschap valt door de mand, maar de wetenschappers. Dit lezende, ligt het gekritiseerde stuk ingewikkelder dan op het eerste gezicht lijkt. Er wordt vooral gewezen op het feit dat er niet genoeg fondsen zijn voor replicatie (het herhalen van eerder onderzoek). Hoewel dat zeker een aspect is dat met het probleem is verbonden, wordt de vinger in dat krantenstuk niet op de zere plek gelegd. Het is niet de wetenschap die de boosdoener is, maar eerder de manier waarop resultaten door wetenschappers geïnterpreteerd worden. En dat geldt vooral waar statistiek een rol speelt. De sociale wetenschappen zijn sterk afhankelijk van statistische interpretatie van onderzoeksresultaten. Al in 2005 legde een bekend statisticus in een essay uit waarom de meeste statistisch ondersteunde onderzoeksresultaten onjuist zijn. Dat komt, omdat binnen het huidige statistische denkkader de gemaakte fouten onontkoombaar zijn.