Wetenschappelijk onderzoek in de mangel

Civis Mundi Digitaal #82

door Maarten Rutgers

Wetenschappelijk onderzoek staat de laatste tijd weer in de schijnwerpers. Niet voor het eerst. In de berichtgeving komt een zestal thema’s aan de orde. Het gaat om ‘rammelende’ studies, integriteit, vrijheid van wetenschappelijk onderzoek, gelijke toegang tot de resultaten van onderzoek, publicatiedruk en de beoordeling door vakbroeders, ‘peer review’. Tussen deze zes bestaat zeker ook overlap. We laten ze allemaal de revue passeren.

In deze stukken staat wetenschap als zodanig niet ter discussie. Er wordt van uit gegaan dat de lezer weet wat wetenschap is. Hier kan overigens met recht aan getwijfeld worden, zoals de artikelenserie[1] ‘Wetenschapsfilosofie’ van Piet Ransijn in dit tijdschrift aantoont. In het onderhavige artikel wordt hier niet nader op ingegaan.

‘Rammelende’ studies

In dit tijdschrift werd door Wim Couwenberg[2] aandacht aan dit fenomeen besteed. Het volstaat hier er nogmaals op te wijzen dat de uitspraak niet klopt, zoals werd uiteengezet. Het gaat om de beperktheid van de gebruikte statistische methoden en de interpretatie van de resultaten. Ook in het artikel over het onderwerp in Nature[3] en de daaropvolgende publicaties in Trouw[4] wordt dit duidelijk gemaakt. Het eerste is iets hetgeen we niet kunnen veranderen, waardoor de indruk wordt gewekt dat er iets met wetenschap aan de hand is. Daar we steeds vergeten dat deze beperkingen bestaan worden we met regelmaat op het verkeerde been gezet. Hoewel het ging om studies in de sociale wetenschappen is er geen aanleiding om aan te nemen dat het in andere wetenschappen anders zou zijn[5].

Ook verscheen in dit tijdschrift een artikel van Bert Layendekker[6] omtrent de reproduceerbaarheid, de replicatie, van onderzoek naar aanleiding van een drietal artikelen in Trouw en NRC en het eerder dit jaar verschenen KNAW-advies ter zake. De invloed van opvattingen uit de natuurwetenschap omtrent wetenschappelijk onderzoek is hier sterk aanwezig. Layendekker vraagt zich terecht af of wij de oren niet teveel naar deze opvattingen laten hangen. Claus Peter Ortlieb, emeritus hoogleraar wiskunde in Hamburg, is hier zeer duidelijk over. Het succes van wiskundige aanpak en wiskundige modellen gaat niet verder dan de terreinen wiskunde, aanpalende vakgebieden, biologie en toegepaste techniek. Bij de overige wetenschapsgebieden moet betwijfeld worden of de aangenomen vanzelfsprekendheid dat ook daar natuurwetenschappelijke, wiskundige modellen toegepast kunnen worden niet volledig ongepast is. Hij spreekt voor de sociale en politieke wetenschappen en economie[7] zelfs over “mathematisierte Scharlatanerie”. Ook de gedachte dat het universum of de werkelijkheid in een wiskundige formulering te vatten zijn wordt door hem met “Mathematikwahn” naar het rijk der fabelen verwezen[8].

Ook in de medische wetenschap – een wetenschap die door de beoefenaren tot de betawetenschappen gerekend wordt - geldt dat de gebruikte statistische methoden bij vele studies tot commentaar leiden. Robert Matthews[9] van de Aston University te Birmingham is heel duidelijk: “The desire to include some quantitive measure of credibility has prompted the illegitimate use of statistical significance as a surrogate for such a measure”. Ook Deirdre McCloskey[10], hoogleraar aan de Universiteit van Illinois te Chicago met een uitgebreide leerstoel, waaronder economie en filosofie, en enige jaren ook aan de Erasmus Universiteit, waarschuwt hier al veel langer voor. Het interpreteren van de uitkomsten in de richting van adviezen aan individuele patiënten is eveneens een bron van misverstanden. Dit heeft meer van doen met de inzichten van klinische behandelaren dan met de opzet van de studie. Dit leidt tot negatieve gevolgen. Deirdre McCloskey en haar leerling Stephen Ziliak[11] zetten stevig in: “Statistical significance is spoiling biological science, is undermining medical treatment, and is killing people. It is leaving a great deal, shall we say, unexplained”.

John Ioannidis, hoogleraar epidemiologie en statistiek aan Stanford University, schreef in 2005 een artikel[12] met de titel: “Why most published research findings are false”. Hierin uit hij stevige kritiek op de stand van zaken in de medische wetenschap. Ook nu nog wijst hij bij voortduring op gebreken, maar draagt ook mogelijke oplossingen aan.

Replicatie is ook bij Ioannides en vele anderen een onderwerp dat tot veel discussie aanleiding geeft. Immers veel herhalingsonderzoek bevestigt niet de resultaten uit eerder onderzoek[13], en wat nu? Daniele Fanelli, verbonden aan de afdeling methodologie van de London School of economics and political sciences, is van mening dat het allemaal meevalt. Hij refereert hier aan onderzoeken in de geneeskunde en de psychologie. Hij ziet in hoge mate vergelijkbare resultaten. De verschillen zijn meestal goed verklaarbaar. Hij maakt zich geen zorgen. Niet iedereen deelt overigens zijn mening, ook niet na bestuderen van zijn publicaties[14].

Daarnaast is intussen duidelijk geworden dat veel medisch wetenschappelijke studies geheel en al voorbij gaan aan het feit dat vrouwen en mannen fundamentele verschillen laten zien op diverse lichamelijke niveaus, maar ook in ziektebeelden. Duidelijk is bijvoorbeeld dat de verschillen in farmacokinetiek en -dynamiek tot verschillende reacties op geneesmiddelen kunnen leiden met uiteindelijk zeer negatieve gevolgen. Het ondervertegenwoordigd zijn van vrouwen in de onderzoekspopulatie – al dan niet bewust op grond van vermeende hormonale invloeden op het onderzoek -  wreekt zich. Meer aandacht voor dit fenomeen is in ieder geval gewenst[15].

Kortom, er valt wel het een en ander te zeggen over veel gepubliceerd wetenschappelijk onderzoek. Natuurlijk komen er ook ‘rammelende’ studies voor. In de geneeskunde is daar al enige tijd flink wat discussie over, waarbij ook de integriteit van de onderzoekers aan de orde is[16]. Geschat wordt dat in ieder geval in de helft van de gepubliceerde studies de opzet zodanig was dat de gepubliceerde resultaten niet kloppen[17].

Het laatste woord is over dit alles zeker nog niet gezegd.

Integriteit

De gedachte dat integriteit vanzelfsprekend is bij wetenschappers wordt met enige regelmaat gelogenstraft. We kennen in Nederland enige ‘fraaie’ voorbeelden. Ook elders wordt geworsteld met integriteit, bijvoorbeeld bij de politie[18], maar ook op andere terreinen. Michiel van Hulten schrijft regelmatig in dit tijdschrift over het onderwerp. En aan de uitspraak, “een beetje integer kan niet”, van Ien Dales, oud-minister van Binnenlandse Zaken, PvdA politica, wordt regelmatig gerefereerd.

Maar hoe zit dat nu met integriteit. Muel Kaptein, hoogleraar bedrijfsethiek en integriteitmanagement aan de Erasmus Universiteit te Rotterdam, wijdt er vele pagina’s aan in zijn boek ‘Dienaren van het volk: over de macht van integriteit’. Eenvoudig is het niet. Ook bij hem, zoals op vele andere plaatsen, wordt Albert Camus geciteerd: “integriteit heeft geen behoefte aan regels” Een mooi begin, zou je zeggen. Waar is het dan misgegaan dat we regels nodig hebben en steeds meer. Eerst terug naar Camus. Het citaat stamt uit zijn essay ‘Le mythe de Sisyphus’ uit 1942. In de inleiding van het hoofdstuk ‘L’homme absurde’ klinkt het als volgt: “J’ai vu des gens mal agir avec beaucoup de morale et je constate tous les jours que l’honnêteté n’a pas besoin de règles”. Uit de voorafgaande tekst en de navolgende bespiegelingen wordt duidelijk dat de mens, gevangen zittend in zijn vragen om duidelijkheid omtrent de wereld waarin hij leeft en het niet antwoorden van de wereld, moet weten om te gaan met de beleefde zinloosheid. Dat kan op velerlei manieren. Het betekent dat er ruimte is voor velerlei manieren van handelen, ook verkeerd handelen. Zo kan eerlijkheid, integriteit bestaan, zonder regels, maar ook mensen met een hoge moraal kunnen de mist ingaan. Regels kunnen dus goed van pas komen om misstanden te vermijden.

In de ‘Nederlandse gedragscode[19] wetenschappelijke integriteit 2018’ wordt er van uitgegaan dat “voor het goed functioneren van wetenschap wetenschappelijke integriteit van essentieel belang is”. Dat dit zo nadrukkelijk moet worden gesteld geeft toch te denken. Er wordt een vijftal leidende principes benoemd: eerlijkheid, zorgvuldigheid, transparantie, onafhankelijkheid, verantwoordelijkheid. Het niet voldoen hieraan kan gevolgen hebben, waaronder een verminderd vertrouwen van de bevolking in uitkomsten van wetenschappelijk onderzoek, maar ook in wantrouwen onderling tussen wetenschappers. Vervolgens worden er normen opgesteld en zoals het betaamt ook sancties voor het niet volgen ervan. In het Commentaar van NRC[20] wordt er op gewezen dat papier geduldig is. Waar het omgaat is dat er een cultuur binnen wetenschappelijke instituten bestaat die er voor zorgt dat integriteit niet ter discussie komt. Ook in Trouw[21] wordt een pleidooi gehouden voor stimuleren van gewenst gedrag, vooral door voorbeeldgedrag.

Ook de medische wetenschap ontkomt niet aan deze discussie. De Journal of the American Medical Association wijdt in 2017 een geheel nummer[22] aan het thema met een serie artikelen en commentaren over belangenverstrengeling en de daarmee samenhangend integriteit of het gebrek er aan. Ook worden suggesties gedaan hoe met het fenomeen beter om te gaan en er voor te zorgen dat problemen zo veel mogelijk worden voorkomen.

Ook Arturo Casadevall, hoogleraar microbiologie en immunologie aan de Joh Hopkins Universiteit in Baltimore, wijst er in zijn artikel in Nature[23] op dat de druk om te presteren en te publiceren zodanig is toegenomen dat wangedrag niet zo maar is uitgeroeid.

Vrijheid van wetenschappelijk onderzoek

De academische vrijheid wordt als het hoogste goed beschouwd. Carel Stolker, rector magnificus van de Rijksuniversiteit Leiden benutte de diesrede[24] van 2018 om hierover te spreken. Hij noemde daarbij niet voor niets het boek[25] van Willem Otterspeer over de Leidse Universiteit met de duidelijke titel: ‘Het bolwerk van de vrijheid’. Als afgeleide behoort de vrijheid van onderzoek tot deze academische vrijheid. Over dit onderwerp is de laatste tijd de nodige discussie ontstaan. Aanleiding hiertoe is de afnemende interne financiering en de toenemende externe financiering van onderzoek. Binnen het budget van de universiteiten is steeds minder geld beschikbaar voor onderzoek. Andere onderdelen van de universiteit slokken steeds meer geld op. Het beschikbare budget groeit niet mee met deze ontwikkeling. Hierdoor is wetenschappelijk onderzoek in toenemende mate afhankelijk geworden van externe financiering. Het gevolg is dat veel tijd - niet meer beschikbaar voor het doen van onderzoek - moet worden gestopt in het schrijven van subsidieaanvragen, die vervolgens slechts voor een klein percentage worden gehonoreerd. NWO – subsidieverlener voor onderzoek in Nederland – heeft zich voorgenomen het percentage omhoog te brengen[26]. Op dit moment wordt slechts 15% van de aanvragen gehonoreerd. Bij andere subsidieverleners, ook internationaal, is het niet veel beter.

De overheid als een van de grootste opdrachtgevers en subsidieverleners beperkt volgens vele onderzoekers de ruimte voor wetenschappers. In de financieringsvoorwaarden zien zij vastgelegd dat het onderzoek een beperkt speelveld kent. Buiten dit veld kijken wordt niet op prijs gesteld. Ook de uiteindelijke publicatie behoeft goedkeuring van de opdrachtgever, een vorm van censuur. Het leidt tot aanpassingen, schrappen van delen, het weg moeten laten van onwelgevallige resultaten, zelfs tot op de lange baan schuiven van de gehele publicatie[27]. Daarnaast is er natuurlijke nog de onderste lade waarin rapporten kunnen verdwijnen.

De academische vrijheid wordt ook bedreigd door de vigerende opvatting van de overheid[28] en ook de politiek dat de universiteit een bedrijf is als vele anderen. Er wordt geld geïnvesteerd en er kom output uit. Het moet waarde creëren en zelf de broek ophouden. Ook hier is de markt doorgedrongen. Wat er hierdoor van de universiteit over blijft is voor sommigen de vraag. Hans Radder[29], emeritus hoogleraar filosofie van wetenschap en technologie aan de Vrije Universiteit te Amsterdam, spreekt al in 2003 over ‘wetenschap als koopwaar’? In het onder zijn redactie uitgegeven boek[30]: ‘The commodification of academic research: science and the modern university’, komt deze opvatting eveneens ruimschoots aan bod. Eelco Runia, universitair docent in de letterenfaculteit te Groningen, is er ook duidelijk over, van de universiteit blijft steeds minder over. Hij heeft derhalve op enigerlei moment met de voeten gestemd[31]. De universiteit zou minder aandacht moeten besteden aan het opleiden van studenten voor door het bedrijfsleven gedefinieerde banen, maar studenten vooral de weg moeten wijzen naar onafhankelijk denken, naar waar de wortels van kennis zijn en naar diversiteit van opvattingen en waarheid[32].

Een tweede probleem bij het honoreren van subsidieverzoeken is dat er nogal wat factoren zijn die bepalen of de aanvraag gehonoreerd wordt. Natuurlijk speelt het onderwerp en de aanpak van het onderzoek een grote rol. Het onderwerp moet passen in wat de subsidieverlener relevant vindt. Fundamenteel onderzoek heeft het op dit moment erg moeilijk, maatschappelijk relevant onderzoek niet. Echter, wat is maatschappelijk relevant onderzoek? Daarnaast spelen de ervaring van de onderzoeker, een goed ‘trackrecord’, de weg weten, een mooie publicatielijst met vooral veel geciteerde artikelen in tijdschriften met een hoge impactfactor, een rol. Dit laatste leidt er toe dat gerenommeerde onderzoekers gemakkelijker geld verkrijgen dan anderen. Dit leidt tot scheefgroei en minder kansen voor jonge, beginnende onderzoekers[33].

Een andere factor die een rol blijkt te spelen is de sexe van de onderzoeker, de subsidie-aanvrager. Voor vrouwen is de kans dat het verzoek wordt afgewezen beduidend hoger dan voor mannen[34]. Onderzoek in Canada naar resultaten van subsidieverzoeken bij een nationaal subsidiefonds laat zien dat wanneer duidelijk is dat de onderzoeker vrouw is de kans op succes fors daalt. Wanneer het verzoek zonder naam mag worden ingediend verdwijnt het verschil[35]. De oproep is dan ook de aanvragen te beoordelen op de inhoud van het project, zonder namen van onderzoekers[36].

Verder zijn vrouwen ook anderszins in het nadeel blijkt uit een onderzoek[37] van de LHVN (Landelijk Netwerk Vrouwelijke Hoogleraren). Vrouwen werken vaker in deeltijd, hebben vaker een tijdelijke aanstelling, maar vooral opvallend is dat zij minder tijd mogen besteden aan onderzoek, waarbij zij ook nog eens minder ondersteuning genieten op allerlei terreinen. Ook is zwangerschap en moederschap niet bevorderlijk voor de carrière.

Het derde vraagstuk is de externe financiering door andere partijen dan de openbare en neutraal geachte subsidieverleners. Het gaat hier om industriële partijen, belangenorganisaties, politieke organisaties, maar ook overheden. Partijen die groot belang bij de uitkomsten van het onderzoek hebben, zowel in termen van geld als invloed en macht. Veel wetenschappers voelen zich daardoor beperkt in hun mogelijkheden en maken zich zorgen over de toekomst van wetenschappelijk onderzoek[38]. In de medische wereld zijn er voorbeelden van belangenverstrengeling te over, zeker waar het gaat om geneesmiddelenonderzoek, volgens Richard Horton[39], hoofdredacteur van de Lancet, een van de meest gerenommeerde wetenschappelijke tijdschriften in de gezondheidszorg, en Ben Goldacre[40], psychiater en onderzoeker aan het Centrum voor Evidence-Based Medicine van de Universiteit van Oxford. Gegevens worden gemanipuleerd door de industrie. Publicatie van negatieve studieresultaten wordt niet toegestaan. Los daarvan lijkt het er op dat ook onderzoekers weinig trek hebben in het publiceren van negatieve resultaten. Zwitsers onderzoek[41] naar gesubsidieerd laat het vraagstuk zien. Het aantal positieve publicaties neemt toe. Hoe het komt dat 20-25% van de studies in de geneeskunde niet eens tot een publicatie leidt? Waarschijnlijk zijn dit studies met negatief resultaat, maar zeker is het niet. Maar, ook tijdschriften maken het moeilijk negatieve resultaten te publiceren. Er moet meer documentatie worden aangeleverd en er worden meer vragen gesteld. Positieve berichten spreken beter aan. Gevolg, het merendeel van de publicaties betreft rooskleurige berichten.

Verder wordt onderzoek waarbij weinig voordeel voor de industrie wordt verwacht, niet gesubsidieerd. Gesponsord onderzoek toont betere resultaten dan onafhankelijk onderzoek. Nader onderzoek[42] in de Verenigde Staten laat zien dat er een verband is tussen positieve resultaten en de verhouding van auteurs tot financiers. Goede financiële banden met belanghebbende bedrijven leidt tot betere studie-uitkomsten. Daarnaast bevordert sponsoring van onderzoek door derden meestal onderzoek dat vrijwel uitsluitend in het belang van deze derden is. Hiermee wordt de onderzoeker afhankelijk, hetgeen in ultimo gevolgd wordt door een beperking van de vrijheid van meningsuiting, aldus professor Hans-Peter Werner[43] in een stuk over kwaliteit in de gezondheidszorg. Marcia Angell[44], hoofdredacteur van de New England Journal of Medicine, noemt het gewoon corruptie.

Al deze elementen zijn ook terug te vinden in de het briefadvies[45] van de KNAW van maart 2018 met de titel ‘Vrijheid van wetenschapsbeoefening in Nederland’. Het advies kwam tot stand vanwege een motie in de Tweede Kamer, de motie Straus-Duisenberg, waarin gevraagd werd om het advies. Hier ging het om zelfcensuur en beperking van diversiteit van onderzoek. In het advies komen (nog) geen grote zorgen naar voren, hoewel benadrukt wordt dat er tendensen zijn die tot zelfcensuur en vermindering  van diversiteit kunnen leiden. Er wordt op gewezen dat overheidssubsidiering van onderzoek voldoende ruimte moet bieden om ongebonden onderzoek mogelijk te maken, onderzoek dat niet gekoppeld is aan wensen en opdrachten van geldverstrekkers, niet gekoppeld is aan spelende maatschappelijke vraagstukken, dat niet maatschappelijk relevant hoeft te zijn. Dit alles veronderstelt diversiteit in onderzoeksinstituten en in beoordelingscommissies.

Uit een ander advies[46] van de KNAW van december 2018, ‘Wederzijdse versterking.Hoe publieke en private investeringen in onderzoek en ontwikkeling samenhangen’, komt naar voren dat het Nederlandse bedrijfsleven relatief veel investeert in onderzoek aan universiteiten en andere kennisinstituten. Dit terwijl investeringen in eigen onderzoeksafdelingen verminderen. In het advies wordt aangegeven dat het wenselijk is ook en meer onderzoek met middelen uit het bedrijfsleven te (laten) verrichten op directe wijze en niet indirect. De hiermee tot stand te brengen en gebrachte vermenging van belangen wordt niet aan de orde gesteld.

Ten slotte is er nog een geheel ander vraagstuk in de gezondheidszorg in Nederland aan de orde. Subsidiering van onderzoek naar complementaire zorg door ZonMw, organisatie voor gezondheidsonderzoek en zorginnovatie en groot subsidieverlener, stuitte op veel weerstand. De rust is hier nog niet weer gekeerd. Hier is onder meer aan de orde wie bepaalt wat wetenschap is, welk model van de werkelijkheid geldt als enige waarheid. Intussen vindt er gelukkig wel degelijk onderzoek plaats, ook aan universiteiten, zoals de huidige voorzitter van ZonMw, Jeroen Geurts, hoogleraar translationele neurowetenschappen aan Amsterdam UMC, in zijn column[47] in de NRC laat zien.

Gelijke toegang tot de resultaten van onderzoek

We zagen al dat niet al het verrichte onderzoek gepubliceerd wordt. Diverse gronden werden bovenstaand beschreven. Het gevolg is wel dat er ook geen toegang tot de gevonden resultaten is. Deze zouden van belang kunnen zijn voor wetenschappelijk onderzoekers, maar ook voor bijvoorbeeld artsen, beleidsmakers en nog meer. Daarnaast is er nog een probleem. Nu met het wel gepubliceerde onderzoek. Uitgangspunt moet zijn dat al het gepubliceerde onderzoek voor iedere belangstellende toegankelijk is, zeker voor wetenschappelijk onderzoekers[48]. Dit is echter nu niet het geval. Een groot deel van de publicaties is alleen beschikbaar na betaling. Dat is misschien nog tot daar aan toe, ware het niet dat de ermee gemoeide bedragen groot zijn. Soms moet zelfs voor een enkel artikel een groot bedrag, tientallen euro’s,  neergeteld worden. Dit kan aardig oplopen wanneer er meerdere artikelen in verschillende tijdschriften geraadpleegd moeten worden. Ook abonnementen op deze tijdschriften zijn redelijk duur. Voor een belangrijk deel worden deze abonnementen door de bibliotheken van de universitaire instituten en andere wetenschappelijke organisaties betaald, maar ook dan is de toegang alleen kosteloos voor medewerkers en studenten. Hiermee is het probleem maar ten dele opgelost, want voor deze groep geldt dat toegang alleen verkregen kan worden tot een deel van de publicaties, daar de bibliotheek een keuze gemaakt heeft uit de te abonneren tijdschriften. Dat de meest relevante hieronder zijn lijkt vanzelfsprekend. Op deze manier houden de belangrijke tijdschriftuitgevers de wetenschappelijke wereld in de tang.

Kortom, de wetenschappelijke instituten betalen de onderzoekers, betalen de abonnementen op wetenschappelijke tijdschriften, de auteurs leveren gratis kopij, de uitgevers strijken de winst op. Natuurlijk wordt gezocht naar andere mogelijkheden om de publicaties toch te kunnen lezen. De wetenschappelijke uitgeverijen bieden weinig soelaas. Ja, enkele artikelen worden zonder kosten op internet aangeboden. Maar dat is het dan ook. Ongeveer de helft van de wetenschappelijke publicaties verschijnt bij slechts vijf grote uitgeverijen. Hierbij zijn de tijdschriften met de meeste invloed. Daar het voor wetenschappers van het grootst mogelijke belang is in voor hun vakgebied belangrijke tijdschriften te publiceren wordt zodoende het systeem in stand gehouden. Het gehele systeem wordt wel als een voortreffelijk verdienmodel gepresenteerd, door uitgevers wel te verstaan. Dit is te begrijpen. Artikelen worden door derden geschreven, de redactie werkt vrijwel altijd tegen een beperkte onkostenvergoeding, de beoordelaars doen hun werk zonder vergoeding. Kortom, de totale inhoud kost vrijwel niets. De kosten voor de uitgeverijen zijn beperkt tot organisatie, druk, distributie en website. Desalniettemin kosten sommige abonnementen duizenden euro’s per jaar. De marges liggen tussen 35 en 40%, soms zelfs hoger. De winst is duidelijk[49]. Stephen Buranyi, immunologisch onderzoeker en columnist noemt het een “staggeringly profitable business”[50]. Deze situatie wordt in toenemende mate ongewenst geacht. De Engelse bioloog, schrijver en columnist van the Guardian, George Monbiot[51] spreekt hier over “daylight robbery”.

Een poging om het systeem te omzeilen werd gezet met Sci-hub, opgericht door de uit Kazachstan afkomstige Alexandra Elbakyan. Via haar systeem wordt toegang verkregen tot vele tijdschriften. Het was haar bewust dat zij hiermee formeel op illegale wijze aan de bestanden kwam. Haar argument is dat wetenschap aan de onderzoekers toebehoort en niet aan de uitgevers. Het leverde haar rechtzaken op, waarin grote schadevergoedingen werden verlangd door uitgevers. Het zal niet verbazen dat de uitgevers deze toegewezen kregen[52]. Het hindert Sci-hub niet om door te gaan. Dagelijks worden grote hoeveelheden medisch-wetenschappelijke artikelen via deze weg opgevraagd. Wel valt op dat het gebruik in arme landen beduidend groter is dan in andere landen[53].

Het hele gedoe met publicaties heeft in de beginjaren van deze eeuw een nieuw initiatief opgeleverd, het gratis toegankelijke systeem PloS (Public Library of Science). Ook hier ‘peer review’, maar ook betalen voor het publiceren. Dit ‘open access’ model is, wie had het niet verwacht, door de grote uitgeverijen overgenomen. Een onderzoeker kan bij vele tijdschriften kiezen voor een ‘normale’ publicatie of een in ‘open access’, met publicatiekosten als gevolg.

Mede omdat veel onderzoek door de overheid wordt gesubsidieerd, al dan niet direct is de oproep gedaan het door de overheid betaalde onderzoek alleen nog te publiceren in ‘open acces’. Binnen de Europese Unie is toegezegd dat in 2020 ‘open access’ de standaard zou moeten zijn. Hoe dit te realiseren bleef onduidelijk. De Europese Commissie heeft intussen, onder aanvoering van ‘cOAlition-S, Plan-S (science, speed, solution, shock) gelanceerd. Hierin zeggen subsidiegevers toe dat subsidiering betekent dat de resultaten in ‘open access’ gepubliceerd moeten worden. Er is genoeg tegenwind en tegengas. Enerzijds uit de wereld van de uitgeverijen, anderszins ook uit wetenschappelijke hoek. Voor veel vakgebieden zouden er geen tijdschriften zijn met ‘open acces’ of geen wetenschappelijk hoogstaande. Gevolg, problemen met de ‘science citation index’ en dientengevolge met je carrière. Ook andere argumenten worden gebruikt[54]. Veel landen in de wereld doen niet mee aan het plan. De subsidies voor wetenschappelijk onderzoek zouden omhoog moeten. Het zou de tweedeling bevorderen tussen rijke en arme landen. Interessant is wel dat China heeft toegezegd mee te werken.

Een geheel andere benadering[55] gaat er van uit dat wetenschappelijke kennis een publiek belang heeft, een ‘common good’, openbaar bezit is. Het kan daarmee niet geheim gehouden worden of in persoonlijk bezit zijn. Het moet vrij toegankelijk zijn. Gevolg, ook patentering is uit den boze. Hierover wordt, begrijpelijk, nog van mening verschild.

Publicatiedruk

Het gehele wetenschappelijke systeem is nu gebaseerd op competitie. Meer publicaties, meer aanzien, meer resultaat voor het instituut van de auteur. De financiering van het instituut hangt hier mee samen. Natuurlijk heeft men geprobeerd het systeem zo op te zetten dat het een stimulans geeft goede artikelen te produceren. In de ‘science citation index’ wordt inzichtelijk welke auteur betrokken is bij publicaties met een grote invloed, publicaties in gerenommeerde tijdschriften. Het is voor jonge onderzoekers niet eenvoudig aan deze ‘ratrace’ mee te doen. Deze publicatiedruk gaat in hoge mate over in welk tijdschrift gepubliceerd wordt, nauwelijks nog over de inhoud van het artikel[56]. Dat er stemmen opgaan af te zien van dit systeem is duidelijk. Competitie is niet zaligmakend, eerder verstorend. “Competitie veroorzaakt strijd, geen samenwerking” kopt Hieke Huistra, als wetenschapshistoricus verbonden aan de Universiteit Utrecht, haar column in Trouw[57]. Daarnaast is het de vraag of de manier van meten, het meten zelf, wel tot het gewenste resultaat leidt, zoals Ben Tiggelaar in zijn column in de NRC[58] schrijft.

De publicatiedruk leidt er toe dat nieuwe wegen worden gezocht om te publiceren. Het gevolg, de opkomst van internettijdschriften zonder abonnement. De opzet is als bij de andere tijdschriften. Auteurs leveren hun artikel in. De redactie garandeert ‘peer review’. Ook hier nadien eerst publicatie. Echter, de auteur betaalt voor publicatie. In opzet worden hiermee de kosten van de uitgever bestreden. Welke is zelden duidelijk. Al snel werd duidelijk dat hiermee geld te verdienen valt. Het gevolg een hele rij van malafide tijdschriften, van ‘nep’ tijdschriften[59], maar ook ‘nep’conferenties[60]. Ook Nederlandse onderzoekers maken hier gebruik van[61]. De auteur betaalt voor publicatie en kan zijn publicatie opvoeren in zijn publicatie overzicht. Afhankelijk van welk tijdschrift wordt er meer of minder waarde aan de publicatie gehecht. Nu het duidelijk wordt dat er bij veel van deze publicaties totaal geen sprake is van ‘peer review’ is ook deze publicatieweg een ergernis voor de een aan het worden, voor de ander een goudmijn. Er wordt veel geld meeverdiend.

Bioloog en journalist John Bohannon[62] dook in 2013 in de wereld van internettijdschriften en de mate van ‘peer review”. De door hem vervaardigde neppublicaties werden door een aantal internettijdschriften vrijwel zonder meer geaccepteerd. Opvallend was ook dat enkele goed bekend staande tijdschriften eveneens  een artikel accepteerden. Daartegenover staan de tijdschriften die meer of minder vragen stelden of artikelen direct afwezen. Ook de geldstromen die met de internettijdschriften gemoeid zijn, zijn groot en vaak in de richting van onduidelijke instanties in verre oorden.

Beoordeling door vakbroeders, ‘peer review’

Het klinkt als een mooi systeem, beoordeling door vakbroeders. Desalniettemin is er de laatste tijd een stevige discussie ontstaan over de huidige situatie. Is het wel zo neutraal als gedacht? Is er niet regelmatig sprake van belangenverstrengeling? Hoe zit het dus met de integriteit van de beoordelaars?

De geschiedenis van ‘peer review’ gaat mogelijkerwijs terug tot in de achttiende eeuw. De huidige methode van ‘peer review’ zou ontstaan zijn in de zestigerjaren van de vorige eeuw. Niet bij wetenschappelijke tijdschriften, maar bij de beoordeling van projecten, vooral onder druk van de politiek[63]. Intussen is deze beoordelingsmethode overal in de wetenschappelijke wereld ingevoerd. Het is het systeem om artikelen gepubliceerd te krijgen. Vakgenoten, meestal niet de minsten, krijgen het verzoek voorgelegd een conceptartikel te beoordelen. De auteur(s) weet niet door wie het artikel beoordeeld wordt. Slechts het commentaar dat aan hem wordt teruggekoppeld, overigens meestal een compacte samenvatting door de hoofdredactie, geeft hem houvast. Gedachtenwisseling met de ‘peers’ is onmogelijk. Je zou kunnen zeggen dat hierdoor ook een belangrijk deel van wetenschappelijke vooruitgang, namelijk het uitwisselen van argumenten, bijna onmogelijk gemaakt wordt. Een uitwisseling via de redactie is beperkt mogelijk, een directe uitwisseling niet. Het heeft daarmee ook iets frustrerends. Dat gevoegd bij het feit dat intussen ook duidelijk is geworden dat niet iedere ‘reviewer’ evenveel tijd en energie stopt in zijn beoordeling, maakt het er niet gemakkelijker op. Kritiek is er al langer. Zeker toen duidelijk werd dat reviewers in staat waren er voor te zorgen zelf hun eigen artikelen te beoordelen. Er is echter meer aan de hand[64]. Richard Smith[65], voormalig uitgever van de British Medical Journal, is sceptisch geworden, zeker nadat er heel wat onderzoek gedaan is naar het functioneren van het systeem, onder meer met behulp van opzettelijke fouten in artikelen die aan reviewers ter beoordeling werden aangeboden. Vele fouten worden in de artikelen volledig gemist, slechts een deel van de reviewers vindt fouten, maar niet alle. Hij beschouwt het intussen als een soort loterij, gedeeltelijk met vooringenomen deskundigen, die het systeem naar hun hand zetten bij de beoordeling van bekende auteurs. Een belangrijk probleem is ook dat vernieuwend en origineel onderzoek minder kans heeft in een dergelijk systeem. Hij komt tot de slotsom: “So peer review is a flawed process, full of easily identified defects with little evidence that it works”. Hoewel er niets beters is en we er dus mee doorgaan is er toch een tweede punt dat hem stoort. Het er mee doorgaan heeft niets met wetenschap te maken, maar we gaan er mee door omdat velen in het systeem geloven. Zijn laatste zin luidt dan ook: “How odd that science should be rooted in belief”. Hierop heeft hij dan ook commentaar gekregen. Er wordt hier aan voorbijgegaan dat het interessant is te bezien of en waar wetenschap en geloof dezelfde wortels hebben.

Caspar Hirschi[66], hoogleraar algemene geschiedenis, in het bijzonder geschiedenis van kennis, van de wetenschap, van de economie, van de organisatie van innovatie en expertise, aan de Universiteit van St. Gallen in Zwitserland, wijst er eveneens op dat aan ‘peer review’ enkele nadelen kleven, die niet gering zijn. Zijn belangrijkste bezwaar is de politieke controle, waarmee hij bedoeld dat ‘peer review’ er voor zorgt dat ontwikkelingen binnen de gebaande paden blijven en er geen disruptieve publicaties verschijnen. Voor wetenschappelijke carrières is uitbreken uit het gewone zelden een voordeel. Politieke correctheid geeft meer zekerheid.

Tot slot. Bovenstaand overzicht en betoog hebben laten zien dat er op vele fronten commentaar geleverd wordt op wetenschappelijk onderzoek. Meer nog over diverse aspecten is te vinden in de bovengenoemde artikelenserie van Piet Ransijn in dit tijdschrift, in mijn eerdere artikel[67] ‘Zoektocht in de zorg’ en in mijn boek: Gezondheidszorg als handelswaar. Worden wij daar beter van?[68]

Ja, het is helder dat beïnvloeding door financiers ongewenst is, maar niet altijd geheel te vermijden. Hier kan overigens meer aan weerwerk worden gedaan. Onderzoekers kunnen meer alert zijn. Onafhankelijk onderzoek bevindt zich echter ook in de gevarenzone wanneer zowel de overheid, het bedrijfsleven, de universiteit als mede collega-wetenschappers allemaal één lijn trekken inzake wat onderzocht mag worden en hoe en waar het uiteindelijk al dan niet gepubliceerd wordt. Je hoort binnen de lijntjes te kleuren, anders doe je niet meer mee.

Bij beide, het financieringsvraagstuk, inclusief publiceren, en waarover gaat het onderzoek, zijn er gelukkig steeds meer wetenschappers die zich onafhankelijk weten op te stellen. Desalniettemin blijft waakzaamheid op zijn plaats.

* Maarten Rutgers was van origine neuroloog; nadien vele jaren ziekenhuisbestuurder. Nu is hij nog voorzitter van de mede door hem opgerichte vereniging voor patiëntveiligheid in ziekenhuizen (Vereniging Veilige Curatieve Zorg, www.vvcz.nl), voorzitter van enkele Raden van Toezicht en adviseur in de gezondheidszorg.