Sjoemelwetenschap
Science publiceerde in augustus 2015 een artikel waaruit bleek dat ongeveer slechts één derde van alle psychologisch onderzoek replicabel is. Dat wil zeggen dat wanneer het onderzoek op exact dezelfde wijze wordt herhaald, er ook dezelfde resultaten uitkomen. Aan twee derde van die onderzoeken schort dus het een en ander. Een even forse als ernstige claim, temeer omdat het over serieuze wetenschappers gaat die publiceerden in serieuze tijdschriften. Opzettelijke fraude was hier niet aan de orde. Slordigheid en statistische misrekeningen zouden er de oorzaak van zijn. Hetzelfde geldt voor hersenonderzoek, dierproeven en voedingswetenschap. Voor biomedisch onderzoek zijn de uitkomsten nog dramatischer: 70 tot 90 % passeert de herhalingstoets niet. In alle gevallen betreft het replica-onderzoek dat andere uitkomsten laat zien.
Ik geloof het graag, hoewel ik me afvraag op welke manier men tot die conclusies is kunnen komen. Het is niet aannemelijk dat al die psychologische, biomedische, hersen-, dier- en voedingsonderzoeken ook daadwerkelijk herhaald zijn. Het zal dus ook wel met steekproeven, statistiek en generalisaties van doen hebben. Paradoxaal genoeg hebben we het dus over wetenschap die wetenschap controleert en dat blijft toch lastig aanleunen tegen het beeld van de slager die zijn eigen vlees keurt. Of mogen we op grond van het bovenstaande gevoeglijk aannemen dat van het meta-onderzoek ook maar weer een derde in de haak is? Kan best.
De discipline toonde zich bij monde van Alan Kraut, voorzitter van de Amerikaanse psychologenvereniging APS, in ieder geval erg trots dat ze de moed toonde om op deze manier ‘schoon schip’ te maken. John Ioannidis, Stanford-methodoloog, sprak van een zwarte dag. Het betrof immers de beste studies uit de beste vakbladen. Ik zeg, iets minder eerbiedig, sjoemelwetenschap: goede prestaties in een testsituatie, maar met de praktijk heeft het weinig te maken. Kunnen we het wetenschapsbedrijf niet voor de rechter dagen?
Waarom eigenlijk niet?
Bas van der Bruggen
Download dit artikel als PDF
Je moet ingelogd zijn om een reactie te plaatsen.