Het oplossen van het replicatieprobleem in de sociale wetenschap

Een team van onderzoekers heeft vandaag een goede bijdrage geleverd aan het oplossen van het replicatieprobleem in de sociale wetenschap.

Eerder schreef ik al eens over wat wetenschap is en waarom het belangrijk is (zie Wetenschap verbeteren). In dat stuk gebruikte ik het onderstaande plaatje om een aantal essentiële schakels in de het wetenschappelijke proces te beschrijven. Elk van deze schakels vervult een essentiële rol in het goed laten functioneren van het wetenschappelijke proces. Bij meerdere van deze schakels is sprake van bedreigingen die de kwaliteit van de wetenschap kunnen ondermijnen.

Een van die bedreigingen heeft betrekking op replicatiestudies. Bij een replicatiestudie wordt het onderzoek herhaald volgens dezelfde methode maar door andere onderzoekers en met andere proefpersonen. Het doen van replicatiestudies is van groot belang in wetenschappelijk onderzoek. Replicaties dragen in belangrijke mate bij aan het zelfcorrigerende karakter van wetenschap. Hier zijn enkele manieren waarop replicatieonderzoek de wetenschap eerlijker en beter maakt. Ten eerste: het feit dat replicatieonderzoek een normaal onderdeel van het wetenschappelijke proces is, dwingt wetenschappers om open en transparant te zijn over hun methoden en data. Ten tweede: het feit dat anderen je onderzoek zullen repliceren vermindert de kans op sjoemelen. Ten derde: replicatieonderzoek maakt het mogelijk om te kijken of opmerkelijke resultaten het gevolg waren van toevallige omstandigheden of niet.

In de psychologie is enkele jaren geleden al duidelijk gesignaleerd dat er een probleem bestaat rondom replicatieonderzoek (zie dit eerdere artikel dat ik schreef). Dit probleem bestond er ten eerste uit dat veel tijdschriften nauwelijks geïnteresseerd waren in het publiceren van replicatiestudies (waardoor het tamelijk onaantrekkelijk was voor wetenschappers om deze belangrijke activiteit te blijven verrichten). En ten tweede was het probleem dat replicatiestudies die waren uitgevoerd nogal eens lieten zien dat bevindingen uit psychologisch wetenschappelijk onderzoek niet robuust waren (de eerder gevonden effecten werden bij replicatie niet opnieuw gevonden).

Een internationaal team van 270 onderzoekers heeft nu 100 psychologische en sociaalwetenschappelijke onderzoeken die waren gepubliceerd in voorstaande tijdschriften, gerepliceerd (zie hier). Hier is de samenvatting van hun publicatie die vandaag werd gepubliceerd in Science:

Reproducibility is a defining feature of science, but the extent to which it characterizes current research is unknown. We conducted replications of 100 experimental and correlational studies published in three psychology journals using high-powered designs and original materials when available. Replication effects were half the magnitude of original effects, representing a substantial decline. Ninety-seven percent of original studies had statistically significant results. Thirty-six percent of replications had statistically significant results; 47% of original effect sizes were in the 95% confidence interval of the replication effect size; 39% of effects were subjectively rated to have replicated the original result; and if no bias in original results is assumed, combining original and replication results left 68% with statistically significant effects. Correlational tests suggest that replication success was better predicted by the strength of original evidence than by characteristics of the original and replication teams.

Kort gezegd: veel van de effecten die in de originele studies werden gevonden werden in de replicatiestudies niet gevonden en veel van de effecten die in de replicatiestudies wel werden gevonden waren zwakker dan de effecten die werden gevonden in de originele studies.

Wat betekent dit nu? Dit nieuwe onderzoek is een stap in de goede richting. Het laat zien hoe belangrijk replicatiestudies zijn en het laat zien dat de robuustheid van bevindingen van sociaal wetenschappelijk onderzoek te wensen over laat. Wetenschap moet zelfcorrigerend zijn. Dat er soms foute bevindingen worden gerapporteerd is onvermijdelijk maar een goed functionerende praktijk van replicatieonderzoek helpt om fouten bevindingen aan het licht te brengen. Tijdschriften moeten replicatiestudies weer als belangrijk gaan beschouwen. Wetenschappers moeten transparanter worden over hun methoden (en deze liefst al voor de uitvoering van hun onderzoek bekend maken zodat sjoemelen bemoeilijkt wordt).