Ontmaskeraars ontmaskerd? Repliceerders hebben een belang bij het mislukken van replicaties en permitteren zich te veel vrijheden

Een nieuw artikel van Bryan, Yeager & O’Brien (2019) werpt een heel nieuw licht op de replicatiecrisis in de psychologie. Een beeld dat hier en daar is opgerezen van originele auteurs als prutsende sjoemelaars en van repliceerders als heilige verdedigers van de wetenschappelijke moraal moet worden herzien. Repliceerders permitteren zich vaak te veel vrijheden, zowel in de opzet van hun onderzoeken als in de manier waarop ze data analyseren.

Trainingen Progressiegericht Werken

Repliceerders hebben een belang bij het mislukken van replicaties

Het vertrouwen in de psychologische wetenschap is sinds 2011 onder druk komen te staan vanwege vele mislukte pogingen om eerdere onderzoeksbevindingen te repliceren. Dit heeft geleid tot een grotere scepsis over de psychologie bij leken en tot striktere methodologische eisen aan onderzoekers. Het is begrijpelijk dat er veel aandacht is geweest voor de integriteit en de methodologische kwaliteit van de originele auteurs.

Een conflict waar deze originele auteurs mee te maken hadden is tussen enerzijds de wens om wetenschappelijk integer en goed te werken en anderzijds om significante resultaten te vinden. Het vinden van significante resultaten was belangrijk omdat wetenschappelijke tijdschriften lange tijd zeer weinig belangstelling hebben gehad om niet-significante resultaten te publiceren. Hierdoor was het verleidelijk voor originele auteurs om hun experimentele designs en data-analysemethode zo in te richten dat de kans op significante resultaten zo groot mogelijk was.

De afgelopen jaren is de impliciete veronderstelling steeds geweest dat uitvoerders van replicatieonderzoek niet met een dergelijk conflict te maken hadden. Maar deze veronderstelling is onterecht. Tijdschriften zijn nu meer geïnteresseerd in het publiceren van mislukte replicaties dan van geslaagde replicaties. Daarom is er voor repliceerders een conflict tussen de wens om wetenschappelijk integer en goed te werken enerzijds en de wens om niet-significante resultaten te publiceren anderzijds. Originele auteurs kunnen in de verleiding komen om significante resultaten te tonen waar die er niet zijn (false positives) terwijl repliceerders in de verleiding kunnen komen om significante resultaten te verhullen (false negatives).

Repliceerders permitteren zich te veel vrijheden in onderzoeksopzet en data-analyse

Bryan et al. leggen uit dat de eisen die aan replicaties gesteld worden nu vooral gericht zijn op het gebruik van grotere steekproeven, vergelijkbare experimentele materialen en robuustheidschecks op de data-analyse. Maar zij beargumenteren en demonstreren dat deze eisen veel vrijheidsgraden overlaten voor repliceerders om nul-resultaten te produceren. De vrijheden kunnen bijvoorbeeld betrekking hebben op de context en de tijd waarin het onderzoek wordt gesitueerd, op het type respondenten en op de manier de respondenten zijn geworven. Het effect van dit soort afwijkingen van de originele publicaties kan zijn dat er geen sprake is van een echte replicatie.

De auteurs beschrijven uitgebreid hoe twee replicaties van een onderzoek van Bryan et al. (2011) zich verschillende soorten vrijheden permitteerden en nul-resultaten rapporteerden. Vervolgens heranalyseerden de resultaten van het tweede onderzoek en vonden zij sterk bewijs voor het effect dat gevonden werd door de oorspronkelijke auteur. Dit effect dat gevonden werd in de data van het replicatieonderzoek was aanvankelijk gemaskeerd door enkele onterechte keuzes in het onderzoek van de repliceerders.

Ontmaskeraars ontmaskerd?

De strijd in de psychologie van de afgelopen jaren leek er een te zijn tussen die van ontdekkers en ontmaskeraars. De ontdekkers waren de originele auteurs die een effect hadden gerapporteerd in hun onderzoek. De ontmaskeraars waren de nobele verdedigers van de wetenschap die aantoonden dat ontdekkers vaak sjoemelden met resultaten om hun onderzoeken maar gepubliceerd te krijgen. Dit beeld is misleidend. Het is terecht om zeer kritisch te kijken naar originele publicaties. Wetenschap komt vooruit doordat verschillende wetenschappers elkaars werk kritisch beoordelen en replicatieonderzoek te doen.

Maar het idee dat alleen de ja-zeggers opportunistische belangen kunnen hebben, is fout. Ook nee-zeggers hebben een belang. Ten eerste kunnen repliceerders een algemeen opportunistisch belang hebben. Er is namelijk een flinke markt voor ontmaskerpublicaties: tijdschriften zijn meer geïnteresseerd in het publiceren van mislukte dan van geslaagde publicaties. Ten tweede kunnen repliceerders een specifiek opportunistisch belang hebben om bevindingen van originele auteurs te weerleggen. Dat belang kan zijn dat zij een alternatief model, theorie hebben die ze willen verdedigen en die haaks staat op het model, de theorie van de originele auteur.

Deze laatste gedachte komt wel eens bij mij op als ik werk lees van onderzoek dat mindset of deliberate practice onderzoek zou weerleggen (zie bijvoorbeeld hier en hier). In deze onderzoeken worden claims en onderzoeksmethoden van de originele auteurs (in deze gevallen Anders Ericsson en Carol Dweck) verkeerd weergegeven, uitgelegd en gerepliceerd. Een recent voorbeeld betreft een replicatie-onderzoek van Mueller & Dweck (1998) door Li & Bates (2019). Zoals Dweck & Yeager (2019) demonstreren, maken de repliceerders essentiële fouten in hun onderzoek. Dweck & Yeager laten zien dat een eenvoudige heranalyse van Li & Bates’ data het originele effect wel degelijk toont.

Wat vind je van dit artikel?
  • Interessant (2)
  • Bruikbaar (1)