Eenvoudige heranalyse van Li & Bates (2019) laat zien dat Mueller & Dweck (1998) niet wordt ontkracht maar juist bevestigd

Eén van de bekendste onderzoeken in relatie tot mindsets is het onderzoek van Mueller & Dweck (1998). Hier bespreek ik dat artikel uitgebreid. Recent deden Li & Bates (2019) een replicatieonderzoek van Mueller & Dweck en zeiden de oorspronkelijk gevonden effecten niet te hebben gevonden. Maar in een reactie op dit artikel laten Dweck & Yeager (2019) zien dat het replicatieonderzoek van Li & Bates niet voldoet aan de eisen die tegenwoordig gesteld worden aan replicatieonderzoeken. Bovendien laten ze zien dat door te corrigeren voor enkele van eenvoudigste afwijkingen van die eisen, de data van Li & Bates de conclusies van Mueller & Dweck niet ontkrachten maar juist bevestigen.

Replicatieonderzoek is belangrijk voor wetenschap maar wordt niet altijd goed uitgevoerd

Het doel van wetenschap is om robuuste, repliceerbare en generaliseerbare kennis op te leveren. Binnen de wetenschap spelen replicatiestudies een belangrijke rol. Goed opgezette en uitgevoerde replicatiestudies kunnen belangrijke aanwijzingen geven over de robuustheid van effecten uit originele studies. Maar, zoals in een recente publicatie van Bryan et al. (2019) wordt uitgelegd, permitteren repliceerders zich vaak te veel vrijheden in de manier waarop replicatieonderzoeken zijn opgezet en geanalyseerd. Vermoedelijk is dit deels te verklaren doordat repliceerders een belang kunnen hebben bij het niet slagen van replicatieonderzoeken.

De originele studie: Muller & Dweck (1998)

Mueller & Dweck voerden zes onderzoeken uit naar de effecten van intelligentiecomplimenten versus inspanningscomplimenten na een succesvolle taakuitvoering bij een gemakkelijke taak op presteren na een onsuccesvolle taakuitvoering van een moeilijke taak. De onderstaande figuur toont hoe de onderzoeken waren opgebouwd:

Mueller & Dweck lieten in vier studies zien dat intelligentiecomplimenten leidden tot slechter presteren na falen dan inspanningscomplimenten. De resultaten waren robuust en niet verstoord door p-hacking.

De replicatie door Li & Bates (2019)

In drie studies bij kinderen in China volgen Li & Bates grofweg dezelfde procedure als die van Mueller & Dweck. Na gemakkelijke problemen kregen kinderen complimenten en vervolgens kregen ze moeilijkere problemen. Als derde stap kregen ze weer minder moeilijke problemen. Ze introduceerden ook een nieuw element. Bij studies 2 en 3 werd actieve controleconditie toegevoegd waarin een statische mindset opmerking gemaakt door een opmerking over inspanning: “Je kunt je basisaanleg niet veranderen, maar je werkt aan dingen en dat is hoe je dingen voor elkaar krijgt.” Ook voegden ze in enkele studies nog een vierde stap met moeilijke problemen toe. In studie 1 vonden Li & Bates resultaten die Mueller & Dwecks conclusies bevestigden. In studie 2 en 3 verlaagden ze de statistische power en vonden ze geen verschil tussen de groepen.

Commentaar en heranalyse door Dweck & Yeager (2019)

De eerste studie had voldoende statistische power en bevestigde Mueller & Dweck. Dat studies Li & Bates de statistische power van studies 2 en 3 verlaagden gaat tegen richtlijnen voor replicatieonderzoek in en vormt mogelijk een reden voor de niet significante resultaten. Door de data van studies 1 tot en met 3 samen te analyseren (waardoor de statistische power groter werd) vonden Dweck & Yeager namelijk wel een bevestiging van de resultaten van Mueller & Dweck.

Een vreemde interpretatiefout van Li & Bates was de volgende. Li & Bates stellen inspanningscomplimenten gelijk aan een groeimindset. Ze zeggen bijvoorbeeld “The results did not support any effect of growth mindset on children’s post-failure performance” (p. 19)  en “We found little or no support for the idea that growth mindsets are beneficial for children’s responses to failure”. Maar het geven van inspanningscomplimenten is niet hetzelfde als een groeimindsetmanipulatie! In beide onderzoeken is niet het effect van een groeimindset na falen gemeten maar van inspanningscomplimenten na falen.

Dit gezegd hebbend, komen we op een andere fout. Deze fout betreft een ernstige afwijking in de onderzoeksopzet van Li & Bates t.o.v. Mueller & Dweck. Zoals in de figuur hierboven getoond wordt, onderzochten Mueller & Dweck reacties van kinderen na falen. Hun gedachte was dat kinderen die intelligentiecomplimenten hadden gekregen falen zouden opvatten als een indicatie van een gebrek aan capaciteiten. Maar Li & Bates hadden geen echte faalconditie gecreëerd. Zoals de onderstaande figuur laat zien, scoorden kinderen in het Li & Bates onderzoek bijna 2,5 standaarddeviaties hoger dan de de kinderen uit het onderzoek van Mueller & Dweck.

Deze ernstige fout betekent dat de belangrijkste vraag van Mueller & Dweck (hoe reageren kinderen na falen?) door Li & Bates niet beantwoord kan worden. Het is niet verwonderlijk dat ze minder consistente resultaten vonden en eigenlijk verrassend dat Mueller & Dweck überhaupt bevestigd werd.

Het toevoegen van de actieve controleconditie was eveneens een ongelukkige greep en gebaseerd op een interpretatiefout. Ten eerste ben je niet aan het repliceren als je de condities in het onderzoek anders maakt dan in het originele onderzoek. Ten tweede verraadt de actieve controleconditie dat ze Mueller & Dweck niet goed hebben begrepen. Li & Bates koppelden een statische mindset opmerking aan een opmerking over inspanning (“Je kunt je basisaanleg niet veranderen, maar je werkt aan dingen en dat is hoe je dingen voor elkaar krijgt”). Dit was bedoeld als alternatieve verklaring voor het idee dat een groeimindset het gedrag na falen zou verklaren.

Maar Mueller & Dweck hebben een attributie-interventie (“Je bent vast slim” en “Je hebt vast goed je best gedaan”) gedaan en geen mindsetinterventie (er werd niets gezegd over de ontwikkelbaarheid van capaciteiten). Mindset werd slechts gemeten als afhankelijke variabele bij Mueller & Dweck. Bovendien bevatte de opmerking ook nog een opmerking over inspanning en ook in die zin was het geen alternatieve verklaring.

Conclusie

Li & Bates hebben de kans laten liggen om een interessant en goed replicatieonderzoek te doen. Ze hadden kunnen kijken of de resultaten van Mueller & Dweck in een heel andere cultuur zouden worden gevonden en ze hadden verschillen mediërende variabelen en moderatorvariabelen kunnen onderzoeken. Gezien de slordige of onhandige opzet van het onderzoek van Li & Bates is het verrassend te noemen dat door een kleine correctie (samenvoegen van de data van studies 1 t/m 3) de effecten van Mueller en Dweck alsnog gerepliceerd werden.