Twee nieuwe onderzoeken over effecten van groeimindset-interventies met verschillende conclusies: hoe kan dit?

Er zijn twee nieuwe publicaties over de effecten van groeimindsetinterventies. De twee artikelen analyseren via meta-analyses dezelfde onderzoeksliteratuur maar trekken totaal verschillende conclusies. Macnamara & Burgoyne (2022) stellen dat groeimindsetinterventies nauwelijks werken; Burnette et al. (2022) vonden positieve effecten op academische resultaten, geestelijke gezondheid en sociaal functioneren. Hoe dit kan? Er is een eenvoudige en belangrijke verklaring die wordt beschreven in een artikel van Tipton et al (2022).

1. Vooraf: wat is de mindsettheorie?

De mindsettheorie is een theorie die oorspronkelijk geformuleerd is door Carol Dweck. De theorie stelt dat wat mensen geloven over de ontwikkelbaarheid van intelligentie voorspelt wat voor doelen ze stellen wat vervolgens weer voorspelt hoe ze falen zullen verklaren (attributiestijl na falen) wat dan weer voorspelt wat hun emotionele reactie zal zijn wat ten slotte weer voorspelt hoe zij zich zullen gedragen en wat voor (leer)resultaten zij zullen behalen.

Een groeimindset houdt in: het geloof dat je door je effectief in te spannen beter kunt worden in de dingen waar je beter in zou willen worden. Een statische mindset houdt in: het geloof dat je capaciteiten en eigenschappen grotendeels onveranderbaar zijn. Het mindset-betekenissysteem geeft de samenhangende verschillende effecten verschillende mindsets weer op de soorten doelen, overtuigingen over inspanning, attributies van tegenslag en mate van volharding.

Onderzoek heeft laten zien dat groeimindsetinterventies effectief zijn: 1) wanneer ze worden gericht op de doelgroep die ze nodig heeft, 2) op de juiste manier worden uitgevoerd, 3) in de context die ondersteunend is aan de groeimindset (lees meer over heterogeniteit van effecten). Interessant aan groeimindsetinterventies is verder dat ze een light touch karakter hebben: ze zijn eenvoudig en goedkoop toe te passen.

2. Het artikel dat zegt dat mindsetinterventies niet werken

Macnamara & Burgoyne (2022) stellen in hun artikel dat groeimindsetinterventies populair zijn in het onderwijs maar dat hun effectiviteit nooit systematisch geëvalueerd is. Vervolgens gaan zij in op de vraag of de onderzoeken naar mindsetinterventies voldoen aan best practices om te kunnen bepalen of causale conclusies over mindsetinterventies gerechtvaardigd zijn. Tevens voeren drie meta-analyses uit (over 63 studies, N = 97.672). Ze constateren dat ze grote tekortkomingen hebben vastgesteld in de studieopzet, analyse en rapportage van de onderzoeken. Verder zien ze aanwijzingen van onderzoeks- en publicatiebias. Met dit laatste bedoelen ze dat auteurs met een financiële prikkel om positieve conclusies over mindsetinterventies significant grotere effecten rapporteerden dan auteurs zonder deze prikkel.

Op grond van hun eigen onderzoek stelden zij een klein algemeen effect van mindsetinterventies vast (d¯ = 0,05, 95% CI = [0,02, 0,09]). Bovendien stellen ze dat dit effect niet significant meer was na correctie voor mogelijke publicatiebias. Verder vonden zij geen theoretisch significante moderatoren. Wanneer alleen studies werden onderzocht waarin werd aangetoond dat de interventie de mindset van leerlingen beïnvloedde zoals bedoeld (13 studies, N = 18.355), was het effect niet significant: d¯ = 0,04, 95% CI = [-0,01, 0,10]. Bij studies van de hoogste kwaliteit (6 studies, N = 13.571) vonden zij een niet significant effect: d¯ = 0,02, 95% CI = [-0,06, 0,10].

Macnamara & Burgoyne stellen op grond hiervan dat de “schijnbare effecten van groeimindset-interventies op academische prestaties waarschijnlijk toe te schrijven zijn aan een inadequate studieopzet, rapportagefouten en vertekening.” Verder concluderen zij dat “ondanks de populariteit van groeimindset-interventies in scholen, positieve resultaten zeldzaam en mogelijk onecht zijn als gevolg van inadequaat ontworpen interventies, rapportagefouten en vertekening.”

3. Het artikel dat zegt dat groeimindsetinterventies wel werken

Jeni Burnette en een aantal collega’s schrijven dat, terwijl groeimindset-interventies meer worden toegepast, het belangrijk is om te weten of ze effectief zijn (Burnette et al. (2022).  Ze stellen dat het, om deze vraag goed te kunnen beantwoorden, belangrijk is om de zinvolle heterogeniteit in effecten begrijpen. De auteurs hebben een systematische review en een meta-analyse uitgevoerd. Hierbij hebben ze gelet op twee belangrijke moderatoren: 1) substeekproeven die naar verwachting het meest zullen profiteren en 2) juistheid van toepassing van de interventie. Verder introduceren de auteurs een procesmodel dat kan helpen bij verdere theorieontwikkeling.

In hun onderzoek naar mindset-interventies namen ze gerandomiseerde onderzoeken mee die gepubliceerd zijn tussen 2002 en eind 2020. Ze vonden 53 onafhankelijke steekproeven waarin verschillende interventies werden getest. Ze rapporteerden cumulatieve effectgroottes voor meerdere uitkomsten (d.w.z. mindset, motivatie, gedrag, eindresultaten), met een focus op drie primaire eindresultaten (d.w.z. verbeterde schoolprestaties, geestelijke gezondheid of sociaal functioneren).

Multilevel metaregressieanalyses (met gerichte substeekproeven en correcte toepassing) leverden significante effecten op voor academische prestaties (d = 0,14, 95% CI [.06, .22]) en voor geestelijke gezondheid (d = 0,32, 95% CI [.10, .54]). Verder schrijven zij dat er een grote variatie in effecten gevonden werd. Ze besluiten hun artikel met een bespreking over heterogeniteit en over de beperkingen van meta-analyses.

De auteurs concluderen: “Ondanks de grote variatie in effectiviteit van groeimindsetinterventies, vonden we positieve effecten op academische resultaten, geestelijke gezondheid en sociaal functioneren, vooral wanneer interventies worden toegepast op mensen van wie verwacht wordt dat ze er het meeste baat bij hebben.”

4. Het artikel dat het verschil tussen beide artikelen verklaart

Beth Tipton is een statisticus die expert is op het gebied van meta-analyse. Samen met een aantal andere onderzoekers (waaronder de bekende mindset-onderzoeker David Yeager) schreef zij een commentaar (Tipton et al., 2022). Tipton et al. schrijven dat onderzoekers die meta-analyses uitvoeren vaak onterecht ja-of-nee vragen stellen: Is er een interventie-effect of niet? Ze schrijven dat dit traditionele alles-of-niets denken in contrast staat met de huidige beste praktijk in meta-analyse, die vraagt om een heterogeniteitsgerichte aanpak.

De heterogeniteitsgerichte aanpak houdt in dat je moet kijken naar de mate waarin effecten variëren tussen procedures, doelgroepen of contexten. Hierdoor kun je gaan begrijpen waar en waarom effecten zwakker of sterker zijn. De auteurs vergelijken de twee hierboven genoemde meta-analyses met elkaar die op grond van dezelfde literatuur komen tot totaal verschillende conclusies door de verschillende methodes die zij gebruikten.

Macnamara & Burgoyne voegden de effectgroottes voor elke studie samen en onderzochten vervolgens moderatoren één voor één door de data op te splitsen in kleine subgroepen. Burnette et al. modelleerde de variatie van effecten binnen studies – over subgroepen en uitkomsten heen – en paste moderne, multi-level meta-regressie methoden toe. Het eerste onderzoek concludeerde dat groeimindset effecten vertekend zijn, maar de tweede leverde genuanceerde conclusies op die in overeenstemming zijn met theoretische voorspellingen. Tipton et al leggen uit waarom de praktijken van het Burnette onderzoek meer in overeenstemming is met de beste praktijken voor het analyseren van grote en heterogene literatuur.

De auteurs bekritiseren op gedetailleerde wijze meer aspecten van het artikel van Macnamara & Burgoyne zoals dat zij hun eigen lijstje van criteria voor studiekwaliteit opstellen terwijl er duidelijke en algemeen geaccepteerde criteria bestaan. Ook bekritiseren ze de manier waarop Macnamara & Burgoyne manipulatiechecks operationaliseren en hoe ze op curieuze wijze financiële belangenconflicten definiëren.

Verder voerden Tipton et al. een heranalyse uit op de dataset van Macnamara & Burgoyne via de moderne, heterogene methoden van Burnette et al. Deze heranalyse bevestigde de conclusies van Burnette et al.: Er is een betekenisvol, significant effect van groeimindset in focale (risico)groepen. De auteurs stellen dat heterogeniteit-afgestemde meta-analyse belangrijk is, zowel voor het bevorderen van de theorie als voor het vermijden van de boom-or-bust cyclus die te veel psychologische wetenschap teistert (“werkt de interventie nou wel of werkt het nou niet?”)

5. Mijn reflecties

De stelling van Tipton et al is eenvoudig en belangrijk. We moeten af van het simplisme van de vraag: “werkt het wel of werkt het niet?” Vergelijk de situatie met onderzoek naar de effectiviteit van paracetamol. Als je die wilt onderzoeken moet je specifiek kijken naar mensen die pijn hebben. Is hun pijn afgenomen na het nemen van paracetamol? De meerderheid van de mensen heeft geen pijn. Na een paracetamolletje is er voor hen geen verbetering. Als je kijkt naar een steekproef waarin een beperkt aantal mensen met pijn zitten en velen zonder pijn en kijkt naar het gemiddelde effect op hen van een paracetamolletje maak je een elementaire denkfout.

We moeten af van dit alles-of-niets denken. Gemiddelde effecten over heterogeen samengestelde steekproeven zeggen weinig tot niets. Er zijn grote verschillen in de effecten van interventies op verschillende individuen en in verschillende contexten. Macnamara & Burgoyne gebruiken een achterhaalde aanpak van meta-analyse (net als Sisk et al. dat jaren geleden deden). De analyse van Macnamara & Burgoyne levert daardoor misleidende bevindingen op. Burnette et al. gebruiken state-of-the-art meta-analytische technieken. Wanneer je deze technieken toepast op de Macanamara & Burgoyne dataset, krijg je dezelfde positieve bevindingen als bij Burnette et al. 2022.