Kritische analyse van Sisk et al. (2018) – twee meta-analyses over mindsets

Kort geleden verscheen een artikel waarin twee meta-analyses beschreven werden over de effecten van mindsets en mindsetinterventies (Sisk, et al., 2018). De auteurs concluderen dat de resultaten in beide analyses zwak waren en dat het onderwijs haar tijd en geld beter aan andere zaken kan besteden dan aan mindset-interventies. Wel brengen ze de nuancering aan dat hun onderzoek suggereert dat mindset-interventies wel de moeite waard lijken voor speciale risicogroepen. Ik nam contact op met Carol Dweck (Stanford University) en David Yeager (University of Texas) over het Sisk et al. artikel en door mijn contact met hen realiseerde ik me dat er nogal wat op het artikel af te dingen valt. Niet alleen op hun gevonden resultaten, maar, belangrijker nog, ook op hun interpretatie van die resultaten. Lees hieronder waarom zelfs uit het problematische artikel van Sisk et al., blijkt dat mindset-interventies wel degelijk interessant en belangrijk zijn.

Sisk et al. (2018)

Het artikel van Sisk et al. ziet er op het eerste gezicht indrukwekkend en overtuigend uit en wellicht zorgwekkend als je overtuigd was van het belang van mindset en mindset-interventies bij jonge kinderen en adolescenten. De auteurs hebben twee meta-analyses uitgevoerd. In de eerste meta-analyse (k=273, N=365.915) onderzochten zij de samenhang tussen mindset en schoolprestaties. In de tweede meta-analyse (k=43, N=57.155) onderzochten zij de effectiviteit van mindset-interventies op schoolprestaties. In beide onderzoeken namen zij ook mogelijke modererende factoren in beschouwing.

De auteurs concluderen dat de door hen gevonden effecten in beide studies zwak waren maar dat mindset-interventies wel nuttig bleken voor leerlingen met een lage socioeconomische  status en voor leerlingen waarvan de kans op falen als hoog werd ingeschat (‘hoog risico leerlingen’). Kloppen deze conclusies?

Meta-analyses kunnen indrukwekkend overkomen omdat ze de resultaten van veel onderzoeken via statistische methoden samenvoegen tot een enorme steekproef. De gevonden correlaties en effecten uit zulke mega-steekproeven zouden dan veel betrouwbaarder zijn dan de resultaten uit al die kleine steekproeven uit de oorspronkelijke onderzoeken. Maar het is belangrijk om kritisch te kijken naar hoe de meta-analyses zijn uitgevoerd. Bij een slecht uitgevoerde meta-analyse kunnen gerapporteerde resultaten uiterst misleidend zijn. De volgende vragen zijn belangrijk bij het beoordelen van een meta-analyse: Zijn de goede onderzoeken meegenomen in de meta-analyse? Zijn de juiste analyses uitgevoerd? Zijn de gevonden resultaten correct geïnterpreteerd?

Probleem 1: hoe betrouwbaar zijn de gevonden resultaten?

Een belangrijke factor die bepaalt hoe de resultaten van een meta-analyse uitpakken, is welke onderzoeken worden meegenomen in de meta-analyse. Om te beslissen welke onderzoeken worden meegenomen, dienen duidelijke inclusiecriteria te worden geformuleerd. Tegenwoordig is het gebruikelijk om deze inclusie-criteria van te voren te registreren (preregistreren). Het belang van preregistreren van inclusiecriteria is dat je als onderzoeker niet de verdenking op je laadt dat je onderzoeken hebt meegenomen en weggelaten om het type resultaat dat je wilt hebben, te verkrijgen. Sisk et al. hebben hun inclusiecriteria niet gepreregistreerd. Tevens begreep ik dat Sisk et al. meerdere verrassende beslissingen hebben genomen over welke studies ze wel en niet hebben meegenomen in hun analyses. Even verrassend is het dat Sisk et al. twee recente uitgevoerde meta-analyses in het geheel niet vermelden. Dit zijn Burnette et al. (2013) en Lazowski & Hulleman (2016).

Een tweede problematisch aspect betreft hoe Sisk et al. hebben gekeken naar de effectiviteit van mindset-interventies. Mindset-interventies hebben niet voor alle leerlingen even veel effect op hun schoolcijfers of testscores. Veel leerlingen hebben namelijk al een groeimindset en veel leerlingen halen al hoge cijfers. Bij leerlingen die al een groeimindset hebben, is er weinig effect op hun mindset maar wordt dit effect ook niet verwacht en is dit effect ook niet nodig of gewenst. Bij leerlingen die al hoge cijfers halen, wordt eveneens niet verwacht dat een mindset-interventie een sterk effect zal hebben op hun schoolcijfers. Hun cijfers zullen waarschijnlijk niet nog veel hoger worden en dit is ook niet nodig. Daarom is het op een hoop gooien van effecten op alle leerlingen voor de gehele groep weinig informatief en misleidend. De focus zou moeten liggen op het vermelden van interactie-effecten. Bijvoorbeeld: wat is het effect van mindset-interventies op leerlingen met statische mindsets en met lage cijfers?

Probleem 2: hoe juist zijn de interpretaties van Sisk et al.?

Gegeven dat er al problemen zijn rondom de resultaten van Sisk et al. (het hierboven beschreven probleem 1) moeten de interpretaties van de auteurs al bij voorbaat met scepsis worden bekeken. Maar zelfs als we dit even buiten beschouwing laten, zijn er belangrijke aanvullende problemen in hun interpretaties. Een eerste probleem betreft de eerste meta-analyse. Deze meta-analyse is gebaseerd op correlationele onderzoeken. Het is bekend dat op grond van correlationele onderzoeken geen conclusies kunnen worden getrokken over causaliteit. Gevonden samenhangen tussen twee variabelen bewijzen niet dat de ene door de andere variabele wordt veroorzaakt. Verder is het zo dat causale relaties tussen twee variabelen gemaskeerd kunnen worden in correlationeel onderzoek.

In dit artikel beschrijf ik een voorbeeld van Richard Nisbett waarin hij uitlegt dat uit vele correlationele onderzoeken blijkt dat er geen correlatie bestaat tussen de grootte van de klas en de prestaties van leerlingen. Maar experimenten laten zien dat leerlingen in kleinere klassen wel degelijk beter presteren. Experimenteel onderzoek is superieur omdat dit soort onderzoek het mogelijk maakt om precies en alleen die variabelen te onderzoeken waar je in geïnteresseerd bent. Het is zeer goed mogelijk dat mindset-interventies een causaal effect hebben in specifieke omstandigheden zonder dat hier iets van te zien is in correlationele onderzoeken.

Een tweede probleem betreft de interpretatie van de tweede meta-analyse, met name waar het gaat om de gevonden effect-groottes. Het op een hoop vegen van een groot aantal studies en dan kijken naar wat de gemiddelde effect-grootte is, zoals Sisk et al. doen, is weinig zinvol en misleidend. Het is belangrijk om te kijken naar de aard van de studies. Belangrijk is, om te beginnen, het onderscheid tussen een laboratorium-experiment en een veld-experiment.

Bij een laboratorium-experiment kun je in het algemeen veel grotere effecten vinden dan in een veld-experiment. Burnette et al. (2013) lieten in hun meta-analyse zien dat mindset-interventies in laboratorium-experimenten inderdaad substantiële effecten laten zien. Bij het beoordelen van effectgroottes gevonden in veldexperimenten is het verder belangrijk om deze altijd te relateren aan de omvang en de kosten van de interventie. Een zeer ingrijpende, kostbare en tijdrovende interventie die een kleine effectgrootte oplevert, is niet de moeite waard. Maar een zeer kleine, goedkope en weinig tijd kostende interventie die een effect van redelijke omvang oplevert, kan zeer de moeite waard zijn. Dit laatste is het geval bij mindset-interventies.

Veel mindset-interventies uit de tweede meta-analyse van Sisk et al. waren zogenaamde light touch experimenten. Dit zijn zeer kortdurende, goedkope en weinig intensieve interventies. Als je de significante effecten die Sisk et al. rapporteren (d=0,08 over het geheel en d=.19 voor at risk leerlingen) dan zijn die betekenisvol omdat ze meestal voortkwamen uit light touch experimenten en omdat ze vergelijkbaar in impact zijn of zelfs gunstig afsteken bij veel andere onderwijs-interventies die veelal veel duurder en intensiever zijn.

Discussie

Mindset-interventies zijn, om de redenen die ik hierboven noemde, veel interessanter en betekenisvoller dan Sisk et al. suggereren. Om meer te leren over mindsets en mindset-interventies moeten we veel preciezer gaan kijken naar wanneer en hoe ze het beste kunnen worden ingezet. Welke leerlingen in welke contexten kunnen het meest profiteren van mindset-interventies en welke interventies werken vooral goed? Ik hoop in de loop van het jaar meer te kunnen schrijven over een nieuw grootschalig initiatief van Dweck en een netwerk van vooraanstaande wetenschappers in de psychologie, sociologie, statistiek en economische wetenschap waarin ze meer antwoorden proberen te vinden op dit soort vragen.