De replicatiecrisis binnen de psychologie is sinds enige jaren groot nieuws (lees dit en dit). Bevindingen van bekende psychologen naar onderwerpen als wilskracht/ego-depletie, powerposes, priming en facial feedback zijn kritisch onderzocht en grotendeels niet overeind gebleven. Recent is ook er ook kritiek op gang gekomen naar het onderzoek naar mindsets van Carol Dweck en haar collega’s. Ik heb veel geschreven over mindsets en denk ik dat het concept waardevol en bruikbaar is. Maar zoals ik hier schrijf:

“Niets of niemand staat boven kritiek. […] Geen enkele methode of concept is definitief en perfect. Ook, zelfs, op het werk van Carol Dweck en haar collega’s valt vast en zeker het één en ander af te dingen. Het goede van een rationele en wetenschappelijke benadering van beweringen is dat het ons helpt om uit te vinden hoe waar ze zijn. Zo ontdekken we wat er misschien niet aan klopt en zo kunnen we ze stap voor stap verfijnen en verbeteren. De groeimindset is een waardevol concept maar het is niet perfect. Het is onvermijdelijk dat we het uiteindelijk zullen verfijnen door te ontdekken wat er aan verbeterd kan worden.”

Post van Nick Brown over Mueller & Dweck (1998)

Nick Brown, de persoon die een grote rol speelde in het blootleggen van fouten in Babara Fredricksons publicatie naar de positiviteitsratio heeft een onderzoek van Mueller & Dweck (1998) kritisch geanalyseerd. Hij heeft hierover de blog post geschreven met als titel In which science actually self-corrects, for once. Brown heeft een wiskundige techniek, GRIM, ontwikkeld aan de hand waarvan hij onregelmatigheden kan opsporen in resultatentabellen van oude publicaties. Met deze techniek heeft hij in vele publicaties vele fouten opgespoord. Hij heeft deze techniek ook losgelaten op het artikel van Mueller en Dweck en ook hier inconsistenties en merkwaardigheden in aangetroffen.

Hij nam contact op met Dweck en meldt dat hij tot zijn verbazing binnen 24 uur een reactie kreeg van haar waarin ze zei dat ze erin zou duiken. Binnen twee weken kreeg hij een document van 16 pagina’s waarin Dweck samen met Claudia Mueller en David Yaeger gedetailleerd op alle door Brown gesignaleerde punten inging. Een aantal van de inconsistenties kon verklaard worden, een aantal bleek voort te vloeien uit fouten. Brown zegt dat Dwecks medewerking een voorbeeld is van hoe het hoort. Hij is nog steeds sceptisch over het concept mindset maar hij is overtuigd dat de mindsetonderzoekers toegewijd zijn om zo goed mogelijk te rapporteren over hun onderzoek als ze kunnen.

Buzzfeed artikel

Een ander kritisch artikel over mindset verscheen op Buzzfeed. In dit artikel worden naar Brown ook andere sceptici over mindset aan het woord gelaten zoals Scott Alexander, Timothy Bates, Stuart Richie, en Andrew Gelman. Alexander, die zegt dat hij zeer sceptisch is over het concept mindset, verbaast zich over de grote effecten die de onderzoeken van Dweck steeds laten zien en vraagt zich af of ze soms een pact met de duivel heeft gesloten. Bates voert momenteel grootschalig onderzoek naar mindset in scholen in Engeland. Eerder deed hij een replicatieonderzoek naar het onderzoek van Mueller & Dweck (1998) en vond hij een nul-effect.

In een reactie zegt Dweck dat replicaties belangrijk zijn maar dat een voorwaarde voor replicaties is dat ze oprecht zijn en dat ze doordacht en vaardig worden uitgevoerd (lees meer hier). Nick Brown brengt daar tegenin: als het effect alleen onder zulke specifieke condities kan worden gevonden, hoe kunnen we dan verwachten dat leraren het in hun klas wel kunnen reproduceren?

Het artikel bevat een aantal andere kritische en interessante punten die naar voren worden gebracht dus ik raad aan om het te lezen. Ik noem nog twee punten die naar voren worden gebracht. Brown wijst erop dat goed gebruik van statistiek veel specialistische training vergt, meer dan veel onderzoekers nu hebben gehad. Bates wil het mindset concept niet overboord gooien maar waarschuwt tegen overspannen verwachtingen.

Gelman: waarom psychologie?

Is de psychologie nu zo’n zooitje dat er zoveel kritiek op eerder onderzoek naar voren komt? Ik denk dat dat beeld genuanceerd moet worden. Een bevriende hoogleraar vertelde dat binnen de natuurwetenschappen vergelijkbare problemen bestaan: “[…] mensen die een keer een positie hebben ingenomen hebben (vaak) erge moeite te erkennen dat het misschien toch niet helemaal klopt. En er zijn te weinig mensen die wel de lastige vragen stellen […] Juist binnen mijn gebied (simulaties van moleculen) zijn er bepaalde methodes waar je niet vaak genoeg vragen over krijgt. Om dat te veranderen moet er veel getest en vergeleken worden.”

Andrew Gelman, hoogleraar statistiek aan Columbia Universiteit wijs op een paradox. Hij stelt dat enkele positieve eigenschappen van de psychologie deze wetenschap juist zo geschikt maken voor de kritische reflectie die nu plaatsvindt (zie hier). Ten eerste zegt hij dat de psychologie meer geavanceerd is dan bijvoorbeeld de economische wetenschap en de biologie in de mate waarin zij aandacht heeft voor onderwerpen als betrouwbaarheid, validiteit en latente constructen. Ten tweede zegt hij dat er binnen de psychologie vrijwel uitsluitend gewerkt wordt met “schone” methodes (experimenten en vragenlijsten).

Ten derde is er sprake van een grote openheid binnen de psychologie en is er nauwelijks sprake van afhankelijkheid van grote financiële belangen (zoals dat bijvoorbeeld wel zo is binnen de geneeskunde en de biologie). Ten vierde betreft de huidige kritiek het hart van de (sociale) psychologie, de kopstukken, en niet randfiguren zoals dat vaak bij andere wetenschappen het geval is. Ten vijfde is de psychologie interessant, belangrijk en enigszins toegankelijk voor het algemene publiek.

Reflectie

Het is een goede zaak dat de eisen voor goed onderzoek aangescherpt worden. De lat voor goed psychologisch onderzoek komt hiermee een stuk hoger te liggen. Dit is nodig om robuuste psychologische kennis op te kunnen bouwen. Het is ironisch dat juist de aandacht voor goede methoden en de relatief grote openheid binnen de psychologie ertoe leiden dat misstanden zichtbaar worden. Andere wetenschapsgebieden zijn minder transparant maar wellicht niet minder problematisch.

Maar nog belangrijker: we worden dagelijks massaal geconfronteerd met allerlei methodes en beweringen waarvan men niet eens probeert de onderzoeken of ze deugen. Laten we onze scepsis over deze methoden en beweringen vooral opvoeren. Laten we niet alleen sceptisch zijn over een vakgebied dat hard zoekt naar kwaliteit en open staat voor kritiek.

Verbeteren van het onderzoek naar mindset moet vooral doorgaan. Geen enkel concept en geen enkele onderzoeker dient boven kritiek te staan. Ik sluit me voorlopig aan bij Bates. We moeten het concept niet overboord gooien maar er ook weer geen overspannen verwachtingen van hebben.

Meer over progressiegericht werken