Welke effecten uit primingonderzoek zijn echt en welke niet?

De afgelopen jaren is er een controverse geweest over de waarde en de geldigheid van sociaal psychologische onderzoeksbevindingen. Deze discussie heeft zich vooral toegespitst op resultaten van onderzoeken over het fenomeen sociale priming. Bij priming worden bepaalde delen van het brein door kortdurende en subtiele triggers geactiveerd vlak voordat we een bepaalde taak uitvoeren. Dit proces, dat kort duurt en onbewust verloopt, zorgt ervoor dat we gevoeliger worden voor een bepaald soort informatie en heeft invloed op hoe we ons voelen, gedragen en hoe we presteren.

John Bargh gaf bijvoorbeeld proefpersonen de opdracht goed lopende zinnen te maken van een rijtjes woorden. De helft van de proefpersonen kreeg woorden aangeboden die allemaal op de een of andere manier verwezen naar ouderdom terwijl de andere helft neutrale woorden kreeg. De eerste groep bleek na afloop significant langzamer weg te lopen dan de andere groep. Ap Dijksterhuis en Ad van Knippenberg lieten proefpersonen een rijtje triviantvragen maken. De ene helft werd van tevoren gevraagd na te denken over een professor, de andere groep moest nadenken over een voetbalhooligan. De eerste groep presteerde significant beter op de triviantvragen dan de tweede.

Een van de gebeurtenissen die hebben bijdragen aan de ontstane controverse over dit soort sociaal psychologisch onderzoek is de ontmaskering van wetenschappelijke fraudeurs zoals Diederik Stapel. Stapel deed veel onderzoek dat verwant was aan priming onderzoek en hij kwam aan de lopende band met de meest ongelooflijke resultaten. Hij bleek op grote schaal en gedurende lange tijd veel een groot deel van de data waarop hij zijn publicaties baseerd te hebben verzonnen.

Maar dit is niet de enige reden voor de controverse. De robuustheid van resultaten van primingonderzoeken werd ook in toenemende mate in twijfel getrokken doordat veel eerder gevonden bevindingen in replicatieonderzoek niet bleken te worden bevestigd. In aanvulling hierop werd ook steeds meer duidelijk dat is dat veel wetenschappelijke tijdschriften niet of nauwelijks geïnteresseerd zijn in het publiceren van repliciatie onderzoek en ook niet in onderzoeken die ‘negatieve’ bevinden (waarbij er dus geen effect werd gevonden) rapporteerden.

Het resultaat van dit alles was dat steeds meer mensen zich begonnen af te vragen of er in de tijdschriften niet veel onterechte effecten waren gerapporteerd (zogenaamde false positives). Veel psychologen hebben zich gemengd in de discussie over priming onderzoek waaronder John Bargh, Ap Dijksterhuis. Rolf Zwaan en Daniel Kahneman. Die bijdragen richtten zich onder andere op vragen als: is het replicatieonderzoek wel juist uitgevoerd? Is het probleem wel echt zo groot? Welke procedures moeten worden gevolgd? Moet het acceptatiebeleid van tijdschriften niet veranderd worden? Etc.

Een nieuwe invalshoek die veelbelovend is om te controleren in hoeverre bepaalde gepubliceerde en gerepliceerde effecten nu wel of niet false positives zijn, is een methodologische. Deze aanpak die p-curve analyse heet is een meta-analytische techniek die kijkt naar de verdeling van p-waarden in verschillende gerelateerde onderzoeken (het originele experiment en de replicatieonderzoeken). Via deze techniek kan worden ingeschat of de gevonden effecten echt zijn of dat de onderzoekers manipulaties hebben toegepast om hun p-waarden net onder de gebruikelijk significantiegrens van .05 te krijgen (dit soort manipulaties heet p-hacking).

Deze nieuwe techniek is nu door onderzoek Daniel Lakens losgelaten op de eerder genoemde onderzoeken van Bargh en Dijksterhuis en Van Knippenberg. Dit onderzoek suggereert dat bij de replicatieonderzoek van het onderzoek van Bargh sprake is van een false positive en bij die van Dijksterhuis en Van Knippenberg niet.

Professors are Not Elderly: Evaluating the Evidential Value of Two Social Priming Effects Through P-Curve Analyses

By Daniel Lakens

Abstract: It is possible that the number of false positives in the literature is much greater than is desirable due to a combination of low statistical power, publication bias, and flexibility when analyzing data. Recently, some researchers have argued the replicability crisis social priming research is greatly exaggerated (Dijksterhuis, 2014; Stroebe & Strack, 2014). To quantify the extent to which researcher degrees of freedom are a real problem, I present two p-curve analyses that examine the evidential value of research lines on professor priming and elderly priming. The results indicate studies examining elderly priming are p-hacked, while studies examining professor priming contain evidential value. I believe a polarized discussion about whether social priming is true or not, whether direct replications or conceptual replications are preferable, or whether methodological rigor or theory development is needed is unlikely to lead to scientific progress. Instead, we have to meta-analytically evaluate individual effects based on their evidential value, and collaboratively examine what is likely to be true. Read full paper here.