Sinds een jaar of acht is er een discussie ontstaan over de betrouwbaarheid van bevindingen van psychologisch wetenschappelijk onderzoek. Een groot project liet zien dat van 100 in onderzoek gevonden effecten slechts ongeveer een derde werd gerepliceerd (Open Science Collaboration, 2015). Binnen de psychologie wordt hard gewerkt om onderzoeksmethoden te verbeteren en te komen tot meer betrouwbare bevindingen (zie hier en hier). Een nieuw artikel van Yeager et al. (2019) beschrijft replicatieonderzoek naar 7 veel onderzochte en invloedrijke psychologische verschijnselen. Hieronder kun een beknopte samenvatting lezen van dat onderzoek.

Beperkingen van veelgebruikte steekproeven

Het doel van de sociale psychologie is om te komen tot generaliseerbare uitspraken over sociaal gedrag. Van de bevindingen in psychologisch onderzoek werd lang aangenomen dat deze generaliseerbaar waren naar mensen in het algemeen. Maar onderzoek heeft lange tijd vooral gerust op data die verzameld waren bij studenten (vooral psychologiestudenten) en verder op tamelijk willekeurig samengestelde steekproeven van volwassenen. Daarom is de generaliseerbaarheid van bevindingen uit eerdere onderzoek twijfelachtig.

Poging tot replicatie van 7 klassieke psychologische effecten

Yeager et al. probeerden 7 veel onderzochte en invloedrijke psychologische verschijnselen te repliceren in een representatieve steekproef van Amerikanen. Het ging om de volgende verschijnselen:

1. Conformity (Asch, 1952; Cialdini, 2003; Sherif, 1936)
2. Persuasion (bijv. Cacioppo, Petty, & Morris, 1983).
3. Base rate underutilization (Kahneman & Tversky, 1973)
4. Law of large numbers (Tversky & Kahneman, 1983)
5. Conjunction fallacy (Tversky & Kahneman, 1974)
6. False consensus effect (bijv. Ross, Greene, & House, 1977)
7. Ease of retrieval (bijv. Schwarz et al., 1991)

Methode

Via gespecialiseerde enquêtebureaus werden representatieve steekproeven samengesteld. Er werd een uiterste inspanning geleverd om iedereen mee te laten doen die random geselecteerd was om te mee te doen aan het onderzoek De 7 effecten werden onderzocht (lees hier hoe) en effectgroottes werden vergeleken tussen 1) de originele studie, 2) meta-analyses, 3) het huidige onderzoek. Verder werd een vergelijking gemaakt met een gesimuleerde steekproef van studenten zodat effectgroottes van deze gesimuleerde steekproef en de originele onderzoeken  konden worden vergeleken. Tevens werd een BIFDA-analyse uitgevoerd (dit is een correctie voor het zogenaamde file-drawer probleem). Ten slotte werd gekeken naar modererende effecten van demografische variabelen.

Resultaten

Van de 7 klassieke psychologische verschijnselen werden er in dit onderzoek 6 opnieuw gevonden. Het ene effect dat niet werd gevonden (Ease of retrieval ) was bij een eerdere replicatie ook al niet gevonden; de overige 6 effecten wel. De 6 effecten die gevonden waren echter kleiner dan eerdere meta-analyses en de originele studies lieten zien. De gevonden effecten waren het grootst bij respondenten die het meest leken op de studenten uit de eerdere onderzoeken, zelfs na correctie voor pubicatiebias via de BIFDA methode.

De onderstaande figuur toont de gemiddelde effectgroottes van de onderzochte verschijnselen.

De onderstaande tabel toont de effectgroottes voor de 7 verschijnselen:

De onderstaande tabel toont het modererende effect van demografische variabelen:

Discussie

Het is bemoedigend dat 6 van de 7 van de onderzochte klassieke effecten in dit onderzoek gerepliceerd zijn. Er zijn enkele kanttekeningen te maken. De gevonden effecten in de representatieve steekproef waren lager dan die in eerder onderzoek waren gevonden. Dat nu een steekproef is gebruikt die veel breder is, geeft vertrouwen in de relevantie van deze effecten. Maar sociale psychologie gaat over mensen en niet alleen over Amerikanen. Het is denkbaar dat deze effecten in andere, internationale, steekproeven niet gerepliceerd zouden worden.