Het belang van experimenteel onderzoek (2)

Enige tijd geleden schreef ik het artikel Het belang van experimenteel onderzoek waarin ik verwees naar een passage in het Richard Nisbett’s boek Mindware. Aan de hand van voorbeeld van Nisbett kun je in dat artikel lezen dat experimenteel onderzoek kan laten zien dat onze observaties en intuïties over wat werkt soms helemaal onjuist kunnen zijn. In dat artikel legde ik niet precies uit wat experimenteel onderzoek precies is. Ook legde ik niet uit waarom experimenten tevens superieur zijn aan correlationeel onderzoek. Ik zal die twee dingen hieronder alsnog kort uitleggen.

Wat is een wetenschappelijk experiment?

Laat ik eerst kort uitleggen wat een experiment is. Bij een experiment wordt een experimentele groep vergeleken met een controlegroep. De experimentele groep heeft de ‘behandeling’ wel gekregen, de controlegroep niet. Essentieel voor een experiment is dat de toewijzing van deelnemers aan deze twee groepen at random (willekeurig) verloopt. Dit zorgt ervoor dat eventuele verschillen in uitkomsten tussen de experimentele groep en de controlegroep alleen kunnen worden toegeschreven aan de behandeling. De onderstaande figuur vat dit samen.

Waarom is experimenteel onderzoek zo belangrijk?

Nu de tweede vraag: waarom zijn experimenten superieur aan correlationeel onderzoek. Dit is een belangrijke vraag omdat de uitkomsten van experimenteel onderzoek en correlationeel onderzoek soms in strijd met elkaar zijn. Als dit het geval is, welk type onderzoeksresultaat is dan geloofwaardiger? Een voorbeeld dat Nisbett noemt is dat uit talloze correlationele onderzoeken naar voren is gekomen dat er geen correlatie bestaat tussen de grootte van een klas en de prestaties van leerlingen. Maar 4 experimenten laten iets anders zien, namelijk dat in kleinere klassen leerlingen wel degelijk beter presteren. Wat moet je nu geloven? Nisbett legt uit dat de bevindingen van experimenten veel geloofwaardiger zijn dan de resultaten van correlationeel onderzoek. In een eerder artikel vatte ik die uitleg al samen:

Nodig voor conclusies over causaliteit

Experimenten zijn veruit superieur. In experimenten wordt slechts 1 variabele gevarieerd wat het mogelijk maakt om conclusies over causaliteit te trekken. Verschillen die optreden tussen experimentele groepen en controlegroepen moeten worden veroorzaakt door de enige variabele die verschilde in die condities. Correlationele studies zijn een andere kwestie. Zoals veel mensen weten, impliceren correlaties geen causaliteit. Het feit dat variabelen A en B met elkaar samenhangen, betekent niet dat A B veroorzaakt. Er kunnen namelijk andere verklaringen voor de correlatie zijn. Het kan bijvoorbeeld ook zo zijn dat B A veroorzaakt. Of het kan zijn dat een derde variabele zowel A als B veroorzaakt.

Waarom we voorzichtig moeten zijn met bevindingen uit multiple regressieanalyses

Een specifieke correlationele techniek die heel populair is de economische wetenschap, de psychologie en de epidemiologie is multiple regressie analyse (MRA). Bij MRA probeer je een variabele waar je geïnteresseerd in bent (de criteriumvariabele) te voorspellen aan de hand van een aantal andere variabelen (de predictorvariabelen). Het idee achter MRA is dat je controleert voor alle variabelen die een invloed zouden kunnen hebben op de criteriumvariabele door achtereenvolgens hun correlaties uit de mix te filteren met de bedoeling zicht op de werkelijke causale relatie tussen de predictor en het criterium te krijgen. In de praktijk is het echter hoogst onwaarschijnlijk dat we in staat zullen zijn om alle beïnvloedende variabelen te bepalen en goed te meten. Het is niet realistisch om te verwachten dat we het hele web van causale relaties zullen weten te ontwarren. We zien dan ook dat bevindingen op basis van MRA onderzoek nogal eens sterk afwijken van bevindingen op basis van experimenteel onderzoek. Bij MRA is het zo dat vaak niet bestaande effecten worden gevonden en bestaande effecten verborgen blijven.