Als psychologiestudent in de jaren ’80 leerde ik dat onderzoekers Schmidt en Hunter aangaven dat IQ tests een sterke voorspellende waarde hadden voor werkprestaties, met correlaties van 0,51 tot 0,65. Recent onderzoek van Steel en Fariborzi (2024) suggereert echter dat deze correlatie tussen algemene intelligentie en werkprestaties mogelijk is afgenomen tot slechts 0,16.
Deze afname heeft twee oorzaken:
- Statistische overcorrecties in eerdere studies: Onderzoekers pasten correcties toe om te compenseren voor ‘range restriction‘ – het feit dat aangenomen werknemers vaak een beperktere spreiding van intelligentiescores hebben dan alle sollicitanten. Hierbij gebruikten ze vaak nationale normen in plaats van gegevens van daadwerkelijke sollicitanten. Nationale normen geven een bredere spreiding van intelligentie weer dan je in werkelijkheid bij sollicitanten ziet, vooral tegenwoordig. Dit leidde tot een overschatting van het verband tussen intelligentie en werkprestaties. Recent onderzoek toont aan dat deze correcties nu vaak onnodig zijn, omdat sollicitantengroepen homogener zijn geworden.
- Veranderingen in de arbeidsmarkt: Er zijn nu meer hoogopgeleiden, deels door de eisen van de kenniseconomie. Bedrijven gebruiken vaak diploma’s als een snelle indicatie van iemands capaciteiten. Hierdoor zijn sollicitantengroepen voor veel banen homogener geworden qua intelligentie. Het gevolg is dat intelligentietests minder goed onderscheid kunnen maken tussen kandidaten, waardoor hun voorspellende waarde voor werkprestaties is afgenomen.
Relevantie
Dit betekent dat onze ideeën over de voorspellende waarde van intelligentietests mogelijk achterhaald zijn. Organisaties zouden daarom moeten heroverwegen hoe ze deze tests gebruiken bij het selecteren van personeel.
PS: circulaire validatie
Behalve de punten die in bovenstaand artikel genoemd worden, denk ik dat er nog een andere reden is waarom de predictieve validiteit van IQ-scores in het verleden vaak overschat is.
Deze reden kan worden omschreven als ‘circulaire validatie‘. Het veelvuldige gebruik van IQ-tests bij selectie- en promotiebeslissingen kan namelijk leiden tot een zekere stratificatie binnen zowel de samenleving als organisaties.
Dit proces werkt op meerdere niveaus. Ten eerste maken individuen met hogere IQ-scores meer kans op hogere posities. Daarnaast kan de kennis van iemands hoge IQ-score leiden tot een soort confirmation bias: leidinggevenden kunnen geneigd zijn de prestaties van deze individuen positiever waar te nemen, hogere verwachtingen van hen te hebben, en hen meer kansen te bieden. Deze factoren kunnen op hun beurt de werkprestaties daadwerkelijk positief beïnvloeden.
Door dit complexe proces van circulaire validatie kunnen IQ-scores en werkprestatiebeoordelingen niet volledig onafhankelijk van elkaar zijn. Beide factoren worden deels beïnvloed door dezelfde initiële selectiecriteria en de daaropvolgende verwachtingen en kansen. Deze verwevenheid kan de schijn wekken dat IQ-tests een hogere voorspellende waarde hebben voor werkprestatie dan in werkelijkheid het geval is. De circulaire validatie versterkt dus mogelijk de illusie van een sterker verband tussen IQ en werkprestaties dan er daadwerkelijk bestaat.
Ik denk dat het iets te kort door de bocht is om te stellen dat intelligentietesten een mindere correlatie hebben met werkprestaties als de conclusie gebaseerd is op groepen sollicitanten homogener worden. Het is dan eerder kloppen om te stellen dat de toegevoegde waarde van intelligentietesten om te selecteren niet zo hoog is. Wanneer je met grote heterogene groepen te maken hebt, zoals de groepen waar de test oorspronkelijk voor ontwikkeld was, dan heeft het ongetwijfeld nog steeds toegevoegde waarde en dan vooral in de voorselectie om van een grotere groep een kleinere te maken.
Recente onderzoeken tonen een significante afname in de voorspellende waarde van intelligentietests voor werkprestaties. Ondanks dit worden deze tests nog vaak ingezet, zelfs bij kleinere groepen (of zelfs individuele) sollicitanten. Deze aanpak lijkt, gezien de nieuwe bevindingen, suboptimaal.
Ook bij grotere, meer heterogene sollicitantengroepen is de effectiviteit van intelligentietests als voorselectie-instrument twijfelachtig. Het artikel betoogt overtuigend dat hun predictieve validiteit is overschat door statistische overcorrecties in eerdere studies. Bovendien zijn deze tests relatief duur en tijdrovend.
Alternatieve methoden, zoals gestructureerde sollicitatieformulieren of situational judgment tests, kunnen effectiever zijn. Deze instrumenten bieden vaak een breder beeld van de kandidaat, inclusief relevante vaardigheden en ervaringen, tegen lagere kosten. Ze zijn bovendien minder gevoelig voor de ‘circulaire validatie’ die bij IQ-tests kan optreden.