Noise: een onderschat probleem in menselijke oordeels-en besluitvorming (deel 2)

In deel 1 van mijn bespreking van het boek Noise: A Flaw in Human Judgment van Daniel Kahneman et al. heb ik uitgelegd wat noise in menselijke oordeelsvorming is. Noise is willekeurige ongewenste variatie in oordelen over mensen. Noise vindt op veel grotere plaats dan we ons realiseren en dat is een groot probleem. De legitimiteit van allerlei systemen in onze maatschappij hangt namelijk in belangrijk mate af van het draagvlak dat er in voor die systemen. Dat draagvlak hangt weer in belangrijke mate af van de mate waarin de hoeveelheid fouten die er gemaakt worden in oordelen zo gering mogelijk is. Je wilt bijvoorbeeld niet dat de rechtspraak deels het karakter heeft van een loterij: kom je bij de ene rechter dan heb je geluk – zij straft mild-, kom je bij de andere dan heb je pech – zij straft streng. Burgers, patiënten, klanten, verdachten, etc. realiseren zich niet hoezeer zij blootstaan aan noise in oordelen. Zouden ze zich dat beter realiseren dan zou de legitimiteit van allerlei maatschappelijke systemen behoorlijk kunnen afnemen. Het antwoord op dit probleem ligt niet in het verbergen van het feit dat er veel noise is maar in het verminderen van de noise. In deel 2 van mijn bespreking van het boek kun je meer lezen over dit onderwerp, onder andere over psychologische factoren die noise opwekken.

Level noise, pattern noise, occasion noise

Noise kan zich op diverse manieren uiten. De auteurs onderscheiden:

1. Level noise: hiervan is sprake wanneer het niveau van de oordelen (bijvoorbeeld strafmaten door rechters) willekeurig varieert over personen in een systeem.
2. Pattern noise: hiervan is sprake wanneer individuen in bepaalde gevallen de ene kant op neigen in hun oordelen en in andere de andere kant op
3. Occasion noise: hiervan is sprake wanneer individuen in bepaalde omstandigheden op de ene manier oordelen en in andere op een andere manier

Groepen kunnen noise versterken

Processen in groepen kunnen noise opwekken en versterken. Dit komt onder andere omdat we bloot staan aan sociale invloed, sterker dan we ons realiseren. De populariteit van dingen is zelfversterkend. Dit geldt voor liedjes op de radio maar ook voor ideeën en oordelen. De populariteit van een oordeel vergroot alleen de kans dat we er aan blootgesteld worden.

Eerder noemde ik de wisdom of crowds. Dit betekent dat gemiddelde oordelen van mensen over iets soms verrassend accuraat kunnen zijn. Dit is echter alleen het geval als die oordelen onafhankelijk van elkaar tot stand gekomen zijn. Dat 20 mensen in een groep oordeel A steunen, zegt niet veel. Als ze er intensief met elkaar over gepraat hebben, is er sprake geweest van een sterke sociale invloed. Hier is geen sprake van 20 x een onafhankelijk oordeel.

Wanneer we met elkaar praten is er normaal gesproken sprake van sociale invloed, sociale druk en groepspolarisatie. Dit laatste beteken het volgende: we zoeken vaak gelijkgestemden op. In die gesprekjes worden onze initiële zienswijzen beïnvloed en komen we het gesprek uit op een iets extremere positie in dezelfde richting dan we hadden voor het gesprek.

Heuristieken en biases

Kahneman en zijn collega’s hebben gedurende vele decennia onderzoek gedaan naar heuristieken en biases. Heuristieken zijn grove strategieën en vuistregels die we grotendeels onbewust toepassen om te komen tot oordelen. Het overgrote deel van onze oordeelsvorming komt via dit soort heuristieken tot stand. Voorbeelden zijn de availability heuristic en de representativeness heuristic (je vindt ze hier). Ze werken vaak snel en redelijk accuraat. Ze kunnen echter ook de bron zijn van allerlei slordigheden en fouten in ons redeneren en oordelen. Biases zijn systematische fouten die we geneigd zijn te maken als mensen. Bekende voorbeelden van biases zijn de confirmation bias en de fundamentele attributiefout (je vindt ze hier),

Subsitution bias, conclusion bias en excessive coherence

De auteurs beschrijven drie soorten bias die zowel kunnen leiden tot gebiasde oordelen (systematisch afwijkend van het juiste oordeel) als tot noisy oordelen (willekeurig afwijkend van het juiste oordeel:

1. Substitution bias: De onbewust neiging om complexe vraagstukken in ons hoofd te vervangen door eenvoudigere om te komen tot een antwoord of oplossing
2. Conclusion bias (prejudgment): bij het komen tot een oordeel beginnen bij de conclusie waar je op uit wilt komen. Een aanwijzing dat er sprake kan zijn van deze bias is wanneer van een van de belangrijke argumenten die je hebt aangevoerd voor je conclusie onjuist blijkt te zijn en je toch vasthoudt aan je conclusie.
3. Excessive coherence: De onbewuste neiging om snel te komen tot samenhangende impressies en die niet snel te veranderen wanneer er nieuwe informatie bijkomt.

Op systeemniveau (bijvoorbeeld in de rechtspraak) geldt het volgende. Als veel mensen dezelfde biases met elkaar delen ontstaat er bias op systeemniveau (bijvoorbeeld discriminatie op grond van huidskleur). Wanneer mensen binnen het systeem verschillen in hun biases ontstaat er systeemnoise. De totale hoeveelheid fouten in oordelen binnen het systeem wordt bepaald door bias plus noise.

Oplossingen voor matchingsproblemen

De oordelen die professionals over mensen moeten geven dienen ze vaak te geven in de vorm van een score op een schaal. Die schaal kan kwalitatief van aard (bijvoorbeeld geschikt/ongeschikt) zijn maar is vaak kwantitatief (bijvoorbeeld een tienpuntsschaal). Het vertalen van de informatie die je hebt over de persoon naar een score op de schaal heet matching. Matching is noisy niet alleen vanwege hun verschillende kijk op de informatie over de persoon maar ook omdat het een we verschillende interpretaties kunnen hebben bij de schaalankers.

Er zijn twee preventieve manieren waarop de noise bij het gebruik van schalen kan worden beperkt:

1. De schaal minder ambigu maken door het eens te worden over hoe een voorbeeldcase moet worden beoordeeld op deze schaal
2. Door niet te raten (een absoluut oordeel geven) maar te ranken (een relatief oordeel geven, namelijk te rangordenen)

Er zijn ook drie manieren waarop je de noise van een gegeven oordeel achteraf kunt proberen te verkleinen:

1. Nodig mensen achteraf uit om hun oordeel nog eens te bekijken en te overwegen of ze wellicht alternatieve interpretaties over het hoofd kunnen hebben gezien
2. Nodig mensen uit om te onderzoeken hoe het kan dat zij tot verschillende oordelen zijn gekomen

Componenten van systeemerror

In het onderstaande plaatje vat ik de componenten samen waaruit systeemerror is opgebouwd.

De precieze relaties tussen deze concepten komen echter nog niet goed tot uiting in dit plaatje. Om daar meer zicht op te krijgen is een iets complexer plaatje nodig waarbij kennis over de stelling van Pythagoras van pas komt. In het plaatje komt tot uiting dat er kwadratische verhoudingen zijn tussen deze variabelen.

In deel 3 ga ik in op hoe oordelen verbeterd kunnen worden.

Lees deel 3

Lees deel 1