Noise: een onderschat probleem in menselijke oordeels-en besluitvorming (deel 1)In deel 1 en deel 2 van mijn bespreking van het boek Noise: A Flaw in Human Judgment heb je kunnen lezen dat overal waar mensen oordelen vormen en beslissingen nemen, sprake is van noise, willekeurige ongewenste variatie in oordelen. Bij allerlei oordelen over en beslissingen over mensen vergroot noise de kans op foute beslissingen. De hoeveelheid noise is vaak aanzienlijk en veel groter dan we ons realiseren. De schade kan aanzienlijk zijn: denk aan fouten in personeelsselectie, foute rechterlijke beslissingen, verkeerde diagnoses of grove investeringsfouten. Het is belangrijk om maatregelen te nemen om noise te beperken. Hieronder kun je daar meer over lezen.

Trainingen Progressiegericht Werken

Noise audits

Om noise te beperken is het om te beginnen nodig om te beseffen dat er noise is en ook hoe schadelijk noise kan zijn. Het doen van noise audits is een een manier om noise zichtbaar te maken. Bij een noise audit worden relevante cases voorbereid waar beoordelaars uit de organisatie onafhankelijk van elkaar een oordeel over moeten vellen. Het is belangrijk om van te voren overeenstemming te hebben over de relevantie van de cases en over het uitgangspunt dat de noise die gevonden wordt representatief is voor de noise in praktijk.

Debiasing

Menselijke heuristieken en biases spelen een rol in zowel statische bias (verschuiving) als in noise van oordelen en beslissingen. Het ligt daarom voor de hand om mensen te trainen om minder gebiased te oordelen. Hoewel enkele onderzoeken korte termijn verbeteringen laten zien na trainingen is debiasing erg lastig. Menselijke biases blijken vrij hardnekkig te zijn.

Nudges

Een andere manier om te debiasen is door nudges te gebuiken. Dit zijn aanpassingen in de omgeving waardoor komen tot juiste beslissingen vergemakkelijkt wordt (lees meer over nudges).

AI

Het formaliseren van oordelen en beslissingen, al dan niet via artificiële intelligentie (AI), kan een deel van de oplossing zijn. Artsen kunnen bijvoorbeeld meer gebruik maken van AI in het stellen van diagnoses. Maar AI zal vermoedelijk nooit een een universeel substituut worden voor menselijke oordeelsvorming.

AI kan noise weliswaar geheel elimineren maar kan eigen nadelen met zich meebrengen. Enkele redenen: mensen blijven behoefte houden aan ruimte om zelf te kunnen oordelen en beslissen, ze blijven behoefte hebben aan kunnen praten met een ander mens, ze kunnen wantrouwend staan tegenover volledig geformaliseerde beslissingen. Daar waar menselijke oordeelsvorming aan de orde blijft, blijft noise reductie belangrijk.

Decision observer

Het invoeren van een decicion observer, iemand in de organisatie die zowel de gegeven oordelen (/genomen beslissingen) als het proces van komen tot oordelen monitort, hier feedback op geeft, of anderszins intervenieert, kan een belangrijke stap zijn. Er is nog weinig onderzoek naar het effect van deze maatregel genomen maar hij lijkt veelbelovend. In het boek is een checklist voor decision observers opgenomen.

Betere beoordelaars

Voor het reduceren van noise is de kwaliteit van beoordelaars van belang. Drie aspecten zijn hierbij volgens de auteurs bepalend:

  1. Kennis/deskundigheid: hoe goed beoordelaars getraind zijn voor wat ze moeten beoordelen speelt uiteraard een belangrijke rol. Het heeft bijvoorbeeld weinig zin om een leek een röntgenfoto te laten analyseren. Hoe minder kennis, hoe meer noise er zal zijn.
  2. Denkvermogen: hoe minder goed de persoon in staat is om complexe informatie te verwerken, hoe groter de kans op noise is.
  3. Denkstijl: hoe beoordelaars denken is ook belangrijk voor de kans op noise. Hoe meer beoordelaars zich realiseren dat hun oordeel fout kan zijn en open staan voor correctie, hoe minder groot de kans op noise is.

Beslissingshygiëne

Om noise te reduceren dient volgens de auteurs gewerkt te worden aan een goede beslissingshygiëne. Deze bestaat uit het volgende lijstje van manieren om oordelen en beslissingen beter te maken:

  1. Stapsgewijsheid: volgorde aanbrengen in het verzamelen en verwerken van informatie. Wat noise kan beperken is door informatie stapsgewijs aan te bieden en te laten verwerken. Hierdoor wordt het voor beoordelaars gemakkelijker om zich niet te laten verleiden in één keer tot een intuïtief oordeel te komen over de persoon of situatie.
  2. Meerdere beoordelaars: Samenvoegen van meerdere onafhankelijke beoordelaars is een belangrijke manier om noise te beperken. Door meerdere beoordelaars in te zetten die elkaars oordeel niet kennen en deze onafhankelijke oordelen later samen te voegen, kom je in het algemeen tot veel minder noisy oordelen. De noise in verschillende oordelen middelt zich namelijk door deze werkwijze in belangrijke mate uit. Dit verschijnsel wordt wisdom of crowds genoemd.
  3. Richtlijnen voor beoordelaars: Het werken met concrete richtlijnen is een andere manier om noise te beperken, bijvoorbeeld bij het stellen van diagnoses door artsen.
  4. Goede schalen:  Beoordelingen worden vaak gegeven op schalen. De kwaliteit van oordelen is onder andere afhankelijk van de kwaliteit van deze schalen. Hoe beter deze schalen ontwikkeld zijn, hoe groter de kans op noisebeperking. Goede schalen hebben concrete ankers die goed begrepen worden door de beoordelaars en die relevant zijn.
  5. Structureren van complexe beslissingen: Om te voorkomen dat beoordelaars komen tot intuïtieve oordelen, helpt het om het informatieverwerkings- en beoordelingsproces goed te structureren. Dit kan gedaan worden door heldere en relevante beoordelingscriteria te definiëren, informatie te verzamelen over al deze criteria en deze informatie systematische samen te voegen.
  6. Mediërende assessments protocol (MAP): Dit protocol is een stappenplan om beoordelingen binnen de organisatie te verbeteren waarin bovengenoemde aspecten van beslissingshygiëne worden meegenomen. (lees meer over MAPs).

Enkele overwegingen

De auteurs besluiten het boek met enkele meer beschouwende hoofdstukken. Zijn gaan hierin onder andere in op enkele kritische vragen over activiteiten gericht op het reduceren van noise. Ze erkennen dat het reduceren van noise een kosten/baten afweging is. In sommige omstandigheden zouden de baten van reduceren van noise misschien niet opwegen tegen de kosten ervan.

Ook zou het kunnen dat er fouten gemaakt worden bij pogingen tot noisereductie die in zichzelf de bron van foute beslissingen kunnen worden. Denk bijvoorbeeld aan het volgen van onjuiste richtlijnen of het kiezen van niet verkeerde beslissingscriteria.

Conclusie

De slotsom is dat noise een belangrijk probleem is en dat de reductie ervan over het geheel genomen erg belangrijk is. Noise zal nooit helemaal uitgebannen worden. Daarom kunnen we het beste denken in termen van optimale noise. Welke hoeveelheid noise vinden we acceptabel bij welk soort beslissingen? Bij sommige beslissingen is het vermoedelijk helemaal niet zo erg dat deze een hoog loterijgehalte heeft. Bij andere wil je dat zo ver mogelijk uitbannen.

De case van de auteurs is de volgende. Een samenleving waarin minder noise voorkomt in beslissingen zou een betere samenleving kunnen zijn. Er zou minder geld worden verspild, meer rechtvaardigheid zijn en meer veiligheid en gezondheid.

 

Lees deel 1

Lees deel 2

Wat vind je van dit artikel?
  • Interessant (2)
  • Bruikbaar (2)