Uit onderzoek blijkt dat bij een serie beslissingen, de plek in de serie uitmaakt voor de uitkomst van de beslissing. Hoe zit dat in het onderwijs?

Resultaten uit het onderzoek

In de podcast van 16 november 2016 met de titel “How to Make a Bad Decision”[i] wordt stilgestaan bij de effecten die individuele beslissingen op elkaar hebben wanneer ze genomen worden in een serie. Hierbij wordt ingegaan op de zogenaamde Gambler’s Fallacy: wanneer er met een dobbelsteen gegooid wordt, en één getal lang niet gegooid is, zou de kans op dat getal steeds groter worden. De podcast leunt sterk op een artikel van Chen, Moskowitz en Shue (2016).

Onderzoek

Chen, Moskowitz en Shue[ii] hebben dit effect onderzocht en rapporteren uitgebreid op drie gebieden: de beslissingen van een rechtbank, een acceptant van leningen bij een bank en een scheidsrechter bij een sportwedstrijd.

Deze drie onderzoeksgebieden hebben gemeenschappelijk dat de beslissingen die feitelijk onafhankelijk zouden moeten zijn. De ene beslissing mag de andere niet beïnvloeden. Auteurs rapporteren echter dat ze afhankelijk worden wanneer ze in een serie gezet worden. Een baseball scheidsrechter houdt wel degelijk rekening met de uitkomst van de eerste worp bij het beoordelen van de tweede. Want als de eerste uit is, dan kan de tweede toch niet ook uit zijn? Zo ook bij het beoordelingen van aanvragen voor een lening. Wanneer er een stapel verzoeken doorgenomen moet worden, dan kan het toch niet zo zijn dat ze allemaal goedgekeurd worden? Dus na een serie goedkeuringen, neemt de kans op een afwijzing alleen maar toe.

Maar ook zaken als tijdstip van de dag, voor of na de lunch, einde van de werkdag etc zijn van invloed op de uitkomst van een beoordeling.

Blijkbaar kunnen we de beslissingen in een serie niet los van elkaar zien. Ook niet als ze dat feitelijk wel zijn. Mensen zijn dus op zoek naar patronen om te volgen, ook al is er geen. In de discussie bespreken Chen et.al. de gevonden effecten.

Sequential Contras Effect

Het eerste dat zij bespreken is het Sequential Contrast Effect. Dit effect ontstaat wanneer de verwachtingen en/of de beoordelingsnormen beïnvloed zijn door een voorgaande beslissing. Denk aan het bezoek aan een concert: de waardering voor het concert waar nu naar geluisterd wordt, wordt mede bepaald door de kwaliteit van de vorige editie. En dan kan het zijn dat de kwaliteit van het gehoorde te hoog wordt ingeschat, of juist onevenredig negatief wordt beoordeeld. De vergelijking beïnvloed dus het oordeel.

Quota’s and Learning

Bij het nemen van beslissingen in een serie kan er natuurlijk ook effect zijn van (zelf) opgelegde aantallen die behaald of vermeden moeten worden. Wanneer bij het beoordelen van leningen de medewerker de opdracht heeft om per tijdseenheid er zeker 70% goed te keuren, heeft die opdracht gevolgen voor de beslissingen. Daarnaast kan de beoordeling van de ene casus een leereffect veroorzaken, wat er toe leidt dat de volgende beslissing anders uitvalt. Wanneer bij het toekennen van leningen bekend geworden is dat bepaalde groepen niet goed terugbetalen, dan heeft dat effect op de beslissing, ook al veranderen de formele normen niet.

External Perceptions an Preferences for Alternation and Fairness

Als laatste bespreken Chen et.al. externe invloeden. Het kan natuurlijk zijn dat bijvoorbeeld de betrokken rechters heel goed weten dat de beslissingen onderling onafhankelijk moeten zijn, maar dat zij zich laten beïnvloeden door maatschappelijke druk. Bijvoorbeeld door groeperingen die de onafhankelijkheid van de beslissingen onderling niet zien dan wel onderschrijven. Het laatste levert de situatie op dat diezelfde rechter niet als “soepel” of “strikt” over wil komen.

Lessen voor het onderwijs

In het onderwijs zullen de verschillende effecten, door elkaar in wisselende samenstelling, zich voordoen. Een paar eenvoudige voorbeelden en richtingen voor voorkomen van deze effecten.

Bij het nakijkwerk

In mijn opleiding voor mijn bevoegdheid wiskunde is er aangedrongen op het nakijken per opgave, in plaats van opkijken per leerling. Hiermee worden volgorde-effecten per leerling zoveel mogelijk bestreden. Toch kan er bij het nakijken van een proefwerk een beeld over “hoe het gemaakt is”, dat van invloed is op de wijze van scoren. Wanneer de eerste paar leerlingen een opgave excellent beantwoorden en er volgt een antwoord dat gewoon goed is, dan wordt daar strenger naar gekeken. Want waarom is dat antwoord ook niet excellent? Had dat niet beter gekund?
De effecten per opgave binnen een proefwerk zijn lastig te bestrijden. De gevolgen voor leerlingen wel: zorg er voor dat de stapel steeds geschut wordt.

Ook de aantallen spelen een rol. Het kan toch niet zo zijn dat alle leerlingen alles goed hebben? Dan wordt er plots strenger nagekeken. En omgekeerd: er wordt soepeler nagekeken wanneer gaandeweg blijkt dat het proefwerk erg slecht gemaakt is. Hierbij lopen de drie effecten door elkaar heen, maar dat wanneer “niemand” of “iedereen” eenzelfde beoordeling heeft dat als probleem gezien wordt, verwijst naar de “Quota’s and Learning” factor. Hier speelt afstemming met collega’s een grote rol. Wanneer die een soortgelijke uitkomst hebben, ligt het waarschijnlijk minder aan het nakijkproces. Dat is dan al prettig wegstrepen.

En die Quota’s hebben weer een gevolg voor de externe waarneming van het proces. Was het onderwijs wel goed? Hoe goed is de docent eigenlijk? En wie heeft die toets samengesteld?

Wanneer ik dit met collega’s bespreek hoor ik vaak “bij mij werkt dat niet zo”, oftewel, “ik heb hier geen last van”. Dat is de kop in het zand steken. Dit zijn onbewuste processen die maar beter erkend en daarmee herkend kunnen worden. Dan kan je er wat aan doen.

Bij rapportvergaderingen

Bij rapportvergaderingen, vooral bij overgangsvergaderingen, blijkt de volgorde van bespreken steeds van groot belang. Hier treden, wanneer er niet scherp opgelet wordt, verschillende effecten op. Allereerst is de het volgorde-effect nogal eens aanwezig: bij de bespreking van een aantal grensgevallen, heeft de laatste andere kansen dan de eerste. Wanneer een leerling met de hakken over bevorderd is, nemen de kansen op dezelfde beslissing bij de daaropvolgende leerling af. Want “we kunnen niet iedereen zomaar over laten gaan”, “we hebben er al zes met de hakken over”, enz, zijn door mij vaak gehoorde argumenten. Hiermee wordt direct verwezen naar de Gambler’s Fallacy, en naar het Sequential Contrast Effect. Maar ook: “we kunnen het niet maken om de halve klas te laten doubleren”, is  vaak gehoord. Een variant hierop is de wet van Posthumus, waarbij de norm is dat in het onderwijs ongeveer één derde een onvoldoende kan hebben.

Moskwitz noemt in de podcast voor deze laatste effecten een heldere oplossing: verbreek de serie door de verschillende leerlingen in tijd gezien, los van elkaar te bespreken. Dit wordt op scholen vaak vormgegeven in de vorm van een zogenaamde revisievergadering. In deze vergadering wordt de door de docentenvergadering genomen nogmaals besproken en zo nodig herzien.

Conclusie

Mensen zijn feilbaar. Deze podcast, dit artikel, maken dit maar weer eens duidelijk. Dat beslissingen over het werk van leerlingen statistisch onafhankelijk moeten zijn, spreekt voor zich. Hoe dat te organiseren is nog wel een opgave. Wanneer we ons er van bewust zijn en die feilbaarheid accepteren en daar rekening mee houden, zijn we halverwege.

[i] “How to Make a Bad Decision” Podcast en transcript binnengehaald op 14 december 2016 van freaconomics.com.

[ii] Chen, D.L, Moskowitz, T.J. & Shue, K. (2016) Decision-Making Under the Gambler’s Fallacy: Evidence from Asylum Judges, Loan Officers, and Baseball Umpires. Binnengehaald op 14-12-206 van ssrn.com