Ben Wilbrink

Beoordelen: liever objectief dan subjectief?

Nee. Daar hoort wel een verhaal bij. De essentie is dat streven naar objectiviteit vaak ten koste gaat van tijd die anders aan onderricht besteed zou worden, en dat intensief onderricht het juist mogelijk maakt met subjectieve oordelen te werken die zijn gebaseerd op de vakkennis van de docent in combinatie intensief contact van de docent met de betreffende student. Oordelen wordt gerekend tot het 'vak' van de docent, als er iemand is die dat zou kunnen, is zij het. Vanzelf volgt dan dat het materiaal/de situaties waar die oordelen op berusten, veel natuurlijker kunnen zijn dan de per definitie gekunstelde situaties die op objectiviteit gerichte procedures met zich meebrengen. Dan kunnen we eindelijk ook van de fictie af dat iedereen dezelfde opgaven voorleggen zou behoren tot de eisen van behoorlijke objectieve beoordeling. Quod non, want de ene groep krijgt andere opgaven voorgelegd dan de andere.

Clinisch versus statistisch oordelen

Er is een oppervlakkig gezien verwant probleem, dat beschikbaar onderzoek er juist op wijst dat 'objectieve' (want actuariële) oordelen beter presteren dan subjectieve (door professionals persoonlijk gegeven) oordelen. Op dit thema bestaat al zeer lang een controverse tussen de empirische bevindingen van harde wetenschappers zoals Paul Meehl, en de praktijk van alle dag waarin echte en zelfbenoemde professionals hardnekkig volhouden dat hun persoonlijke oordeel beter is dan welke standaardformule ook. Dat het hier niet om een academisch probleem gaat illustreert meteen al het oudst bekende onderzoek: dat naar het verlenen van proefverlof aan gevangenen. Een eenvoudige objectieve formule bleek een betere voorspelling van mislukkingen te zijn dan de oordelen van de professionals die over exact dezelfde informatie konden beschikken. (Voor een 2004 artikel zie hier). Op het moment dat ik dit schrijf, juni 2005, heeft de minister van justitie, Jan Hein Donner, juist een crisisdebat in het parlement achter de rug over fouten die bij het verlenen van proefverlof aan TBR-gedetineerden worden gemaakt (door gedragsdeskundigen en door rechters).

Ik sluit niet uit dat het mogelijk is onderwijs te ontwerpen waarin gedurende de rit over de individuele leerlingen eenvoudige 'objectieve' gegevens worden verzameld die in een of andere doorzichtige beslisregel tot betere, althans geen slechtere, beslissingen leiden dan de subjectieve oordelen van hun docenten op basis van diezelfde gegevens. Dat zou dan een situatie zijn die vergelijkbaar is met wat Meehl heeft beschreven.
Het punt is evenwel dat mijn thema subjectief versus objectief beoordelen een heel bijzondere zou zijn in de ogen van Meehl: de professionals hebben het eigen subjectieve oordeel ingeruild voor een min of meer objectieve toets die zij in beginsel zelf hebben opgesteld. Die verondersteld meer objectieve vorm van beoordelen is vervolgens een eigen leven gaan leiden, wat ook historisch wel aannemelijk is te maken, waardoor aanvankelijk ongetwijfeld aanwezige voordelen die in lijn liggen met de Meehl-bevindingen, in hun tegendeel zijn verkeerd.


Literatuur


Alan Lesgold (2008). Assessment to steer the course of learning. In Eva Baker, Jan Dickieson, Wallace Wulfeck and Harold F. O'Neil: Assessment of problem solving using simulations (pp. 19-36). Lawrence Erlbaum Associates. [PEDAG. 50.B.175] David M. Williamson, Robert J. Mislevy and Isaac J. Bejar (Eds) (2006). Automated scoring of complex tasks in computer-based testing. Erlbaum. [PSYCHO B7.1.-24.]


William M. Grove and Paul E. Meehl (1996). Comparative efficiency of informal (subjective, impressionistic) and formal (mechanical, algoritmic) prediction procedures: The clinical-statistical controversy. Psychology, Public Policy, and Law, 2, 293-323. pdf