Melvin R. Novick and Paul H. Jackson (1974). Statistical methods for educational and psychological research. London: McGraw-Hill.
partijdigheid (bias)
De eerlijkheid waarvan sprak is in de titel van dit artikel heeft een iets andere betekenis dan welke dit begrip in het dagelijks leven heeft. In de psychometrische literatuur zijn verwante begrippen die van partijdigheid (Kok, 1988), de overtaalde Engelse term bias, of scheefheid als een neutrale vertaling van bias. Het gaat hier om begrippen zoals die in de psychometrische literatuur, en literatuur over educational measurement zijn te vinden. Hoewel er wel verwijzingen zijn naar andere disciplines, is het toch vooral het geval dat het denken onder psychometrici weinig heeft te maken met dat van juristen (over gelijke behandeling), rechtsfilosofen (zoals Rawls), of sociologen (die bij direct betrokkenen informeren wat zij ervaren aan eerlijkheid of gebrek daaraan). Een belangrijke constatering is ook dat de psychometrische literatuur vooral op theoretische ontwikkelingen is gericht, en zich minder gelegen laat liggen aan de concrete selectie- en toetspraktijk. Kok, 1988, doet onderzoek naar partijdigheid van toetsitems in de Cito Basistoets, evenals Uiterwijk in 1994. Er wordt zeker wel empirisch onderzoek gedaan, door Kok gebeurt dat in nauwe samenhang met de ontwikkeling van de theorie (Mellenbergh, 1989), maar dat empirisch onderzoek blijkt buitengewoon lastig en levert dus niet zomaar heldere resultaten op. Dat laatste is ook niet verwonderlijk: Shepard (1982) kenmerkt eerlijkheid als een aspect van validiteit van toetsen (en dus ook van toetsvragen), en van onderzoek naar validiteit van tests en toetsen weten we dat dat uiterst moeizaam is. Voor psychologische tests kwam in dat empirisch onderzoek pas een doorbaak eind zeventiger jaren, met de uitvoering van meta-analyses op alle tot dan toe bekende onderzoek dat zich kenmerkte door wisselende en elkaar soms ook tegensprekende resultaten. Voor onderzoek naar partijdigheid ligt er waarschijnlijk hetzelfde probleem: voorzover bekende meta-analyses niet tevens uitsluitsel geven over eerlijkheid, zal er nog heel wat water door de Rijn stromen voordat gerichte studies die antwoorden wel leveren. Ik ben dus wel benieuwd naar wat de literatuur over al wel bekende empirische studies heeft te melden. Borsboom, Millsap, en anderen in deze lijn van onderzoek naar eerlijkheid (measurement invariance) stellen dat onderzoekers zoals Jensen (1980) ten onrechte hebben geconcludeerd uit afwezigheid van overprediction en underpredictio dat de betreffende tests of selectieprocedures vrij zijn van bias. Het gaat dus wel over enorm belangrijke zaken.
Het artikel hanteert definities van partijdigheid die technisch van aard zijn, dus niet prettig in lijn liggen met wat er in het dagelijks spraakgebruik onder wordt volstaan, en ook niet met de vakliteratuur over partijdigheid waar duizend bloemen bloeien als het op de invulling van het begrip partijdigheid aankomt (zie bv. Shepard, 1982). Daarom is het goed dat bredere kader ook een beetje bij de hand te hebben.
Wat partijdigheid is, dat weet iedereen: bevoordelen van bepaalde personen of groepen ten opzichte van anderen. In verschillende tijden en culturen wisselt het inzicht in wat ‘bevoordelen’ is: het is nog niet zo gek lang geleden dat afkomst belangrijker was aantoonbare capaciteiten, en vandaag de dag is er een levendige discussie in hoeverre belangrijke beslissingen alleen op prestaties zouden moeten berusten: het idee van een meritocratie doet velen rillen (Wilbrink, 1997 html). Kortom, psychometrici willen graag iets neutralers presenteren, en dan is er ruime keus uit een forse bibliotheek over partijdigheid. Een Nederlandse dissertatie op het onderwerp is die van Frank Kok (1988), hij analyseert (statistisch, niet inhoudelijk) onder andere de vragen in de rekentoets in de Cito Basistoets van 1982. Hetzelfde doet Henny Uiterwijk in een proefschrift waarin hij samen met een vakgroep van de KB de Basistoetsen 1987 en 1989 onderzoekt op bias. Een bijzonder grondige Amerikaanse publicatie is die van Arthur Jensen (1980) over partijdigheid van tests, maar de grondigheid staat onder grote druk sinds aangetoond is dat de methodologie in de lijn van Cleary (1968) tot Jansen (1980) ondeugdelijk is (zie Millsap, 2007). Merk op dat er in de literatuur kennelijk een onderscheid is tussen vraagpartijdigheid van afzonderlijke testvragen (bv. Kok), en die van tests in hun geheel (bv. Borsboom e.a. 2008). Dat onderscheid wil ik ook helder proberen te krijgen. Dan is er nog een belangrijke bundel van Berk (1982), waarin ook aandacht voor de methoden zoals gebruikt door grote toetsinstituten in de VS (p 228-314). Overigens vermoed ik dat er na de genoemde publicaties van een kwart eeuw geleden, geen echt bijzondere ontwikkelingen in het veld zijn geweest, maar het kan nog blijken dat ik me daar in ieder geval dan in vergis (procedures gevolgd door bedrijven zoals het Cito zijn mogelijk ingewikkelder geworden, bureaucratischer, en niet noodzakelijk ook beter; ook dat is een boeiende vraag om antwoord op te zoeken). Excuus dat de hier genoemde literatuur (Kok, Berk, Jensen) niet online beschikbaar is, bibliotheken blijven nog even onmisbaar. Stephen Jay Gould heeft Jensen besproken in The New York Review of Books (html not for free), en daar volgde een repliek en dupliek met o.a. Eysenck op.
De keuze van concrete voorbeelden en casus is van belang om abstracte analyses contact te laten maken met de werkelijke wereld, en zo de lezer ook betere kansen te bieden te begrijpen wat er op het spel staat, en hoe dat spel wordt gespeeld. Een a-typisch casus uit eigen onderzoek is dat naar mogelijke partijdigheid bij de selectie van vrouwelijke schoolleiders in het primair onderwijs (Van Eck, Vermeulen en Wilbrink, 1994 html), waarbij kwantitatieve oefeningen op complexe selectieprocedures zijn gedaan met inzet van simulatieprogrammatuur voor dergelijke situaties. Schoolleiders zijn er niet zoveel, leerlingen die Cito-toetsen maken des te meer: Bügel en Sanders (1998 pdf hebben uitgeschreven waar het Cito zich aan houdt. Een boek dat veel concrete situaties, en concrete rechtzaken (Amerikaanse) behandelt is dat van Arvey en Faley (1988), een sleutelpublicatie op het onderwerp, waarin bijvoorbeeld ook een overzicht over statistische benaderingen (hoofdstuk 5).
Met bovenstaande schets blijk ik ongeveer op dezelfde lijn te zitten als door Shepard (1982) aangegeven. Die duizend bloemen blijken ook min of meer onvermijdelijk te moeten bloeien. De kern van Shepard's zaak is dat onpartijdigheid een kwestie van validiteit is, onder die noemer is het dan ook te analyseren en onderzoeken. De verwijzing naar validiteit maakt het er niet meteen eenvoudiger op, omdat de lezer dan verstrikt raakt in het web van wat constructieve validiteit is gaan heten. Maar daar is wel een oplossing voor, aangedragen door Borsboom, Mellenbergh en Van Heerden (2004 pdf). Ik ben benieuwd hoe Borsboom de dwarverbinding in het te annoteren artikel heeft weten te leggen. In dit verband is een uitspraak van Cronbach uit 1980 van belang, geciteerd in Shepard (1982), dat validiteit niet alleen maar een kwestie is van meten wat bedoeld is te meten (een constructivistische definitie, het hele semantische netwerk kan erbij worden gehaald), maar vooral ook van antwoord op de vraag waarom je dat zou moeten of willen meten (waarmee Cronbach zoniet in realistische richting opschuift, dan toch in ieder geval in praktische richting). Het is een oude hobby van Cronbach: in godsnaam geen zaken gaan meten omdat we in staat zijn er een meetinstrument voor te bouwen, en ondertussen heenkijken langs wat werkelijk telt in dit ondermaanse. Zoek het sleuteltje dat je 's nachts hebt laten vallen niet onder het licht van een lantaarnpaal, maar op de plek waar het moet zijn gevallen. Toets niet alleen kennis, maar ook wat wat studenten ermee kunnen doen, hoe ze de kennis strategisch gebruiken, en hoe ze erover denken (zie bv. een aardige schets van Schoenfeld, voor wiskunde, 2007 pdf.
Arvey, Richard D., and Robert H. Faley (1988). Fairness in selecting employees. Amsterdam: Addison-Wesley.
Berk, Ronald A. (Ed.) (1982). Handbook of methods for detecting test bias. Baltimore: The Johns Hopkins University Press.
Denny Borsboom, Gideon J. Mellenbergh and Jaap van Heerden, J. (2004). The concept of validity. Psychological Review, 111, 1061-1071. pdf
K. Bügel en P. F. Sanders (1998). Richtlijnen voor de ontwikkeling van onpartijdige toetsen. Arnhem: Cito. pdf
Edith van Eck, Ard Vermeulen en Ben Wilbrink (1994). Doelmatigheid en partijdigheid van psychologisch onderzoek bij de selectie van schoolleiders in het primair onderwijs. Amsterdam: SCO-Kohnstamm Instituut. (rapport 359) [Hoofdstuk 3. Het psychologisch onderzoek html; Hoofdstuk 5. Seksepartijdigheid en rendement html]
Jensen, A. R. (1980). Bias in mental testing. London: Methuen.
Frank Kok (1988). Vraagpartijdigheid. Methodologische verkenningen. Item bias Methodological Research. Amsterdam: SCO (Stichting Centrum voor Onder- wijsonderzoek van de UvA); 1988; 225 blz. (Proefschrift UvA); SCO-publ. 88. Alan H. Schoenfeld (Ed.) (2007). Assessing mathematical proficiency.. Cambridge University Press.
Alan H. Schoenfeld (2007). What Is Mathematical Proficiency and How Can It Be Assessed? In Alan H. Schoenfeld: Assessing mathematical proficiency.. Cambridge University Press. p. 59-73. pdf (van het hoofdstuk)
Lorrie A. Shepard (1982). Definitions of bias. In Berk (zie boven), 9-30. (ander werk van Shepard over bias: html)
Ben Wilbrink (1997). Terugblik op toegankelijkheid: meritocratie in perspectief. In Marian Van Dyck (Red.): Toegankelijkheid van het Nederlandse onderwijs. Studies (p. 341-384). Den Haag: Onderwijsraad. html
kern van het artikel
Het gegeven citaat is de openingszin van de discussie. Lees even over de nog niet besproken technische termen heen, dan staat er dat het artikel aantoont dat subgroepen die van elkaar verschillen op een eerlijke selecterende variabele (zoals intelligentie), verschillende proportie terecht toegelaten resp. afgewezen opleveren (op basis van hun op de test gescoorde IQ). Ik kijk eerst even naar een voorbeeldsituatie waarin er gewoon sprake is van bekende cijfers of scores, niet van latente capaciteiten, en van voorspellen van studiesucces. Laten we zeggen: selectie voor toelating tot de studie geneeskunde. Er zijn in de afgelopen decennia veel cijfers bijeengeharkt die laten zien dat kandidaten met hogere eindexamencijfers betere studieprestaties behalen dan kandidaten met lagere cijfers, als iedereen zou worden toegelaten. Dat betekent dat in de eerste groep de proportie 'geschikten' (zoals A. D. de Groot, 1972, ze zou noemen) hoger is dan in de tweede groep. That's all there is to it. Het artikel brengt allerlei verbijzonderingen aan (in het bijzonder claimt het een principieel heel andere situatie te modelleren waarin de testscore de onderliggende capaciteit voorspelt in plaats van studiesucces). Het is mij aanvankelijk (voorafgaand aan een gedachtenwisseling met Borsboom, en kennisnemen van recente publicatie van o.a. Millsap) een raadsel waarom de auteurs dit artikel hebben geschreven. Het lijkt erop dat het artikel ingewikkeld doet over een probleem dat overigens niemand ooit heeft gezien, en dat de auteurs in feite bij dit artikel zelf introduceren.
Een belangrijke gedachte die aan het artikel ten grondslag lijkt te liggen is dat bijvoorbeeld uitvalcijfers in het onderwijs plegen te verschillen tussen onderscheiden subgroepen, ook wanneer beide subgroepen door dezelfde, eerlijke, selectieprocedure zijn gekomen. Een boeiende methodologische ingang op deze thematiek is dan de hunch dat hier sprake is van een speciale vorm van Simpson's paradox (de aggregation fallacy): door onhandige statistische interpretatie kan makkelijk de indruk ontstaan dat zo'n selectie uiteindelijk toch oneerlijk is, gezien de studieresultaten die voor de betreffende subgroepen uiteenlopen. Denk aan achterstandsleerlingen in het vmbo, tegenover de overige leerlingen. Het paradoxale is dan dat op de voor de selectie gebruikte toets beide groepen dezelfde kansen op goede resultaten hebben, gegeven dezelfde onderliggende capaciteiten, maar na een paar jaar blijken ze dan in verschillende mate de studie te hebben gestaakt. De schijnbare paradox ontstaat doordat betrokken partijen slordig redeneren, helemaal niet redeneren, of liegen met de statistieken: door leerlingen die op cruciale kenmerken van elkaar verschillen, op een grote hoop te gooien. Maar er is veel meer aan de hand dan alleen het uitspelen van Simpson's paradox.
In een gedachtenwisseling met de eerste auteur blijkt dat dit artikel staat in een reeks publicaties die een verrijking van methoden voor onderzoek naar partijdigheid van tests bieden, zoals met het begrip measurement invariance dat in de literatuur van de zeventiger jaren niet of nauwelijks is terug te vinden. Maar belangrijker dan die verrijking is dat deze lijn van onderzoekeen belangrijk probleem blootlegt in de methoden voor het onderzoeken en aantonen van partijdigheid zoals sinds Cleary (1968) in de zeventiger jaren ontwikkeld met het boek van Jensen (1980 als een soort sluitstuk. Het probleem is dat het criterium van regressie-invariantie voor de onpartijdigheid van prectieve tests en toetsen een belangrijk tekort in zich bergt: het is aantoonbaar dat overigens als eerlijk ervaren selectieprocedures kunnen resulteren in een belangrijke vorm van schending van de regressie-invariantie die met die eerlijkheid samen zou moeten gaan: een op de eerlijke predictor lager scorende subgroep kan een selectief voordeel krijgen, dat zich later uit in schijnbaar tegenvallende prestaties op het voorspelde criterium. Het verschijnsel heet overprediction, en is een statistisch artefact dat volgt uit het verschil in selectieverhouding tussen subgroep en de overigen. Is de selectieverhouding voor de subgroep scherper, dan spelen toevalligheden daar een relatief sterkere rol dan bij de selectie uit de rest van de groep. Omdat de selectie uit de top van de subgroep gebeurt, vallen de toevalligheden niet tegen elkaar weg, maar zijn het vooral toevalligheden waardoor kandidaten net boven de aftesgrens scoren. Voor afzonderlijke groepen is het fenomeen goed bekend onder de naam regressie naar het midden. In de context van onderzoek naar partijdigheid gaat het om de vergelijking van subgroepen, en dan is overprediction een verrassing waar onderzoekers in de zestiger en zeventiger jaren niet op bedacht waren. Het artikel noemt die overprediction, maar veronderstelt teveel kennis van de lezer, althans van mij als lezer, om het punt goed op te pakken. Het begrip selectie-invariantie moeten de auteurs dan als een variant op die overprediction hebben bedoeld. Ik ga dus proberen om te begrijpen hoe dit allemaal in elkaar grijpt.
Literatuur over partijdigheid (vooral de wat oudere literatuur)
De literatuur heb ik bijeengebracht in een afzonderlijke pagina bias.htm.
http://www.benwilbrink.nl/literature/borsboom.romeijn.wicherts.2008.htm