Tijdschrift voor Onderwijsresearch 5 (1980), nr. 1, 39-40.

Toelatingstoets voor het wetenschappelijk onderwijs?

Ben Wilbrink

Centrum voor Onderzoek van het Wetenschappelijk Onderwijs
Universiteit van Amsterdam

Mei 1979 gaf de minister van onderwijs het rapport vrij dat in zijn opdracht door het CITO werd uitgebracht over de mogelijkheden van 'Studietoetsen voor toelating tot studierichtingen met een numerus clausus' (CITO, januari 1979). Op grond van de bevindingen daar gerapporteerd werd het CITO opdracht gegeven metterdaad deze toetsen te ontwikkelen, vooruitlopend op het nieuwe wetsontwerp en de behandeling in het parlement (voorjaar 1980 naar het zich laat aanzien). Ik wil hier kort op het rapport ingaan, omdat er ver reikende conclusies worden getrokken die in breder kring dan het selecte gezelschap van de CITO Begeleidingscommissie niet onbesproken mogen blijven. Voorzover het volgende als kritiek op de rapportage is op te vatten, is dat aan deze kommissie gericht, omdat de leden van het projectteam die het rapport geschreven hebben kennelijk binnen een strikte onderzoekopdracht hadden te blijven, en niet de vrijheid hadden de formulering van de onderzoekopdracht kritisch te beschouwen.

Het rapport is bedoeld antwoord te geven op de vragen

1. Is het mogelijk toetsen samen te stellen waarbij dezelfde kennis wordt verondersteld als in de eindexamen op gave n, maar waarbij het element inzicht een sterker accent krijgt?

2. Leveren de nieuwe toetsen, gelet op de reeds in gebruik zijnde instrumenten, met name de eindexamens, meer c.q. nieuwe informatie en, zo ja: in hoeverre?

Wat betreft vraag 1 wil ik op voorhand wel aannemen dat deze bevestigend beantwoord kan worden. Of je dan ook tot gebruik van dergelijke toetsen zou kunnen overgaan wanneer vraag 2 ook bevestigend beantwoord zou worden ligt dan nog geenszins voor de hand. Hier verder op in gaan zou bespreking van de rapportering van de werkgroep Wiegersma vragen, en dat is een mer-à-boire waarvoor ik graag verwijs naar het CRWO standpunt 'Loot om oud ijzer' html.

Vraag 2. wordt opgevat als de vraag naar de voorspellende geldigheid voor de studierichting waarvoor de toets (mede) als selectiemiddel dient. Als je daarin meegaat kun je niet anders dan ook hier op voorhand al verwachten dat zo'n toets best een verhoging in deze voorspellende geldigheid zal opleveren (boven en naast eindexamen cijfers bijv.). Daar wil ik niet kinderachtig in zijn. Jammer is alleen dat de vraag verkeerd is gesteld: natuurlijk ben je niet geïnteresseerd in de voorspellende geldigheid van zo'n toets, maar in de differentiële geldigheid, de mate waarin je op basis van deze toetsresultaten in staat bent je rendement (je utiliteit) te maximaliseren door een goede verdeling van kandidaten over verschillende studierichtingen, studierichtingen mét, en studierichtingen zónder een numerus clausus.

Welnu, voor verdeling of plaatsing van kandidaten heb je geen instrument nodig dat voor iedere studierichting goed of redelijk succes voorspelt, maar een instrument dat kan voorspellen of er in de ene studierichting voor deze kandidaat 'meer succes' te verwachten is dan in een andere. Een toets als door de werkgroep Wiegersma voorgesteld en door het CITO onderzocht zal dat heel waarschijnlijk niet kunnen.

Omdat de toelatingstoets niet op differentiële geldigheid werd onderzocht, vervalt de zin van vrijwel alles wat in het CITO rapport wél over het functioneren van de selectietoetsen wordt gezegd. Ik wil dat nog op één punt toelichten. Op p. 38 wordt gesteld dat wanneer met rendementen rekening gehouden wordt zou gelden dat:

"als men noodgedwongen de toelating van kandidaten tot een bepaalde studierichting moet beperken, dient men zoveel mogelijk die kandidaten toe te laten waarvan men mag verwachten dat zij het hoogste studierendement zullen hebben."

Dat is een uitspraak die alleen geldt voor personen die uitsluitend belang hebben bij een hoog studierendement in alleen deze studierichting. Je mag aannemen dat de minister geïnteresseerd is in een goed studierendement ook voor andere studierichtingen, en met name ook voor studierichtingen waarnaar op een dergelijke toets afgewezen kandidaten uitwijken. Is de voorspellende geldigheid van een toelatingstoets ongeveer even groot voor de numerus clausus studie als voor uitwijkstudies, en er is geen reden om daar hard aan te twijfelen, dan valt er met het hanteren van zo'n toets niets te 'verdienen', het overall rendement van het wetenschappelijk onderwijs wordt er niet door verbeterd.
Eerder werd er door Wilbrink en Van der Vleugel (1974) al op gewezen dat rendementsberekeningen waarbij met differentiële geldigheid van eindexamencijfers (het ging destijds om de gewogen loting) geen rekening wordt gehouden, zinledig zijn.

Literatuur

Centraal Instituut voor Toetsontwikkeling CITO: Studietoetsen voor toelating tot studierichtingen met een numerus clausus. 's-Gravenhage: Staatsuitgeverij, 1979.

Contactgroep Research Wetenschappelijk Onderwijs CRWO: Loot om oud ijzer. Voorburg: CBOWO, postbus S90, 1979. html

Wilbrink, B. en Van der Vleugel, H. Bij gebrek aan beter / Cijfers weersproken. Onderzoek van Onderwijs, 1974, 3 nr. 3, 8-14. html

Manuscript ontvangen 11-10-79

Zie ook de uitgebreidere notitie die aan dit artikel ten grond ligt, in de rubriek Stukken: Numerus Fixus.

In een advies uit 1973 jpg, waarschijnlijk een advies aan het CvB of aan de universiteitsraad van de UvA, geef ik eveneens een aantal argumenten tegen een dergelijke extra toelatingstoets, argumenten die enigszins complementair zijn aan die in dit artikeltje uit 1980. Ik herken deze argumenten ook enigszins in een stuk uit 1980, van de Commissie Aansluitingsvraagstukken van de Academische Raad (stuk CAV-80-17): ‘Commentaar op het CITO-rapport “Studietoetsen voor toelating tot studierichtingen met een numerus clausus.’ Het zou best kunnen, maar dat kan ik niet precies reconstrueren, dat mijn advies uit 1973 opnieuw is ingediend en gebruikt bij de inbreng an de UvA in de AR.

“Het niveau waarop men voor de toets ‘geslaagd’ is (d.w.z. tot de tot de studie toegelatenen behoort) wordt pas achteraf vastgesteld. Dat maakt voor de leerlingen de toets moeilijk ‘prepareerbaar’, hoewel het CITO-rapport (blz. 39) juist grote waarde aan die ‘prepareerbaarheid’ hecht. Bovendien geeft het achteraf bepalen van de norm de leerlingen ten onrechte het gevoel dat zij hun toelating kunnen beïnvloeden.

In feite heeft de hele toetsingsronde het karakter van een afleidingsmanoevre.”

CAV-8--17, punt 3.

“De Commissie wil tenslotte opmerken dat zij in het CITO-rapport niet steeds de grens kan onderscheiden tussen onafhankelijke wetenschapsbeoefening en ambtelijk compromis. De onzekerheden die de wetenschapper steeds zal onderkennen en erkennen lijken wat te weinig tot uitdrukking te zijn gekomen in de gepubliceerde eindversie van het rapport. Zo worden op blz. 41 en 42 bezwaren genoemd tegen het uitsluitend afgaan op de resultaten van extra toetsen. Dit zijn in feite eventuele bezwaren tegen het ontwikkelen en organiseren van deze toetsen, doch die conclusie wordt als zodanig in het rapport niet getrokken. Resumerend wil de Commissie dus stellen dat de beslissing van de minister, de toetsen te laten ontwikkelen, in feite is gebaserd op een rapport dat op zijn minste grote vraagtekens zet bij de zinnigheid van die toetsen!”

CAV-8--17, punt 10.

literatuur over selectie en loten voor numerus fixus studies, meer dan 300 stuks dacht ik, verzameld hier: html

Broekman, P. K. H., Van Antwerpen, A. P., Meijering, P. H., & Reijnaert, R. J. M. (1979). Studietoetsen voor toelating tot studierichtingen met een numerus clausus. Arnhem: Cito. 15 januari 1979.

p. 8: "Op grond van het advies van de werkgroep-Wiegersma verzocht de minister van Onderwijs en Wetenschappen in zijn brief dd. 8 juni aan het CITO, om landelijk vergelijkende studietoetsen natuur- en scheikunde te maken voor gebruik binnen een nieuw selectiesysteem voor de numerus fixus-studierichtingen medicijnen, diergeneeskunde en tandheelkunde."
p. 8: "Het bestuur van het CITO heeft het verzoek van de minister uitvoerig besproken. Uiteraard kwam tijdens deze besprekingen het doorde minister voorgestelde en door de werkgroep-Wiegersma geadviseerde selectissysteem aan de orde. Het bestuur meende echter dat het niet tot taak had daarover een oordeel te geven, maar zich allereerst op een technisch standpunt moest stellen en derhalve zijn aandacht moest concentreren op de vraag òf de door de minister bedoelde studietoetsen ontwikkeld zouden kunnen worden, rekening houdend met de boven aangehaalde richtlijnen. Wel meende het bestuur van het CITO dat ook de vraag aan de orde moest komen òf en, zo ja, in hoeverre de nieuwe toetsen meer c.q. nieuwe informatie opleveren, mede gelet op reeds in gebruik zijnde instrumenten met name de eindexamens."
Deze bestuursraad, althans de meerderheid ervan, wil liever helemaal niets met de plannen van de minister te maken hebben, maar kan dat geen goede vorm geven. Het gevolg is draaikonterij (zie ook de nog volgende citaten) die toch wel heel opmerkelijk is, ook in die zin dat ze in dit rapport openlijk wordt geventileerd. Een interessant casus wetenschaps-ethiek. De halfslachtige opstelling sleept zich voort ttodat Van Kemenade de stekker uit het project terkt, zie Kuijpers (1982) (hierbeneden). b.w.
p. 8:"Op grond van de in het voorgaande gegeven overwegingen, deelde het CITO in zijn brief dd. 6 juli 1978 aan de minister mee, pas een antwoord te kunnen geven op het door de minister gedane verzoek bedoelde toetsen te ontwikkelen, nadat nader was onderzocht:
- 'of en hoe het element inzicht een sterker accent kan krijgen' èn
- 'of en hoe deze toetsen zo zijn te construeren dat ze kunnen functioneren in het door de minister bedoelde systeem'.
p. 9 "Het [bestuur] gaf de minister in overweging ook na de invoering van het systeem door voortgezet onderzoek te laten nagaan in hoeverre de erbij gebruikte toetsen aan (technische) criteria van onder meer validiteit voldoen en welke invloed (toepassing van) het systeem op het onderwijs heeft."
Het is moeilijk te geloven, maar waar: er komt voor het project een begeleidingscommissie waarvan Pieter Drenth voorzitter is, leden: J. Boon, A. D. de Groot, J. P. Naeff, C. H. van Norden, P. J. Thung, J. W. Wesseling (secretaris), B. J. Westerhof en S. Wiegersma.

Kuijpers, H. L. M. (1982). Gewikt en gewogen. Eindverslag van het Cito-project 'Studietoetsen voor studierichtingen met een numerus-clausus.' Arnhem: Cito. Algemene publikatie nr 26.

Het Cito werd eind zeventiger jaren in grote verlegenheid gebracht door een opdracht van toenmalig minister van onderwijs Pais om toelatingstoetsen te ontwerpen voor studierichtingen met een numerus fixus. De Raad van Bestuur van het Cito kon daar niet goed mee omgaan, en accepteerde de opdracht misschien vooral om de minister niet helemaal te bruskeren. Hoe dat ook zij, het rapport van mw. Kuijpers geeft niet alleen het toetsmateriaal, maar ook de geschiedenis van het project, in het bijzonder ook hoe het uiteindelijk is beëindigd: een nieuwe minsiter, Van Kemenade, haalde onmiddellijk een streep door het toen al van uitstel tot uitstel doorsukkelende projekt.
"Deze publikatie bestaat uit het eindverslag van het project 'Numerus Clausus' van het Centraal Instituutvoor Toetsontwikkeling (Cito) en uit de daarbijbehorende toets met antwoordsleutel."
Er is een verschil tussen het verslag zoals aan de minister aangeboden in 1982, en deze Algemene Publikatie, zoals vermeld in het Woord vooraf, en dat is toch een tikje mysterieus.
p. 9: "Eind 1979 ontstond grote onzekerheid of het Cito de werkzaamheden voor het project Numerus Clausus zou voortzetten. De nieuwe Bestuursraad van het Cito maakte bij het verlenen van zijn goedkeuring aan het werkprogramma en de werkbegroting van het Cito voor 1980 een voorbehoud voor dit project. Uit het oogpunt van bestuurlijke continuïteit werd begin 1980 echter besloten vooralsnog met de voortzetting van de projectwerkzaamheden akkoord te gaan. De Bestuursraad meende niet tot stopzetting te kunnen besluiten, nadat het voormalige Cito-bestuur positief had gereageerd op het verzoek van de Minister. Mogelijke juridische en personele consequenties van beëindiging voor het Cito, werden door de Bestuursraad buiten beschouwing gelaten. De raad behield zich echter wel het recht voor een en ander opnieuw ter discussie te stellen, zodra nieuwe feiten of ontwikkelingen daartoe aanleiding zouden geven. Verder werd per brief aan Minister Pais meegedeeld dat de Bestuursraad de uitvoering van dit project als een technische zaak beschouwt en niet als een blijk van instemming met het door de Minister voorgestelde selectiesysteem. Dit standpunt was reeds eerder door het voormalige Cito-bestuur ingenomen." [zie Cito-publicatie Broekman e.a. (1979), hierboeven genoemd en geciteerd]
De opstelling van het bestuur van het Cito is hoogst ongebruikelijk, zowel van het bestuur dat in feite de opdracht wel accepteerde, als van het opvolgende bestuur dat hem bijna teruggaf. De achtergrond daarvan is ongetwijfeld, zoals in de laatste regels van het citaat is te lezen, dat het bestuur het aannemen van de opdacht voor deze numerus-fixussituatie een toelatingstoets te ontwerpen, wetenschappelijk niet kon verantwoorden. Ik ben wel benieuwd naar de notulen van de betreffende bestuursvergaderingen, maar de grote lijn is ongetwijfeld iets als het volgende: een toelatingstoets zou een grote belasting opleveren voor bijna alle gegadigden voor, zeg, de studies in de geneeskunde (ook tandheelkunde en vooral ook diergeneeskunde), terwijl in feite de toetsuitslagen maar voor een goede handvol kandidaten verschil zouden gaan uitmaken. Bedenk dat de achtergrond in 1978 het voorstel van de Werkgroep Wiegersma is, waarbij een beperkt deel van de beschikbare plaatsen via een toelatingsselectie gevuld zouden moeten worden. Een tweede overweging is waarschijnlijk geweest dat bij evaluatie achteraf ongetwijfeld zal blijken dat de via de toelatingstoets toegelaten studenten niet significant (in statistische zin) beter of sneller zouden studeren dan de via loting toegelaten kandiaten. Het laatste is het zwaarwegende ethisch-wetenschappelijke punt: mag je de samenleving wijs maken dat je als Cito een goede toelatingstoets levert, terwijl je tevoren al een sterk vermoeden hebt dat de achteraf bewijsbare validiteit van die toelatingstoets te gering zal zijn om zijn gebruik te rechtvaardigen? De vraag stellen is hem beantwoorden, wat de Bestuursraad heeft gedaan.
Boeiend. Het rapport meldt niet wie in die tijden deel uitmaakten van het bestuur, mogelijk was S. Wiegersma voorzitter van het bestuur in 1978, en W. Wijnen van het opvolgende bestuur, met onder andere altijd wel enkele hoogleraren psychometrie of psychologische methodenleer als leden. Ik moet daar toch eens navraag naar doen. b.w.
Overigens is de aarzelende stellingname van het Cito-bestuur ook begin 1979 al uitvoerig beschreven in Broekman e.a. (1979) Studietoetsen voor toelating tot studierichtingen met een numerus clausus. [sic] Arhem: Cito (zie bij het jaar 1979 hierboven, ook voor citaten hieruit)

Nederlandse Staascourant (12-2-1982). Begeleidingscommissie studietoetsen W.O. opgeheven.

Onderwijsminister Pais heeft ervan afgezien een wetsontwerp in te dienen. De toelatingstoets is niet gebruikt. Het viel te verwachten dat vroeger of later hetzelfde thema weer op zou duiken. En ja hoor, in de negentiger jaren ontstaat er commotie over een briljante scholier die meermalen uitloot voor geneeskunde. Weinigen begrijpen dat briljant zijn los staat van een moreel recht op een voorkeursbehandeling, dus er ontstond nogal wat politieke commotie. De ingestelde commissie Drenth liet zich door leden van het Kabinet de oren wassen, zoals Pieter Drenth kort na publicatie van het eindrapport aangaf. De deur stond nu open naar meer selectiviteit. De latere commissie Sorgdrager, ingesteld om de opening die de voorgaande commissie bood naar praktijken te helpen vertalen, ging naast de eigen schoenen lopen en beval aan meer selectiviteit ook buiten numerus-fixusstudies toe te staan. Het department, staatssecretaris Nijs, neemt dan de volgende stap, wacht niet tot de Onderwijsraad een gevraagd advies geeft, maar komt met het standpunt dat er met selectie moet kunnen worden geëxperimenteerd, en zoekt meteen de onderschrijving door het Kabinet. Dat gaat rap. Voor de PvdA kennelijk niet snel genoeg: de fractie in de Tweede Kamer komt begin 2004 bij motie met een verdergaand voorstel, om niet eerst te experimenteren maar meteen de wettelijke mogelijkheden voor selectie aan de poort te bieden. Het Kabinet kondigt nog voor de stemming over deze motie aan, met een wetsontwerp van deze strekking te komen. De motie wordt met steun van VVD en LPF aangenomen. Een korte wisseling van emailtjes met Martijn van Dam overtuigt mij ervan dat de fractie blind bezig is. Dat had Kees Kolthoff in een stuk in de Volkskrant al duidelijk gemaakt, en was dus niet echt een verrassing.

Voorjaar 2003 heb ik in een artikel in het Tijdschrift voor Hoger Onderwijs html betoogd dat het Nederlandse onderwijsstelsel zeker zo selectief en divers is als het Amerikaanse, en dat het daarom niet aangaat willekeurig extra selectieve drempels te leggen, uilen naar Athene te dragen, water naar de zee, of geld over de balk te smijten (een goede Muidense uitdrukking). Hoewel tegenwoordig niemand meer iets hoeft te weten omdat alles snel is op te zoeken, heeft niemand dit artikel gevonden. So much voor de hype over de kenniseconomie. Pieter Drenth verbreekt begin april als eerste de ban waarin Nijs en consorten het publiek houden, en stelt de slimheid van dit streven aan de kaak. Er is in de pers heel wat te doen, de NRC heeft in het voorjaar een reeks artikelen en commentaren, waar verdraaid aardige stukjes over buitenlands onderwijs bij zijn. Lagendijk steekt in de Volkskrant de draak met het idee dat Nederland een Harvard zou moeten kunnen hebben: daar is een behoorlijk schip met geld voor nodig, en is dus onbestaanbaar. Elsevier komt met een themanummer 'Onder professoren' waarin rijp en groen aan opvattingen is te lezen, de rijpe zijn interessant, de groene zijn bekend van de borreltafel.

Onderzoek van Onderwijs komt najaar 2004 met een themanummer over deze selectie aan de poort, ik heb daarvoor een conceptartikel ingediend. html

Wordt ongetwijfeld vervolgd.

19 augustus 2011 \contact ben apenstaartje benwilbrink.nl

http://www.benwilbrink.nl/publicaties/80ToelatingstoetsTOR.htm