Uitgebreider notitie, destijds waarschijnlijk op kleine schaal binnen CRWO verspreid
Ben Wilbrink. 15 oktober1979.
Centrum voor Onderzoek van het Wetenschappelijk Onderwijs, U.v.A.
Januari 1979 bracht het CITO aan de minister het rapport 'Studietoetsen voor toelating tot studierichtingen met een numerus clausus' uit, over de mogelijkheden om dergelijke toetsen te construeren. De minister verkoos deze rapportering geheim te houden tot mei 1979, een actie waarop in kringen van onderzoekers met verontrusting gereageerd is; ik ga hier echter niet in op het twijfelachtige beleid van de minister in deze, maar op de inhoud van het rapport of liever: wat er aan die inhoud ontbreekt. De kritiek op het CITO rapport is van ernstige aard; de bijl wordt diep in de wortels van de achterliggende filosofie gezet. Die filosofie is afkomstig van de werkgroep Wiegersma, en via een speciaal voor het werk aan deze toelatingstoetsen gecreëerde begeleidingscommissie in de rapportering van het CITO doorgesluisd (zie voor de details daarvan het CITO rapport). Ik stel er prijs op hier dan ook uitdrukkelijk te stellen dat de schrijvers van het rapport, het CITO projectteam, de navolgende commentaar en kritiek niet voor de voeten geworpen mag worden: zij hadden kennelijk te werken binnen een nauwe onderzoek opdracht waarvan het hen zelfs niet vrij stond de juistheid van de opdracht formulering te becommentariëren.
Mijn adressanten zijn dan ook in de eerste plaats het CITO bestuur, en de genoemde begeleidingscommissie (het zal niet verbazen dat er een aanzienlijke personele unie bestaat tussen bestuur, kommissie, en werkgroep Wiegersma: dezelfde personen zien we daarin telkens terug).
Het CITO, het Centraal Instituut voor Toetsontwikkeling, heeft een nauw omschreven onderzoekopdracht van de minister uitgevoerd, zonder kritisch onderzoek naar de juistheid van de haar zo aangereikte vraagstelling. Met een veelbetekenende uitzondering, waarop ik straks terugkom. De opdracht van de minister, hem in feite aangereikt door het CITO bestuur, luidde te onderzoeken "of en hoe het element inzicht een sterker accent kan krijgen (dan bij het schriftelijk eindexamen het geval is) èn of en hoe de te ontwikkelen toetsen zodanig zijn te construeren dat ze kunnen functioneren in het systeem dat hem voor ogen staat."
Let vooral op de clausulering "in het systeem dat hem voor ogen staat".
Welk systeem staat Pais voor ogen? Dat zijn niet de ideeën van het door de werkgroep-Wiegersma uitgebrachte rapport, zoals het CITO rapport in het hoofdstukje voorgeschiedenis probeert te suggereren. Voor een goed zicht op de wijze waarop de minister aan zijn argumenten komt is het goed het CITO rapport hier meteen maar te corrigeren: de minister beschreef zijn 'systeem' al in duidelijke termen in de brief waarin hij de werkgroep-Wiegersma verzocht datzelfde systeem van toelating van advies te voorzien.
De uitgangspunten van Pais voor een toelatingsregeling waren op 28 maart 1978:
Voor de dan nog overblijvende plaatsen vraagt hij de werkgroep welke methode voor de verdeling daarvan gehanteerd kan worden.
Zoals bekend heeft de werkgroep Wiegersma geadviseerd voor de verdeling van de laatste categorie plaatsen de methode van (ongewogen) loting tussen de gegadigden te kiezen. Voor de beide uitgangspunten van de minister heeft de werkgroep een overvloed aan argumenten verschaft: veel argumenten, onderling strijdige argumenten, ongekwantificeerde argumenten. Maar geen kritisch onderzoek van de uitgangspunten van de minister. Lees er de kritieken op het werkstuk van de werkgroep op na, van het Nederlands Genootschap van Leraren, tot de Contactgroep van onderzoekers van het wetenschappelijk onderwijs (CRWO).
Zowel deze werkgroep-Wiegersma, als het CITO, hebben uitgevoerd wat de minister van hen verlangde: argumenten leveren om zijn voorstel voor een toelatingsregeling te onderbouwen. De kwaliteiten van dat voorstel zélf, of juist het ontbreken van wezenlijke kwaliteiten, zijn beide keren ononderzocht gebleven.
Overwegende dat het CITO een toetsontwikkelingsbedrijf is, mag je niet anders verwachten dan dat het CITO rapport zal bevestigen dat toelatingstoetsen die meer inzicht (dan het schriftelijk eindexamen) meten mogelijk zijng en niet ontkent dat dergelijke toetsen kunnen functioneren binnen het systeem dat de minister voor ogen staat. Het eerste is minder verwonderlijk dan het tweede.
Ondertussen wordt er op het CITO hard gewerkt aan het construeren van deze toelatingstoetsen, en zullen ze 10 juli aanstaande voor het eerst afgenomen worden, zij het dan ook hoogstwaarschijnlijk alleen bij wijze van proef en niet als onderdeel van de toelatingsprocedure tot numerus clausus studies. De minister heeft zich er echter nog niet (ik spreek oktober '79) duidelijk over uitgelaten, wat betekent dat zo'n 6 a 8 duizend v.w.o. leerlingen hun laatste schooljaar in grote spanning zitten over hoe die toelating tot numerus clausus studies dan wel precies geregeld gaat worden. Op dit moment zijn de berichten dat de minster met een voorontwerp van wet zal komen waarin de huidige Machtigingswet inschrijving studenten niet alleen met 5 jaar verlengd wordt, maar ook ingrijpend gewijzigd wordt met name waar het het gebruik van deze toelatingstoetsen betreft.
In het parlement bestaat bij de fracties van met name CDA en PvdA grote wrevel over de voortvarendheid van het beleid van de minister die vooruitlopend op het noodzakelijke overleg tussen regering en Staten-Generaal het CITO al opdracht tot het opstellen van deze toetsen heeft gegeven (kamervragen van CDA en PvdA in mei '79, en opnieuw van het CDA in oktober '79).
Voor de meer inhoudelijke bespreking wil ik beginnen met de grootste vergissing die je hier kunt maken: te denken dat het gaat om een selektie probleem. Wat is de feitelijke situatie: voor een aantal studierichtingen zijn minder plaatsen beschikbaar (gesteld) dan er gegadigden voor zijn. Op de een of andere manier moeten die plaatsen over de gegadigden verdeeld worden. Omdat het niet mogelijk is halve plaatsen toe te kennen, zullen een aantal gegadigden teleurgesteld moeten worden. Wel, zeggen we dan onmiddellijk, dit is een probleem dat bekend is: bij méér dan elf gegadigden voor het eerste elftal, bij méér sollicitanten dan er vacatures zijn, e.d., kies je eenvoudig 'de besten' uit. 'Selectie' noemen we dat. Bij een beperkt aantal plaatsen voor bijvoorbeeld de studie geneeskunde zou je analoog de 'besten' uit de groep gegadigden tot de studie moeten toelaten.
Ik wil een aantal verborgen vooronderstellingen achter bovenstaande redenering duidelijk maken. Met dat voorbeeld uit de sport heb ik geen moeite: het is inherent aan de sport dat je probeert uit de beschikbare spelers het sterkste elftal te formeren. Maar dat betekent niet dat je de beste voetballers voor je elftal uitkiest, omdat voor een individuele speler kan gelden dat hij juist samen met een bepaalde andere speler goed spel aflevert (die ander daar dan ook een voorwaarde voor is)t bepaalde taken beter uitvoert dan andere (een elftal van doelverdedigers zal zelden een topelftal zijn). Zelfs in dit geval kan selectie van een elftal wel eens erg moeilijk zijn, en zijn meningsverschillen over de 'beste' keuze en opstelling te verwachten.
De sollicitatie bij bedrijfsleven of overheid: het lijkt vanzelfsprekend dat het bedrijf de 'beste' man of vrouw aanneemt. Maar even vanzelfsprekend worden over-gekwalificeerde sollicitanten meestal geweigerd. Belangrijker is op te merken dat het selecterende bedrijf of de selecterende instelling zich er niets aan gelegen laat liggen wat afgewezen sollicitanten gaan doen. Maatschappelijke effecten van het gevolgde selectiebeleid worden afgewenteld op de samenleving, wat tot aanwijsbare maatschappelijke problemen leidt. Denk aan bepaalde groepen die stelselmatig afgewezen worden. Selectie zonder rekening te hoeven houden met wat afgewezen sollicitanten (kunnen) gaan doen is een (onmaatschappelijk) privilege van de werkgever.
Is deze wijze van selecteren iets dat je ook graag zou willen doen voor het hoger onderwijs?
Selectie in de sport, selectie door werkgevers, selectie voor een universitaire studie. Wie daar analogieën tussen ziet maakt het zichzelf al te gemakkelijk, en loopt het risico de betrokken personen, instellingen, en de samenleving onnodig te korten in belangen.
Je kunt namelijk ook andere analogieën bedenken. Er zijn te weinig operatie mogelijkheden voor hartpatiënten: wie komen in aanmerking voor de hoogste prioriteit? Er zijn te weinig woningen: hoe verdeel je het aanbod over de gegadigden? Een dorpspostkantoor heeft één loketbeambte: wie van de groep wachtenden wordt het eerst geholpen? Het aantal passagiers in de tram is groter dan het aantal zitplaatsen: wie blijven er staan? Er zijn meerdere gegadigden voor de koop van een landhuis: aan wie wordt verkocht? In vroeger tijden hadden we een klein legertje: wie werd opgeroepen voor dienst?
Ik hoop dat ik hiermee duidelijk gemaakt heb dat ieder verdelingsprobleem op zichzelf bestudeerd moet worden, zijn eigen 'beste' oplossingsmogelijkheden heeft. Hetzelfde moeten we doen met de vraag hoe een te klein aantal beschikbare plaatsen in numerus fixus studies over de gegadigden verdeeld moet of kan worden. Of je dan uitkomt op een selectie-achtige oplossing is door kritische analyse te beantwoorden.
Even een lijstje van wie en wat zoal betrokken is de toelating tot numerus fixus studies. Het v.w.o. is erbij betrokken, omdat de aard van de gekozen toelatingsprocedure effecten kan hebben op het voorafgaande onderwijs~ de motivatie van de leerlingen, de aard van de vakken keuze. Andere dan numerus fixus studierichtingen, en het h.b.o., zijn erbij betrokken omdat afgewezen kandidaten hier een alternatieve (of een parkeer-) studie zullen volgen. Kabinet en volksvertegenwoordiging zijn erbij betrokken, omdat verdeling van de schaarste altijd mede een politieke zaak is; ook de kwaliteit en het rendement van betrokken opleidingen kan in het geding zijn. Een groep onderwijskundige specialisten is betrokken omdat zij de probleemsituatie moeten beschrijven, de alternatieven moeten aangeven en uitwerken. Vanzelfsprekend zijn v.w.o. leerlingen en zij die zich al aangemeld hebben voor numerus fixus studies betrokken. Omdat het mede een politiek vraagstuk is, is iedere burger erbij betrokken. Tenslotte zijn ook de numerus fixus studierichtingen, en misschien de nogal gesloten clubs van beroepsbeoefenaren die daarbij horen~ betrokken,
In het vaak al te schematische denken over dit toelatingsprobleem wordt het nogal eens voorgesteld of er maar twee 'partijen' zijn: de betrokken numerus fixus studierichting, en de daarvoor aangemelde kandidaten. Een beperkt aantal plaatsen met teveel sollicitanten. Je zou dan door selectie in die groep gegadigden de 'besten' moeten toelaten, omdat daarmee het rendement van het onderwijs zo hoog mogelijk gemaakt zou worden, en omdat daarmee voldaan zou worden aan gevoelens van rechtvaardigheid die onder de betrokken gegadigden en hun ouders leven. Het laatste is onzin, natuurlijk omdat uit onderzoek bekend is dat v.w.o. leerlingen zeker geen voorkeur hebben voor stringente selectie op basis van eindexamencijfers. Of dergelijke selectie ook naar meer objectieve maatstaven rechtvaardig genoemd zou mogen worden, is te onderzoeken, maar gezien wat zoal over dit soort selectiesituaties bekend is moet verwacht worden dat dergelijk onderzoek ontkennende antwoorden op zal leveren.
Maar valt het rendement van het onderwijs dan niet door selectie te verbeteren? Hoe je het ook wendt of keert, het antwoord daarop moet ontkennend zijn. Dat is verrassend, gaat tegen de intuïtie in, en zal ik moeten uitleggen. Bedenk om te beginnen dat het bier om een heel bepaald selectieprobleem gaat, en dat niet uit de onzinnigheid van selectie in dit geval de conclusie getrokken mag worden dat selectie in andere situaties ook zinloos zou zijn.
Even de nadruk op dat 'rendement'. Het wordt er met de haren bij gesleept, want hoewel er vaak een verband is te leggen tussen de gevolgde toelatingsprocedure en veranderingen in het rendement, volgt daaruit natuurlijk niet dat streven naar verbetering van het onderwijsrendement moet leiden tot bepaalde vormen van toelating. Het rendement van het onderwijs is in eerste aanleg te verbeteren door het onderwijs, de beoordelingsstructuur, de begeleiding van studenten, de programmering van de studie te verbeteren. Wie selectie voor een numerus fixus studie verdedigt met rendementsverbetering, gebruikt een gelegenheidsargument.
Ik zeg niet dat het niet mede overwogen kan worden. Wie dat doet moet er rekening mee houden dat ons middelbaar onderwijs bijzonder selectief is, wat betekent dat er erg weinig ruimte over is om met nog weer een extra selectie drempel enige winst in rendement te behalen, d.w.z. de gemiddelde studieduur of het percentage uitvallers daardoor terug te brengen. (Dan blijft onverkort gelden dat het niet de bedoeling kan zijn het rendement van het onderwijs in de eerste plaats door selectie te verbeteren, en niet door andere maatregelen). Is het dan zinvol om na te gaan of er bij bepaalde vormen van selectie een kleine rendementsverbetering meegenomen kan worden? Nee. De reden is eigenlijk heel eenvoudig, en het enige verbazingwekkende is dat in de club van Wiegersma er een blinde vlek voor deze reden bestaat. De selectie zou gebeuren op basis van gegevens die ook voor andere studies ongeveer dezelfde voorspellende waarde zouden hebben. Dat wil zeggen, wanneer afgewezen gegadigden een andere studie kiezen, gaat rendementswinst in de numerus fixus studie weer verloren door rendementsverlies in uitwijkstudies. (over parkeerstudies praat ik dan nog niet eens).
Neem nu geneeskunde: afgewezen gegadigden zullen vaak een andere studie kiezen in de exacte sfeer: technische studies, biologie, wis- en natuurkunde, scheikunde. Over welke vakken gaat de door het CITO te ontwikkelen toelatingstoets? Precies, natuurkunde en scheikunde, en wel bij uitstek de meer inzichtelijke toetsing daarvan. Welk verband je ook zou vinden tussen scores op deze toetsen en succes in de studie geneeskunde, hetzelfde of waarschijnlijk zelfs hogere verbanden tussen deze scores en studiesucses zal dan gevonden worden voor degenen die een natuurwetenschappelijke richting kiezen. Zou je de 'betere' gegadigden tot geneeskunde toelaten, dan komen de overigen in natuurwetenschappelijke studies terecht: voor geneeskunde verbetert het studierendement, voor andere studies verslechtert het. En denk nu niet dat een student die natuurkunde studeert 'goedkoper' zou zijn dan een student geneeskunde!
Met andere woorden: hooggeleerde geneeskundigen die protesteren tegen loting als toelatingsprocedure hebben (naar het eigenbelang van hun studierichting geredeneerd) enigszins gelijk; hooggeleerde natuurwetenschappers die tegen loting protesteren hebben (ook naar het belang van hun eigen studierichting bezien) ongelijk. Er zal heel wat meer papier dan waar dit artikel op gedrukt is nodig zijn om de laatste kategorie daar ook van te overtuigen.
Het doet er dan 'ook volstrekt niets toe hoe groot of hoe klein is het verband tussen bijvoorbeeld eindexamencijfers en later studiesucses. Het heeft ook geen zin om daar onderzoekinspanning aan te wijden. Het heeft nog minder zin daar een argumentatieve woordenstrijd over aan te gaan. Altijd zal ongeveer gelden dat de 'winst' voor de numerus fixus studies gekocht wordt tegen een verlies voor andere studierichtingen dat daar tegen op kan wegen.
Vinden we deze analyse in het CITO rapport terug? Nee, want het CITO bestuur heeft zichzelf op laten dragen alleen te onderzoeken in hoeverre een toelatingstoets kan functioneren in het systeem dat de minister voor ogen staat, dat is naar de effecten die het alleen voor de numerus fixus studies heeft. Effecten van zo'n toetsing op andere studierichtingen laat het CITO buiten beschouwing.
Het CITO bestuur, en de begeleidingscommissie, zijn daar waarschijnlijk verantwoordelijk voor te houden, omdat op een discussie bijeenkomst van de vereniging voor onderwijs research begin 1979 leden van het CITO projectteam lieten weten zich van de hier geschetste problematiek wel degelijk bewust te zijn geweest, maar niet de ruimte te hebben gehad of gekregen om dit ook in de rapportering uit te werken.
De mooie verhalen over verschillende geldigheidsaspecten van zo'n toelatingstoetsing zoals we die in het CITO rapport vinden doen dan ook helemaal niet ter zake. Het gaat er eenvoudig niet om hoe goed zo'n toets toekomstig succes in de studie geneeskunde voorspelt, want het kan best zijn dat de toets toekomstig succes in de studie natuurkunde nog beter voorspelt! Met zo'n toets kun je gegadigden niet over beide studierichtingen verdelen. Wat je nodig hebt is daarentegen een toets op grond waarvan voorspeld kan worden dat iemand het in de ene studie goed, in de andere slecht zal doen (of omgekeerd); zo'n toets is voorwaarde wil je bij de plaatsing van gegadigden 'rendementsverbetering' kunnen behalen. De minister had er goed aan gedaan zijn probleem in deze termen te formuleren. Maar de minister is geen onderwijskundige, zoals hijzelf waarschijnlijk ook beseft. Ik ben dan ook bang dat Pais de fout begaan heeft zijn plannen voor te leggen aan een club 'deskundigen' die het niet heeft aangedurfd hem op de onjuiste formulering van zijn voorstel of onderzoekopdracht te wijzen. En dat tot driemaal toe: de werkgroep Wiegersma, het CITO bestuur, en de door de minister ingestelde begeleidingscommissie. Daarmee zijn we opgezadeld met een rapport dat bol staat van het vakjargon, en ten onrechte de indruk maakt een degelijke, objectieve, 'wetenschappelijk verantwoorde' studie te zijn. Als deskundigen in ons land zich op deze wijze laten manipuleren, hun kennis op deze wijze laten misbruiken, waarom zou je je dan nog zorgen maken om een terug lopende kwaliteit (door absurde toelatingsprocedures) van precies dat wetenschappelijk onderwijs dat steeds meer van deze deskundigen aflevert? Een goed sluitende cirkel?
De aard van de toelatingstoetsen: ze gaan over dezelfde examenstof, maar de opgaven hebben betrekking op relatief meer inzichtvragen en/of complexere natuurkundige en scheikundige situaties. Het CITO rapport geeft ook aan dat zo'n toets uit 40 tot 50 vragen bestaan. Er zijn toch een aantal vragen over de aard van deze toetsen waarop het rapport geen antwoord geeft, die zelfs niet als probleem gesignaleerd worden.
Voor zo'n toets van 50 vragen is, laten we zeggen, 3 uur beschikbaar. Die tijd moet ruim bemeten zijn, zodat het grootste deel van de kandidaten binnen die tijd de toets ook af kan maken. De aard van de vragen brengt met zich mee dat de vraagformulering nogal uitgebreid kan zijn, terwijl beknopt geformuleerde vragen bijzonder zorgvuldig gelezen moeten worden. Hier en daar zal ook wat berekend moeten worden, of gestoeid met enkele formules. Een en ander betekent dat voor het beantwoorden van de vragen weinig tijd beschikbaar is, er moet in hoog tempo gewerkt kunnen worden. Dan is het best waarschijnlijk dat zo'n toets inzicht in het vak natuurkunde (scheikunde) meet, maar het is ook waarschijnlijk dat prestaties op zo'n toets bijzonder hoog verband houden met scores op een intelligentietest. Als dat het geval zou zijn, en dat zou je moeten weten voordat dergelijke toetsen metterdaad gebruikt gaan worden, dan is het van tweeën één: ofwel je wilt niet selecteren op intelligentie en dan is de toets onbruikbaar zolang er een aanzienlijk verband met intelligentietest scores bestaat; ofwel je wilt best op intelligentie selecteren, in welk geval je dat dan ook moet doen: de toelatingstoets laten vallen en een desnoods speciaal ontwikkelde intelligentietest gebruiken.
Andere vraag: het is niet onwaarschijnlijk dat de leerlingen zich kunnen trainen op dergelijke toetsen. Tenslotte is het onderscheid tussen 'kennis' en 'inzicht' slechts gradueel, is het 'inzicht' van vandaag de 'kennis' van morgen. Training op de toelatingstoets brengt niet alleen daardoor een verhoogde toelatingskans met zich mee, maar ook zal het eindexamencijfer voor natuurkunde en scheikunde er door verhoogd worden, waardoor de kans toeneemt direct geplaatst te worden. Zouden leerlingen zich zo gaan trainen, dan schiet deze toetsing geheel aan zijn doel voorbij, tenminste zoals de werkgroep-Wiegersma zich dat doel voorstelt,
Op vragen als deze, die ik hier niet kan beantwoorden, zou je toch graag wat meer informatie hebben dan het CITO rapport geeft, voordat je met dergelijke toetsen gaat selecteren.
Dan is nog aardig te vermelden dat het CITO rapport een kosten begroting geeft die al even eenzijdig is a15 de rest van de rapportage. De kosten van het afnemen van de toetsen aan ongeveer 6000 gegadigden jaarlijks worden geschat op twee ton, het maken van de toetsen jaarlijks eveneens bijna twee ton. In een voetnoot wordt nog gewezen op de noodzaak van te verrichten onderzoek over de werking van een en ander, dat schat ik op eveneens twee ton.
Vergeten wordt even dat het houden van een dergelijke toetsing onvermijdelijk gevolgen heeft voor het v.w.o., gevolgen die je eigenlijk ook in guldens zou moeten kwantificeren (een soort onderwijseffect rapportage). Goed, zoiets mag je nog wel uit een kostenbegroting weglaten. Maar hoe kun je vergeten er op te wijzen dat er voor de deelnemers kosten aan verbonden zijn?
Het hele toetsgebeuren kost één dag. Daar moeten reiskosten voor gemaakt worden. De gegadigden zullen zich ongetwijfeld op de toetsing voorbereiden, een voorbereiding waar méér dagen in gaan zitten naarmate de toetsing verder na het schriftelijk eindexamen komt. De toetsing interfereert met vakanties van betrokkenen, of met hun tijdelijke werk. Al deze kosten voor de deelnemer kun je globaal in guldens kwantificeren. Laten we zeggen dat het de gemiddelde deelnemer en zijn ouders Fl. 300,- waard is om van de hele sores verlost te zijn, dan zijn de deelnemerskosten te begroten op 1,8 miljoen. Totale kosten jaarlijks 2,4 miljoen, waarvan 6 ton ten laste. van de schatkist. Schrijven we de kosten van academische ziekenhuizen niet af op wat het kost om artsen op te leiden, schatten we die opleidingskosten dan (hoog) op één ton, dan kunnen we voor die 2,4 miljoen ook 24 extra plaatsen creëren. Dat positieve rendement van 24 is dan bovendien in dezelfde orde van grootte als het rendement dat deze vorm van toelatingsselectie binnen de numerus fixus studies ooit kan opleveren, vergeleken met het huidige stelsel van gewogen loting, terwijl daar geen rendementsdaling in overige studierichtingen tegenover staat. Zuivere winst dus.
Het is oneindig veel beter om extra gelden uit te trekken om direct eenzelfde aantal studieplaatsen te creëren, dan wanstaltige' toelatingsregelingen te ontwerpen.
Afsluitend wil ik nog opmerken dat de thematiek van dit artikel niets nieuws poneert. Een ieder die zichzelf de pet van deskundige op het gebied van beoordeling, selectie, en testgebruik opzet moet en kan op de hoogte zijn van de wezenlijke verschillen tussen het gebruik van een toets als selectiemiddel (waarbij afgewezenen uit 'het systeem' verdwijnen), of als plaatsingsmiddel (waarbij iedereen op 'optimale' wijze over beschikbare plaatsen in het systeem verdeeld wordt). In het specifieke kader van toelating tot numerus fixus studies werd daar enkele jaren geleden door Wilbrink en Van der Vleugel nog eens expliciet op gewezen, en het is nu weer een belangrijk punt in het standpunt van de Contactgroep Research Wetenschappelijk Onderwijs, waarin de onderwijsresearch bureaus van de instellingen van w.o. verenigd zijn: 'Loot om oud ijzer'.
Verwijzingen
Centraal Instituut voor Toetsontwikkeling Cito: Studietoetsen voor toelating tot studierichtingen met een numerus clausus. 's-Gravenhage: Staatsuitgeverij, 1979.
Contactgroep Research Wetenschappelijk Onderwijs CRWO: Loot om oud ijzer. Voorburg: CBOWO, postbus 590, 1979. html
Wilbrink, B. en Van der Vleugel, H. Bij gebrek aan beter / Cijfers weersproken. Onderzoek van Onderwijs, 1974, jaargang 1 nr. 3, 8-14.html
7 mei 2003 de bovenstaande notitie gesplitst van de tekst in het TOR.
Ben Wilbrink (1980). Toelatingstoets voor het wetenschappelijk onderwijs. Tijdschrift voor Onderwijsresearch, 5, 39-40. html
www.benwilbrink.nl/publicaties/80bijToelatingstoets.htm