Afbeelding: Anneke Huisman & Johan Koppenol (1991). Daer compt de Lotery met trommels en trompetten! Loterijen in de Nederlanden tot 1726. Uitgeverij Verloren

Wat ik ervan maak: rapport wg-Wiegersma

conceptstuk voor CRWO 'Loot om oud ijzer' en UvA ambtelijk.

Vooraf, juni 2021, bw

• Nu ik deze analyse van het advies van de Werkgroep-Wiegersma aan minister Pais nog eens doorneem, valt me op dat ik voortdurend moeite doe om te laten zie hoe Wiegersma, De Groot en De Moor een naïeve meritocratie-ideologie uitventen, zonder dat ik daarbij verbinding maak met de literatuur over meritocratie (Michael Young, 1958, 'The rise of the meritocracy 1870 - 2033. An essay on education and equality') of de filosofische literatuur over wat 'verdienste' dan wel mag zijn (John Rawls, 1971. 'Theory of justice'). Wie zich wil inlezen in de thematiek kan het best beginnen met Michael Sandel, 2020, 'De tirannie van verdienste. Over de toekomst van de democratie', zie mijn blog.

  Eigenlijk is de kritiek dat de werkgroep een extreme vorm van meritocratie voorstaat bij het rechtvaardig verdelen van schaarse plaatsen voor numerus fixusstudies, wel afdoende om het rapport in zijn geheel af te serveren. Ik had het destijds dus veel krachtiger op kunnen schrijven.

  Niet onbelangrijk is vervolgens de kritiek dat de werkgroep-Wiegersma te weinig aandacht heeft gehad voor de kwantitatieve aspecten van de door de werkgroep voorgestelde 'drietrapsraket'. Ik heb destijds geprobeerd die leemte te vullen door aan te geven hoe in beginsel de relevante kwantitatieve berekeningen zijn te maken: dat is de bijlage aan het eind van deze blog.

  Ik heb al met al weinig goede woorden over het werkstuk van Wiegersma, De Groot en De Moor, en dat is eigenlijk wel verdrietig. Hofstee heeft elders een milder oordeel gegeven, omdat de werkgroep tenminste wel een scherp afkeurend oordeel geeft over het soort selectieinstrumenten dat vandaag-de-dag wordt ingezet bij decentrale selectie voor numerus fixusstudies. Daar ben ik het natuurlijk van harte mee eens. Waarvan akte.

  Het is niet zomaar oude meuk die ik uit mijn archief heb opgevist: de thematiek is nog steeds hoogst aktueel.

16-6-1978 http://www.benwilbrink.nl/publicaties/78Reaktie_rapport_werkgroep_Wiegersma.htm

Concept reactie op Rapport werkgroep Wiegersma.

Ben Wilbrink, 16 juni 1978. Notitie tbv. voorbereiding 'Loot om oud ijzer' , en ambtelijke werkgroep UvA)

Ben Wilbrink (16-6-1978). Koncept reaktie op Rapport werkgroep Wiegersma. [Concept reaktie op Rapport werkgroep selectie ivm de machtigingswet inschrijving studenten.] (voorbereiding standpunt UvA, ook gebruikt als input voor de CRWO-notitie 'Loot om oud ijzer', 1979) [kopie, archief Loot om oud ijzer, inclusief bijlage met modelberekeningen]

Bijzondere laatste paragraaf blz. 16-20 met modelberekeningen: Effekt van de toelatingstoets. blz. 16-20 [zie ook webpagina 'Loot om oud ijzer' html]

koncept reaktie op rapport van de werkgroep Wiegersma. COWO, oude turfmarkt 149 Amsterdam 16-6-1978.

Op verzoek van de minister heeft de werkgroep Wiegersma een toelatings-regeling voor wat zij 'numerus-clausus-studierichtingen noemt, ontworpen, waarbij 2/3e van de beschikbare plaatsen wordt toegewezen op grond van geleverde prestaties op het schriftelijk eindexamen v.w.o. dan wel op een toelatingstoets, en 1/3e wordt toegewezen door ongewogen loting.

Op dit voorstel, en de argumentatie waarmee de werkgroep haar voorstel meende te kunnen onderbouwen, heeft de Universiteit van Amsterdam scherpe kritiek, uitvoerig beschreven in de bijlage. Kernpunten in de opstelling die de Universiteit van Amsterdam tegenover dit voorstel gekozen heeft zijn:

• - Het 'drietraps voorstel' wordt als alternatief voor de huidige gewogen loting gepresenteerd, maar de werkgroep laat na beide procedures in voor- en nadelen met elkaar te vergelijken. Ook het feitelijk funktioneren van beide toelatingsprocedures wordt niet vergeleken, terwijl bij juist deze vorm van gewogen loting al een groot gewicht aan gemiddeld eindexamen-resultaat wordt toegekend. Wezenlijk nadeel van het drietrapsvoorstel is dat een scherpe cesuur wordt geïntroduceerd waar een marginaal verschil in gemiddeld eindexamencijfer uitmaakt of iemand direkt toegelaten wordt, dan wel met in de praktijk veelal kleine kans op toelating via toets of loting gekonfronteerd wordt. Dit is precies het ongewenste effekt van de oude '7,5 regeling' dat het parlement bracht tot het aannemen van het amendement Vermaat, dat 'gewogen loting' behelsde.
• - De werkgroep laat na te kwantificeren wat de inlotingskans is onder haar drietraps-voorstel. Simpele berekening leert dat deze voor een situatie waar tweemaal meer kandidaten als plaatsen zijn, minder dan 1/4e zal zijn. Dat betekent dat deelname aan de toelatingstoets, hoewel 'vrijwillig' voor iedere kandidaat noodzakelijk is. Zo ontstaat een verdubbeling van het schriftelijk eindexamen, terwijl daaruit geen 'winst' t.a.v. de voorspellende waarde van deze examenen- en toetsresultaten te verwachten is. De toelatingstoets heeft, en de werkgroep stelt dat zelfs expliciet zo, de funktie bepaalde kandidaten het idee te geven zich door eigen inspanning een 'plaats veroverd te hebben'. Tegen dit oneigenlijk gebruik van een toets kan niet sterk genoeg geprotesteerd worden.
• - Een betreurenswaardig gevolg van hanteren van een specifieke toelatingstoets is dat daardoor de v.w.o. leerling aangespoord wordt zijn inspanning bij uitstek te richten op toelating tot één bepaalde numerus-clausus-studierichting, terwijl niemand hem kan garanderen dat hij ondanks zijn inspanningen ook toegelaten zal worden. Dat heeft voor al die kandidaten die niet toegelaten worden tot gevolg dat zij psychisch slecht voorbereid aan bijvoorbeeld een alternatieve universitaire studie moeten beginnen. Het ware beter de leerling vroegtijdig er op voor te bereiden dat hij misschien niet toegelaten wordt tot de studie van eerste keuze, door hem te stimuleren zich op méér dan één alternatief voor te bereiden.
• Het begrip 'motivatie' of 'adequate studieinspanning' wordt door de werkgroep bijzonder slordig gehanteerd. In de visie van de werkgroep moet motivatie 'beloond' worden door een verhoogde toelatingskans. Motivatie, hoe ook precies gedefinieerd, zal moeilijk meetbaar zijn, zodat een koppeling tussen toelatingskans en motivatie vrijwel niet aan te brengen is. Het is in dit verband volstrekt onjuist om er, zoals de werkgroep doet, stilzwijgend van uit te gaan dat hoge motivatie tot uitdrukking (zou moeten komen) komt in hoge eindexamencijfers, of, omgekeerd, dat hoge eindexamencijfers een bewijs van hoge motivatie zouden vormen. Toelating op basis van 'bewezen kwaliteiten' zal vele gemotiveerde maar minder begaafde kandidaten ernstig tekort doen, en vele ongemotiveerde begaafde kandidaten bevoordelen.
• - Een zeer ernstige fout in de benadering van de werkgroep is dat zij geheel buiten beschouwing laat welke effekten haar drietraps-voorstel op het 'doelmatig gebruik van de onderwijsvoorzieningen' in de 'overloop' studierichtingen zal hebben.

  Het doelmatigheidsargument speelt een belangrijke rol in het rapport van de werkgroep. Een en ander draait om het, ongetwijfeld aanwezige maar in omvang veelal verwaarloosbare, verband tussen eindexamencijfers en slaagkans in de universitaire studie. De redenering is dat de doelmatigheid verhoogd kan worden door bij voorkeur kandidaten met hoge cijfers toe te laten. De werkgroep verzuimt echter te bedenken dat de niet-toegelaten kandidaten in het algemeen een andere universitaire studie zullen kiezen. Een 'winst' in doelmatigheid bij een numerus fixus-studierichting wordt betaald door een vergelijkbaar verlies in doelmatigheid bij díe studierichtingen die als alternatief door de uitgelotenen gekozen worden. Het doelmatigheidsargument kan en mag niet op de wijze zoals deze werkgroep doet, gehanteerd worden in een situatie waarin geen sprake is van een toelatingsselektie tot het universitair onderwijs, maar slechts aan de orde is of de kandidaat zijn studie van eerste voorkeur mag aanvangen.

Het is betreurenswaardig dat een afgesloten diskussie op deze wijze weer herhaald moet worden. Wederom wordt de aandacht van de numerus-fixus problematiek daardoor afgeleid naar het deelprobleem van de regeling van de toelating tot 'gesloten' studies. Bijzonder te betreuren is het bovendien dat het drietrapsvoorstel van de werkgroep t.o.v. de huidige gewogen loting geen wezenlijke voordelen heeft, maar wél een scherpe cesuur in toalatingskansen introduceert rond de 7,5, een extra toelatingstoets introduceert als weinig meer dan een herhaling van het eindexamen op twee 'kernvakken', en het de leerling in het v.w.o heel wat moeilijker maakt om zich op eventuele, 'afwijzing' en alternatieve studiekeuze materieel en psychisch voor te bereiden. Vervanging van de gewogen loting door deze drietraps-regeling is dan ook bijzonder ongewenst.

concept reaktie op Rapport werkgroep selectie ivm de Machtigingswet inschrijving studenten (voorzitter S. Wiegersma). COWO, 16 juni 1978.

"Loting als toelatingsmechanisme vinden wij minder aanvaardbaar. Er zal gestreefd worden naar inhoudelijke criteria voor de toelating tot instellingen voor hoger onderwijs." (regeringsverklaring 16 januari 1978).

De minister van Onderwijs en Wetenschappen Pais verzocht bij schrijven van 28 maart 1978 de werkgroep selectie etc. om hem argumenten te leveren voor een toelatingsregeling gebaseerd op de volgende uitgangspunten

1. een bepaald percentage van de beschikbare plaatsen toewijzen aan degenen, die een hoog gemiddeld eindexamencijfer hebben behaald voor het schriftelijk gedeelte van het eindexamen v.w.o.;
2. een bepaald percentage van de beschikbare plaatsen toewijzen op grond van de resultaten verkregen bij een landelijk vergelijkende studietoets;
3. nader te bezien welke methode kan worden gehanteerd voor de verdeling van de resterende plaatsen.

Met dit verzoek werd een slapende werkgroep, op 6 november 1972 door de toenmalige minister van Onderwijs en Wetenschappen van Veen werd ingesteld "om advies uit te brengen over de selectiecriteria die zouden kunnen worden toegepast voor die studierichtingen waarin krachtens de Machtigingswet Inschrijving Studenten een numerus fixus zou worden ingesteld", nieuw leven ingeblazen. Alsof er in tussentijd niets gebeurd is, geen uitgebreide publieke discussie is gevoerd, geen grondige afweging in het Parlement heeft plaats gevonden, geen onafhankelijke commissie Warries aan het werk is geweest, gaat deze oude werkgroep, in dezelfde persoonlijke samenstelling als destijds benoemd, zonder bedenkingen op het verzoek van Pais in. Kritische analyse van de geleverde argumentatie, een analyse die in het volgende gegeven zal worden, leert dat deze argumentatie inderdaad eenzijdig is, en zelfs in haar eenzijdigheid nog innerlijke tegenstrijdigheden bevat die het rapport tot een weergave van persoonlijke meningen terugbrengt.

Er is in het verleden, met name in 1974, een uitgebreide discussie over de toelatingsproblematiek bij n. f. studies geweest, in het Parlement afgerond met een uitvoerig debat (18 en 19 maart 1975). Herhalen van oude argumenten, omdat de werkgroep niet de moeite genomen heeft die in haar rapport mee te nemen, heeft weinig zin, en zal dan ook in deze reaktie zo spaarzaam mogelijk, en onder verwijzing naar artikelen etc. van destijds, gebeuren.

Kernpunten van de reaktie op het 'rapport Wiegersma' zijn

• de werkgroep ziet het toelatingsprobleem als een selektievraagstuk. Het is echter niet zo dat studenten de toegang tot het universitair onderwijs ontzegd zou worden, maar slechts de toegang tot een bepaalde studie (of studies). De toelatingsprocedure mag dan ook niet als een selektieprocedure gezien worden, omdat het hier een stuk plaatsingsbeleid betreft. Met name wanneer de doelmatigheid van het onderwijs in de beschouwing wordt betrokken, met name de relatie tussen studierendement en eindexamencijfers, is het onderscheid tussen selektiemodel en plaatsingsmodel kritisch, en zijn de overwegingen van de werkgroep volstrekt onhoudbaar.
• het gaat bij het 'voorstel Pais' om een afweging tussen het nu gehanteerde stelsel van gewogen loting, en het alternatieve voorstel zoals dat door de werkgroep is uitgewerkt. Daarom is met name een kwantitaleve vergelijking, zowel op institutionele punten waar het om studierendementen gaat, als op persoonlijke punten waar het om de toelatingskans gaat, tussen beide regelingen van essentieel belang. Helaas blijft de werkgroep op dit punt in gebreke.
• ook in deze reaktie wordt getracht de argumentatie te beperken tot de afweging tussen het voorstel in het 'rapport Wiegersma' en de huidige regeling van gewogen loting. Men moet echter daaruit niet konkluderen dat dan ook impliciet het feit van de numerus fixus aanvaard zou worden. Helaas is het ook hier weer zo dat de nu oplaaiende diskussie over het voorstel Pais de diskussie over de numerus fixus op zich, en het zoeken naar oplossingen die het verschijnsel numerus fixus terug zouden kunnen dringen, tot problemen van 'tweede orde' dreigt te maken. Het feit echter dat de minister met een voorstel zal komen gebaseerd op het rapport Wiegersma brengt met zich mee dat diskussie hierover onvermijdelijk is, hoezeer men het ook mag betreuren dat een in wezen overbodige, want in het verleden al uitgebreid gevoerde diskussie, nu weer overgedaan. moet worden.
• in haar rapport wekt de werkgroep de indruk dat haar argumentatie in belangrijke mate zou steunen op 'deskundige' inbreng. Vele van haar argumenten zijn echter bij uitstek ondeskundig, zoals ook iedere 'leek' zal kunnen konstateren die de logika van de werkgroep nauwlettend analyseert. In deze reaktie zal met name de innerlijke tegenstrijdigheid van de argumentatie van de werkgroep voor het voetlicht gebracht worden, ook al met de bedoeling om de diskussie niet te laten verworden tot een voor buitenstaanders oninteressante woordenstrijd tussen lieden die ieder voor zich de 'deskundigheid' claimen.

  
  Toelating tot n.f. studies een selektie- of een paatsingsprobleem?

  
  De werkgroep gaat evenals bij haar eerdere rapporten in het begin van de zeventiger jaren, ervan uit dat bij toelating tot n.f. studies er sprake is van een selektieprobleem, en probeert dan ook oplossingen te vinden die redelijk en aanvaardbaar zijn vanuit de gedachte dat het inderdaad om selektie zou gaan. Zo staat de werkgroep nog steeds achter haar eerdere uitspraak, in het onderhavige rapport in Bijlage I weer opgenomen:

  • "Als een beperking van de toelating tot een studierichting onvermijdelijk is, dan
  • neemt men het geringste aantal foute beslissingen bij het gebruik van zo valide mogelijke predictoren,
  • komt men tot het doelmatigste gebruik van de beschikbare middelen bij het gebruik van dergelijke predictoren,
  • kan men als regel op basis van de predictorwaarde een topgroep identificeren waarin slechts zeer weinig ongeschikten voorkomen."

  
  Bijzonder scherp wordt het selektieuitgangspunt, eveneens in Bijlage 1, als volgt geformuleerd:

  • "Wezenlijk wordt een uiteenzetting gegeven over de mogelijkheden van een institutionele selectie voor telkens één functie, waarbij de optimalisering van de slaagkansen als beslissend criterium geldt."

  
  In het rapport-wordt dan ook telkens over selektie, en niet over plaatsing gesproken, bijv. blz. 8:

  • "Nu het toelatingsrecht de facto is opgeheven valt echter niet in te zien waarom de onmiskenbaar aanwezige verschillen niet mede in de toelatingsselectie zouden mogen worden betrokken." En op vele andere plaatsen.

  
  Het punt is natuurlijk, dat een kandidaat die afgewezen of uitgeloot wordt voor een n.f. studierichting vrij is om een andere universitaire studie te volgen, en dat in de praktijk ook zal doen. Wie niet toegelaten wordt tot een n.f. studie, wordt daarmee niet uitgesloten van iedere vorm van universitair onderwijs. Er is dan ook geen spraken van een selektie voor het universitair onderwijs, maar van plaatsing in een bepaalde studierichting (van eigen eerste voorkeur). Het gaat dan ook niet om een aantasting van rechten op het volgen van universitair onderwijs, maar om inperking van het de facto altijd bestaande recht op studie in de richting van eigen voorkeur.

  Omdat afgewezen kandidaten veelal een andere universitaire studie zullen volgen, kan en mag het n.f. probleem voor bijv. de medische fakulteiten niet 'opgelost' worden wat de toelating betreft zonder daarbij de mogelijke gevolgen voor de 'overloop-fakulteiten' in de beschouwing te betrekken.

  Het onderscheid tussen selektie en plaatsing wordt met name van belang wanneer doelmatigheidsoverwegingen een plaats wordt toegekend. Daarom een afzonderlijke bespreking van het doelmatigheidsargument in de volgende paragraaf.

  
  Doelmatig gebruik van de onderwijsvoorzieningen

  
  

  • blz. 8: "Vanuit gemeenschapsoogpunt mag ook een rol spelen, dat de onderwijsvoorzieningen zo goed mogelijk worden gebruikt. Daarom moeten de kwaliteiten die studenten in een wetenschappelijke opleiding bij voorkeur dienen te hebben, een rol spelen bij de toelating."

  
  Uitwerking van dit argument wordt dan gezocht in het verband tussen slaagkans en eindexamencijfers, en tussen studieduur en eindexamencijfers. De overweging is natuurlijk dat het toelaten van studenten met hogere slaagkansen en kortere verwachte studieduur een doelmatiger gebruik van de onderwijsvoorzieningen in de n.f. studierichting tot gevolg heeft.

  Welnu, het verband tussen eindexamencijfers en slaagkans (soms ook studieduur) is onmiskenbaar aanwezig, maar is algemeen geldig, dat wil zeggen dat een verband tussen gemiddeld eindexamencijfer en al of niet afstuderen in de medicijnen niet specifiek is voor de studie medicijnen: ongeveer hetzelfde verband bestaat tussen datzelfde eindexamengemiddelde en studiesucces in andere universitaire studies.

  Met andere woorden: toelating tot n.f. studies af laten hangen van gemiddeld eindexamencijfer levert op zich geen doelmatiger gebruik op van de onderwijsvoorzieningen in het w.o. als geheel. Er treedt een verschuiving op tussenstudierichtingen: n.f. studies zullen een hoger studierendement te zien gaan geven, overloopstudies een lager studierendement.

  Wilbrink en Van der Vleugel wezen hier reeds op, met daarbij een kwantitatief uitgewerkt voorbeeld, in Onderzoek van Onderwijs, september 1974, waarnaar hier verwezen zij. (geheel online)

  Bij het bovenstaande kunnen we nog even in het midden laten of de grootte van de veronderstelde samenhangen op zich 'selektie' op dat eindexamengemiddelde zou kunnen rechtvaardigen (althans vanuit doelmatigheidsoogpunt), omdat bij een weliswaar signifikante, maar in omvang geringe samenhang een stijging in doelmatigheid van het onderwijs (in alleen de betreffende n.f. studie) nauwelijks te verwachten is, en dan ook aan het doelmatigheidsargument geen praktisch belang valt toe te kennen. In een latere paragraaf wordt hier nog verder op in gegaan.

  De zaak zou even anders komen te liggen wanneer er studiespecifieke relaties tussen eindexamenprestatie en slaagkans zouden zijn. Kijken we bijvoorbeeld naar de volgende 'grondgedachte' van de werkgroep (blz. 8)

  • "De selectie moet alleen op voor de studie relevante criteria gebeuren, die objectief en billijk zijn."

  Omdat het toelatingsprobleem geen selektieprobleem, maar een plaatsingsprobleem is, zou de werkgroep beter gedaan hebben haar grondgedachte ongeveer als volgt te formuleren: 'Toelating voor een bepaalde n.f. studie moet gebeuren op criteria die relevant zijn voor de keuze tussen plaatsing in deze n.f. studie en plaatsing in een andere universitaire studie'. In deze formulering is duidelijk dat geen 'betere' of 'doelmatiger' plaatsing bereikt kan worden door gebruik te maken van een voorspeller die in alle in aanmerking komende studierichtingen op dezelfde wijze en ongeveer even goed de slaagkans voorspelt.

  
  Wie al deze overwegingen te subtiel vindt, mag bedenken dat het er eigenlijk geen bliksem toe doet. Wat is immers het geval: aan de orde is de afweging tussen het voorstel van de werkgroep Wiegersma en de bestaande vorm van gewogen loting. De bestaande vorm van gewogen loting geeft kandidaten een hogere (lagere) inlotingskans al naar gelang hun gemiddeld eindexamenresultaat hoger (lager) is. De wet spreekt van 'lotingsklassen' (naar gemiddeld eindexamencijfer) en uit die lotings klassen toe te laten kandidaten die in respectievelijke aantallen in bepaalde, aangegeven verhouding tot elkaar moeten staan. Zie oa de Brief van de minister van onderwijs en wetenschappen van 29 maart 1978, kamerstuk 14982 nr 1. Hoe de gehanteerde gewogen loting uitwerkt is uitgebreid gedemonstreerd in Wilbrink: Gewogen loting; COWO, mei 1975 (online). Wilbrink heeft laten zien dat bij relatief gering aantal beschikbare plaatsen t.o.v. aantal kandidaten de specifieke vorm van gewogen loting die de Kamer bij amendement-Vermaat heeft aangewezen, er in kan resulteren dat kandidaten met hoge eindexamen-gemiddelden ook zonder loting direkt geplaatst worden. (Wilbrink 1975 heeft laten zien dat er andere interpretaties van het gewogen lotings-voorstel mogelijk waren, die als kompromis tussen integrale loting en wat destijds 'de 71 regeling' heette, beter funktioneren).

  Met andere woorden, in de huidige gewogen loting spelen gemiddelde eindexamencijfers al een bijzonder grote rol, en zullen juist bij ernstige plaatstekorten kandidaten met hoge gemiddelden onmiddellijk geplaatst worden.

  NB: vergis ik mij hier niet? Het moet 'beperkte' zijn, toch?

  Daarom doet de nadruk die de werkgroep Wiegersma opnieuw legt op samenhangen tussen eindexamencijfers en slaagkansen vreemd aan, omdat hierin geen argument gevonden kan worden om van de huidige vorm van gewogen loting over te stappen op een 'voorstel Pais'. Tenminste zou de werkgroep dan hebben moeten aantonen, met cijfers, dat in het door hen gedane voorstel een sterker verband tussen gemiddeld eindexamencijfer en toelatingskans gelegd wordt dan in de huidige gewogen loting het geval is, althans dat dat verband op een essentiëel andere wijze gelegd wordt dan onder de huidige gewogen loting het geval is. Van een dergelijke kwantificering, of zelfs maar het besef dat het doelmatigheidsargument zou moeten differentiëren tussen beide vormen van toelatingsregeling is in het werkgroepsrapport geen sprake.

  
  Tot slot van deze paragraaf moet er nog op gewezen worden dat de werkgroep de schijn wekt naar believen zich te bedienen van twee soorten argumenten: omdat zowel 'selektie' als 'loting' in het werkgroepsvoorstel zijn opgenomen, worden in het rapport bij herhaling argumenten pro en, kontra selektie of loting onzorgvuldig gebruikt. Een voorbeeld daarvan is het pleidooi, bij herhaling, om toch vooral te selekteren op 'relevante criteria', met daartegenover uitspraken waar diezelfde selektie op 'relevante criteria' ( wat een 'prediktief oordeel' inhoudt) naar het tweede plan wordt geschoven, nota bene waar gesproken wordt over een toelatingsexamen (blz 8): "Het is wenselijk tot uitdrukking te brengen dat een toelatingsexamen niet primair een predictief oordeel inhoudt over geschiktheid of ongeschiktheid, maar gebaseerd is op de gedachte dat toelaatbare personen door inspanning en prestatie een recht kunnen verwerven."

  
  motivatie.

  • blz. 6: "Het hoofdbezwaar tegen loting, ook tegen ongewogen loting, is, dat het leerlingen met goede capaciteiten en een sterke gerichtheid op een bepaalde studierichting waarvoor een numerus clausus geldt niet mogelijk is zich door eigen inspanning een plaats te verzekeren. Gegadigden voor zo'n studierichting, die een goed leervermogen paren aan een adequate studiebereidheid, en die die kwaliteiten getoond hebben door studieprestaties, met name doordat zij een goed tot zeer goed eindexamen hebben gedaan, moeten in het huidige systeem meeloten. Daarbij zijn hun kansen weliswaar des te hoger naarmate hun cijferlijst beter is, maar het blijft toch een loting die voor deze leerlingen niet te rechtvaardigen is.

    Dit bezwaar is alleen op te heffen in een systeem waarin men zich zelf kan kwalificeren, zodat men zekerheid over zijn toelating kan verwerven."

  
  Dit is de eerste, uitgebreide, claus in het rapport waarin het belang van de eigen inspanning, en de motivatie van de student, breed uitgemeten, aan de orde wordt gesteld. Eerst enkele detailopmerkingen:

  • de werkgroep meent ten onrechte dat onder het huidige stelsel van gewogen loting studenten met hoge eindcijfers altijd mee zouden moeten loten. Er is al eerder op gewezen dat juist bij de serieuze n.f, problemen, bij relatief weinig beschikbare plaatsen, studenten met hoge eindcijfers vaak onmiddellijk geplaatst zullen worden. De werkgroep is op dit punt niet goed geinformeerd.
  • er wordt door de werkgroep bijzonder tendentieus gesproken over het zich verzekeren van een plaats. Natuurlijk is er een belangrijk kwalitatief verschil tussen zekerheid van een plaats, en een hoge inlotingskans. Maar het is natuurlijk wél zo dat onder het stelsel van de gewogen loting de kandidaat zich kan 'verzekeren' van een hoge inlotingskans door goede eindcijfers over te leggen.
  • de werkgroep verzwijgt voor het gemak maar even dat een toelatings-toets evenmin enige 'zekerheid' biedt, maar op zijn best een 'verhoogde kans' op toelating.
  • het is volstrekt onjuist, en juist de psychologen in de werkgroep hadden daar bedacht op moeten zijn, dat adequate studiebereidheid en een goed leervermogen zouden 'blijken' door een 'goed eindexamen' Een goede eindlijst voor het eindexamen bewijst dat men goede cijfers voor dat examen behaald heeft. Sommige studenten met goede cijfers zullen een 'adequate studiebereidheid' gepaard hebben aan een 'goed leervermogen', anderen hebben ondanks een gebrekkige studiemotivatie goede cijfers behaald omdat ze bijzonder intelligent zijn, of veel geluk hebben gehad, weer anderen hebben goede resultaten bereikt door bijzonder hard te werken als kompensatie voor een wat te kort schietend 'leervermogen', en er zullen er ook zijn die dank zij doubleren van het laatste jaar in staat waren een lange aanloop naar dit examen te nemen en daardoor goede resultaten te boeken. Er hoeft nauwelijks nog op gewezen te worden dat er eveneens talrijke mechanismen zijn waardoor een goed leervermogen gepaard aan een adequate studiebereidheid niet tot uitdrukking hoeft te komen in een hoog gemiddeld eindexamencijfer.
  • heel in het bijzonder kan het vrijwel nooit zo zijn dat men zich door eigen inspanning kan verzekeren van hoge eindexamenresultaten, of goede resultaten op de toelatingstoets, gezien de onzekerheden inherent aan iedere vorm van examineren of toetsen, hoe 'doorzichtig' examen of toets ook mogen zijn.

  
  Op zich is het redelijk om na te gaan of niet op een of andere wijze de gemotiveerdheid van de student betrokken kan warden bij de beslissing of hij geplaatst kan worden in de studie van eerste voorkeur.

  De achterliggende redenering zou kunnen zijn dat bij verdeling van een schaars aantal plaatsen het redelijk zou zijn deze plaatsen bij voorrang toe te kennen aan die studenten die specifiek gemotiveerd zijn voor de betreffende studie, en studenten die even graag een andere studie zouden doen dan ook naar die anderestudie te verwijzen.

  Daar valt wel het een en ander over te zeggen. Om te beginnen is er moeilijk een procedure te bedenken waaruit de scheiding tussen beide categorieen studenten duidelijk te maken zou zijn, ánders dan een open uitgesproken beroep op díe kandidaten die niet specifiek gemotiveerd zijn voor een n.f. studie om door het kiezen van een 'open' studie het aan anderen mogelijk te maken wel hun specifieke voorkeur gehonoreerd te zien. Hoewel daarover geen onderzoek bekend is, mag misschien wel aangenomen worden dat een effekt als hier bedoeld ook vandaag de dag al optreedt, maar mogelijk versluierd door een tegengestelde neiging die sommige kandadaten zouden kunnen hebben om, ook al beschikken zij over een even aantrekkelijk alternatief, toch eerst te proberen een plaats in de gewenste n.f. studie te krijgen. Hier ligt in ieder geval een terrein open waar een stuk voorlichting en actie onder leerlingen en studenten zelf zeker enig positief effekt zou kunnen hebben.

  Een grote moeilijkheid is echter het vluchtige karakter van het soort studiekeuzemotivatie dat hier aan de orde is. Het is best mogelijk dat bepaalde studenten heel specifiek gemotiveerd zijn voor juist die ene n.f. studie, maar hoe komen zij aan die motivatie? Daarover is niet veel bekend, behalve het algemene resultaat dat de achtergronden van studiekeuzemotieven duister zijn, of liggen in de traditionele sfeer (mijn ouders zijn allebei arts, ziet u, daarom heb ik ook al vroeg voor medicijnen gekozen). Er is al eerder op gewezen dat juist rond die studiekeuze van de v.w.o. leerling een groot aantal traditionele en irrationele elementen een rot spelen, met als gevolg dat nogal wat kandidaten die uitgeloot worden voor de studie van hun voorkeur op dat moment ontdekken zelfs over een alternatief nog nooit ernstig nagedacht te hebben. Zonder hier nu weer te willen pleiten voor betere voorlichting aan middelbare scholieren, iedereen doet tenslotte al zijn uiterste best, is toch wel duidelijk dat het geenszins vanzelfsprekend is dat studenten met een specifieke studievoorkeur daarom dan ook een hogere toelatingskans tot die studie zouden moeten hebben. Je kunt dan toch nog wel het bestaande probleem signaleren, en bijvoorbeeld een poging doen om via een strukturele aanpak van de begeleiding van het proces van de studiekeuze voorkomen dat kandidaten hulpeloos de toelatingsprocedure over zich heen moeten laten komen, of dat nu een toelating volgens de idee van Pais is, of de gewogen loting maakt wederom weinig verschil. Met name kan hierbij gewezen worden op kursuspakketten in de Verenigde Staten, die er op gericht zijn de leerling tot weloverwogen beslissingen te brengen. Zie deze literatuur:

  H. B. Gelatt, B. Varenhorst, R. Carey: Deciding (& companion vol. 'Deciding, a leaders guide') 1972, College Entrance Examination Board adres volgende titel:

  H. B. Gelatt, B. Varenhorst, R. Carey, G. P. Miller: Decisions and Outcomes (& companion vol. 'A leader's guide') 1973 College Entrance Examination Board, Publications Order Office, C. E. E. B., Box 2815, Princeton, New Jersey 08540.

  N. T. Scholz, J. S. Prince, G. P. Miller: How to decide; a guide for women. 1975, College Entrance Examination Board (adres hierboven).

  
  Wanneer er sprake is van een soort algemene gemotiveerdheid tot de studie, is er geen reden om dat te betrekken bij het toelatingsprobleem tot de n.f. studie, ook al niet omdat het niet duidelijk is hoe je een kandidaat die hoog gemotiveerd is juist daarom tekort zou doen wanneer je hem naar een 'open' studie zou verwijzen waarvoor hij óók hoog gemotiveerd is.

  Op de vorige bladzijde werd al aangestipt dat er mogelijk studenten met goede 'alternatieven', en studenten zonder goede 'alternatieven' zijn. Het is niet duidelijk waarom de ene categorie studenten bij voorkeur tot een n.f. studie toegelaten zou moeten worden, en de andere niet. Het is niet helemaal redelijk om studenten met goede alternatieven dan ook maar te dwingen om die alternatieve studie te gaan doen, hooguit kan op hen een beroep gedaan worden dat uit eigen beweging te doen. Het lijkt andersom ook niet redelijk om studenten die, hoewel niet geheel door eigen schuld, geen alternatieven hebben buiten de n.f. studie van eerste voorkeur dan ook maar daarvoor te belonen door hen bij voorkeur toe te laten. Het is ook niet vanzelfsprekend dat studenten die hun inspanningen eenzijdig gericht hebben op een verhoogde toelatingskans voor een n.f. studie in plaats van hun tijd en energie ook te besteden aan het voorbereiden van mogelijke alternatieven, daarvoor te belonen door hen ten koste van anderen een verhoogde toelatingskans toe te kennen.

  Met het laatste komen we ook op het spoor van een belangrijk nadeel van de 'eigen inspannings ideologie': in het voorstel Pais worden leerlingen in het v.w.o. er toe verleid alle inzetten op één paard te doen, zonder dat hen dat zekerheid van toelating kan opleveren. Dat is uiterst bedenkelijk, omdat er noodzakelijkerwijs ook uit deze categorie 'harde werkers' en 'hoog gemotiveerden' kandidaten afgewezen zullen worden die dan met lege handen staan. Het is oneindig veel beter om de v.w.o. leerling in staat te stellen zich in alle gemoedsrust voor te bereiden op zowel een n.f. studie van eerste voorkeur, als een 'open' studierichting van tweede voorkeur, en hem daar ook aktief in te stimuleren.

  
  Nog enkele citaten uit het rapport van de werkgroep Wiegersma:

  • blz. 7: "In beide stelsels (gewogen, resp. ongewogen loting) heeft de student geen enkele mogelijkheid om door eigen capaciteiten of motivatie invloed uit te oefenen op de plaatsingskans."

  Voor de ongewogen loting is dit volstrekt bezijden de waarheid. Voor wat betreft de ongewogen loting wordt gemakshalve vergeten dat om daaraan mee te kunnen doen men wel degelijk eerst zijn eindexamen vwo moet behalen.

  
  

  • blz. 8: "Leerlingen met goede capaciteiten en een sterke gerichtheid op een bepaalde studierichting met een numerus clausus moeten zich door eigen inspanning van een plaats kunnen verzekeren. In een systeem van loting, ook van gewogen loting, kan dat niet."

  Er werd al op gewezen dat het gebruik van het woord 'verzekeren' hier tendentieus is, dat in feite ook in het voorstel van de werkgroep het niet mogelijk is zich van een plaats te 'verzekeren'. Het gaat dus slechts om het verhogen van plaatsingskansen, en dat is onder de huidige gewogen loting wel degelijk mogelijk, het is zelfs niet uitgesloten dat onder bepaalde omstandigheden de gewogen loting daarvoor grotere mogelijkheden biedt dan de regeling die de werkgroep hier ontwerpt!

  
  

  • blz. 10: "Kernpunt is, dat gegadigden die een goede studie-aanleg aan een sterke, gerichte motivatie paren, de gelegenheid behoren te hebben om zich door eigen prestaties te kwalificeren en dat de aangewezen manier om dit waar te maken bestaat uit de invoering van een voor de studie specifieke toelatingstoets."
  • blz. 17: "Het belangrijkste voordeel van het nu voorgestelde nieuwe systeem is, dat gegadigden voor een numerus clausus studierichting met een goed leervermogen en een adequate bereidheid tot studie-inspanning ten eerste de kans krijgen die kwaliteiten te tonen en ten tweede de garantie krijgen, dat zij aan de numerus clausus studie van hun keuze zullen kunnen beginnen, als zij die kwaliteiten getoond hebben, hetzij door een relatief zeer goed eindexamen, hetzij door een extra, vrijwillige inspanning en prestatie bij een toelatingstoets."

  
  Deze samenvatting op blz. 17 moet met de grootste argwaan gelezen worden. Allereerst staat er dat degenen die hun kwaliteiten 'bewezen' hebben de garantie krijgen aan de studie van hun keuze te kunnen beginnen. Op zichzelf is dat een triviale uitspraak, maar het gaat hier nu juist om de koppeling met die bereidheid tot studie-inspanning. Het punt is namelijk dat de werkgroep de suggestie wekt als zou het voor de student 'met goed leervermogen en adequate bereidheid tot studie-inspanning', die dat van zichzelf ook weet, mogelijk zijn om 'met zekerheid' op dat zeer goede examenresultaat of toetsresultaat toe te werken. Welnu, dat is uitgesloten. Het zou ook niet fair zijn van de werkgroep wanneer zij zou zeggen in die gevallen waarin studenten zich ondanks hun goede ijver en uitstekende leervermogen niet direkt hebben weten te plaatsen, dat hun studie-inspanning dan 'niet adequaat' zou zijn geweest. (Het gebruik van woorden als 'adequaat', 'goed', 'bewezen kwaliteiten' etcetera is ongewenste taalvervuiling).

  Dit is een goede plek om op te merken dat ik in dit in weinig meer dan een enkele dag geschreven concept nogal overvloedig bijvoeglijke naamwoorden gebruik die voor een definitieve versie geschrapt horen te zijn.

  
  Een interessante vraag aan de werkgroep is, wat de vrijwilligheid van deelnemen aan de toelatingstoets betreft, of het niet zó is dat kandidaten die in het geheel niet aan de toets deelnemen, maar wel mee willen loten, daardoor geen blijk geven van een gebrekkige motivatie voor juist deze n.f. studie? Wat ligt meer voor de hand voor degenen die 'motivatie' zo hoog hebben, om van dit gegeven gebruik te maken om tenminste de klaarblijkelijk niet-gemotiveerden uit te sluiten van deelname aan de loting? (daardoor blijft deelnemen aan de toelatingstoets nog steeds 'vrijwillig', omdat niemand gedwongen kan worden tot het kiezen van juist deze n.f. studie). Over de 'vrijwilligheid van deelname' wordt in een volgende paragraaf nog gesproken.

  
  Ondertussen moeten we, ondanks de sterke uitspraken van de werkgroep over het gewicht dat aan de 'eigen inspanning' toegekend moet worden, niet uit het oog verliezen dat de werkgroep anderzijds de toewijzing van plaatsen niet uitsluitend wil laten geschieden op basis van geleverde prestaties (blz 10) omdat geen categorieën studenten bij voorbaat als vrijwel zeker ongeschikt zijn aan te wijzen. Het belang van de 'eigen inspanningen' blijkt dus rekbaar te zijn.

  Het argument van de werkgroep, zoals samengevat op blz. 17, veronderstelt dat het mogelijk zou zijn op basis van eindexamenresultaten (eventueel gekoppeld aan de resultaten op de toelatingstoets) een scherpe scheiding te maken tussen enerzijds studenten met goed leervermogen en adequate studebereidheid, en anderzijds studenten die in tenminste één van beide 'eigenschappen' tekort zouden schieten. Dit is een veronderstelling die door de werkgroep verzwegen wordt, en waarvan zij de juistheid dan ook niet heeft aangetoond. Welnu, het is uitgesloten dat een dergelijke differentiatie op ook maar enigszins bevredigende wijze zou kunnen worden aangebracht.

  
  Het is in ieder geval uitgesloten dat een dergelijke differentiatie op 'betrouwbare' en 'billijke' wijze gemaakt zou kunnen worden op grond van eindexamenresultaten en toetsresultaten.

  
  Nog enkele algemene opmerkingen over motivatie. De werkgroep behandelt 'motivatie' buitengewoon stereotyp. Gaat bijvoorbeeld ook voorbij aan de alledaagse observatie dat juist degenen die blijk geven van een hoge studiemotivatie vaak ook degenen zijn die op andere gebieden eveneens hoog gemotiveerd zijn. Een hoge over-all motivatie betekent echter, gezien het feit dat iedere dag maar 24 uren telt, dat bijvoorbeeld aan de studie dan toch maar een beperkte hoeveelheid tijd besteed zal worden. In de praktijk zal men dan ook kunnen waarnemen dat hoge studiemotivatie en hoge studieresultaten geenszins samen hoeven te gaan. Het is dan ook volstrekt onjuist om hoge studiemotivatie en hoge studieresultaten aan elkaar te koppelen, ja, zoals de werkgroep doet, hoge studieresultaten te bestempelen als blijk van hoge studiemotivatie.

  Er is nog een andere belangrijke, en voor de hand liggende, reden waarom er geen verband tussen hoge studiemotivatie en hoge studieresultaten zal bestaan: er zijn grof gezegd twee manieren om tenminste redelijk voldoende studieresultaten te boeken: de ene manier is erg intelligent zijn, de andere manier is erg hard werken. Het probleem met het studiemotivatie argument van de werkgroep is dan ook in belangrijke mate dat er een grote groep kandidaten is die over een goede studiemotivatie beschikt, maar desondanks nooit hoge studieresultaten zal boeken.

  
  Voor een empirische waarneming van het soort verbanden als hier bedoeld zij verwezen naar een artikel van Crombag, Gaff, & Chang: Study behavior and academic performance. Tijdschrift voor Onderwijs-Research, 1975, 1, 3-14. Studieprestaties bleken niet gecorreleerd met intelligentie, motivatie, en studeergedrag. Eenvoudig omdat het mogelijk is eenzelfde studieresultaat langs verschillende we en te bereiken: door hard werken, door intelligentie, door goede studietech-niek. Een bespreking van dit soort mechanisme werd gegeven door Tromp en Wilbrink, Onderwijs Research Dagen 1977 online.

  
  toelatingstoets.

  
  blz. 7: "Het bezwaar tegen een toelatingstoets zou kunnen zijn, dat. daarmee aan het toelatingsrecht, verbonden aan het eindexamen, zou worden getornd. Bedacht moet echter worden, dat dit toelatingsrecht door de numerus clauses in feite reeds is opgeheven en dat, in het systeem van de gewogen loting ook reeds besloten ligt dat niet alle gegadigden hoewel allemaal geslaagd - als gelijkberechtigd worden beschouwd."

Dit is een frappante drogreden. Omdat iemands rechten in de praktijk toch al door een of andere maatregel van bestuur beperkt zijn, zou je ook andere maatregelen die dat recht inperken zonder meer mogen nemen? ook de werkgroep weet wel beter.

• blz. 8: "Het is wenselijk tot uitdrukking te brengen dat een toelatingsexamen niet primair een predictief oordeel inhoudt over geschiktheid of ongeschiktheid, maar gebaseerd is op de gedachte dat toelaatbare personen door inspanning en prestatie een recht kunnen verwerven."

Juristen hebben hier een vakterm voor: détournement de pouvoir, ofwel schending van het beginsel van zuiverheid van oogmerk: het bestuur mag een bevoegdheid alleen gebruiken voor het doel waarvoor die bevoegdheid is gegeven. Het is natuurlijk nooit de bedoeling van welk examen dan ook om de deelnemers eraan de indruk te geven dat zij hun 'geslaagd' zijn voor het examen (wat dat examen verder dan ook in mag houden) aan de eigen inspanning te danken hebben........ en verder niets. Natuurlijk kan de wetgever een nieuwe categorie van examens invoeren, examens die uitsluitend tot doel hebben deelnemers aan dat examen rechten toe te kennen die zij zich door eigen inspanning kunnen verwerven. Dit is toch wel een unieke gedachte van de werkgroep.

Overigens gaat dit lijnrecht in tegen iedere formulering van richtlijnen voor de beroepsuitoefening van de 'selectie'psycholoog. Zie met name de uitgebreide richtlijnen zoals die door Amerikaanse associaties zijn opgesteld, met daarin een uitgebreid hoofdstuk specifiek betrekking hebbend op toetsing in het onderwijs:

Standards for educational & psychological tests, 1974. American Psychological Association, 1200 seventeenth street, N.W. Washington, D.C. 20036. [editie 2014 open access https://www.aera.net/Newsroom/AERA-APA-and-NCME-Announce-the-Open-Access-Release-of-Standards-for-Educational-and-Psychological-Testing ]

Op basis van de toets wordt beslist of iemand toegelaten wordt in de studierichting van zijn eerste voorkeur. Welnu, als je wilt selekteren op deze wijze, dan moet je ervoor zorgen dat je toets ook aantoonbare validiteit heeft voor dat selektieve gebruik. Omdat hier eigenlijk sprake is van plaatsing, vraagt dat bovendien specifieke validiteit voor deze studierichting, in onderscheid van specifieke validiteit voor andere studierichtingen, een eis waaraan moeilijk te voldoen zal zijn. Maar de werkgroep schuift de validiteits-eis hier als ondergeschikt terzijde: het gaat erom dat men zich door inspanning een recht kan verwerven. Touwtrekken zou dan evenzeer in aanmerking komen, zou je zeggen. Het valt nog te bezien of er onderwijskundigen te vinden zijn die bereid zijn een toelatingstoets in deze vorm te konstrueren. Een analogie in de medische sektor zou kunnen zijn: we passen deze kostbare behandeling niet toe omdat er mogelijk resultaten van te verwachten zijn, maar omdat patiënten die zich deze behandeling laten welgevallen daarmee blijk geven van een hoge motivatie, zodat we mogen verwachten dat zij zich bij toekomstige wél noodzakelijke operaties ook welwillend zullen gedragen. Deze patiënten kunnen zich op deze wijze een recht verwerven op toekomstige medische behandelingen.

De werkgroep legt daarentegen wel de nadruk op inhoudelijke validiteit van de studietoets, en op de betrouwbaarheid van de toets: (blz. 12)

• "Veeleer dienen de elementen van toepassing en inzicht in de toetsing een sterker accent te krijgen. Dit dient op zodanige wijze te gebeuren, dat de toets voldoende betrouwbaarheid en onderscheidend vermogen heeft voor de groep die aan de toets zal deelnemen (nl. alle gegadigden met uitzondering van de op grond van hoge eindexamencijfers rechtstreeks toegelatenen). De technische mogelijkheden om dit te realiseren zijn aanwezig, al zal het tijd kosten om dergelijke toetsen samen te stellen."

Het gaat niet in eerste instantie om betrouwbaarheid van de toets, maar om consistentie in de beslissingen die op grond van de toetsresultaten worden genomen. En dat is iets geheel anders. Het is best mogelijk dat men er in slaagt om een toets te construeren die redelijk betrouwbaar is, dat wil zeggen de deelnemende kandidaten redelijk konsistent rangordent. Maar waar de toets voor gebruikt wordt, is voor een soort quota-selektie: er is een gegeven aantal beschikbare plaatsen, die gevuld gaan worden door degenen die op de toets het hoogst skoren. Welnu, 'voldoende betrouwbaarheid' biedt op zich geen garantie dat de toelatingsbeslissingen op basis van een dergelijke toets ook 'voldoende konsistent' zijn. Met andere woorden, ondanks een volgens algemene toetsmaatstaven beoordeelde redelijke betrouwbaarheid, kan voor een te groot aantal kandidaten plaatsing of niet afhankelijk zijn van het toeval, van de meetonnauwkeurigheid van een dergelijke toets die alleen al noodzakelijkerwijs voortvloeit uit het steekproefkarakter dat nu eenmaal aan iedere studietoets of test eigen is. De werkgroep geeft wederom op dit punt geen kwantificeringen, of aanwijzingen daarvoor. Wilbrink heeft in Cesuurbepaling (1977, COWO, docentencursus 6 online) tabellen gegeven voor aantallen beslissingsfouten onder verschillende aftestgrenzen bij overigens dezelfde betrouwbaarheid van de gebruikte toets.

De term 'onderscheidend vermogen' is gewoon kletskoek: het gaat er niet om dat op grond van de toets twee verschillende groepen studenten van elkaar 'onderscheiden' zouden moeten worden: het zijn allemaal studenten die hard gewerkt hebben, de ene wat weer dan de ander, het betreft slechts graduele verschillen, die bovendien zeer klein zijn. Het gaat bovendien om een quotaregeling, zodat de grens tussen toelaten en niet toelaten niet door de prestaties van de deelnemende kandidaten bepaald wordt, maar louter door het aantal te vullen plaatsen. Het is niet goed doenlijk een toets te konstrueren die over een groot deel van haar meetbereik verschillen tussen kandidaten betrouwbaar vast kan leggen.

• blz. 10: "Inderdaad stelt de werkgroep voor om de deelname aan zo'n toelatingstoets vrijwillig te doen zijn."

Dat is flagrante flauwekul. Deelname aan de toets is een 'must' voor iedere kandidaat die nog een beetje een behoorlijke kans op toelating wil hebben. Het is immers onder het voorstel van Wiegersma c.s. zo dat 30 % van de plaatsen verloot wordt onder al diegenen die zich niet anderszins hebben weten te plaatsen. Dat betekent voor bijvoorbeeld een studie als medicijnen op dit moment een zeer kleine inlotingskans. Als er twee maal zoveel gegadigden als plaatsen zijn, en 30 % van de plaatsen wordt verloot onder (100% - 3% hardheidsgevallen - 33% direkt geplaatsten), dan is de inlotingskans (.30 x 50)/(.64 x 100) = 15/64= .233 voor al diegenen die zich niet direct hebben weten te plaatsen. Loten is een farce. De werkgroep geeft nergens een aanwijzing hoe klein de inlotingskans onder te verwachten omstandigheden kan zijn.

NB: ook de kans om via zo'n toets te worden toegelaten is klein.

Voor de duidelijkheid nog even iets uitgebreider:

- stel er zijn 150 beschikbare plaatsen, en 300 kandidaten.

Tweederde van de plaatsen, dat zijn er dus 100, worden gevuld door studenten met hoge eindexamencijfers of toelatingstoetsresultaten.

Dan blijven 50 plaatsen over voor 200 kandidaten. Omdat er 3% plaatsen, laten we zeggen in ons voorbeeld 4 plaatsen, voor hardheidsgevallen beschikbaar zijn, moeten er uiteindelijk 46 plaatsen door loting verdeeld worden onder 196 kandidaten. Inlotingskans is dan .23.

Niemand kan zich de weelde veroorloven niet deel te nemen aan de toelatingstoets. Kontrasteer dat met de uitspraak van de werkgroep op blz. 10:

• "... het vaak gehoorde bezwaar, dat men eindexaminandi die willen studeren niet moet belasten met 'wéér een examen, na het examen', wordt door de vrijwilligheid van deelname eraan grotendeels ontkracht."

argumentatie rond de loting.

Is de werkgroep nu vóór of tegen loting? Dat hangt er van af.

• blz. 8: "In aanvulling op de eerste grondgedachte meent de werkgroep dat, nadat de goede kandidaten geplaatst zijn, voor de verdeling van de overgebleven plaatsen een ongewogen loting billijk is. Onderscheid te gaan maken binnen de groep van leerlingen die voldoende, maar geen duidelijk goede prestaties hebben geleverd, wordt minder zinvol uit het oogpunt van billijkheid. Ongewogen loting is dan een gerechtvaardigd en objectief middel van selectie."

Nog zo gek dus niet, die ongewogen loting. Een 'objectief middel van selectie'. Dat klinkt al heel wat beter dan 'het domme lot'.

Al eerder werd de opvatting van de werkgroep geciteerd dat het hoofdbezwaar, ook tegen gewogen loting, zou zijn dat de kandidaat ook door eigen inspanning zijn toelatingskans niet zou kunnen beïnvloeden. Er werd al op gewezen dat dit bezwaar gewoon onjuist is, en daarmee ook onhoudbaar.

• blz. 7: .....juist een verdienste van het vigerende systeem: bij het systeem van gewogen loting is niemand bij voorbaat kansloos. Niemand die aan de toelaatbaarheidseisen voldoet wordt door het selectiesysteem als 'ongeschikt' afgewezen. Dit punt is belangrijk omdat er geen selectiemiddelen bestaan waarmee men, met aan zekerheid grenzende waarschijnlijkheid kan uitmaken dat een 'toelaatbare, voor het examen geslaagde' gegadigde ongeschikt zou zijn. In het nieuwe systeem verdient dit element - niemand is bij voorbaat kansloos - te worden gehandhaafd."

Kijk eens aan, een gloeiend pleidooi voor loting. Dit sluit ook goed aan bij argumenten die in de oude diskussie gebruikt zijn, waarbij op de nadelen van 'selektie' t.o.v. loting werdgewezen. Een aantal argumenten tegen loting (gewogen loting) door de werkgroep in paragraaf 2 genoemd, werd al eerder in deze reaktie ontkracht.

diversen.

De werkgroep vindt, terecht, de ingewikkeldheid, doorzichtigheid, van de te hanteren regeling een belangrijk punt. Een nadeel van de gewogen loting is dat de inlotingskans die de student uiteindelijk heeft voor hem tevoren moeilijk te schatten is. Daaraan is natuurlijk wel iets te doen. Hoewel Wilbrink (1975) heeft laten zien dat het berekenen van de inlotingskansen onder de huidige gewogen loting niet eenvoudig is, hoeft het natuurlijk niet zo te zijn dat iedere student dat voor zichzelf maar moet uitrekenen, maar kan over de meest waarschijnlijke inlotingskans onder de meest waarschijnlijke omstandigheden (beschikbaar aantal plaatsen, aantal kandidaten in de diverse lotingsklassen) voorlichting gegeven worden. Overigens is integrale loting weer een perfect doorzichtige procedure, wat door de werkgroep ook opgemerkt wordt.

Het is jammer dat de werkgroep nu meent dat de eigen drietrapsraket wél, althans in vergelijking met de gewogen loting, een doorzichtige procedure zou vormen. Het is moeilijk om juist op een procedure Pais enig duidelijk zicht te krijgen. De leerling wordt daar met een aantal onzekerheden tegelijkertijd gekonfronteerd: de eindexamenresultaten zijn de eerste onzekere faktor; van de eindexamenresultaten hangt af of hij deel zal moeten nemen aan de toelatingstoets; de te verwachten resultaten op de toelatingstoets zijn onzeker, en ook is onzeker waar op die toets de scheiding tussen toelaten en niet toelaten zal komen te liggen (hangt immers af van aantal deelnemers en de te verdelen aantallen plaatsen); tenslotte, zou hij niet direkt geplaatst worden, dan is nog onzeker welke inlotingskans er dan zal bestaan. En dan praten we nog maar helemaal niet van de zeer ingewikkelde variant op de direkte toelating die door de werkgroep voorgesteld wordt (zie daarover het rapport van de werkgroep).

Mogelijk is de werkgroep in haar opvatting over de doorzichtigheid van het eigen voorstel, de drietrapsraket genoemd in de pers, het slachtoffer geworden van haar eigen onzorgvuldige wijze van redeneren. Er wordt in het rapport op diverse plaatsen gesproken over kandidaten die zich hebben weten te kwalificeren door het behalen van goede examen- of toetsresultaten, en voor hen is de situatie perfect doorzichtig omdat de eindbeslissing voor hen bekend is. Op dezelfde wijze is het voor degenen die moeten loten ook een perfect doorzichtige situatie, omdat direkt na het afleggen van de toets de lotingsresultaten al bekend gemaakt zouden kunnen worden (althans, direkt na het skoren van de toets, maar aangenomen mag worden dat dat nog dezelfde dag gebeurd kan zijn). Het gaat er natuurlijk om, en dat is ook de impliciete definitie van doorzichtigheid die de werkgroep hanteert, dat doorzichtigheid lets te maken heeft met de mate waarin men door eigen inspanning de resultaten kan beïnvloeden. Wanneer de resultaten bekend zijn, valt er door welke eigen inspanning ook niets meer aan te beïnvloeden, en is het zinloos om van doorzichtigheid te spreken. Het gaat om doorzichtigheid geruime tijd voor examen en toets, laten we zeggen een of zelfs twee jaar tevoren. In die opvatting kan de drietrapsraket als niet anders dan zeer ondoorzichtig beschouwd worden.

Een heel ander punt is het volgende. Enerzijds vindt de werkgroep het een bezwaar van de gewogen loting dat prestaties voor alle eindexamenvakken daarin meetellen, en niet 'op de gewenste opleiding gerichte specifieke studieprestaties' (blz. 7), anderzijds pleiten zij ervoor niet alleen de examencijfers voor de kernvakken van de gewenste opleiding de direkte toelaatbaarheid te laten bepalen, maar dan vervolgens weer wél voor de 'studiespecifieke toelatingstoets'.

Op de vraag of aan de cijfers behaald voor de voor de studie relevante vakken extra gewicht kan worden gegeven is naar de mening van de werkgroep een duidelijk antwoord te geven: alle cijfers moeten meetellen.

Het belangrijkste argument is dat resultaten van het schriftelijk eindexamen één totale prestatie van de leerling uitdrukken. De leerling heeft zich voor het schriftelijk examen als geheel ingespannen. De meetbetrouwbaarheid van het geheel is daardoor groter dan die voor de afzonderlijke vakken. Bovendien zou een regeling, waarbij bijvoorbeeld speciaal op twee vakken wordt gelet op den duur tot eenzijdige voorbereidingsstrategieën kunnen leiden bij leerlingen die alles op alles willen zetten om de toelating te halen; zulks in strijd met de bedoeling van het zevental vereiste vakken. Een empirisch argument daarbij is, dat het effect van het totaal-gemiddelde op de kans van slagen volgens CBS-gegevens in de meeste gevallen enigszins groter is dan dat van enkele relevante vakken. Omgekeerd is daarvoor ook weer een goede theoretische verklaring te geven: meet men het totaal van alle vakken dan meet men een algemeen kenmerk - het getoonde niveau, het leervermogen - en bovendien op een meer "betrouwbare" wijze.

Het extra wegen van de cijfers voor kernvakken levert weinig voordelen op: de ervaring leert dat de predictieve validiteit daardoor slechts in geringe mate toeneemt. Daar staat als nadeel tegenover dat de procedure ingewikkelder wordt. Om deze reden wordt weging niet aanbevolen.

Ook hier is het weer opvallend dat wat de werkgroep het ene moment, of voor de ene groep, juist, billijk, doelmatig vindt, dat op andere momenten, voor andere groepen, ineens onbillijk, ondoelmatig, onjuist vindt. Voor het meetellen van eindexamencijfers alle vakken meenemen, voor de toelatingstoets alleen kernvakken gebruiken.

Op blz. 23 treffen we een uitspraak aan, waarover de werkgroep opheldering gevraagd moet worden: daar wordt gesproken over rechtstreeks toelaten van degenen die 6 jaar vwo hebben gevolgd, en een goede eindexamencijferlijst hebben. Bedoelt de werkgroep hiermee dat zij kandidaten die een jaar vwo gedoubleerd hebben, bijvoorbeeld het laatste jaar, van direkte toelating op basis van eindexamencijfers wil uitsluiten?

Tenslotte. De werkgroep noemt als eisen voor 'selectiecriteria'

• "Zij moeten 'iets zeggen' over de voor de opleiding nodige kwaliteiten: zij moeten daarvoor 'relevant' zijn, 'adequaat' en 'valide'. Men moet dat kunnen aantonen met een redelijk overtuigende, empirisch onderbouwde redenering. Men moet 'goede redenen kunnen aanvoeren' om er bij selectie voor de opleiding in kwestie op af te gaan."

Welnu, de werkgroep komt nergens met 'aangetoonde kwaliteiten', noch met goede redenen.

Het had allemaal niet nodig moeten zijn.

Bijlage

Het effect van de drietrapsregeling van Wiegersma-Pais, vergeleken met de gewogen loting die op dit moment nog plaats vindt.
 
Zoals bekend, werkt de gewogen loting met zes lotingsklassen, groepen studenten met eindexamencijfers tot 6,5, van 6,5 tot 7, 7 tot 7,5, 7,5 tot 8, 8 tot 8,5, 8,5 en hoger, de respectievelijke lotingsklassen 1, 2, 3 4, 5 en 6.

In de machtigingswet is vastgelegd dat de inlotingskansen van studenten uit deze respectievelijke lotingsklassen zo groot moeten zijn dat de proporties ingelotenen per lotingsklasse zich tot elkaar verhouden als

0,67, 0,8, 1, 1,25, 1,5 en 2.

Aangenomen dat voor een bepaalde n.f. studierichting de kandidaten als volgt over de lotingsklassen verdeeld zijn:

150, 300, 250, 100, 70, 30 (totaal 900)

kunnen de inlotingskansen   p v _i   voor lotingsklasse   i berekend worden uit:

(1)       Σ p F_i v_i = C,
waar
Σ: de sommering is over  i = 1 tot en met 6
C = het beschikbare aantal plaatsen (minus 4% gereserveerd voor de hardheidsclausule)
v _i = verhoudingsgetal voor lotingsklasse  i
F _i = aantal gegadigden in lotingsklasse  i
p = constante
p v_i = inlotingskans voor lotingsklasse  i
Wanneer C = 600 vinden we voor de constante p

p = 600 / {(0,67x159)+(0,8x300)+(1x250)+(1,25x100)+(1,5x70)+(2x30)} = 0,68.

De inlotingskansen voor studenten in lotingsklasse 5 en 6 zijn groter dan 1, dat betekent dat deze 100 studenten direct geplaatst worden, en niet mee hoeven te loten. Voor de overige studenten moeten de kansen nu opnieuw berekend worden, voor een aantal beschikbare plaatsen van

C' = C - 100 = 500

p = 500 /{(0,67x150)+(0,8x300)+(1x250)+(1,25x100)} = 0,70

De inlotingskansen voor studenten in de respectievelijke lotingsklassen 1 t/m 6 zijn dan

0,47 0,56 0,70 0,87 1,00 1,00

In tabel 1 zijn al deze gegevens nog eens overzichtelijk bij elkaar gezet.

Hoe gaat het nu bij de drietrapsregeling? Laten we aannemen dat inderdaad studenten met 7,5 of beter eindexamencijfergemiddelde direkt worden geplaatst. De overige kandidaten nemen deel aan de toelatingstoets: omdat inlotingskansen zeer gering zijn, kan de serieuze kandidaat er niet onderuit 'vrijwillig' aan de toelatingstoets deel te nemen, om zijn kansen niet al te zeer te schaden.

De grote onbekende is nu de toelatingstoets, en welke prestaties je mag verwachten dat studenten met verschillende eindexamencijfer gemiddelden daarop leveren. Om hier iets te kunnen kwantificeren, zullen er aannamen gemaakt moeten worden.

Allereerst wat de toets zélf betreft: aangenomen wordt dat deze toets zal bestaan uit 100 vragen, en hoewel de toets twee kernvakken zal bestrijken wordt hier aangenomen dat deze 100 vragen getrokken worden uit één domein van vragen, waarop ook de ware beheersing van de kandidaten gedefinieerd zal worden.

Makkelijke getallen kiezend, en rekening houdend met een stukje regressie naar het midden waardoor gemiddeld de toetscijfers voor studenten uit de verschillende lotingsklassen wat dichter bij elkaar komen te liggen dan hun eindexamencijfers gemiddeld doen, wordt aangenomen dat de gemiddelde ware beheersing voor studenten uit de drie respectievelijke lotingsklassen .65 .68 en .71 is. Dat wil zeggen dat de statistische verwachting voor een willekeurig gekozen student uit lotingsklasse 1 is dat hij 65% van alle vragen uit het domein van vragen waaruit de toets wordt 'getrokken' zal kunnen beantwoorden wanneer al die vragen hem voorgelegd zouden worden [binomiaal model, b.w.].

Het lijkt niet onredelijk om als waarschijnlijkheidsverdeling voor de willekeurig uit lotingsklasse 1 gekozen student de betaverdeling g(65, 35) te nemen, voor de willekeurig uit lotingsklasse 2 gekozen student g(68, 32), en voor de willekeurig uit lotingsklasse 3 gekozen student g(71, 29), waarbij a, b de beide parameters van de betaverdeling g(a, b) zijn.

Voor de totaalscore op de toelatingstoets het binomiaal model hanterend, waarbij de ware beheersing als gegeven wordt beschouwd, wordt op eenvoudige wijze voor de marginale waarschijnlijkheidsverdeling van de totaalscore op de toelatingstoets de negatief hypergeometrische verdeling verkregen

f( x ) = ( n boven x ) B( a + x, n + b - x ) / B( a, b )

waarbij B( a, b ) = (( a-1)! ( b-1)!)/( a+ b+ n -1 )!

Uit deze functie is de kans te berekenen dat een willekeurig uit lotingsklasse i gekozen student een totaalscore van x of hoger zal bereiken. Vermenigvuldigen we voor alle verschillende waarden van x deze kans met het aantal kandidaten dat zich in de betreffende lotingsklasse bevindt, dan ontstaat een functie waaruit afgelezen kan worden wat de statistische verwachting is voor het aantal kandidaten uit deze lotingsklasse die een toetsscore van x of hoger zullen behalen.

Voor de drie lotingsklassen zijn deze berekeningen uitgevoerd, en de betreffende functies zijn afgebeeld in de figuur op de volgende blz. Tevens is daar ingetekend de somfunctie van de drie afzonderlijke functies.

Zoals aangenomen, bedraagt het aantal beschikbare plaatsen 600, daarvan zijn er in eerste instantie 200 direct gevuld op grond van eindexamengemiddelde, en zijn er nog eens 200 te vullen met de kandidaten die op de toelatingstoets de hoogste scores geboekt hebben. Kijken we naar de somfunctie in de figuur, dan wordt de aftestgrens op de toelatingstoets bepaald door het punt waar deze somfunctie de waarde 200 bereikt. In dit geval worden dan alle kandidaten met toetsscore 73 of hoger direct geplaatst, en zullen de overigen moeten loten.

Noot. De figuur is opnieuw geconstrueerd, door eerst de drie betabinomiaalverdelingen te genereren (programmatuur voor het Algemeen Toetsmodel, zie ook Wilbrink, 1998, Inzicht doorzichtig toetsen http://benwilbrink.nl/publicaties/98InzichtToetsenCOWOG.htm), en via Excel een grafiek te construeren. Hoewel een lijngrafiek is gebruikt, zijn de onderliggende frequentieverdelingen op zich natuurlijk histogrammen.

Voor de kandidaten uit de respectievelijke lotingsklassen kunnen we uit de figuur aflezen dat hun kansen om op de toelatingstoets boven 73 of precies 73 te scoren 0,13 0,25 of 0,42 zijn.

Na de toelatingstoets blijven 500 kandidaten, en 200 te verdelen plaatsen over, waarvoor iedereen met gelijke kans, in dit geval 0,40, meeloot.

Nu hebben we alle gegevens om de toelatingskans voor de kandidaten uit de respectievelijke lotingsklassen te berekenen, namelijk de gecombineerde kans op toelating via de toets en toelating via loting. die komen uit op 0,47 0,54 of 0,68

______________________________________________________________________________

aantal     lotings- verhoudings-   toelatingskansen
kandidaten klasse   getal (wet)    ------------------------------------------
                                   integraal gewogen toets  loting combinatie
                                   loten     loten   alleen alleen toets+loten
_____________________________________________________________________________

 150         1        0,67         0,67      0,47    0,13   0,40   0,48
 300         2        0,80         0,67      0,56    0,25   0,40   0,55
 250         3        1,00         0,67      0,70    0,42   0,40   0,65
 100         4        1,25         0,67      0,87    ----   ----   1,00
 70          5        1,50         0,67      1,00    ----   ----   1,00
 30          6        2,00         0,67      1,00    ----   ----   1,00
______________________________________________________________________________

Tabel 1. Toelatingskansen onder integrale, of gewogen loting vergeleken met drietrapsregeling voor één specifiek geval.

 
Het spreekt vanzelf dat voor alle mogelijke situaties die zich voor kunnen doen, verschillende aantallen kandidaten en beschikbare plaatsen, andere relatieve aantallen kandidaten in de lotingsklassen, of kandidaten direct toegelaten worden met tenminste 7, 7,5 of 8 gemiddeld, of andere complexere varianten op die directe toelating, voor toelatingstoetsen met verschillende technische kenmerken, etcetera, deze berekeningen onmogelijk gemaakt kunnen worden. Het gaat bij dit voorbeeld dan ook om niet meer dan een globale indruk. In de volgende paragraaf worden enkele globale conclusies getrokken uit de kwantificering zoals hier gemaakt.

Voor de techniek van het schatten van de verwachte toetsscores wordt verwezen naar recente technische literatuur bij criterium-gerefereerde meting, zoals deze vooral in het tijdschrift Psychometrika te vinden is, o.a. Huynh Huynh 1976 en 1977.

 
Conclusies uit het gegeven cijfervoorbeeld.

De toelatingstoets is een zeer scherp selectiemiddel, zelfs in de situatie waarin er nog relatief veel plaatsen beschikbaar zijn. Je kunt natuurlijk als de regels van het spel definiëren dat de kandidaten die op de toelatingstoets net één puntje, of een enkel puntje meer tekortkomen dat maar moeten accepteren, maar een feit blijft dat er op de toelatingstoets sprake is van een zeer scherpe cesuur. Kandidaten met een net voldoende score op deze toets worden direct toegelaten, anderen met een enkel puntje minder op de toets, moeten meeloten met een dikwijls zeer geringe kans om alsnog toegelaten te worden. Bedenk immers dat in het gegeven cijfervoorbeeld er nog sprake was van een relatief groot aantal plaatsen (600, op 900 kandidaten) met een lotingskans van 0,40 voor alle niet direct geplaatsten. Wanneer er een klein aantal plaatsen beschikbaar is, zal een groot deel daarvan direct bezet worden door kandidaten met hoge eindexamencijfers, een heel klein deel zal bezet kunnen worden op grond van hoge toetscijfers (omdat méér dan 1/3e al bezet is door de categorie met hoge eindcijfers), en voor het laatste 1/3e deel, of preciezer: voor de laatste 30% van de beschikbare plaatsen heeft de kandidaat nog maar een zeer geringe lotingskans.

In milde numerus fixus situaties ontstaat er in de drietrapsregeling een toch nog enigszins scherpe 'breuk' tussen degenen die op basis van hun eindexamencijfer direct toegelaten worden, en degenen met iets lagere eindcijfers die met een nogal geringe kans op 'succes' mee moeten dingen naar een plaatsje. Bij situaties waarin er sprake is van een veel grotere vraag dan er plaatsen beschikbaar zijn, zoals bij de medicijnen studie het geval is, ontstaat er een nog veel scherpere breuk of cesuur tussen kandidaten die in gemiddeld eindexamencijfer slechts marginaal verschillen.

Een kernpunt in de discussie 1974/1975 tussen het voorstel van de integrale loting en het voorstel van de 7,5 regeling (tot dan toe gehanteerd als toelatingscriterium met loting voor de overigen) was nu juist de ongewenstheid van dergelijke grote verschillen in toelatingskansen voor kandidaten die in feite maar marginaal van elkaar verschillen in termen van gemiddeld behaald eindexamencijfer. Uit die discussie is het voorstel van de gewogen loting geboren, en bij amendement Vermaat tot wet gepromoveerd, zij het ook tot uitzonderingswet.

Een belangrijk detailprobleem dat door de werkgroep over het hoofd is gezien, tenslotte, is dat het aantal direct te vergeven plaatsen op basis van toetsresultaten zelden zo 'mooi' uit zal komen als in het voorbeeld: tussen aantallen kandidaten met toetsscore 74 en toetsscore 73 is een fors verschil (34 zelfs!), dat zich in de praktijk zeker ook zal voordoen. Wanneer iedereen met score 74 of hoger geplaatst wordt, en er zouden nog 30 'op basis van toetsresultaat te vergeven' plaatsen over zijn terwijl er méér dan 30 kandidaten met een score van 73 zijn, wordt er dan geloot binnen dit groepje kandidaten om de 30 plaatsen, of worden de 30 plaatsen gevoegd bij de 30 % te verloten plaatsen?

 
 

Nabeschouwing maart 2003

Ben Wilbrink

 
De discussie eind van de zeventiger jaren was heftig, vooral rond het rapport dat de Werkgroep Wiegersma uitbracht, maar vervolgens ook bij een aantal gelegenheden rond de constructie van de toelatingstoets door het Cito. Zie het literatuuroverzicht dat ik over toelating voor numerus fixusstudies heb gemaakt voor de Commissie Drenth (1997) html.

De thematiek van de publieke discussie, en van de CRWO-commentaar op het rapport van de Werkgroep, komt in de negentiger jaren opnieuw aan de orde. Er wordt een experimenteerfase ingesteld waarin faculteiten vrij zijn een deel van de plaatsen via een zelf in te richten selectieprocedure te vullen. De commissie Sorgdrager heeft daarover gerapporteerd. Voor een kritische bespreking van de conclusies van de commissie Sorgdrager zie mijn artikel ' "Decentrale toelating: , eerste stap naar selectieve toelating HO? Tijdschrift voor Hoger Onderwijs, 21, nummer 1 html. Achteraf past dit artikel ook goed op het werk van de Werkgroep Wiegersma, ook deze werkgroep kon niet voldoende afstand nemen om te kunnen zien dat het niet om selectie maar om plaatsing gaat, en dat maakt bijzonder veel verschil voor de technische argumenten die relevant zijn.

Voor het eerst is een doorrekening van toelatingskansen onder een voorgestelde regeling gemaakt, nog voordat de betreffende toets is afgenomen. De techniek had ik ontwikkeld in Studiestrategieën, 1978 html. Op dezelfde wijze zijn ook nog voorafgaand aan het eindexamen voorspellingen op te zetten, wat kennelijk in 1979 nog te tijdrovend was, maar dat met de ook voor de geplotte figuur gebruikte programmatuur voor het berekeningen van betabinomiaalverdelingen (voorspellende toetsscoreverdelingen) in korte tijd te doen zou zijn. html

Pais kwam in 1980 met een voorontwerp van wet dat nogal afweek van wat de Werkgroep had geadviseerd, met een zwaar accept op bevoordeling van achtergestelde groepen, en waarvan hij in de loop van 1981 voorzag dat het niet door het parlement zou komen. html

  http://www.benwilbrink.nl/publicaties/78Reaktie_rapport_werkgroep_Wiegersma.htm