Documentatie van decentrale selectie bij numerus-fixus-studies

NB: zie ook de documentatie over loten en de thematiek van de numerus-fixus als zodanig

Ben Wilbrink

doorlopend geactualiseerd

Over decentrale selectie (DS)

3 januari 2011. Kan iemand mij vertellen waarom er begin januari een onverwachte grote belangstelling is voor deze webpagina? Mail mij.

Decentrale selectie (door mij ook wel afgekort tot DS) is de toelatingsselectie die voor numerus-fixus-studies wettelijk is toegestaan om een deel van de beschikbare plaatsen te verdelen. De wet stelt bijzondere beperkingen aan deze selectie, waaronder

• samen met de direct toegelatenen zijn maximaal 50% van de plaatsen beschikbaar voor verdeling op basis van selectie.
• de huidige wet laat gegadigden met gemiddeld examencijfer acht of hoger direct toe
• decentrale selectie mag geen gebruik maken van eindexamencijfers
• mijns inziens betekent het laatste dat DS ook cijfers in de voorlaatste klas van het VO buiten beschouwing moet laten, dus eigenlijk alles wat schools is, maar hier is nog geen jurisprudentie over.

Het zou een ernstige misvatting zijn te menen dat voor het inrichten van DS alles is toegestaan wat de wetgever niet heeft verboden. Om maar eens iets te noemen: selectie mag natuurlijk niet discrimineren. De selectie moet in alle opzichten behoorlijk zijn, gegadigden kunnen zich met eventuele bezwaren wenden tot het College van Beroep voor het Hoger Onderwijs site. Het is opvallend dat het bij dat college van beroep niet storm loopt, terwijl er toch heel wat vreemde zaken zijn te vinden bij de her en der ingerichte DS’s. Dat brengt me bij de laatste categorie van randvoorwaarden: selectie moet natuurlijk ook in technische zin behoorlijk zijn, meestal is dat in selectiepsychologische zin. De beroepsgroep heeft de eisen van behoorlijkheid in de laatste halve eeuw vergaand uitgewerkt, voor Nederland in de Richtlijnen van het NIP (1986). Wat een en ander concreet betekent voor selectieprocedures is te vinden in een grondige evaluatie van de selectie voor de Nederlandse Politie Academie (Wilbrink en anderen 1990 html), geen publiek hoger onderwijs maar een interne opleiding onder de departementen van justitie en binnenlandse zaken. Gegadigden die menen dat een decentrale selectie op belangrijke punten de toets van deze Richtlijnen niet doorstaat, hebben een sterk punt, en kunnen met dat bezwaar ook weer terecht bij het College van Beroep voor het Hoger Onderwijs site.

NIP (1986). Richtlijnen voor ontwikkeling en gebruik van psychologische tests en studietoetsen. Amsterdam: Nederlands Instituut voor Psychologie. Tweede editie.

Wilbrink, Ben, Willem van Hoorn, Leo J. Th. van der Kamp, & Jen Algera (1990) Selectie voor politie-officier. De toelating tot de Nederlandse Politie Academie. Amsterdam: SCO. (Rapport 245) html

Wat is het criterium voor DS?

Er is de laatste halve eeuw heel veel geschreven en geopiniëerd over de criteria die een toelatingsselectie tot geneeskunde zouden kunnen of moeten regeren. Kunnen die liggen in de sfeer van studieresultaten, of moeten ze verder weg liggen in de kwaliteiten van het functioneren als arts, en hoe moet dat dan met al die verschillende functies en specialismen die artsen kunnen hebben? En weten we daar eigenlijk wel iets van, is er empirisch onderzoek beschikbaar, zou er binnen de beroepsgroepen consensus over te bereiken zijn, enzovoort enzoverder. Veel van deze argumenten zijn onderdeel van de discussie over de numerus fixus als zodanig, en komen voor in de literatuur in loten_nf.htm.

Technisch bezien gaat het om de validiteit van de selectieprocedure. Het is een tikje complexer dan het bepalend voornaamwoord aangeeft: validiteit is meer een containerbegrip voor van alles dat van essentieel belang is voor de kwaliteit van een selectieprocedure. Uiteindelijk gaat het om de kwaliteit van de voorspellingen, waarvan afgeleid is opwelke gronden die voorspellingen berusten. De kenner herkent hieron het subtiele onderscheid tussen voorspellende validiteit en begripsvaliditeit, als elkaar aanvullend. Wie er de Richtlijnen bijhaalt, zoekt dus in het hoofdstuk ‘validiteit’. Ben je toch in de bibliotheek, neem dan meteen de Standards van de American Psychological Association mee.

Kunnen studieresultaten een behoorlijk criterium voor DS zijn?

Decentrale selectie is bijzonder omdat het een naar de faculteiten gedelegeerde bevoegdheid is: die faculteiten mogen selecteren waar dat voor studies zonder numerus fixus niet is toegestaan. Het ligt voor de hand dat de criteria die bij de DS voorspeld worden, dan ook specifiek moeten zijn voor de betreffende studie. Het volgende maakt duidelijk wat dit betekent. Het springende punt is dat betere cijfers halen of sneller studeren waarschijnlijk niet specifiek zijn voor de betreffende studie, neem aan dat dit geneeskunde is.

Ik zal de stelling onderbouwen dat een DS die alleen voorspellend is voor directe studieresultaten, niet in stand hoort te blijven. Ofwel: een gegadigde die deelneemt aan de DS en geen toelating wint, zou op grond van deze argumentatie bezwaar kunnen indienen tegen de procedure omdat hij of zij is benadeeld door een onjuiste procedure. Bedenk dat deelname aan de DS niet vanzelfsprekend betekent dat de gegadigde instemt met de procedure; immers, om de eigen kansen goed te benutten moet de gegadigde wel proberen eerst langs deze weg een plaats te bemachtigen. Zo bezien wekt het enige verwondering dat de deelname, zoals gedetailleerd gerapporteerd in Urlings-Strop, Stijnen, Themmen & Splinter (2008 annotatie), maar beperkt is.

[De hier nog uit te werken argumentatie is in feite al eens eerder gegeven, zie Ben Wilbrink & Hans van der Vleugel (1974). Loten heeft slechts voorkeur bij gebrek aan beter. Onderzoek van Onderwijs, 3 nummer 3, 8-12. http://www.benwilbrink.nl/publicaties/74LotenVoorkeurOvO.htm#criteria]. Dit artikel is een op titel van de auteurs geschreven verdere uitwerking van het eerder gepubliceerde standpunt van de CRWO (Contactgroep Research Wetenschappelijk Onderwijs), eveneens geschreven door Ben Wilbrink en Hans van der Vleugel (1974). Direct voor mijn argument van belang is in hetzelfde nummer van Onderzoek van onderwijs het cijfervoorbeeld http://www.benwilbrink.nl/publicaties/74LotenVoorkeurOvO.htm#cijfersweersproken].]

Wat kost een (decentrale) selectieprocedure?

Een selectieprocedure met serieuze consequenties voor kandidaten, moet te rechtvaardigen zijn. Kandidaten mogen kwaliteitseisen stellen zoals gebruikelijk bij psychologische tests (daar is een toetsingscommissie voor, de COTAN van het Nederlands Instituut voor Psychologen). Dit kwaliteitscircuit vergst aanzienlijke investeringen van menskracht.

Als een bepaalde selectieprocedure onontkoombaar is, zou je kunnen afzien van het begroten van de kosten. Maar in dit geval is er al een alternatief beschikbaar, de gewogen loting. De kosten voor die gewogen loting blijven gelijk, ook al gaan alle faculteiten gebruik maken van decentrale selectie. Met andere woorden: alle kosten voor decentrale selectie zijn in beginsel *extra* kosten die anders niet gemaakt zouden hoeven worden.

De hele oefening heeft iets weg van wat er nodig is om een psychologische selectieprocedure te evaluaeren. De tests die daarin worden gebruikt, moeten extra voorspellingskracht toevoegen aan gegevens die overigens al beschikbaar zijn. Een mooi voorbeeld is de Cito-basistoets. Die toets moet voorspellende waarde toevoegen bovenop die van het advies van de leerkrachten van groep 8. Over die eis zul je het Cito zelden horen, want ze kunnen dat gewoon niet hard maken. Terwijl die toets een niet te verwaarlozen verstorende werking heeft op het onderwijs in groep 8. Ooit, in de zestiger jaren, is dit toetsgebruik bij de overgang naar het VO bepelit door A. D. de Groot, omdat schoolhoofden leerlingen uit verschillende sociale klassen niet van 'gelijke' adviezen voorzien als ze dat zouden verdienen. Uit mijn artikelen over selectie mag duidelijk zijn dat ik nog een grote maatschappelijke kostenpost zie: onder invloed van neo-liberale ideeën een steeds verder opschuiven richting altijd en overal maar weer selecteren. Hier is het van belang dat selecteren op zichzelf geen waarde toevoegt aan wat dan ook, behalve het korte-termijn-belang van degenen die het bij die selectie voor het zeggen heeft. En zelfs dat belang verdampt wanneer de concurrentie ook selecteert, wat noodzakelijkerwijs gebeurt door te vissen in dezelfde vijver met kandidaten. Hier ligt de reden dat ik belang hecht aan het blijven bestaan van een vorm van gewogen loting, ik vlei me dan met de gedachte dat het mensen soms dwingt om langer dan 30 seconden na te denken over voorstellen om meer of scherper te gaan selecteren. Ideologie is daar niet voor nodig, hoewel er natuurlijk ook vanuit ideologische standpunten voro loten wordt gepleit: selectiepsychologen zullen de waarde van hun werk aannemelijk moeten maken door deze op enomisch-theoretische wijze te onderbouwen. Selectie blijkt dan vaak een valkuil te zijn.

Studiestaken is geen behoorlijk criterium voor DS

Zodra de keuze valt op studieresultaten als het criterium voor DS, komt ongetwijfeld ook het idee op om studiestaken als een criterium aan te merken. Zo vinden Urlings-Strop, Stijnen, Themmen & Splinter (2008) bij de DS geneeskunde aan de Erasmus Universiteit dat eigenlijk het enige aantoonbare verschil tussen decentraal geselecteerde en ingelote studenten ligt in het percentage studiestakers: meer dan twee keer zo hoog voor de ingelote studenten. Dit is dus een waanzinnig interessant casus, want kan studiestaken iets met DS hebben te maken (daar moeten ze Rotterdam nog onderzoek naar doen)? Belangrijker nog: als het aldan iets met DS heeft te maken, is het een behoorlijk criterium? Mijn stelling is, zoals de titel aangeeft, dat studiestaken geen behoorlijk criterium is voor DS omdat het hier om een numerus fixus gaat. Het argument is meteen te sluiten door erop te wijzen dat de numerus fixus niet is ingesteld met het doel studiestaken te verminderen. Maar zo makkelijk wil ik mij er niet vanaf maken. Ik moet het toelichten. Mijn analyse gaat ongeveer langs deze lijn.

1. Voor de centrale selectie is van centraal belang dat het om een numerus fixus gaat. Daarmee bedoel ik nog niet eens dat deze selectie alleen maar bestaat OMDAT er een numerus fixus is.

   
   

2. Kwaliteit van decentrale selectie is noodzakelijk contingent op die numerus fixus. De numerus fixus is met stip een belangrijk kenmerk van de context van de DS, kwaliteit van de DS is contingent op dat kenmerk.

   
   

3. Er kunnen een hoop overwegingen een rol spelen bij het bepalen van de numerus fixus, maar daar hoort toch niet bij dat de capaciteit van het eerste jaar bepalend zou zijn. Zie bijvoorbeeld recente beschouwingen in de Tweede Kamer over gewenste getalsbeperkingen (pdf).

   
   

4. Aangenomen dat studiestaken in de aanvang van de studie gebeurt, belasten studiestakers de numerus fixus niet.
   • Vindt studiestaken in het begin van de studie plaats? Zeker, het merendeel wel. Zijn er in latere jaren studiestakers? Natuurlijk, dat komt voor, maar voor latere studiestakers moet het ongetwijfeld zo zijn dat de redenen van studiestaken niet te maken hebben met academische prestaties, maar met ziekte en ongeluk, of verkassen naar een andere universiteit. Studiestaken in het begin van de studie is waarschijnlijk een proces dat al heel snel na binnenkomst begint, zodat deze studiestakers in de dop tot aan het moment van uitschrijven in mindere mate deelnemen aan het onderwijs en aan tentamens.

   
   

5. Ergo, het aantal toe te laten gegadigden moet dus vermeerderd worden met het verwachte aantal studiestakers. In de praktijk vindt er dan een samentrekking plaats, en is de numerus fixus in feite inclusief het verwachte aantal studiestakers—de numerus fixus absorbeert het gemiddelde aantal studiestakers—maar het principe blijft staan.

   
   

6. Een decentrale selectieprocedure die alleen impact heeft op het relatieve aantal studiestakers, doet in feite dus *niets* dat in het licht van de numerus fixus de moeite waard is.

   
   

7. Omdat decentrale selectie alleen is toegestaan in relatie tot die numerus fixus, ontvalt met de laatste conclusie de bestaansgrond onder een decentrale selectie die alleen effect heeft op het relatieve aantal toegelaten studiestakers.

   
   

8. Gegadigden die deelnemen aan de gewogen loting, kunnen bij een decentrale selectie die bovenstaand kenmerk heeft en waardoor zij zich benadeeld voelen, bij het College van Beroep voor het Hoger Onderwijs (site) bezwaar neerleggen van benadeling door deze decentrale selectie: ongelijk behandeling ten opzichte van de gegadigden die via de DS toelating krijgen.
   • mogelijk moet men eerst locaal in beroep gaan, als de insteling dat aangeeft. Op de uitspraak daarvan staat dan beroep open op het College van Beroep voor het Hoger Onderwijs (site).

   
   

9. In het bovenstaande heb ik geen gebruik gemaakt van kennis van wat de bijzondere redenen voor een numerus fixus zijn, behalve de aanname dat deze niet liggen in de capaciteit van het eerste studiejaar (dat zou ook een outrage zijn).
   • Historisch ligt een en ander complexer, omdat wachtlijsten voor werkgroepen de directe aanleiding waren voor de door Bomhoff voor de SVB gevoerde juridische strijd tegen die wachtlijsten. Omdat de universiteiten die strijd verloren, moest de politiek acuut voor een noodoplossing zorgen: dat werd een numerus fixus met, uit mijn hoofd, directe toelating met eindexamencijfer 7,5 of beter, en integraal loten voor de overige kandidaten. Staatssecretaris De Braauw was daar destijds voor verantwoordelijk, DS70 (de partij van Drees Jr.). De loting is niet iets dat uit de koker van de PSP of de PvdA kwam, meen ik. Waarschijnlijk was de situatie in enkele Duitse deelstaten de inspirator. Het praktische argument destijds was dat het onredelijk zou zijn kandidaten van de ene op de andere dag te onderwerpen aan een selectieprocedure waarop zij niet waren voorbereid.

   
   

10. In de politieke werkelijkheid gaat het om de flessenhals van plaatsen voor coassistentschappen. Daar zit ook een politieke werkelijkheid van de wil van artsen en specialisten in de betreffende ziekenhuizen achter. Dat is dus nog best ingewikkeld, er zijn een of twee proefschriften die daar in het verleden iets over gemeld hebben.

    
    

11. De wet biedt ook de mogelijkheid om op grond van de arbeidsmarkt een numerus fixus in te stellen. Ik weet eerlijk gezegd niet of van die schandelijke mogelijkheid door universiteiten gebruik is gemaakt (met instemming van de minister of de staatssecretaris). Ik moet er de wet- en regelgeving maar eens nauwkeurig op nakijken. Traditioneel gaat het hier om kunstgeschiedenis, en enkele andere studies waar vooral veel meisjes voor kiezen, die na hun afstuderen in deeltijdbanen gaan werken. Politici wilden daar paal en perk aan stellen. Roeptoeters zijn het. De werkelijkheid kan wel eens heel anders zijn, zoals Marja van Erp en Jaap Dronkers aangeven.

    
    

    "... meisjes opteren voor studies waar het later mogelijk zal zijn de beroepsuitoefening te combineren met zorgtaken voor de eigen kinderen. Jongens en meisjes hebben hier wel gelijke kansen, maar maken daarin andere keuzen. Dronkers en Van Erp wijzen dan op een belangrijk gevolg: de kansen van vrouwen op de arbeidsmarkt lijken daardoor slechter, en daardoor ook de arbeidsmarktrelevantie van die opleidingen die vooral door vrouwen worden gekozen. "

    Ben Wilbrink (1997) Terugblik op toegankelijkheid: Meritocratie in perspectief. in M. van Dyck: Toegankelijkheid van het Nederlandse onderwijs. Studies (p. 341-384). Den Haag: Onderwijsraad.html]

    
    

12. Pro memorie. Uit het bovenstaande is het duidelijk dat studiestaken niet een studieresultaat is zoals de hoogte van de cijfers of de mate van studievertraging dat zijn, tenzij anders is aangetoond. De eerder gegeven argumentatie dat studieresultaten geen behoorlijk criteria kunnen zijn voor een DS gelden daarom niet vanzelfsprekend ook voor studiestaken.

De literatuur chronologisch

De wetgever heeft decentrale selectie (DS) pas recent toegestaan. Het begrip mag dan heel nieuw zijn, in de geschiedenis van de maatschappelijke discussie over toelating tot universitair onderwijs, in het bijzonder tot numerus-fixus-studies, is eigenlijk altijd sprake van mogelijkheden om die toelating via een of andere vorm van selectie te doen. De relevante literatuur is dus niet beperkt tot de 21e eeuw. In feite is het eerste artikel, Edgeworth (1888) over selectie voor de Britse Civil Service in India, een sleutelpublicatie voor ongeveer alles wat volgt. Edgeworth werkt op briljante wijze uit wat het meten van intellectuele kenmerken zo insnijdend anders maakt dan het meten van fysieke kenmerken zoals lengte en gewicht. De negentiende eeuw was bezeten van nauwkeurigheid, zie Wise (1995), maar natuurwetenschappelijke nauwkeurigheid is op geen enkele manier binnen handbereik te krijgen waar het gaat om het meten van intellectuele kenmerken. De belangrijkste redenen zijn niet ver te zoeken: het is niet mogelijk om met exacte definities te werken bij het ontwerpen van examens, en ieder examen bestaat noodzakelijkerwijs uit slechts een beperkte steekproef van het intellectuele kunnen van de gegadigden. Natuurlijk, voor deze hindernissen worden wel handige oplossingen bedacht: knip de stof op in heel kleine stukjes, en stel er heel veel kleine vragen over. Over die kleine stukjes stof kunnen vakgenoten het wel met elkaar eens zijn, en heel veel kleine vragen maakt de steekproef uit de intellectuele capaciteiten groter. Toch? Nee dus, als het onderwijs in de greep is van handige jongens die op deze manier pseudo-objectiviteit in examens brengen, dan gaat het onderwijs naar de verdommenis.

M. Norton Wise (Ed.) (1995). The values of precision. Princeton University Press.

Dus is in deze chronologische lijst ook de oudere literatuur me discussie over de toelating tot hoger onderwijs opgenomen. Geleidelijk gaat dat in de zestiger, begin zeventiger jaren over naar een discussie over specifieke vormen van selectie bij numerus-fixus-studies, waarbij meestal ook combinaties van selectie en loten aan de orde zijn. Het daarom vaak kunstmatig of bepaalde discussiebijdragen vooral over selectie gaan, of vooral over loten. Mijn eigen bijdragen aan de maatschappelijke discussie gaan vooral over de beperkte mogelijkheden om met selectie een maakbare wereld te krijgen, zodat loten een default optie is: deze artikelen gaan in de literatuurlijst over decentrale selectie. Maar zodra de inhoud minder gaan over techniek, en meer over het mogelijkheden om schaarste te verdelen, plaats ik ze in loten_nf. Check voor de volledigheid dus ook het bestand loten_nf.

1888 De toevalsfactor in examenuitslagen door de wetenschap uitgelegd

Edgeworth, F. V. (1888) The statistics of examinations. Journal of the Royal Statistical Society, 51, 599-635 JSTOR read online free, also 'The element of chance in competitive examinations', ibid, vol. LIII (1890), pp. 460-75 JSTOR read online free, 644-63 JSTOR read online free.

• An authorized summary of this and the second article is published in the little book by P. J. Hartog (1918). Examinations and their relation to culture and efficiency.. London: Constable. pdf
• Een grondlegger (profile) van de statistiek (history of statisticslegt hier uit dat examens in behoorlijke mate toevallige uitkomsten geven, en hoe daar verstandig mee om te gaan.
• Wat Edgeworth hier uitlegt is zo fundamenteel voor zowel de thematiek van decentrale selectie als die van loten bij selectie, dat hetzelfde extract ook op de complementaire pagina over loten staat.
• p. 626: "Even when we have abolished the order of merit within the honour class, there remains an inevitable injustice in excluding those who are just below the boundary line of that class. Can nothing be done to mitigate this hardship? Ought not the excluded candidates to have at least a chance of entering within the pale, corresponding to the probability that they really deserve to be there? Might it not be permitted to those who are in the neighbourhood of the boundary to ballot for a certain number of places? In this lottery the chances should not be equal for all, but graduated according to the probability above determined that each candidate ought by rights to be in the honours class. The Calculus affords a neat expression for this probability. (...) The probability thus measured ranges from 1/2, an even chance, to zero, which represents the certainty that candidates at a certain distance from the Honour line are placed in the right category. It would be easy to contrive a composite sort of ballot box, by means of which the examiners, met in solemn conclave, should settle the position of the candidates wbout whom there mght be any doubt. This elegant piece of mechanism may have attractions for the admirers of educational machinery. But on reflection it will be found that this additional wheel is superfluous. The candidates have already had their chance. [note 39: ... In urging the need of some such remedy Mr. Elliott dwelt on the anomaly that, at many of the Civil Service Examinations, a seroious difference in the income and position of the candidates turns upon differences in the aggregate of marks which, according to the reasoning in this paper, must be regarded as largely or altogether accidental. ] A public examination is already a sort of lottery of the graduated species which I have been describing: one in which the chances are not equal, but are better for the more deserving; increasing with the real merit of the candidates up to a degree of probability which amounts to certainty. It is a species of sortition infinitely preferable to the ancient method of casting lots for honours and offices." (wat me onmiddellijk nieuwsgierig maakt naar die oude methode en wanneer en waar die werd gebruikt, maar daar zwijgt Edgeworth over). Zie ook (opvragen UB UvA) 'The element of chance in competitive examinations', Journal of the Royal Statistical Society, 53, (1890), pp. 460-75, 644-63.
  
  

1903 Toelating tot Harvard etc. in de 19e eeuw

Broome, E. C. (1903/1963 reprint). A historical and critical discussion of college admission requirements. Princeton, New Jersey: College Entrance Examination Board.

1924 Opmars van de psychologische test

Hadow, Sir W. H. (chair) (1924). Board of Education. Report of the consultative committee on psychological tests of educable capacity and their possible use in the public system of education. London: His Majesty's Stationary Office. paper The Committee's Report pp. 1-145. Appendices 146-238 a.o. by Cyril Burt. [as of August 2006 online available www.dg.dial.pipex.com/documents/]

1936 Arbeidsmarkt voor academici, en selectie van geschikten voor de universiteit

Limburg, J. (voorzitter) (1936). De toekomst der academisch gegradueerden. Rapport van de Commissie ter bestudeering van de toenemende bevolking van universiteiten en hoogescholen en de werkgelegenheid voor academisch gevormden. Groningen: Wolters.

• Met hierin een advies van Ph. Kohnstamm en van Gunning over de mogelijkheden van selectie van geschikten voor toelating tot de universiteit.

1948 Empirisch onderzoek naar geschiktheid

G. Révész en H. W. Ouweleen (1948). Problemen der selectie van studenten aan de universiteiten en hogescholen. Psychologische Bibliotheek VI. Amsterdam: Noord-Hollandsche Uitgevers Maatschappij. brochure 47 blz.

• (G. Révész: Balans van de vorderingen der studenten aan de nederlandse universiteiten en hogescholen - H. W. Ouweleen: Onderzoek naar de studiegeschiktheid van aankomende studenten) [Ouweleen pleit voor een rol voor psychologen bij het toelatingsonderzoek; onderzoekje met groep van 109 psychologiestudenten aan de Gem. Univ. van Amsterdam; de bedoeling is 'ongeschikten' te signaleren en uit te sluiten, maar een behoorlijke analyse van wat 'ongeschikt' is ontbreekt, evenals een analyse naar de achtergronden van studiestaken. Heel knullig allemaal.] [Révész hemelt het onderzoekje van Ouweleen op; hij analyseert rendementsgegevens van enkele vooroorlogse generaties en schildert een zwart beeld over studie-uitval, zonder onderzocht te hebben waar uitvallers precies zijn gebleven (verwisselen van studie binnen het HO is niet als uitval behandeld, maar vertrek naar het hbo wel, over de betrouwbaarheid van de statistieken wordt niets gezegd); toch iedere keer weer ongelooflijk te zien hoe vergaande conclusies worden getrokken op basis van administratieve tabelletjes]

1949 Reinink en de reorganisatie van het WO

Reinink, H. J. (voorzitter) (1949). Rapport van de staatscommissie tot reorganisatie van het hoger onderwijs. 's-Gravenhage: Staatsdrukkerij en Uitgeverijbedrijf.

• p. 474: "Vervolgens hield de Sectie (FV, voorzitters van Faculteitensecties) zich bezig met de nota in zake universitaire examens, welke haar op haar verzoek door Prof. Dr Ph. Kohnstamm was voorgelegd, en zij kwam tot de conclusie dat er een einde dient te komen aan de bestaande toestand, waarbij in de faculteiten het individualisme zo sterk heerst, dat het praktisch niet mogelijk is een hoogleraar, die te hoge eisen stelt bij zijn examens, enige rem aan te leggen.De volgende mogelijkheden tot oplossing van dit vraagstuk werden bekeken, zonder dat er voorlopig een beslissing over werd genomen:1.het instellen van een contact-commissie van docenten en studenten, waarbij klachten kunnen worden ingediend, en daarnaast 2. het verlenen van de bevoegdheid aan de facuteit tot het instellen van een orgaan, belast met het leiding geven in elk der studierichtingen in de faculteit (uitwerking van het beginsel van het 'studieleiderschap', zoals dat b.v. vbij de opleiding voor de akte M.O Paedagogiek bestaat); zulk een orgaan zou zich moeten bezig houden met de kwestie van de examineertechniek."
• p. 475; In zijn nota doet Kohnstamm een voorstel voor drie punten op te nemen in een reglement voor elke faculteit. Het eerste punt kreeg algemene steun: "1. de instelling van een commissie tot bespreking van wensen en opmerkingen over studierichtingen en examens, ook met vertegenwoordigers van de studenten." "Met betrekking tot punt 2 besloot de Sectie haar instemming te betuigen met het voorstel tot vaststelling van een bepaalde studieduur voor elke studierichting. Die duur ware te bepalen op de tijd, welke een normaal student, die behoorlijk werkt, voor de voorbereiding van zijn examens nodig heeft.""De Sectie is zich er wel van bewust, dat hiermede slechts een norm kan worden gesteld; overschrijding daarvan stempelt de betrokkene zeker niet tot een minderwaardig student. Assistentschappen b.v. en tal van omstandigheden van persoonlijke en maatschappelijke aard kunnen leiden tot verlenging van de studieduur. Het ongelimiteerde uitdijen van het studieprogamma moet echter door een bepaling als bovenbedoeld worden voorkomen. Een studiecommissie dient hierop toe te zien. Het gaat dus eigenlijk om een bepaling van de studieduur waarop het onderwijs en de examens moeten worden ingesteld." "Mede met het oog op de zeer uiteenlopende omstandigheden, waaronder academische studie door tal van studenten volbracht moet worden, is de sectie van mening dat het niet gewenst is algemene regels te stellen op grond overschrijding van bepaalde tijdslimieten of van herhaalde afwijzing voor bepaalde examens de verdere toegang tot de examens af te sluiten.
• p. 118 Rapport van Sectie D (Toelating tot hoger onderwijs, o.a.). Voorzitter G. Bolkestein. Onder de leden Ph. Kohnstamm en Ph. Idenburg. Het eerste onderwerp is a. Numerus clausus. E. M. Meyers, lid van de Commissie, heeft de volgende stelling geponeerd en ter kennis van Sectie D gebracht:"De grote toevloed van studenten naar alle universiteiten en de vermoedelijk slechte economische verhoudingen in een niet te verre toekomst hebben mij de overtuiging gegeven, dat thans het belangrijkste onderwerp voor de toekomst van onze universiteiten is: Hoe beperkt men de toeloop en welk stelsel is mogelijk en uitvoerbaar om bij een eventuele 'numerus clausus' de besten en meest geschikten voor iedere opleiding te kiezen. De beantwoording van deze vraag zal meer dan de formele van de organisatievorm [sic] voor de toekomst van het hoger onderwijs beslissend zijn."
• p. 119: "Sectie D heeft heeft dit onderwerp besproken en is tot de conclusie gekomen, dat deze vraag in eerste instantie ter beoordeling aan Sectie B moest worden voorgelegd, als zijnde een kwestie van 'Universiteit en Maatschappij.' Eerst indien Sectie B tot de conclusie zou zijn gekomen, dat een 'numerus clausus' inderdaad tot stand moest komen, zou Sectie D voor de technische uitvoering daarvan aangewezen zijn. Inmiddels is echter aan Sectie D gebleken, dat Sectie b voorshands niet voor een dergelijke numerus clausus voelt."
• p. 119: "Gewezen moet worden op het feit, dat een 'numerus clausus' bij de inrichtingen van hoger onderwijs reeds behandeld is in het 'Rapport van de Commissie ter Bestudering van de toenemende Bevolking van de Universiteiten en Hogescholen en de Werkgelegenheid voor Academisch Gevormden.' Verwezen wordt naar het hoofdstuk XVII van dit rapport (pag. 575-590) en naar de 'Conclusies' van hoofdstuk XVIII (pag. 599-602). Ook in de sinds 1936 veelszins veranderde maatschappelijke verhoudingen van nu - meent Sectie D - heeft de behandeling der kwestie van de 'numerus clausus' in genoemd rapport nog haar waarde." p. 120: c. Toelating tot de examens "Daar echter de examens nagenoeg altijd worden afgelegd met het oog op het bekleden van een maatschappelijke betrekking, acht Sectie D ten aanzien van hen, die deze examens afleggen, tweeërlei nodig: Vooreerst een psychologsch onderzoek om na te gaan of de student de aanleg en geschiktheid bezit, nodig voor de studie, die hij wenst te volgen. Vervolgens een medisch onderzoek, om na te gaan of de student physiek en psychisch in staat mag worden geacht de betrekking te bekleden, die hij zich voorstelt. Uiteraard behoren beide onderzoeken aan het begin van de stduie der studenten plaats te vinden. Voorshands zal het niet mogelijk zijn aan de uitslag van beiderlei onderzoek anders dan een adviserend karakter te geven. Iedere inrichting van hoger onderwijs hebbe voor dit beiderlei onderzoek een eigen instelling. Het resultaat van deze onderzoeken wordt alleen ter kennis gebracht van de onderzochte (tenzij voor wat het medisch onderzoek betreft daartegen bezwaren bestaan): het heeft dus een vertrouwelijk karakter. Naast een academische inlichtendienst zal voor het psychologisch onderzoek een academische psychologische dienst gewenst zijn, benevens een psychologisch adviseur. De rechtvaardiging voor de hierboven voorgestelde maatregelen wordt gevonden in het poersoonlijk belang der hierbij betrokken studenten en het algemeen belang dat de gemeenschap heeft bij het brengne van de rechte persoon op de plaats die voor hem (haar) geschikt is.Bovendien heeft de universiteit er belang bij, dat haar werk niet besteed worde aan personen, die dit werk niet kunnen realiseren, terwijl zoveel mogelijk moet worden voorkomen dat overheidsgelden uitgegeven worden voor studie, die tot geen enkel resultaat kàn leiden."
• p. 111 (Sectie B: Verhouding hoger onderwijs tegenover maatschappij en wetenschap): Tenslotte heeft de Sectie zich met het prbleem bezig gehouden, datt er nu eens te veel, dan weer te weinig academisch gevormden zijn in de maatschappij.Voorzover de Sectie bekend, worden thans geen pogingen aangewned om dit verschijnsel voldoende te verklaren. Tot nog toe is niet gepoogd voor de maatschappelijke behoefte een juiste prognose te maken. De Sectie meent, dat het nodig is de maatschappelijke behoeften aan wetenschappelijk gevormden tot een object van studie te maken. Zij ziet hierin een special taak voor speciale mensen. Zijn de labiliserende factoren gevonden, dan kunnen vele problemen op een behoorlijke wijze worden aangevat. Instelling van een speciaal orgaan, een soort planbureau, zou hiervoor dan zijn aangewezen. (...)." Overigens komt er in het hoofdstuk van Sectie b geen uitspraak over de onwenselijkheid van een numerus clausus voor. Wel vind de Sectie dat voor de universiteit meer belangstelling moet worden gewekt, maar niet duidelijk is uit die formulering of de Sectie bedoelt dat er meer jongeren moeten gaan studeren. Dat laatste schemert overigens wel door in een aantal passages over ouderen die alsnog willen gaan studeren, over het instellen van een bachelorschap voor degenen die een korte opleiding willen (een algemeen wetenschappelijke training'). De Commissie (Centrale Sectie) neemt in hoofdstuk III de punten van de Secties B en D over, maar heeft over de waarde van een psychotechnisch onderzoek minder hoge verwachtingen. Een verplichte test is voorlopig ongewenst. De Commissie wil de mogelijheid dat instellingen tijdelijk een toelatingsbeperking kunnen hanteren bij capaciteitsproblemen. Een toelatingsbeperking op basis van prognoses van maatschappelijke behoefte aan afgestudeerden is ongewenst, gezien het ontbreken van kennis daarover (Sectie D).
• p. 33: "De Commissie is bij het ontwepen van een regeling voor toelating tot universitaire examens uitgegaan van het beginsel, dat alle intellect, geschikt voor hoger onderwijs, zoveel mogelijk tot gelding moet komen. Een der consequenties, die zij hieruit heeft getrokken, is, dat aan bepaalde categorieën, die aan de door de huidige wet gestelde eisen niet voldoen, op grond van andere criteria de gelegenheid moet worden gegeven tot het afleggen van examens aan de universiteit."

1951 De ethiek van verdeling bij schaarste

John Rawls (1951). Outline of a decision procedure for ethics. Philosophical Review, 60, 177-197. Reprinted in Samuel Freeman (Ed.) (1999). John Rawls. Collected papers (pp. 1-19). Cambridge, Massachusetts: Harvard University Press. pdf Voor mijn annotatie zie loten_nf.htm#Rawls

1957 De grenzen van wat psychologische selectie vermag

Lee J. Cronbach and Goldine C. Gleser (1957/1965). Psychological tests and personnel decisions. Urbana, Illiois: University of Illinois Press.

• This text does not seem to be available on the www, as of july 2008. books.google does mention the book, no content is offered, however.
• In the second edition also some appendices, among them a paper by Robert F. Van Naerssen on the selection of drivers in the military (decision theory applied to this selection problem), based on his dissertation on the subject.
• Which makes me observe that this study by Van Naerssen is possibly the first important Dutch contribution to the international literature on personnel selection.
• Personnel selection, of course, is just the broader category subsuming selection for admission to higher education as well.
• The Netherlands never have had a shortage of expert knowledge on selection, at least not since World War II.
• Eerder, in 1957, promoveerde Van der Giessen aan de VU op selectie van militair personeel. Hij kon nog niet beschikken over de studie van Cronbach en Gleser. Er werd druk op dit onderwerp gepromoveerd door psychologen in militaire dienst, het was de tijd dat bijna alle Nederlandse jongens nog voor opkomst in militaire dienst een batterij tests moesten invullen.

1958 De idee van meritocratie neergesabeld

Young, M. (1958). The rise of the meritocracy, 1870-2033: An essay on education and equality. London: Thames and Hudson.

1959 Hoeveel intellect heeft ons land?

J. C. Spitz (1959). De reserve aan hoger intellect in Nederland. Den Haag: Centraal Planbureau Overdrukken no. 61 uit Universiteit en Hogeschool,77-93.

• [analyseert o.a. testgegevens van de militaire-dienstkeuring, concludeert dat er tot 1970 nog voldoende ruimte is voor doorgroeien van het hoger onderwijs zonder daling van gemiddeld intelligentieniveau, ook zonder niveaus van kweekschool en dergelijke opleidingen aan te tasten: reserves zijn er op het platteland en onder het vrouwelijk deel der natie.

Willems, P. J. (1959). Voorspelbaarheid van studiegeschiktheid voor hoger onderwijs. Nijmegen. Proefschrift.

1964 overschatten van wat selectie vermag: een doctor komt terug op de conclusies uit zijn dissertatie

Willems, P. J. (1964). Een proefschrift beproefd. Nederlands tijdschrift voor de Psychologie, 321, 124-136.

1965 Geen nf, maar een extra medische faculteit in Rotterdam

Naerssen, R. F. van (1965). In Cronbach, L. J., & G.C. Gleser, G. C. (1957/1965). Psychological tests and personnel decisions. Urbana, Illiois: University of Illinois Press.

• p. 274: ... when validity is low, selection ratio is extreme, test cost is high, and/or the range of utility is small, then it is better to let candidates be chosen by chance than to test them. [nb: het onderzoek van Van Naerssen gaat over de selectie van chauffeurs in het leger, van dienstplichtigen dus]

Voor een artikel over toelating tot nf-studies is een stukje geschiedenis onmisbaar. Let er dan op dat in 1965 of 1966 een numerus fixus voor geneeskunde in de kamer aan de orde is geweest, en verworpen. Voor het departement betekende dat dat er een nieuwe faculteit bij moest komen om al die studenten op te vangen, dat werd Rotterdam.

1968 Het revolutiejaar: studenten gaan eisen stellen

Wilbrink, B. (1968). Multiple discriminant analyse van de Cattell 16 P.F.Q. voor studenten in zeven studierichtingen aan de T. H. E. Eindhoven: Groep Onderwijsresearch. (verslag stage-onderzoek, niet gepubliceerd) html

• Laat zien hoe MDA handig is te gebruiken om kandidaten te adviseren over hun meest 'passende' studierichting. Zie ook later onderzoek van Holland en de zijnen, en longitudinaal onderzoek verricht in het kader van het Amerikaanse Project Talent (Flanagan). Een hypothese voor verder onderzoek zou zijn dat qua profiel 'beter passende' studenten een betere studie- en beroepsprognose hebben. Een daarmee op gespannen voet staande hypothese is dat voor de innovatieve kracht van een discipline het juist gewenst is 'buitenbeentjes' te hebben en te houden. Adviezen van de commissies Van Os en Maris in 1968 wezen op een cultuuromslag waarin wel eens misbruik van dergelijke technieken gemaakt zou kunnen worden. In de geradicaliseerde cultuur onder studenten was de gevoeligheid voor mogelijke kwade trouw bij bestuurders groot: vlak voor het National Congres Onderwijsresearch kwamen Boekraadt en Van Nieuwstand met hun brochure over de radenuniversiteit, zodat er op dat door studenten druk bezochte congres een revolutionaire sfeer in sommige zalen hing.

1969 In Groningen is selectie 'hot'

Kongresboek '69 Aktie Demokratsering Subfaculteit Psychologie R.U. Groningen.

• Hierin van W. Hofstee een stuk over selectie, met commentaar van van Strien en van Wijnen. Voor een uitvoerig citaat over de spanning tussen selectie en loten, zie loten_nf.htm#Kongresboek

Hofstee, W. K. B. (1969). Selektie. Inaugurele rede. Groningen: Rijksuniversiteit Groningen.

1970 Selectie: nut (vNaerssen) of onnut (Groningen)?

Hofstee, W. K. B. (ongedateerd). Individuele verschillen, een averechtse toepassing.

• p. 3: Voor de stelling, dat de selektiepraktijk minder dan wenselijk zou zijn op rationele gronden is gebaseerd, zijn meer argumenten aan te voeren'. Zo is het een merkwaardig feit dat praktisch nimmer lotingsprocedures worden toegepast en zeker niet door psychologen worden gepropageerd. Dat terwijl men in veel gevallen vrijwel in het duister tast omtrent de aard van het kriterium, zodat volgens het boekje een systematische selektie niet eens mogelijk is. Moet men, wanneer dan toch de numerus fixus zijn intree zal hebben gedaan, medicijnenstudenten gaan selekteren op de voorspelde tijd, waarin ze hun doktoraal halen, op hun voorspeld jaarinkomen op 40-jarige leeftijd, op de voorspelde mortaliteit onder hun patiënten, of wat eigenlijk? In veruit de meeste selektiesituaties moet worden gekozen tussen een aantal verdedigbare kriteria, waarvan bovendien de onderlinge samenhang praktisch nihil zal zijn, zodat het wel degelijk uitmaakt waartegen men selekteert. De keuze van een bepaald kriterium is, hoewel verdedigbaar, betrekkelijk Willekeurig. Uit dien hoofde alleen al zou kunnen worden verwacht, dat een lotingsprocedure vaker zou worden aangewend. Om nog maar te zwijgen van de vele gevallen waarin niet alleen onderzoek, maar zelfs een systematische bezinning over het kriterium ontbreekt. Het is in dit verband bijzonder omineus,dat veel psychologen, wanneer ze over "kriterium" spreken, de aftestgrens bedoelen

Miller, G. W. (1970). "Success, Failure and Wastage in Higher Education." George Harrap, London.

Naerssen, R. F. van (1970). Het nut van selectie, enkele voorbeelden. In Drenth, Willems, & de Wolff, Bedrijfspsychologie. Deventer: Kluwer.

1971 Wachtlijsten en loterijen? Nee, universiteiten moeten gewoon onderwijs geven

DeWitt, L. B. (1971). A lottery system for higher education. Notes on the Future of Education, volume 2 issue 3, summer 1971, 9-12. A publication of the Educational policy Research Center at Syracuse.

Hazewinkel Intermediair 29-10-1971 'Selectie van studenten' herdrukt in OTO, 1972.

Aad Hazewinkel (1971). Enkele gedachten over selectie voor het medisch hoger onderwijs. Rotterdam: Afd. Onderwijsresearch medische faculteit.

M. Jørgensen 1971/1972). Van schooloproer tot oproerschool. Demokratisering van een school. Het experimentele gymnasium van Oslo als uitdaging. Baarn: Het Wereldvenster. Zo beschrijft Appelhof (in het voorwoord tot Jørgensen (1972) kort hoe in Noorwegen rond 1970 het eindexamen werd gebruikt als selectieve toelating tot een hoger onderwijs met veel te weinig beschikbare plaatsen, waardoor de laatste jaren van de gymnasiale 'opleiding' werden misvormd tot een permanente cijferjacht.

Rosenblatt, J. R., & Filliben, J. J. (1971). Randomization and the draft lottery. Science, 111, 306-308..

Sies Wiegersma (1971). Studiebeperking gaat niet samen met studievrijheid. Capaciteit structureel probleem van het hele tertiaire onderwijs. NRC Handelsblad 16-11-1971.

• Voor citaten uit dit stuk, over beperkte mogelijkheden die selectie nied, en hoe een combinatie met loten dan voor de hand ligt, zie loten_nf.htm#wiegersma.1971

Wilbrink, B. (1971). Levert selectie in het hoger onderwijs iets op? COWO UvA november 1971. [geen digitale versie beschikbaar, althans nog niet]

• Zie loten_nf.htm#Wilbrink.1971, en delen van de samenvatting hierbeneden.

Wilbrink, B. (1971). Levert selectie in het hoger onderwijs iets op? Samenvatting en conclusie van een rapport in voorbereiding. COWO UvA november 1971.

• (Het 'rapport in voorbereiding' is inderdaad geschreven, waarschijnlijk toch tegelijkertijd, en heeft dezelfde hoofdtitel, november 1991).
• p. 4: Selectie in het hoger onderwijs, zoals die in nog verscherpte vorm door het wetsvoorstel herstructurering voorgeschreven wordt, beantwoordt niet aan de verwachtingen. Weliswaar is het mogelijk, zij het in geringe mate, om enkele "ongeschikte" studenten af te wijzen op basis van een selectie-procedure. De kosten die daar tegenover staan zijn echter hoog, zoals de kosten van het ontwikkelen en uitvoeren van selectie-procedures; de aan selectie bestede tijd die veelal beter aan onderwijsverbetering besteed zou zijn; ongewenste vormen van sociale selectie die volgen uit examenprocedures; en ongunstige effecten op de kwaliteit van het onderwijs. Hoewel genoemde kosten-aspecten niet gekwantificeerd zijn, moet op basis van de gegeven analyse aangenomen worden, dat zij de eventuele voordelen van selectie zullen opheffen of overtreffen. Deze selectie is dan ook te veroordelen als irrationeel, biedt geen garantie t.a.v. het "niveau" van de opleiding en staat democratisering van de toegang tot het hoger onderwijs in de weg. In de specifieke situatie van het nederlandse hoger onderwijs zal het hanteren van een lotings-procedure veelal de enige aanvaardbare methode zijn om toe te laten aantallen studenten te beperken. Beoordelingsprocedures tijdens het onderwijs dienen geen selecterende, maar een onderwijs-ondersteunende functie te hebben." Verwijst naar Cronbach 'Test validation' in Thorndike, 1971; Cronbach Essentials 1970; Hazewinkel Intermediair 29-10-1971 'Selectie van studenten.; en Van Naerssen 'Het nut van selectie, enkele voorbeelden' in Drenth, Willems & De Wolff (Red.) Bedrijfspsychologie, 1970.
• p. 4: "In de specifieke situatie van het nederlandse hoger onderwijs zal het hanteren van een lotings-procedure veelal de enige aanvaardbare methode zijn om toe te laten aantallen studenten te beperken. "

1972 Het jaar van De Groot

Groot, A. D. de (1972). Selectie voor en in het hoger onderwijs. Een probleemanalyse. 's-Gravenhage: Staatsuitgeverij. Samengevat opnieuw verschenen in A. D. de Groot (1982). Academie en forum. Over hoger onderwijs en wetenschap p. 36-48. Meppel: Boom.

Hofstee, W. K. B. (1972). De Groot komt met beperkte maatregelen, niet met een cratief beleid. De Groene, 2-10-1972.

Jorgensen, M. 1971/1972). Van schooloproer tot oproerschool. Demokratisering van een school. Het experimentele gymnasium van Oslo als uitdaging. Baarn: Het Wereldvenster.

• Zo beschrijft Appelhof (in het voorwoord tot Jørgensen (1972) kort hoe in Noorwegen rond 1970 het eindexamen werd gebruikt als selectieve toelating tot een hoger onderwijs met veel te weinig beschikbare plaatsen, waardoor de laatste jaren van de gymnasiale 'opleiding' werden misvormd tot een permanente cijferjacht.

1973 Of komt er ook een toelatingstoets?

Bruyne, Henk de (1973). Selectie op grond van examencijfers: een fictie. Onderzoek van Onderwijs, 2, no. 1.

Bruyne, H. C. D. de, & Mellenbergh, G. J. (1973?). Selektie geen 'barre noodzaak': adaptief onderwijs biedt meer mogelijkheden. datum en medium onbekend.

Bruyne, H. C. D. de, & Mellenbergh, G. J. (1973). Selectie of aanpassing. Kritische kanttekeningen bij het rapport 'Selectie voor en in het hoger onderwijs, een probleemanalyse' van Prof. Dr. A. D. De Groot. Universiteit en Hogeschool, 20 (3), 111-132. [niet online; ik heb de hardcopy]

• Een belangrijke analyse voor voorstellen zoals die van Ritzen om degenen met cijfers boven de 8 direct toe te laten is een foutenanalyse van het type zoals ook bij het gebruik van de leugendetector is gemaakt door de American psychological Association (zie het boek van Hanson 'Testing testing.' online). De Bruyne en Mellenbergh doen iets vergelijkbaars, dat verdient nadere studie.
• p. 117: "Uit bovenstaande beschouwingen blijkt, dat de selectieprocedure van De Groot beslist niet tot de gewenste resultaten leidt. Men kan er zich niet van afmaken door te stellen, dat er 'bij selectie nu eenmaal altijd wel wat fouten gemaakt worden' [zoals De Groot stelde op een discussie-avond van de faculteit der Sociale Wetenschappen te Utrecht, op 24 januari 1973]. In ons voorbeeld is het percentage 'ten onrechte geselecteerden' aanmerkelijk groter dan het percentage 'terecht geselecteerden' (61% versus 39%); bovendien is de geselecteerde groep wat betreft de intelligentie zeer heterogeen samengesteld. De selectieprocedure faalt bij het selecteren van de 'knapste koppen'. De beleidsvoorstellen van De Groot moeten, ook door degenen die dezelfde waardenoriëntaties aanhangen, als 'onbruikbaar' worden gekwalificeerd." De B en M hebben analyses met het model van Finney gedaan.
• p. 121: De tweede beweegreden van De Groot is, dat doctoraalinstellingen een beperkt opleidingscapaciteit hebben - beperkte mankracht, beperkte otillage, beperkte middelen - die wegens schaarste aan (overheids-)financiën niet uitgebreid kan worden. Zodra het landelijk aanbod van studenten voor een bepaalde studierichting de (landelijke) capaciteit overtreft, wordt een numerus fixus noodzakelijk. Het argument voor een numerus fixus is derhalve: gebrek aan middelen, en niet: schaarste aan bekwaamheid. Men moet dan ook geen quasi onderwijskundige sleectie-van-de-knapsten - wat immers niet lukt - uitvoeren. Een veel reëler alternatief is, hoe vervelend ook voor de betrokkenen, stomweg loten. Daarmee wordt het selectieprobleem weliswaar niet (besliskundig) opgelost, maar het heeft het onbetwistbare voordeel, dat de uitgelotenen tenminste niet het etiket 'ongeschikt' opgeplakt krijgen zoals in het systeem-De Groot.

Vastenhouw, J. (1973). Optimale rationele selectie: een waardenprobleem. Onderzoek van Onderwijs, 2, no. 4.

Werkgroep Selectie (voorzitter S. Wiegersma). Brief aan de minister 12 juni 1973, bijlage nr. V bij de memorie van toelicchting op het wetsontwerp machtigingswet (kamerstuk 12929).

Wilbrink, B. (1973). Kommentaar op de aanbevelingen van de werkgroep Wiegersma. COWO UvA 1 februari 1973. [Advisering tbv de afvaardiging van de UvA naar de Academische Raad.]

• Stuk van 1 A4, vooral over de 'speciale toets op vrijwillige basis' die de wg Wiegersma voorstelde.

1974 Het jaar van prof. Bakker (NRC)

Algemeen Dagblad, Dick van Reeuwijk, 23 maart 1974. Prof. Diepenhorst: Studentenloterij verlaagt het peil.

• "Zo lang er geen betere methoden zijn de studiegeschiktheid te meten, wil prof. Diepenhorst de cijfers van het eindexamen wel degelijk laten meetellen, zodat 20 procent van de studentenplaaten wordt gereserveerd voor de knappe koppen van het voortgezet onderwijs." Diepenhorst: "Een eindexamen is ten slotte niet niks en ik vind het volstrekt rechtvaardig de resultaten daarvan te laten tellen. Er zullen steeds meer studiestoppen doorgevoerd moeten worden, dus er zal steeds vaken om een plaats geloot moeten worden. Als daarbij iedereen een gelijke kans heeft, zal dat zonder meer betekenen dat het gemiddelde epil lager komt te liggen." [Merk op dat Diepenhorst er vanuit gaat dat niet-geplaatsten ook niet elders gaan gaan studeren, althans een belangrijk deel van hen! Dat is een veronderstelling die in de vroege jaren zeventig vaker is te lezen, en hier en daar ook wel wordt ondersteund met cijfers over baantjes en parkeerstudies (een parkeerstudie laat natuurlijk geen talent verloren gaan)]. De vraag waar de overheid moet uitbreiden of afremmen, is erg moeilijk te beantwoorden. De meeste vraag bijvoorbeeld bestaat nu in de medische richting maar over acht jaar zal de huidige opvangcapaciteit wèl voldoende zijn.

Bakker, K. (1974). Alle geslaagden zijn geschikt, maar sommige geslaagden zijn meer geschikt dan anderen. NRC Handelsblad, 11-10-1974.

Bakker, K. (1974). Selecteren of loting. NRC Handelsblad 28-6-1974. Bloemlezing uit bijna 200 reacties op een eerder artikel in het Cultureel Supplement van 31 mei 1974.

Bakker, K. (1974). Selectie of loting. Acta et agenda, 7 (7), 125-129. 26 september 1974.

Bakker, K. (1974). Repliek op Wilbrink 'Selektie is irrationeel'. NRC Handelsblad 11-10-1974.

Bakker, K. (1974). Selectie of loting. NRC Handelsblad 31-5-1974.

Bakker, K. (1974). Tegen loting. Universiteit en Hogeschool, 21 (3, dec), 104-118.

• Geeft een tabel 'Verband tussen sociaal milieu en studieresultaten bij enkele faculteiten voor mannelijke studenten.' (ontleend aan CBS 1962 Eindexamencijfers en studiekeuze der mannelijke abituriënten V.H.M.O. 1954-1955, tabel 7). p. 109; "Het is onder dergelijke omstandigheden redelijk te trachten om een zodanige selectie van de adspirant-studenten toe te passen dat er zo mn mogelijk studenten worden uitgesloten van de stdie die in staat zullen zijn deze studie te volbrengen. Bij de selectie behoort men ook de mate van geschiktheid te betrekken: een student die een zes voor een tentamen of examen behaalt is niet 'even geschikt' als een student die een acht behaalt." Beide stellingen van Bakker zijn onzinnig. De eerste omdat de numerus fixus niet heeft te maken met een plaatsbeperking in alleen de propedeuse, bv.. De tweede omdat hogere eindexamencijfers dan anderen geen een niet bijzonder relevante (valide) predictor voor succes in toekomstige studie en beroep zijn. Op p. 116 zegt Bakker dan: "Er is op gewezen dat goede eindexamencijfers of studieresultaten geen waarborg zijn voor goede beroepsprestaties." Dit is natuurlijk waar, maar onder de huidige omstamdigheden ook niet anders te verwachten." Bakker heeft altijd gelijk, al is het door de toekomst te veranderen. En als het hem van pas komt, kiest hij gewoon weer de omgekeerde stelling, zoals op p. 117; "Ik vind het echter onverstandig om een pleidooi voor een toekomstige structuur van de universiteit te koppelen aan een pleidooi voor loting als toelatingsprocedure voor de huidige iuniversiteit." En zo kunnen we eindeloos doorkeutelen.

Blom, J. (1974). Toelating tot de universiteiten: Loting of een rechtvaardiger systeem?. Belhamel nr. 17 blz. 8 (LH Wageningen) 4-11-1974

Bochnik, Donike & Pittrich (1974). Numerus clausus in der Medizin. Entwicklung, Analyse, Prognose. Frankfurt/M. Niet in PICA. Niet verder gezocht.

Crombag, H. F. M. (1974). Over een kontroverse die een dilemma is. Universiteit en Hogeschool, 21 (3, dec),153-156.

• p. 154: "Die geëmotioneerdheid blijkt er ook uit dat mensen onzin gaan beweren zonder het te merken, mensen die beter moesten weten. Als voorbeelden kunnen Leppink en Veldkamp [G. J. Leppink en F. D. Veldkamp in NRC Handelsblad van 11-10-1974] dienen, die zich in de krant laten aankondigen als hoogleraren in de mathematische statistiek en in de zuivere wiskunde. In hun artikel konstateren zij, dat in de studierichtingen van de fakulteiten der wiskunde en natuurwetenschappen 'een vrij sterke correlatie tussen eindexamencijfers en studieresultaten' bestaat. Hoe sterk ';vrij sterk' is vermelden zij niet, misschien omdat zij vermoeden, dat als het om getallen in de orde van grootte van 0,40 of 0,50 gaat deze onvoldoende zijn om een redelijke selektie mogelijk te maken [vgl. A. Hazewinkel, Enkele gedachten over selektie voor het medisch hoger onderwijs, Rotterdam: Afd. Onderwijsresearch Medische Fakulteit, 1971]. Maar daar gaat het mij nu niet om. Interessant is wat zij op bovenstaande konstatering laten volgen. Ik citeer letterlijk: 'Niet alleen statistisch materiaal, maar vooral ook persoonlijke ervaring van de betrokken docenten maken het in veel gevallen mogelijk uitspraken te doen over de kans op succes bij de studie. En die leren vooral dit: de geschikte studenten zijn wel degelijk te onderscheiden in categorieën van goed, redelijk, matig of ternauwernood geschikt.' Wat hier beweerd wordt is, dat samenhangen die niet uit de cijfers blijken er toch zijn, en dat docenten ze met het blote oog, kijkend naar dezelfde gegevens als die waarover de correlaties worden berekend, kunnen zien. Misschien kan je zoiets in de zuivere wiskunde wel beweren, in de wiskundige statistiek kan dat niet. Dat zoiets aan een hoogleraar in de wiskundige statistiek moet worden uitgelegd, laat zien hoe verblindend de gewekte emoties kunnen werken. Terzijde zij opgemerkt, dat De Groot meent dat deze twee wiskundigen Wilbrink's argumenten hebben weerlegd. En daaruit blijkt dan dat ook De Groot bereid is heel wat onzin te slikken als het hem te pas komt." Crombag gaat nog verder over het verpletterende gelijk dat voorstanders van selektie, zoals De Groot, menen te hebben. B.v.: "Misschien heeft Hofstee wel ongelijk als hij meent [W. Hofstee in een interview in de Haagse Post van 5-10-1974)] dat leerlingen met een zes voor wiskunde niet minder gevoelig zijn voor 'persoonlijk leed' dan die met een tien. Zij zijn tenslotte niet al die jaren door 'leraren en kennissen' vertroeteld. Misschien wen je wel aan teleurstelling en angst. Het gaat om verschillen in taxatie, ik herhaal het nog eens met nadruk."

Dawes & Corrigan (1974). Linear models in decision making. Psychological Bulletin, 81, 95-106.

Everwijn, S. E. M., Koopmans, F., & Vroon, A. G. (1974). Rendement van een toelatingsselectie. Onderzoek naar de voorspellende waarde van eindexamencijfers v.w.o. voor het studiesucces in een aantal studierichtingen van het utrechtse w.o.; het rendement van een selectieprocedure t.o.v. een loting in termen van aantallen personen die ten onrechte worden afgewezen of toegelaten. Utrecht: O&OvO, Mededeling nr. 22.

Hofstee, W. K. B. (1974). De keuze voor loting. Universiteit en Hogeschool, 21, 119-124.

• Voor annotatie zie loten_nf.htm#Hofstee.1974

Hoger Onderwijs Cahiers nr 13: "Selektie van studenten" Onderwijspers (oto) Utrecht, 1974.

Koopmans, F., Everwijn, S. E. M., & Vroon, A. G. (1974). Rendement van een toelatingsselectie. Utrecht: O&OvO mededeling 22. Herdrukt (samenvatting en konklusies) in Tertiair, maart 1975, 17-20.

Leppink, G. J., & Veldkamp, F. D. (1974). Repliek op Wilbrink 'Selektie is irrationeel'. NRC Handelsblad 11-10-1974.

• Er is geen dupliek verschenen, er is wel een persoonlijke briefwisseling. Crombag (1974) gaat uitvoerig op dit stuk in.

Mulder, J. de (Red.) (1974). Selektie van studenten: achtergrond / effekten. OTO Hoger Onderwijs Cahiers, 3, nr 13.

NRC Handelsblad hoofdredactioneel. Loten. 22-10-1974

Onderzoek van Onderwijs, 1974, 3, september. Selecteren of loten. Themanummer. De heftige reacties op het CRWO-standpunt in het eerste nummer van deze jaargang, maakten het themanummer opportuun. De reacties verschenen vooral in NRC/Handelsblad, getriggered door hoogleraar biologie Bakker uit Leiden.

Standards for Educational and Psychological Tests. American Psychological Association, 1974.

Wilbrink, B., & H. van der Vleugel. Bij beperkte toelating beslist alleen het lot. Onderzoek van Onderwijs, 1974, 3, april, 3-5. htlm

Wilbrink, B., & H. van der Vleugel. Bij gebrek aan beter. Onderzoek van Onderwijs, 1974, 3, september, 8-12. Idem. Literatuur. 19. html

Wilbrink, B., Cijfers weersproken. Onderzoek van Onderwijs, 1974, 3, september, 13-14. html (aansluitend aan 'Bij gebrek aan beter')

Wilbrink, B., Selectie voor numerus fixus is irrationeel. NRC/Handelsblad Cultureel Supplement, 27 september 1974. html

1975 In de storm van meningen ook nog enkele empirische gegevens

Bakker, C. J. G. (1975). Selectie voor het hoger onderwijs. Samenhang tussen studieprestaties in de exacte vakken op de middelbare school en aan de universiteit. Utrecht: Stichting F. O. M. Overzicht van de bestaande literatuur en over de korrelatie tussen prestaties in de vooropleiding en die tijdens de latere studie. 1 november 1995.

CBS. Factoren die de studieresultaten bij het wetenschappelijk onderwijs beïnvloeden, studentencohorten 1961/'62 en 1962/'63. Mededelingen No. 7618. januari 1975. Vervolg, nr. 7619, februari 1975.

Koopmans, F., Everwijn, S. E. M., & Vroon, A. G. (1974). Rendement van een toelatingsselectie. Utrecht: O&OvO mededeling 22. Herdrukt (samenvatting en konklusies) in Tertiair, maart 1975, 17-20.

Selektiecriteria t.b.v. het technisch w.o.? Tertiair, maart 1975, 21-30. Redaktioneel artikel op basis van mededeling 2 van de Onderwijskundige Dienst van de TH Delft (juli 1974).

Ben Wilbrink (1975). Overzicht van de selectieproblematiek bij numerus fixus regelingen. Deel I. (concept rapport). Amsterdam: C.O.W.O. Spui 21, april 1975. Niet gepubiceerd (druk, druk, druk), niet online.

1976 Selectie voor en in het medisch onderwijs

Adviescommissie Toelatingscriteria W.O. (voorz. E. Warries) (27-2-1976). Eerste advies.

• Annotaties: zie ook "loten_nf.htm#"Warries.1976

Schmied, D. (1976). Abiturnoten, Testverfahren, und prognose des Studienerfolgs. Blickpunkt Hochschuldidaktik 39.

Staveren, G. van, Onderzoek naar methoden en resultaten van selectie voor en in het medisch onderwijs. Amsterdam: Stichting RITP, 1976.

1977 Tegenstanders van loten in cie Warries capituleren

Carnegie Council on Policy Studies in Higher Education (1977). Selective admissions in higher education. Public policy and academic policy. Manning, W. H.: The pursuit of fairness in admissions to higher education, p. 20-65. Breland, H. M., & associates: The status of selective admissions. p. 66-252.

CBS (1977). Factoren die de studieresultaten bij het wetenschappelijk onderwijs beïnvloeden. Cohorten 1961-1962. M3. 's-Gravenhage: Staatsuitgeverij.

• Bevat zeldzame en opmerkelijke gegevens: een uitsplitsing van studiesucces voor groepen ondercheiden naar vooropleiding, examencijfers, zittenblijven, gekozen studrichting. Van deze gegevens is in mijn 1980-publicaties over kansrekeningen gebruik gemaakt.

Centrale Commissie Aanmelding en Plaatsing a.s. eerstejaarsstudenten studiejaar 1977-1978. Jaarverslag.

Coïni, L., J. Kamerbeek, en A. Will (1977). Selectie voor het hoger beroepsonderwijs. Culemborg: Schoolpers.

• (Wie bewaart zoiets? [maar in 2013 toch echt weggegooid] Geeft voor iedere instelling details over de toelating: aantallen aangemeld en geplaatst, plaatsingsprocedure meerkeuze: in volgorde van aanmelding, persoonlijk gesprek, cijfergemiddelde, loting, psychologisch onderzoek, medisch onderzoek, onderzoek naar geschiktheid/aanleg, op grond van 'ideaal' vakkenpakket, inlichtingen schooldekaan. In Holland anything goes.)

Dronkers (1977). Een wetenschappelijke legitimering van een maatschappelijk compromis. [The scientific legitimating of a social compromise] Beleid en Samenleving, 4, 176-179.

Hofstee, W. K. B. (1977). Methodologische notities naar aanleiding van een enquete-onderzoek naar meningen van vwo-eindexaminandi over selektie en loting. Tijdschrift voor Onderwijsresearch, 2, 88-92.

Kortmann, c. a. j. m. (1977). Numerus fixus is juridisch niet te bestrijden. Folia, 23 april 1977. (n.a.v. een uitspraak van het westduitse Bundesverfassungsgericht, en de nederlandse berichtgeving daarover.)

Warries, E. (Voorzitter) (1977). Toelatingscriteria voor de numerus fixus-studierichtingen in het wetenschappelijk onderwijs. Advies van de Adviescommissie toelatingscriteria wetenschappelijk onderwijs. Ministerie van Onderwijs en Wetenschappen. januari 1977.

• zie ook hier
• Samenstelling commissie: E. Warries, K. Bakker, A. Bolhuis, A. Hazewinkel, W. K. B. Hofstee, H. H. Kuipers, W. A. Th. Meuwese, A. C. de Roon, P. M. L. Trommar.
• In het eindrapport van de Commissie Warries komt voorzover ik dat snel kan zien nergens de uitspraak voor dat eindexamencijfers NIET zouden samenhangen met toekomstig studiesucces. De commissie komt met een hoop argumenten die selectie op kwaliteit minder aantrekkelijk doen zijn dan op het eerste gezicht lijkt, maar dat is iets anders dan de stelling dat verschillen in kwaliteit er helemaal niet toe zouden doen. Een voorbeeld is de claim dat scherpere selectie-aan-de-poort zou leiden tot hogere cijfers van studenten, een dus een beter rendement. Dat is een fictie gebleken, omdat in situaties waarin een drastische aanscherping van selectie werd doorgevoerd, is gebleken dat docenten hun beoordelingen aanpassen aan dat hogere niveau, met als gevolg dat cijfers gemiddeld niet beter worden, en het rendement zo bereord blijft als het was. Dat was al de stelling van Hofstee in zijn inaugurale rede, met bewijsplaatsen erbij. Begin negentiger jaren was er een aardige demonstratie van het bedoelde effect, bij gelegenheid van een internationale visitatie electrotechniek (VSNU-uitgave). Alleen de Leuvense opleiding had een extra selectie-aan-de-poort waar geen kinderachtige aantallen studenten afvielen. O wonder, blijkt dat de Belgen er in het propedeutische jaar toch verhoudingsgewijs evenveel laten zakken als in dat in de andere opleidingen het geval was.
  
  Ik kan me wel voorstellen dat bij oppervlakkige lezing zo'n uiteenzetting lijkt op een claim dat eindexamencijfers geen verband houden met verder studiesucces, maar dat laatste is toch echt iets heel anders.

1978 voorspellen van studieresultaten

Cohen-Schotanus, J. (1978). Loting en rendement. Studieresultaten van Groninger medische studenten sinds de numerus fixus. Groningen: Buro Onderwijs Ontwikkeling Geneeskunde.

• p. 5: "Uit de voorgaande gegevens blijkt dat het verwachte hogere studierendement niet gehaald wordt. Dit wordt veroorzaakt door de studieresultaten van de latere studiejaren. In die jaren wordt vrijwel geen verband meer gevonden tussen eindexamencijfers en studieresultaten."

Commentaar van de Universiteit van Amsterdam op het rapport van de Werkgroep Selectie in verband met de machtigingswet inschrijving studenten dd. 31 mei 1978.

Elias, T., Jr. (1978). Naar een universitair toelatingsexamen? De Groene Amsterdammer, 26-7-1978.

Hofstee, W. K. B. (1978). Prediction of academic achievement through tests and interviews: the Dutch situation. Heymans Bulletins HB-78-377-EX, september 1978. [fotokopie ]

Hofstee, W. K. B., J. M. F. ten Berge, W. Molenaar, & Ch. Lewis (1978). De rol van het schoolexamen bij de selectie voor gesloten studierichtingen: psychometrische en onderwijskundige overwegingen. Heymans Bulletin HB- 78-385-EX. Groningen: Psychol. Inst. RUG.

Hofstee, W. K. B., J. M. F. ten Berge, W. Molenaar, & Ch. Lewis (1978). Ongevraagd advies aan de Werkgroep Selectie in verband met de Machtigingswet Inschrijving Studenten. Over mee laten tellen van schoolonderzoek. Doorwrocht stuk. Hofstee, W. K. B. (1978). Schatting van de true score met inachtneming van andere variabelen. Heymans Bulletin HB-78-386-Ex.

W.K.B. Hofstee (1979). Schatting van de true score met inachtneming van andere variabelen. Tijdschrift voor Onderwijsresearch, 4, 38-40. Holleman, J. W. (1978). Selectie bij studentenstops: vier vergeten hoofdstukken van een beleidsadvies; O&O-Intern nr. 11; Utrecht: R.U. Utrecht, afdeling Onderzoek en Ontwikkeling van Onderwijs, februari 1979.

Holleman, W., De effecten van de selectievoorstellen. Utrechts Universiteitsblad, 29 september 1978.

Tromp, H., & De Zwart, H. (1978). Brieven aan Bakker; standpunten en argumenten van voorstanders van selectie. Centrum voor Onderzoek van Maatschappelijke Tegenstellingen.

• (niet uigegeven; 30 bladzijden; niet in mijn bezit). (Verwijzing in concept van Köbben, A. J. F. (8-1983). Had de professor een goed rapport?)
• Later heeft Tromp mijn uitvoerige briefwisseling over lotingskwesties nog bestudeerd. Ik weet niet of daar nog een vervolgpublicatie van het instituut uit voort is gekomen. Het zou me niet verbazen dat Köbben zoiets zou hebben tegengehouden. Dat zou wel pikant zijn. Wie heeft informatie?

Trouw, 15-7-1978. Toelating universiteit alleen op grond van centraal schriftelijk examen.

Trouw. Verzet tegen toets voor universiteit. 9 juni 1978.

Volkskrant. Examen weer invoeren voor universiteit. 9 juni 1978.

Wilbrink, B. (16-6-1978). Effekt van de toelatingstoets. (ongepubliceerd?). (modelberekeningen)

1979 Het Cito neemt opdracht aan die ze niet wil: een toelatingstoets maken

Beantwoording van vragen (...) over een opdracht aan het Cito. Tweede kamer 23 mei 1979 5104-5106.

Broekman, P. K. H., Van Antwerpen, A. P., Meijering, P. H., & Reijnaert, R. J. M. (1979). Studietoetsen voor toelating tot studierichtingen met een numerus clausus. Arnhem: Cito. 15 januari 1979.

• p. 8: "Op grond van het advies van de werkgroep-Wiegersma verzocht de minister van Onderwijs en Wetenschappen in zijn brief dd. 8 juni aan het CITO, om landelijk vergelijkende studietoetsen natuur- en scheikunde te maken voor gebruik binnen een nieuw selectiesysteem voor de numerus fixus-studierichtingen medicijnen, diergeneeskunde en tandheelkunde."
• p. 8: "Het bestuur van het CITO heeft het verzoek van de minister uitvoerig besproken. Uiteraard kwam tijdens deze besprekingen het doorde minister voorgestelde en door de werkgroep-Wiegersma geadviseerde selectissysteem aan de orde. Het bestuur meende echter dat het niet tot taak had daarover een oordeel te geven, maar zich allereerst op een technisch standpunt moest stellen en derhalve zijn aandacht moest concentreren op de vraag òf de door de minister bedoelde studietoetsen ontwikkeld zouden kunnen worden, rekening houdend met de boven aangehaalde richtlijnen. Wel meende het bestuur van het CITO dat ook de vraag aan de orde moest komen òf en, zo ja, in hoeverre de nieuwe toetsen meer c.q. nieuwe informatie opleveren, mede gelet op reeds in gebruik zijnde instrumenten met name de eindexamens."
• Deze bestuursraad, althans de meerderheid ervan, wil liever helemaal niets met de plannen van de minister te maken hebben, maar kan dat geen goede vorm geven. Het gevolg is draaikonterij (zie ook de nog volgende citaten) die toch wel heel opmerkelijk is, ook in die zin dat ze in dit rapport openlijk wordt geventileerd. Een interessant casus wetenschaps-ethiek. De halfslachtige opstelling sleept zich voort totdat Van Kemenade de stekker uit het project trekt, zie Kuijpers (1982) (hierbeneden). b.w.
• p. 8:"Op grond van de in het voorgaande gegeven overwegingen, deelde het CITO in zijn brief dd. 6 juli 1978 aan de minister mee, pas een antwoord te kunnen geven op het door de minister gedane verzoek bedoelde toetsen te ontwikkelen, nadat nader was onderzocht:
  • 'of en hoe het element inzicht een sterker accent kan krijgen' èn
  • 'of en hoe deze toetsen zo zijn te construeren dat ze kunnen functioneren in het door de minister bedoelde systeem'.
• p. 9 "Het [bestuur] gaf de minister in overweging ook na de invoering van het systeem door voortgezet onderzoek te laten nagaan in hoeverre de erbij gebruikte toetsen aan (technische) criteria van onder meer validiteit voldoen en welke invloed (toepassing van) het systeem op het onderwijs heeft."
• Het is moeilijk te geloven, maar waar: er komt voor het project een begeleidingscommissie waarvan Pieter Drenth voorzitter is, leden: J. Boon, A. D. de Groot, J. P. Naeff, C. H. van Norden, P. J. Thung, J. W. Wesseling (secretaris), B. J. Westerhof en S. Wiegersma.

Elias, T., Jr. (1979). Cito: 'selectieplannen Wiegersma toetstechnisch mogelijk.' Pais krijgt eindelijk de 'meer inhoudelijke criteria' die hij in de regeringsverklaring al aankondigde als alternatief voor de 'mider aanvaardbare' loting. Folia 17 maart 1979.

Elias, T., Jr. (1979). Pais kan selectie op basis van louter een universitair toelatingsexamen wel vergeten. 'Zwaar weer' voor een minister: kamervragen van CDA, kritiek van onderwijsresearchers, een aarzelend Cito-rapport en vermoedelijk geen kamermeerderheid. Folia 5-5-1979.

Graaf, R. de (1979). Opnieuw kamervragen over universitair toelatingsexamen. Folia 26-5-1979.

Vragen van Beinema en Deetman (C.D.A.) over het afnemen van studietoetsen voor toelating universitaire studierichtingen met een numerus fixus. Tweede kamer der Staten-Generaal, Aanhangssel der handelingen, p. 327. Ingezonden 5-10-1979, antwoord Pais 22-10-1979.

Vragen van Deetman en Beineman [sic] over de ontwikkeling van landelijk vergelijkende studietoetsen. Tweede kamer der Staten-Generaal, Zitting 1978-1979, Aanhangsel van de Handelingen, p. 2253. Vragen 6-4-1979; antwoord Pais ontvangen 7-5-1979

Vragen van Oskamp (P.v.d.A.) inzake studietoetsen bij de toelating tot studierichtingen met een numerus fixus. Eerste kamer der Staten-General, Aanhangssel der handelingen, p. 17. Ingezonden 11-10-1979, antwoord Pais 23-10-1979.

1980 toelatingstoets? vv

Scherft, J. P., & Van Hilten, W. (1980). Gemiddeld eindexamencijfer en studieresultaten tot en met het kandidaatsexamen van Leidse medische studenten. Universiteit en Hogeschool, 1979-1980, 26 (6), 349-362.

Vragen van Van den Anker en Van Ooijen (P.v.d.A.) over projecten van het Cito. Tweede kamer der Staten-Generaal, Aanhangssel der handelingen, p. 1545. Ingezonden 14-2-1980, antwoord Pais 11-3-1980. (Op het project waren kennelijk contractmedewerkers aangesteld, waardoor een eventuele beslissing van het bestuur het project te beëindigen gedwongen ontslagen tot gevolg zou kunnen hebben)

Wilbrink, Ben, Toelatingstoets voor het wetenschappelijk onderwijs. Tijdschrift voor Onderwijsresearch, 1980, 5, 39-40. html

1981

Cohen, M. J. (1981) Studierechten in het wetenschappelijk onderwijs. Zwolle: Tjeenk Willink.

Messick, S., & Jungeblut, A. (1981). Time and method in coaching for the SAT. Psychological Bulletin, 89, 191-216,

UNESCO Cepes (1981). Access to higher education in Europe. Bucharest. Study edited by the European Centre for Higher Educaton. 86 blz. '82 definitions - quatitative trends - admission policy - admission procedures.

Lawrence J. Stricker (1981). The Role of Noncognitive Measures in Medical School Admissions. Applied Psychological Measurement 5, 313-323.abstract

1982 Cito en ministerie blazen toelatingstoets af

Fitzsimmons, W. R., & Reed, W. C. (1982). Counselor recommendations, their value in college admissions. The College Board Review, no. 124, 7-25.

Hofstee, W. K. B. (1982). De methodische deskundigheid van de psycholoog. De Psycholoog, 17, 697-707. (overschat bijdrage van selectie aan het BNP)

Hunter, J. E., & Schmidt, F. L. (1982). Fitting people to jobs: the impact of personnel selection on national productivity. In M. D. Dunnette & E. A. Fleishman: Human performance and productivity (p. 233-284). Hillsdale, New Jersey: Lawrence Erlbaum.

• Buitengewoon nuttige oefening is bepalen van SD van nut in termen van dollars. I.h.b. op p. 268-9 het onderscheid tussen salarissen en de output van bedrijven: de schattingen voor de SD van het nut hebben betrekking op de output, dus als deze schattingen 60% van het salaris zouden zijn, dan is dat een aanwijzing van de omvang, maar het referentiepunt is niet wat iemand verdient, maar wat iemand bijdraagt aan de output van het bedrijf (anders zouden immers de helft van de personeelsleden negatief want minder dan hun eigen salaris bijdragen .... ) Bevat commentaar op het proefschrift van Van Naerssen (soms van Naersson genoemd).
• p. 268 De berekeningen van de winst die selectie oplevert gaan uit van een optel-model: als je de winst per werknemer weet, dan kun je macro dat getal met het aantal werknemers vermeninigvuldigen: ... the average productivity difference between random selection and univariate selection is approximately ¢423 per worker per year ($10,832-10,409), or 44.1 billion dollars per year for the labor force as a whole.Het model van Hunter & Schmidt is nogal ondoorzichtig, omdat zij kennelijk veronderstellen dat een meester-hand de allocatie van werknemers over banen doet, terwijl er in werkelijkheid sprake is van elkaar ook op de arbeidsmarkt beconcurrerende bedrijven die ieder voor zich aan het selecteren zijn. De spanning tussen allocatie en selectie is niet zo zichtbaar in dit hoofdstuk, maar het eist een nauwgezette studie om er achter te komen waar Hunter & Schmidt werkelijk mee bezig zijn.
• p. 270: Under any of of these assumptions, it is evident that proposals for random selection from among applicants entail substantial productivity losses when projected for the economy as a whole. Productvity losses of this magnitude could have significant implications for the ability of U.S. products to compete with those of other nations in foreign (export) and domestic markets. Such losses would also lead to a substantial lowering of the U.S. standard of living. (...)The yearly productivity difference between the univariate and multivariate selection models is thus a conservative estimate of the productivity improvement that culd be realized by moving from current procedures to the multivariate selection model. This figure is between 43 and 54 billion dollars per year. Thus, it appears that improvements in current selection procedures could have substantial effects on the gross national product.

Kuijpers, H. L. M. (1982). Gewikt en gewogen. Eindverslag van het Cito-project 'Studietoetsen voor studierichtingen met een numerus-clausus.' Arnhem: Cito. Algemene publikatie nr 26.

• Het Cito werd eind zeventiger jaren in grote verlegenheid gebracht door een opdracht van toenmalig minister van onderwijs Pais om toelatingstoetsen te ontwerpen voor studierichtingen met een numerus fixus. De Raad van Bestuur van het Cito kon daar niet goed mee omgaan, en accepteerde de opdracht misschien vooral om de minister niet helemaal te bruskeren. Hoe dat ook zij, het rapport van mw. Kuijpers geeft niet alleen het toetsmateriaal, maar ook de geschiedenis van het project, in het bijzonder ook hoe het uiteindelijk is beëindigd: een nieuwe minsiter, Van Kemenade, haalde onmiddellijk een streep door het toen al van uitstel tot uitstel doorsukkelende projekt.
• "Deze publikatie bestaat uit het eindverslag van het project 'Numerus Clausus' van het Centraal Instituutvoor Toetsontwikkeling (Cito) en uit de daarbijbehorende toets met antwoordsleutel."
• Er is een verschil tussen het verslag zoals aan de minister aangeboden in 1982, en deze Algemene Publikatie, zoals vermeld in het Woord vooraf, en dat is toch een tikje mysterieus.
• p. 9: "Eind 1979 ontstond grote onzekerheid of het Cito de werkzaamheden voor het project Numerus Clausus zou voortzetten. De nieuwe Bestuursraad van het Cito maakte bij het verlenen van zijn goedkeuring aan het werkprogramma en de werkbegroting van het Cito voor 1980 een voorbehoud voor dit project. Uit het oogpunt van bestuurlijke continuïteit werd begin 1980 echter besloten vooralsnog met de voortzetting van de projectwerkzaamheden akkoord te gaan. De Bestuursraad meende niet tot stopzetting te kunnen besluiten, nadat het voormalige Cito-bestuur positief had gereageerd op het verzoek van de Minister. Mogelijke juridische en personele consequenties van beëindiging voor het Cito, werden door de Bestuursraad buiten beschouwing gelaten. De raad behield zich echter wel het recht voor een en ander opnieuw ter discussie te stellen, zodra nieuwe feiten of ontwikkelingen daartoe aanleiding zouden geven. Verder werd per brief aan Minister Pais meegedeeld dat de Bestuursraad de uitvoering van dit project als een technische zaak beschouwt en niet als een blijk van instemming met het door de Minister voorgestelde selectiesysteem. Dit standpunt was reeds eerder door het voormalige Cito-bestuur ingenomen." [zie Cito-publicatie Broekman e.a. (1979), hierboeven genoemd en geciteerd]
• De opstelling van het bestuur van het Cito is hoogst ongebruikelijk, zowel van het bestuur dat in feite de opdracht wel accepteerde, als van het opvolgende bestuur dat hem bijna teruggaf. De achtergrond daarvan is ongetwijfeld, zoals in de laatste regels van het citaat is te lezen, dat het bestuur het aannemen van de opdacht voor deze numerus-fixussituatie een toelatingstoets te ontwerpen, wetenschappelijk niet kon verantwoorden. Ik ben wel benieuwd naar de notulen van de betreffende bestuursvergaderingen, maar de grote lijn is ongetwijfeld iets als het volgende: een toelatingstoets zou een grote belasting opleveren voor bijna alle gegadigden voor, zeg, de studies in de geneeskunde (ook tandheelkunde en vooral ook diergeneeskunde), terwijl in feite de toetsuitslagen maar voor een goede handvol kandidaten verschil zouden gaan uitmaken. Bedenk dat de achtergrond in 1978 het voorstel van de Werkgroep Wiegersma is, waarbij een beperkt deel van de beschikbare plaatsen via een toelatingsselectie gevuld zouden moeten worden. Een tweede overweging is waarschijnlijk geweest dat bij evaluatie achteraf ongetwijfeld zal blijken dat de via de toelatingstoets toegelaten studenten niet significant (in statistische zin) beter of sneller zouden studeren dan de via loting toegelaten kandidaten. Het laatste is het zwaarwegende ethisch-wetenschappelijke punt: mag je de samenleving wijs maken dat je als Cito een goede toelatingstoets levert, terwijl je tevoren al een sterk vermoeden hebt dat de achteraf bewijsbare validiteit van die toelatingstoets te gering zal zijn om zijn gebruik te rechtvaardigen? De vraag stellen is hem beantwoorden, wat de Bestuursraad heeft gedaan.
• Boeiend. Het rapport meldt niet wie in die tijden deel uitmaakten van het bestuur, mogelijk was S. Wiegersma voorzitter van het bestuur in 1978, en W. Wijnen van het opvolgende bestuur, met onder andere altijd wel enkele hoogleraren psychometrie of psychologische methodenleer als leden. Ik moet daar toch eens navraag naar doen. b.w.
• Overigens is de aarzelende stellingname van het Cito-bestuur ook begin 1979 al uitvoerig beschreven in Broekman e.a. (1979) Studietoetsen voor toelating tot studierichtingen met een numerus clausus. [sic] Arnhem: Cito (zie bij het jaar 1979 hierboven, ook voor citaten hieruit)

Nederlandse Staascourant (12-2-1982). Begeleidingscommissie studietoetsen W.O. opgeheven.

Wiley, D. E. (1982). The vicious and the virtuous: ETS and college admissions. Contemporary Education Review, 1, 85-101. Bespreking van Allan Nairn & Assoc. (1980). The reign of ETS: The corporation that makes up minds. Washington, D. C.: Learning Research Center.

1983 Het jaar van Beiaard

Beleidsnota Beiaard. Tweede Kamer der Staten-Generaal, Vergaderjaar 1983-1984, 18 320.

Concept beleidsnota Beiaard. 22 februari 1983.

Es, J. C. van (1983). Selectie van studenten. Medisch Contact nr. 16, 455. 22 april 1983.

Griffioen, J. (1983). Selectie voor en in de lerarenopleiding. ID. Tijdschrift voor Lerarenopleiders, 4 (3), 158-166. [overdruk via Griffioen, map NF]

Hofstee, W.K.B. (1983b) Beoordeling van subsidie-aanvragen voor onderwijsresearch: een psychometrische evaluatie. Tijdschrift voor Onderwijsresearch, 8, 273-284.

Klinkert, J. J. (1983). Naar een nieuwe selectie voor de medische studie. Trouw 26-8-1983.

Roe, R. A. (1983). Grondslagen der personeelsselektie. Assen: Van Gorcum.

Wijnen, W. H. F. W. (1983). Is selectie van medische studenten wel mogelijk? Medisch Contact nr. 16, 455. 22 april 1983.

1984 Meta-analyse: de haarlemmerolie van de selectiepsychologie

Hunter, J. E., & R.F. Hunter, R. F. (1984). Validity and utility and alternative predictors of job performance. Psychological Bulletin, 96, 72-98. Table 8 geeft resultaten van nieuwe meta-analyses, voor studies gegroepeerd naar criteria; supervisory ratings, promotion, training success, en tenure. Voor interviews is de resp. validiteit .14, .08, .10, en .03.

Nederlandse Staatscourant. Numeri fixi 1984-1985 definitief vastgesteld. 30-5-1984

Wageningse Hogeschoolblad, 7 (7). 24-2-1984. Kamer akkoord met numerus fixus. (plaats arbeidsmarkt)

1985 Ondertussen bij de buren: toelating internationaal

Clark, B. R. (Editor, 1985). The school and the university. An international perspective. London: University of California Press. Over de verbindingen tussen secundair en tertiair onderwijs, in Frankrijk (Neave), Duitsland (Teichler), Engeland (Maden), Zweden (Ekholm), Japan (Cummings), China (Rosen), Zuid Amerika (Schiefelbein), Afrika (Foster), United States (Stocking). Bevat veel materiaal over toelatingsregelingen.

1986 De haarlemmerolie leidt tot euforie

Schmidt, F. L., Hunter, J. E., Outerbridge, A. N., & Trattner, M. H. (1986). The impact of job selection methods on size, productivity, and payroll costs of the federal work force: an empirically based demonstration. Personnel Psychology, 39, 1-29. .

• (overschat bijdrage van selectie aan het BNP) Dit is een becijfering van met selectie te behalen macro-verdiensten. p. 1: In this study, job performance increases resulting from improved selection validity were measured empirically rather than estimated from the standard liinear regression utility equations. Selection utility analyses based on these empirical measurements were carried out for most white-collar jobs in the federal government. Results indicate that selection of a one-year cohort based on valid measures of cognitive ability, rather than on non-test procedures (mostly evaluations of education and experience), produces increases in output worth up to ¢600 million for each year that the new emplouyees remain employed by the government. ... This gain represents a 9.7% increase in output among new hires. If total output is held constant rather than increased, new hiring can be reduced by up to 20,044 per year (a 9% decrease), resulting in payroll savings of $272 million for every year the new cohort of employees remains on the job.

S. Cole (1986). Sex discrimination and admission to medical school 1929-1984. American Jornal of Sociology, 92, 549-567. preview

1987 Naar een ondernemende—en dus selecterende?—universiteit

Rinnooy Kan, A. H. G. , J. M. M. Ritzen, en anderen (1987) Naar een ondernemende universiteit. Utrecht: Veen. Nederlands Gesprek Centrum.

1988 Delft over selectie van technisch talent (komt in de coulissen van Drenth's Duykerlezing in 1995 terug)

Campion, M. A., Pursell, E. D., & Brown, B. K. (1988). Structured interviewing: raising the prychometric properties of the employment interview. Personnel Psychology, 41, 25-42.

• Verwijst naar Hunter & Hunter (1984) als meest recente overzicht van validiteit voor interviews. Presenteert een door-en-door gestructureerde methode voor intevriews voor production workers, waarmee hoge validit (gecorrigeerd) wordt geclaimd. De methdoe van structureren is misschien verhelderend voor de interview-enthousiasten; een job analysis en daaruit afgeleide standaard vragenlijst, open vragen dus, antwoorden te beoordelen door een panel va getrainde beoordelaars.

Eijk, D. van (1988). De selectie van technisch talent. NRC Handelsblad 19-1-1988

NIP, Richtlijnen voor ontwikkeling en gebruik van psychologische tests en studietoetsen. Amsterdam: Nederlands Instituut voor Psychologen, 1988.

1989 Noah en Eckstein: nogmaals de buren

Max A. Eckstein & Harold J. Noah (1989). Forms and functions of secondary-school leaving examinations. Comparative Education Review, 33, 295-316.preview

Bernard F. Lentz & David N. Laband (1989). Why so many children of doctors become doctors. Nepotism vs. human capital transfers. The Journal of Human Resources, 24, 397-413. preview

1990 Selectie voor de NPA, dat kan dus wel!

Wilbrink, Ben (1990) Complexe selectieprocedures simuleren op de computer. Amsterdam: SCO Kohnstamm-Instituut. (rapport 246) pdf

Wilbrink, Ben, Willem van Hoorn, Leo J. Th. van der Kamp, & Jen Algera (1990). Selectie voor politie-officier. De toelating tot de Nederlandse Politie Academie. Amsterdam: SCO. (Rapport 245) html

1991

1992

Eckstein, M. A., & Noah, H. J. (eds) (1992). Examinations: comparative and international studies. Oxford: Pergamon Press.

Fägerlind, Ingemar: Beyond examinations: the Swedish experience and lessons for other nations. In Eckstein, M. A., & Noah, H. J. (eds) (1992). Examinations: comparative and international studies. Oxford: Pergamon Press. 79-87.

• p. 83: In Zweden zijn er geen examens in het middelbaar onderwijs, wel nationaal gestandaardiseerde tests. Deze zijn zo genormeerd dat cijfers op een vijfpuntschaal voor het hele land 'normaal verdeeld' zijn Bijv. 7% een 1, 24% een 2, 24% een 3, 24% een 4, 7% een 5. Hoe verzinnen ze het. "The mark received by any individual student should express to what extent he or she has succeeded in relation to the total population of students in the country taking the same subject. By means of nationwide application of standardized achievement tests, it has proved possible to to stabilize the marking system. Differences in achievement results between schools are very small, which means that it does not differ very much if a school is situated in a city or in the countryside, in the North or in the South (Marklund, 1988, Education in Sweden: assessment of student achievement and selection for higher education. In S. P. Heyneman & I. Fägerlind: University examinations and standardized testing. Washington, D.C.: World Bank)."
• p. 84-85: selectie voor hoger onderwijs gaat voor onderscheiden deelgroepen quota-gewijs, zodanig dat dezelfde selectieverhoudingen resulteren. "The selection is based on marks from upper secondary school and (for those who can claim it) on working experience. Group quotas are worked out as follows. First, one-third of the places in a study program are reserved for applicants whose upper secondary school leaving certificates are not more than three years old. The remaining places are divided in proportion to numbers of applicants in the other groups. All applicants are placed in rank order according to their credential points in each of the relevant educational alternatives and quota groups. Applicants with equal scores for a particular alternative are selected according to their first choices. Otherwise a mechanical lottery procedure is employed." Het merkwaardige is dat Fägerlind vergeet te vermelden hoe selectief de toelating tot hoger onderwijs of tot bepaalde studierichtingen is; een tabel met toelatingsgegevens bevat alleen getallen van toegelatenen, geen enkele aanduiding van het aantal kandidaten.

1993

Chapman, G. B., & McCauley, C. (1993). Early career achievements of National Science Fondation (NSF) graduate applicants: looking for Pygmalion and Galatea effects on NSF winners. JAP, 78, 815-820.

• (NSF Graduate Fellowships are awarded to approximately half of a homogeneous group of applicants in a procedure that approximates random assignment to the conditions of either fellowship or honorable mention. This natural experiment permits assessment of the effect on early career accomplishments of being named an NSF fellow). meth pygmalion

Contactgroep Academisch Onderwijs (CAO) (1993). Van secundair onderwijs naar universiteit. TvHO, 11, 140-152.

Hanson, F. A. (1993). Testing testing. Social consequences of the examined life. Berkeley: University of California Press. p. 52 conclusies.

• p. 81 APA-statement over selectie met leugendetector! Als 85 % correct, dan worden meer kandidaten ten onrechte voor leugenaar uitgemaakt dan er terecht als leugenaar worden geïdentificeerd.

Oostwoud Wijdenes, J. D. (1993) Voortrajecten kunstonderwijs. Amsterdam: SCO-Kohnstamm Instituut.

Papas, G., & Psacharopoulos, G. (1993). Student selection for higher education: the relationship between internal and external marks. Studies in Educational Evaluation, 19, 397-402.

• p. 397: "In academic year 1985 (corresponding to the time our sample was drwan -- and the situation has not changed much since then), 74,381 students aged about 17 took the secondary school leaving examinations. This represents 45% of the country's population in that age group. But the number of students seeking entrance to tertiary education is 149,269 reflecting the backlog of candidates trying for several years in a row to gain access to universities. The proportion of students passing the tertiary education entrance examinations is 34.4%. But this is a misleading statistic: only 15.4 % of the candidates will enter proper universities. The rest will enter short cycle, tertiary level technological institutions called 'TEI' (Technologika Ekpaideftika Idrymata)." Tot 1987 bestond het toeelatingssysteem uit een weging van schoolcijfers over de laatste drie jaar, en toelatingsexamenscores, in verhouding 25% en 75%. In 1988 is dat veranderd in alleen de toelatingsexamenresultaten. Het onderzoek gaat voornamelijk over de correlatie tussen schoolcijfers en toelatingsexamenresultaten, uitgesplitst naar typen vooropleiding en universitaire richting. "The results presented above may raise the question of whether the external examinations are really necessary. The marks in the last three grades of secondary school seem to reflect fairly well how a student will perform in the external examinations." Een aardig puntje in een nog te schrijven artikel over loten?

Robertson, I. T., & Kinder, A. (1993). Personality and job competences: the criterion-related validity of some personality variables. Journal of Occupational and Organizational Psychology, 66, 225-244.

• Uit het abstract: Using a set of 20 validation studies involving the Occupational Personality Questionnaire (OPQ), the criterion-related validity of some personality variables was explored. ... On average the results showed mean sample size-weighted validity coefficients of around .20 for the personality variables, with higher values 9up to .33) for criteria such as creativity, analysis and judgement; they also revealed very little overlap between the criterion variance coreelated with ability and that associated with personality, with estimates of validity derived from the incremental meta-analysis similar in magnitude to those from the methods using personality alone.

Snijders, H. (1993). Laat universiteit studenten aan de poort selecteren. De Volkskrant 6-9-1993. De auteur is medewerker van de Adviesraad voor het Wetenschaps- en Technologiebeleid.

Toelatingstest medische studies in Duitsland. Dekanoloog mei/juni 1993 p. 292. gezien. Gaat over voorbereidingscursussen voor beslissende toelatingstest. numerus fixus

Wilbrink, B & J. Dronkers (1993) Dilemma's bij de groei van de deelname aan hoger onderwijs. Zoetermeer: Ministerie van Onderwijs, Cultuur en Wetenschappen / Den Haag: Sdu Servicecentrum. html

1994 Drenth: selectie van goede student is lastig

Adviesraad voor het Onderwijs (ARO) (1994). Van hoger onderwijs naar hoger leren. Dit advies in opdracht van minister van onderwijs Jo Ritzen gaat op verzoek van staatssecretaris Job Cohen ook in op de thematiek van selectie aan de poort.

Drenth, P. J. D. (1994). Selectie van goede student is lastig. NRC 29-91994.

• "Het is bijvoorbeeld maar de vraag of het geneeskunde-systeem van gewogen loting bij een veel grotere belangstelling voor de stdie dan de opleidingscapaciteit kan honoreren, wel zo ridicuul is als sommigen menen. We zaten (en zitten) in Nederland nu eenmaal met twee goed verdedigbare, maar vrijwel niet verenigbare uitgangspunten. Enerzijds het wettelijke (en na een selectief en niet gemakkelijk VWO ook acceptabele) recht op vrije studiekeuze, eventueel nog onder de conditie dat men een adeuqaat vakkenpakket meebrengt. Anderzijds de wens om bij schaarse middelen diegenen toe te laten die de meeste kans op succes hebben. In feite is het systeem van gewogen loting een compromis, dat beide principes tracht te honoreren. Door de loting houdt iedereen de kans om toegelaten te worden, en door de weging hoopt men de gemiddelde kwaliteit te verhogen. In het buitenland heb ik niet de minste moeite deze gedachtengang uit te leggen, en nimmer word ik daarbij met hoongelach bejegend. Natuurlijk heeft het systeem, zoals ieder systeem, ongewenste bijverschijnselen en zijn ook andere compromissen denkbaar. Zelf heb ik eind jaren zeventig een adviescommissie voorgezeten, die de toemmalige minister Pais een alternatief heeft voorgesteld, dat globaal hierop neerkomt: eenderde van de 1800 plaatsen geneeskunde toewijzen via ongewogen loting, een derde op basis van de hoogte van de gemiddelde eindexamenscore, en eenderde op basis van de hoogste scores in een specifiek te ontwerpen en vrijwillig af te leggen toets, die vooral geconstrueerd zou zijn met het oog op de typische medische studievakken. In feite was een dergelijke serie studietoetsen reeds door het CITO in Arnhem ontworpen. De minister heeft na sondering van de kamercommissie dit advies niet willen overnemen. Ook dit model was een streven de beide genoemde uitgangspunten te eerbiedigen. Wel kleeft er een ander bezwaar aan de weging bij de loting voor geneeskunde, maar daar hoort men niemand over. Het is niet wenselijk voor één faculteit, waarvoor niet is aangetoond dat men daarvoor over meer intelligentie en studiecapaciteiten dient te beschikken dan voor andere, de beste studenten te selecteren. Anders gezegd, selectie (ik zeg niet gelijke normen) voor alle faculteiten of voor geen enkele, maar niet voor een enkele faculteit."

Eck, E. van, Vermeulen, A., & Wilbrink, B. (1994). Doelmatigheid en partijdigheid van psychologisch onderzoek bij de selectie van schoolleiders in het primair onderwijs. Amsterdam: SCO-Kohnstamm Instituut. html

Elster, J., & Herpin, N. (Eds.) (1994). The ethics of medical choice. London: Pinter.

Giesen, P. (1994). De Neckermann-universiteit. De volkskrant 3-9-1994.

Giesen, P. (1994). Strijd tussen hersens en geld. De Volkskrant 5-2-1994. Over Oxford, en zijn strijd om af te komen van het imago van Brideshead revisited.

Sinha, C. (1994). Selectie van studenten kan hoger onderwijs weer lucht geven. NRC Handelsblad 6-9-1994.

Snell, Andrea F., Stokes, G. S., Sands, M. M., & McBride, J. R. (1994). Adolescent life experiences as predictors of occupational achievement. Journal of Applied Psychology, 79, 131-141. Adolescent life experiences, measured with Owen's Biographical Questionnaire (BQ) were used to predict occupational attainment 16 years to 21 years later in a sample of 1,523 college graduates. Study participants completed the BQ in either 1968 or 1970-1973 as college freshmen and subsequently reported their occupational status in 1989. Jobs were rationally clustered into 18 different categories. Separate gender analyses were conducted in which 13 BQ factors were used as predictors of occupational attainment. Effect sizes were substantially larger than those obtained in an earlier study by A. G. Neiner and W. A. Owens (1985). The iusefulness of life experience data for understanding occupational choices as wel as implicatons for college counseling are discussed.

Wedman, Ingemar (1994). The Swedish Scholastic Aptitude Test: development, use, and research. EM:IP summer, 5-11. 10.1111/j.1745-3992.1994.tb00790.x

1995 Drenth's Duijkerlezing

Been, P. H. (1995). Toegankelijkheid en selectie. Themapapieren Hoger Onderwijsdebat 1995, 99-108. [fotokopie]

• Gaat over een uitgekauwd onderwerp: relatie van eindexamencijfers tot rendement. De voorspelbare uitkomsten over deze voorspelbaarheid; ontbreekt, wisselend, alleen voor gerealiseerde studielast na 3 jaar is er enig verband waarmee volgens de auteur iets in een uniforme centrale regeling zou kunnen worden gedaan.

Beishuizen, J. (1995). Universiteit niet excellenter door excellente studenten. Mare 9-3-1995.

Bishop, J. H. (1995). The impact of curriculum-based external examinations on school priorities and student learning. International Journal of Educational Research, 23 (8), 653-752. Een monografie met prikkelende titels van de afzonderlijke hoofdstukken: An economic theory of the effects of peer pressure and rewards for learning on school priorities, student effort and achievement. The impact of the payoff to college and the selectivity of college admissions on effort and achievement in high school. When curriculum-based examinations are absent, what happens to academic standards, incentives and achievement in the United states? Testing for backwash effects of examination systems: international comparisons. New York State vs. the rest of the United States. Mathematics and science achievement in Canada: comparing provinces. Case study of England, Scotland, France, The Netherlands and the United States.

Bolkestein, F. (1995). Selectie bij toegang tot de universiteit is noodzakelijk. NRC Handelsblad 30-3-1995. Repliek op Duykerlezing van Drenth.

• zie ook hier

Patricia Conley (1995) The allocation of college admissions. In J. Elster (Ed.) Local justice in America (p. 25-80). New York: Russell Sage.

Conley, P. (1996). Local justice in the allocation of college admissions: a statistical study of beliefs versus practice. Social Justice Research, 9, 239-258. fc

Drenth, P. J. D. (1995). In Nederland is selectie onmogelijk. Duykerlezing. NRC Handelsblad 30-3-1995.

• zie ook hier

Drenth P. J. D. Repliek. NRC-Handelsblad 13 maart 1995.

• Twee sprekers, prof. dr. ir. P. Eykhoff en mr. drs. F. Bolkestein, is gevraagd op de uitgesproken Duyker-lezing kritisch commentaar te leveren. Zij hebben dat beiden met uiteenlopende argumenten gedaan. In het navolgende doe ik een poging puntsgewijs hun kritiek te weerleggen. In de repliek zal ik telkens aangeven om welk argument het gaat. De heer Eykhoff acht motivatie van de student van groot belang voor het succes in de studie en vindt dat hierop, bijvoorbeeld middels een interview of een essay-beoordeling, moet worden geselecteerd. Met het eerstgenoemde punt ben ik het van harte eens. Studiemotivatie is cruciaal en laat vaak te wensen over. Echter, uit onderzoek blijkt dat het hier meestal gaat om het soort motivatie, dat tijdens de studie ontstaat of verdwijnt en niet om een stabiele persoonlijkheidstrek, die bij de entree tot de universiteit gemeten kan worden, en zeker niet met invalide instrumenten als een essay of een intake-gesprek. Motivatie moet je aankweken en versterken door interessante en uitdagende studieprogramma's, door strenge en consequente beoordelingen, door beloning van inspanning en hard werken en door (wetenschappelijke of maatschappelijke) waardering van het diploma, maar niet door de toegankelijkheid van het WO te beperken. Eykhoff's argument 'in het buitenland selecteren ze toch ook' is niet sterk. In de eerste plaats zijn er, zoals ik in de lezing heb geprobeerd duidelijk te maken, belangriujke argumenten waarom het in Nederland veel moeilijker is te selecteren (ons secundair onderwijs is veel selectiever dan in veel andere landen en de groep VWO-abituriënten vertoont een veel geringere spreiding). In de tweede plaats gebeurt selectie in het buitenland, zoals uit onderzoek blijkt, ook maar al te vaak onverantwoord. Dat men bijvoorbeeld in het buitenland gebruik maakt van inferieue methoden als het interview, is nog geen reden om dit in Nederland ook te doen. Eykhoff introduceert als criterium voor toelating ook de 'behoeften van de samenleving', ofwel de arbeidsmarkt, zoals het geval is bij geneeskunde. Tussen haken zij opgemerkt dat bij geneeskunde niet de arbeidsmarkt, maar de beperkingen in de opleidingscapaciteit het argument voor een numerus fixus vormen. Arbeidsmarktoverwegingen vormen echter een zeer moeilijk punt in de discussie over opleidingsbeperking. Zoals uit een studie van het NIDI blijkt, zijn arbeidsmarktproblemen voornamelijk demografisch bepaald. Het aantal afgestudeerden is op korte termijn (korter dan 10 à 15 jaar) nauwelijks te beïnvloeden. En op die lange termijn zijn de voorspellingen van behoeften op de arbeidsmarkt zo onbetrouwbaar, dat daar geen peil op te trekken valt.Het betoog van de heer Bolkestein lijkt aantrekkelijk. Kort samengevat: niet iedereen bezit evenveel studietalent. De universiteit en de wteenschap zijn er voor de besten, de knappe koppen. De laatste jaren worden veel te veel mensen toegelaten tot de universiteit, waardoor de kwaliteit van onderwijs en onderzoek daalt. We moeten (weer) durven selecteren. Bij nader inzien houdt de kritiek geen stand. Natuurlijk heeft hij gelijk met de stelling dat niet idereen over dezelfde intelligentie en studietalenten beschikt, en dat niet iedereen tot de universiteit mag worden toegelaten. Maar dat gebeurt in Nederland ook niet. Nedeland heeft een selectief secundair onderwijssyteem, waardoor in feite ongeveer eenzelfde percentage van de bevolking deelnemt aan het hoger onderwijs als in andere Europese landen, ook daar waar wel een ingangsselectie plaatsvindt (zie de vergelijkende analyse in het rapport van de VSNU-Commissie-De Moor). En ik zie geen enkele reden om in Nederland een sterke reductie van het aantal hoger opgeleiden te bepleiten, waardoor ons land in Europa aanzienlijk uit de pas zou gaan lopen. Trouwens ook de visie van Bolkestein dat massaliteit en nivellering heeft geleid tot sterk kwaliteitsverlies behoeft nuancering. In de eerste plaats is het zeer moeilijk wetenschappelijk vast te steollen of de kwaliteit van het universitaire onderwijs stijgt of daalt. Er zijn geen objectieve indicaties voor. Subjectieve impressies, al of niet versterkt door impressies van vroeger (lees: toen ik nog studeerde)-was-het-allemaal-veel-beter, leiden al gauw tot stoere stamtafeluitspraken. In ieder geval wordt het Nederlandse onderwijs en onderzoek door visitatiecommissies, veelal samengesteld door buitenlandse experts, over het algemeen als behoorlijk tot zeer goed beoordeeld. Er worden in ons land, ook door diezelfde experts, een flink aantal internationale toppers geïdentificeerd. De onderwijsrendementen stijgen significant en de Nederlandse onderzoeksoutput is de laatste tien tot vijftien jaar verdubbeld. Natuurlijk is het zo dat bij een grotere deelname aan het universitair onderwijs absoluut gezien ook een groter aantal 'sub-toppers' en minder geschikten worden toegelaten. Maar als men bijvoorbeeld ziet welk talent (kwantitatief en kwalitatief) in Nederland wordt aangemeld voor elitaire topprogramma's als de Pionier- en Spinoza-stipendia van NWO of het programma Akademie-onderzoekers, dan lijkt er voor pessimisme ten aanzien van het niveau van de wteenschap in Nedeland geen plaats. Bovendien, we hebben nu eenmaal een eerste en eredivisie vol voetballers nodig om een enkele Van Basten of Rijkaard voort te brengen. Wel wil ik het pleidooi voor een aanscherping van de VWO-eisen voor universitre studies onderschrijven. Het is natuurlijk te gek dat je Ueropese studies kunt volgen zonder Frans gehad te hebben, geneeskunde zonder scheikunde, psychologie zonder wiskunde, of godgeleerdheid zonder Grieks. Deze aanscherping zou ook de door Eykhoff en Bolkestein gewenste inspannings- en prestatiegerichtheid van het secundair onderwijs weer doen toenemen. Een goede zaak. Het arguemnt is hier echter onderwijskundig van aard (voldoende voorbereiding en aansluiting), en niet gericht op selectie als zodanig. De redenering van Bolkestein dat door selectie zowel de spreiding in de predictor (eindexamencijfers) als die in het criterium (studiesucces) zou toebenemen, klopt niet. Bij een dichotomie (slagen-zakken) heeft men de meeste spreiding bij een 50-50 verdeling. Die ligt bij studiesucces thans ongever bij 60-40. Dat scheelt dus niet zoveel. Bij een variabele (bijv. gemiddeld tentamencijfer of iets dergelijks) maakt het al helemaal niets uit waar de cesuur wordt aangebracht. Maar deze en andere statistische overwegingen even terzijde latend, waarom een grotere studie-inspanning met het oog op selectie zou leiden tot een grotere spreiding en niet slechts tot een verhoging van het gemiddelde of juist (bijvoorbeeld door 'ceiling effecten') tot een sterkere homogenisering van de studentengroep blijft onduidelijk. De paar studies die Bolkestein noemt, waaruit wel enig voorspellend vermogen voor eindexamencijfers blijkt, vallen onder wat ik genoemd heb 'incidentele successen'. Overigens zullen de correlaties ook in die gevallen niet boven de .50 komen; het getal dat ik in mijn voorbeeld in de Duijker-lezing heb genoemd. Dan blijven ook in die gevallen de vragen die ik stelde gelden. Is het verantwoord om met het oog op een rendementsverhoging van 20% (van 60 naar 80%) zo'n 60%, dus flink meer dan de helft, van de zihc aanmeldende studenten af te wijzen, waarvan dan ook nog eens bijna de helft ten onrechte? En waar moeten we met die studenten heen? Het gaat chter niet om predictiesucces in enekle incidentele gevallen. Het gaat om de vraag of op grote schaal er voor het hele WO met voldoende zekerheid het studiesucces uit eindexamencijfers VWO of andere geoorloofde en beschikbare gegevens kan worden voorspeld. En op grond van de beschikbare onderzoeksgegevens moet dat antwoord negatief luiden. En voorspellen met behulp van niet-valide voorspellers gaat lijken op 'random' kiezen of loten. En dat was, meen ik, toch uit den boze?

Jaap Dronkers (1995). Meer selectie zal vraag naar hoger onderwijs niet drukken. NRC Handelsblad

• De massale colleges op universiteiten en hogescholen doen de motivatie van de individuele student geen goed. Steeds vaker gaan daarom stemmen op voor meer selectie. Dit is niet per se een slechte zaak, vindt Jaap Dronkers, maar men moet niet denken dat het de vraag naar hoger onderwijs zal stelpen.

Dyck, M. van (1995). Selectie voor hoger onderwijs. Utrecht: Adviesraad voor het Onderwijs (ARO).

Eykhoff, P. (1995). Wat elders kan, kan hier ook. NRC Handelsblad 30-3-1995. Repliek op Duykerlezing van Drenth.

• zie ook hier

Mellenbergh 1995, interviewer Mariken Smit. Selecteren aan de poort lijkt effectiever dan het is. Folia 3-2-95 Hoogleraar psychologie rekent plannen door.

Op koers. Bindend studieadvies en zelfselectie. Mare, 8-6-1995.

Crockford, P. M., D. M. Gupta, M. G. A. Grace, Original Research: Requirements for admission to medical school: How many years of university study are necessary? In : CMAJ : Canadian Medical Association journal, 153 (11), 1995, p. 1595-1604

Zeng, K. (1995) Japan's dragon gate: the effects of university entrance examinations on the educational system and students. Compare, 25, 59-84.

1996 Canadese numerus fixus — and France

Cannings, K., Montmarquette, C., & Masheredjian, S. (1996). Entrance quotas and admission to medical schools: a sequential probit model. Economics of Education Review, 15, 163-174.

• abstract This paper is about the general problem of choosing different categories of applicants in the context of entrance quotas. The example presented is that of a medical school which is highly selective in admitting students. Scrutinizing applicants according to specific standards has become the norm. Monitoring this scrutinization process enables identification of the hedonic curve of the selection committee to determine whether the admission process is meritocratic and free from discrimination and arbitrary decisions. This study relies on individual micro data which are very difficult to collect. A sequential probit model shows that the performance variables, as measured or observed by the admissions committee, only partially explain the committee's decisions. To escape the "paper trail" problem the committee relies on the interview component of the admission procedure. We conclude by suggesting an alternative approach to the admission of students. p. 164; The admissions pocedures employed at the university of montreal are similar to those employed at other Canadian or American medical schools with some variants, particularly with respect to the interview component which is not used by all medical schools.p. 171; If the medical school authority is still doubtful about the acuity of its tests, a simple solution will be to admit the top 20% performers among the applicants and reject the bottom 20% of the applicants. The remaining slots could be filled at random from those applicants in the middle range of the test-score distribution.[These proportions are only examples and depend on the medical school degree of confidence in the tests]

Casas, F. R., & Meaghan, D. E. (1996). A study of repeated courses among secondary students in Ontario. Journal of Educational Research, 90, 116-127. researchgate.net

• Een leuk backwash-onderzoek, maar vooral over de negatieve side effects van selectie op schoolcijfers in een numerus-fixussituatie. In 1992 deden 23,4% tenminste een cursus over. Cijfers in Canada schijnen op een schaal van 1 tot 100 te worden gegeven, met score 50 nog net voldoende. Maar ook hoge scores leiden nog wel tot overdoen, de aantallen lopen geleidelijk af naar boven toe (Figuur 4 in artikel). De studenten verbeteren hun cijfer zo met gemiddeld 11.8 punten in 1991, 12.4 in 1992.

Hofstee, W. K. B. (1996). Psychologische test bij personeelsselectie. Mogelijkheden en beperkingen. De Psycholoog, 31 (10), 378-381.

Jong, Uulkje de (1996). Ierse kortsluiting. HBO-Journaal, 19 (1), 13.

Kaiser, F, S. de Lange & E. de Weert (1996). Vergelijkend onderzoek selectie-procedures voor het HO in een aantal West-Europese landen. Twente: CSHOB. Commissie Drenth, bijlage 1, p. 9-62.

McDaniel, M. A., Whetzel, D. L., Schmidt, F. L., & Maurer, S. D. (1996). The validity of employment interviews: A comprehensive review and meta-analysis. Journal of Applied Psychology, 79, 599-616.

Phelps, R. P. (1996). Are U.S. students the most heavily tested on earth? Educational Measurement: Issues and Practice, fall, 19-27.

Scott, M. W. (1996). Admissions systems, comparative study. Council of Europe, UCAS, Cheltenham. (Genoemd in Kaiser, de lange & de Weert 1996).

White, J. (1996). The points system. In Hogan, P. (Ed.), Issues in education (p. 77-82). Dublin: Asti. Ierland's toelatingsregeling HO.

Wielemans, W., & J. van den Broeck (1996). Transition from secondary to higher education. Centre for Comparative Education, K. U. Leuven. (Genoemd in Kaiser, de lange & de Weert 1996).

Wilbrink (1996). Dingen die gebeuren, KRO, 2 juli 1996, 9-10 uur (daarna: Borsato).

• Ik heb weinig gelegenheid gehad om me te prepareren. Ik heb een file-tje aangelegd van wat ik de laatste jaren op trefwoord loten heb ingevoerd, en ik heb een behoorlijke kist met materiaal doorgespit om daar nog het een en ander uit te kunnen bestuderen. Al met al bestond de voorbereiding voornamelijk uit het doornemen van het U&H-artikel 1980, de commentaar op Cito-toets in het TOR van 1980, Onderzoek van Onderwijs het themanummer uit 1974. Ik heb hier en daar vluchtig dingen gelezen, en daar heb ik in de uitzending gebruik van gemaakt: het advies van de RUU om loten tot één keer te beperken, en het antwoord van van Kemenade daarop, nl. dat dat wettelijk niet mogelijk zou zijn gezine het recht op onderwijs etc. Ook: het betoog van Klein dat de samenhang van eindexamencijfers met propedeuseresultaten niet interessant is, maar wel het ontbreken van samenhang van die cijfers met later beroepssucces. Afijn, ik ben gestart met te benadrukken dat faulteit en overheid niet dezelfde belangen hebben als het gaat om het benutten van intellect. Hans Kars (klopt dat?, vice-voorzitter CvB EU) herhaalde een paar keer de demagogische uitspraak dat de gewogen loting 20% verspilt van het toptalent in de hoogste lotingsklasse. Tegen zoveel retoriek wens ik niet in te gaan. Een ander retorisch punt van Kars: in de VS gebruiken ze ook interviews, waarom zou je wat daar wèl kan, in Nederland niet ook kunnen? Hij begreep dus niets van mijn uitspraak dat de voorspellende waarde van interviews nul komma nul is. Achteraf had ik hem moeten interrumperen en er op moeten wijzen dat natuurlijk er veelvuldig van interviews gebruik wordt gemaakt, dat dat ook de reden is geweest om er veelvuldig en intensief onderzoek naar te doen, en dat de uitkomsten van dat onderzoek negatief zijn wat de waarde van die interviews betreft/ En hoe kan dat dan? Omdat de interviewers er stellig van overtuigd zijn dat ze op een heel goede manier aan het schiften zijn, maar die overtuiging verdraagt zich dus slecht met de empirische werkelijkheid. Verder ben ik een paar keer de mist in gegaan bij eenvoudige vragen van Gerdie, zoals æIs loten nu eerlijk, ja of nee?. Ja, het is eerlijk, wanneer kandidaten op de punten waar het op aankomt aan elkaar gelijk zijn. Het kan dus minder eerlijk worden wanneer er wel relevante verschillen zijn. Maar het is evenmin eerlijk om op kleine relevante verschillen beslissingen met zo vèrgaande consequenties te baseren. Anderen vinden dat dat laatste juist wèl moet kunnen, en dan is het moment aangebroken om naar een compromis te zoeken dat een grote algemene aanvaardbaarheid heeft; gewogen loting. Een idee dat mij ook heeft dwars gezeten en dat ik niet goed heb kunnen verwoorden is dat het in dit bijzondere probleem er inderdaad om gaat om verschillende opvattingen over wat in deze situatie rechtvaardig zou zijn, bijeen te brengen in een voorstel dat breed wordt gesteund. Je zou dus van de gewogen loting kunnen zeggen dat weliswaar een aantal mensen (de VVD, hoogleraren) vinden dat de regeling acuut door een of andere vorm van selectie moet worden vervangen, maar dat een zeer groot deel van de direct betrokkenen kan leven met de gewogen loting. Waarom hebben we er eigenlijk geen exportartikel van gemaakt? Misschien omdat we er niet trots op kunnen zijn? Omdat het een compromisvoorstel is? Maar als compromisvoorstel is het redelijk uniek in de wereld, dus waarom dat niet breder gepubliceerd, ook vanuit de overheid? Een een ander publicitair punt dat de moeite van het vermelden waard zou zijn geweest: waarom leerlingen niet beter voorgelicht, en er beter voor gezorgd dat men alternatieven achter de hand heeft voor het waarschijnlijke geval te worden uitgeloot? Nou ja, dat was het wel ongeveer. Ik had na afloop een behoorlijk katterig gevoel omdat ik het idee had me niet behoorlijk te hebben uitgedrukt, voor open doel schietkansen te hebben laten liggen. Maar voor mij was het geen wedstrijd om te winnen, maar een gelegenheid om een aantal overwegingen in de discussie nog eens te benadrukken, en daarin ben ik zeker wel geslaagd, ook al heb ik er enkele laten liggen. Zo heb ik geen gebruik gemaakt van historische casus, of vergelijking met Japan, om maar eens wat te noemen. Maar ik heb al met al ook maar een beparkt aantal minuten spreektijd gehad, natuurlijk. Ik vond de inbreng van die drie keer uitgeloten student overigens heel aardig en verhelderend, omdat en passant duidelijk werd hoe ze in België voor de selectieproblematiek weglopen en de opleiding die selectie dus tersluiks laten uitvoeren. Dan was ineens Prof. Bakker ook aan de telefoon, dat vond ik waarachtig leuk, hij kwam weer met zijn stokpaardje dat eindexamencijfers en studieresultaten samenhangen, wat ik kon beantwoorden door er op te wijzen dat niemand dat ooit heeft ontkend, behalve Klein die juist het ultieme criterium van succes in het beroep hanteerde. Ik vond het een heel aardig uurtje, toch wel. Het begon ook met een niet uitgezonden grappenmakerij over een nieuws-item van sportvrouwen die op hun vrouwelijkheid werden gecontroleerd door een onderzoek naar hun chromosomen, dat lokte opmerkingen over de biologische loterij uit, en de vraag of je rechten kunt ontlenen aan een hoge mate van intelligentie die je van je ouders op biologische wijze hebt meegekregen. Maar dat heb ik in de uitzending niet gebruikt, want ik ben toch wel voorzichtig geweest door uitspraken te vermijden die meer trammelant veroorzaken dan wegnemen. Geen enkel moment de neiging gehad om kwaad te worden, of zo. Wat dat betreft was ik heel ontspannen. Maar ik begon wel met een hoge spiegel van nervositeit, omdat het onderwerp toch weer de emoties losmaakte waarmee de discussie in 1973 gepaard is gegaan. Ik heb denk ik ook geen rancuneuze opmerkingen gemaakt over hoogleraren die menen dat ze hier vooral verstand van hebben. O ja, één onvoorzichtige opmerking meende ik me wel te kunnen permitteren: zoek eens uit of persoonlijkheidstests in principe bruikbaar zouden kunnen, gezien de recente ontwikkeling op dat gebied (artikel van Hogan & Hogan in de American Psychologist die juist voor dit weekeinde was bnnengekomen).

Pierre-Gilles de Gennes (1996). Fragile objects. Soft matter, hard science, and the thrill of discovery. Copernicus (Springer). De auteur, nobelprijswinnaar natuurkunde, beschrijft hoe in Frankrijk de toelating tot geneeskunde degenereerde tot een wijdstrijd vèrplassen (in elementaire wiskunde).

1997 Een nieuwe commissie: Drenth. Maar buigt naar de politiek

Boon, T. (1997). Toelatingsproef werpt veel obstakels op. Thema, 4-97, 53-54.

• In een decreet van 24 juli 1996 beslisten het Vlaamse parlement dat vanaf het eerstvolgende academiejaar de opleidingen arts en tandarts nog slchts kunnen aangevat worden na het slagen voor een toelatingsproef. De praktische uitvoering hiervan leidt niet alleen voor de studenten maar ook voor de minister tot een forse hordenloop.

Borghans, L., & De Grip, A. (1997). Numerus fixus en arbeidsmarkt. Economisch Statistische Berichten, 5 februari. [Arbeidsmarktverstoring door de numerus fixus feneeskunde, in relatie tot de kosten van de gezondheidszorg. Als ik het goed heb]

Campbell, C. (1997). A diagnosis that demands more doctors. THES, 12 december 1997. (Chairman of the Medical Workforce Standing Advisory Committee)

Casteren, Boukje van, & Witte, Daniël (1997). Loting voor iedereen blijft beste methode. De Volkskrant 1-3-'97. Beide auteurs zijn lid van het SOG: Studentbestuursleden Overleg Geneeskunde.

Cate, Th. J. ten, Van Rossum, H. J. M., & Van der Vleuten, C. P. M. (1997). Huidige lotingsysteem is het beste. NRC Handelsblad 12 april 1997.

• Zij onderscheiden vier partijen die belang hebben bij de selectie: de aankomende studenten, de gezondheidszorg, de wetenschap en de universiteit. Studenten: 'Het is echter niet eenvoudig om aan te geven waarom de een meer recht zou hebben dan de ander. Heeft iemand die makkelijk hoge cijfers haalt meer recht dan iemand die daarvoor veel inzet moet tonen? Heeft iemand met veel sociale vaardigheid meer recht dan iemand die individualistisch is? En wat te doen met een vwo-er uit een kansarm milieu, die gemotiveerd wordt door het vooruitzicht van een economisch respectabele toekomst?" De universiteit blijkt bij deze auteurs verengd tot de faculteit geneeskunde, waarmee het argument buiten zicht blijft dat bijvoorbeeld exacte studies om schaars talent moet concurreren met geneeskunde dat een streep voor krijgt. Tenslotte: "Wil men vwo-ers die moreel het meest recht hebben om geneeskunde te studeren meer toelatingskansen geven, dan moet vastgesteld worden dat hervoor geen onbetwiste instrumenten bestaan, omdat niemand hun motieven objectief kan wegen."

Drenth, P. J. D. (1997). Prestatie moet bij loting zwaarder wegen. NRC Handelsblad 27-3-1997.

• Drenth gaat in op in de pers geuite bezwaren op het rapport, alsof de discussie nu al afgerond zou kunnen worden. Het belangrijkste komt nog. Zie vooral punt 7 waarin Drenth met een drogreden ontkomt aan de conclusie dat gewogen loting toch beter is. Zie vooral punt 2, over de scherpe cesuur, waar Drenth zich ook met een drogreden vanaf maakt: 'Dit probleem houdt men echter altijd als een categorie direct wordt toegelaten.' Als dat om 10% of 50% van de plaatsen gaat, is dat probleem wel hetzelfde van aard, maar bepaald niet van omvang. En waarom vooronderstellen dat er een categorie direct geplaatsten moet zijn, het bezwaar richt zich immers ook daartegen? Op de crux van het voorstel van de commissie wordt door Drenth niet verder geproblematiseerd, terwijl dat juist hoognodig moet gebeuren: punt 13: "De verdediging van de directe toelating van de studenten met hogere eindexamencijfers zit hem eerder in de voorkeur prestaties en talent, naar voren gekomen in het voorafgaande tarject, meer te honoreren."

Drenth, P. J. D. (Voorz.) (1997). Gewogen loting gewogen. Advies van de Commissie Toelating Numerus Fixusopleidingen. Met Bijlage. Zoetermeer: Ministerie van Onderwijs en Wetenschappen. Den Haag: Sdu. pdf

Ebach, J., & G. Trost (1997). Admission to medical schools in Europe. Lengerich: Pabst Science Publishers. (Genoemd in vd Broek e.a. 1999, zelf niet gezien)

Lange, Sandra de, & Egbert de Weert (1997). Decentrale toelating bij numerus fixusopleidingen. Een verkenning naar de rol van werkervaring in Denemarken en Duitsland. Bijlage 4 in rapport van de commissie De Klerk, 1998, Decentrale Toelating. Onderwijsraad.

Hageman, Esther (1997). Loting. Mams klimt in de pen en wil 'intake-gesprekken'. Trouw, 7 mei 1997. [niet online; ik heb een kopie] [Trouw kreeg bijna 40 brieven aan OCW ter inzage]

Hofstee, W. K. B., & Kiers, H. A. L. (1997). Een algemeen model voor loting en selectie bij numerus clausus. Tijdschrift voor Onderwijsresearch, 22, 81-85.

Klerck, Hanneke de (1997). Hoge cijfers maken nog geen goede dokters. De Volkskrant 5-3-'97 'Blokken.' Bevat leuke histogrammetjes die de makke van het voorstel Drenth goed in beeld brengen; een scherpe cesuur rond 7,5.

Ministerie van de Vlaamse gemeenschap (1997). Toelatingstoets voor studenten geneeskunde en tandheelkunde. (Genoemd in eindrapportage commissie Sorgdrager, 2003)

OC&W (1997). Toelating tot opleidingen met een numerus fixus. Beleidsnotitie. Zoetermeer, 12 mei 1997. Kamerstuk 25 000-VIII, nr. 99.

Oosterbeek, H. & D. Webbink (1997). Is there a hidden technical potential? De Economist, 145, 159-177. researchgate.net

Raad van State (1997) Advies van de Raad van State van 5 december 1997, opgenomen met de reactie van Ritzen in vergaderstuk 25947 A van de Tweede Kamer der Staten-Generaal, vergaderjaar 1997-1998.

Roeleveld, Jaap (1997). Lotingscategorieën en studiesucces. Rapportage aan de adviescommissie Toelating Numerus-Fixusopleidingen (Commissie Drenth). In Gewogen loting gewogen, Bijlagen, Bijlage 2, 62-120.

Trouw 9 april 1997. Hageman & Kreulen: Wie po's heeft geleegd mag geneeskunde doen.

• Situatie in Zweden, om werkervaring te laten tellen moet je ouder zijn dan 25 en bewijzen tenminste 5 jaar te hebben gewerkt, en slagen voor een toelatingstest, en Engels spreken. 'Twee maal per jaar houdt Zweden z'n nationale geschiktheidstest. Daarmee haal je een cijfer tussen 0 en 2. Wie vijf jaar werkt, krijgt een halve punt extra.' Citeert Hermansson: "Van alle plaatsen in de collegezaal is, wettelijk, minimaal een derde bestemd voor mensen die de toelatingstest hebben gedaan, dus niet het schoolexamen. Van die groep is de helft voor mensen met werkervaring, met dat halve punt extra."

Trouw 9 april 1997. Hulp bij geneeskunde-test in de VS handelswaar.

• Gaat ook over 'de proef' in Vlaanderen, waar universiteiten de kandidaten blijken te helpen in de voorbereiding erop, en daarmee het systeem minder bruikbaar maken. Duitsland gaat de tests en de gesprekken de deur uit doen: "Vanaf zomer 1998 worden de stoelen in de collegezaal anders toebedeeld. De groep met hoge examencijfers krijgt dan 60 procent van de stoelen. De groep die al langer op een steol wacht, krijgt de rest."

Trouw 9 april 1997. Vlaanderen: knokken voor studieplaats en diploma.

Velden, R. K. W. van der (1997). De bestemming op de arbeidsmarkt van havo- en vwo-abituriënten. Notitie ten behoeve van het rapport van de commissie Decentrale Toelating. Bijlage 5 in Commissie De Klerk, 1998, Decentrale toelating. Onderwijsraad.

Wilbrink, B. (1997). Assessment in historical perspective. Studies in Educational Evaluation, 23, 31-48. html

1998 Wijziging van de Wet brengt raden in beweging

TK 25 947 (24-3-1998). Wijziging van de Wet op het hoger onderwijs en wetenschappelijk onderzoek, houdende aanpassingen in het systeem van selectie voor opleidingen waarvoor een toelatingsbeperking is vastgesteld. pdf

TK 25 947 (9-12-1998). Nota van wijziging. pdf

TK 25 947 (24-3-1998). Advies Raad van State. pdf

TK 25 947 (25-11-1998). Advies Raad van State. pdf

Broek, A. van den, Klein, G., Prins, J., Rijnhart, A., & Verrijt, T. (1998). Selectie in het kunstonderwijs. Beleidsgerichte studies Hoger onderwijs en Wetenschappelijk onderzoek 59. OCenW. Den Haag: Sdu Servicecentrum. ISBN 90 346 3648 8

• Opvallend onderdeel van dit onderzeok: in het theoretisch kader is gebruik gemaakt van de criteria voor adequate selectie zoals gehanteerd door de commissie-Drenth pdf hoofdrapport Gewogen loting gewogen. Deze criteria zijn wat uitvoeriger beschreven in de als bijlage bij het commissierapport opgenomen notitie van Ben Wilbrink (1997). Opsomming van de discussie over toelating bij numerus fixusstudies. In: Gewogen loting gewogen. Advies van de Commissie Toelating Numerus Fixusopleidingen pdf hoofdrapport, Bijlage, 121-203. De afzonderlijke bijlagen bij het rapport zijn niet meer online beschikbaar bij OCW. webpagina met deze bijlage

Drenth, P. J. D. (1998). Selectie voor en in de studie geneeskunde. In A. M. J. J. Verweij et al. (Red.). Gezond onderwijs. Houten: Bohn Stafleu. (van Cees van Dorp gekregen).

Onderwijsraad (1998) Decentrale toelating. Den Haag: Onderwijsraad. html plus stukken rapport horen internationaal standpunten studenten bestemming schoolverlaters

Klerk, L. F. W. de (voorzitter) (1998) Decentrale toelating gewogen. Rapport van de Commissie Decentrale Toelating van de Onderwijsraad. In: Onderwijsraad (1998). Decentrale toelating. Advies. Den Haag: Onderwijsraad. http://www.onderwijsraad.nl/upload/publicaties/496/documenten/dectoe.pdf L. F. W. de Klerk (vz), B. P. Vermeulen J. W. M. Buys, H. Drost, H. J. van der Molen, M. C. G. Verstegen, C. A. C. F. van Dorp (waarnemer namens departement).

• p. 19 noot 40: Twee reacties van universitaire faculteiten op vragen van de commissie drenth. Tandheelkunde Groningen: 'Er zijn geen goed objectiveerbare methoden om de juiste studenten tandheelkunde te selecteren. Ondanks een groot aantal onderzoeken, bijvoorbeeld op het terrein van de zogenaamde psycho-motorische vaardigheden, zijn nooit bruikbare aanwijzingen in deze richting gevonden.' De KNMG: "Een gerenomeerd [sic] selectiebureau heeft op basis van gesprekken met alle opleiders in de Heelkunde een profiel opgesteld voor de aankomend chirurg en op basis daarvan een psychologisch testonderzoek opgesteld dat de gehele dag in beslag nam. Uitsluitend kandidaten die op basis van het psychologisch onderzoek als zeer geschikt werden beoordeeld, kwamen in aanmerking voor een gesprek met de selectiecommissie. Na een aantal jaren kwam de Vereniging voor Heelkunde tot de conclusie, dat de op deze wijze voor de opleiding geselecterde kandidaten, in vergelijking met het verleden, zeker geen betere resultaten boekten en dat problemen tijdens de opleiding zich juist vaker leken voor te doen.' (voor het satndpunt van de KNMG zie ook) Zie voor een overzicht in de medisch hoek ook, o.m.; J.G.M. Gerritsma, Verbetert selectie het lage rendement? Medisch Contact, 44(1989), 1083-1086 https://www.medischcontact.nl/web/file?uuid=ac85ad39-8dfe-41e7-97fd-5dc0ab9a8885&owner=48ee6650-b014-4758-ad1d-c9348ef25abf ; zie voor tandheelkunde o.m. M.H. Spratley, Aptitude testing and the selection of dental students. Australian Dental Journal, 35(1990), 159-168.

Lievens, F., & Coetsier, P. (1998). Een andere kijk op selectie van kandidaat medische studenten: ontwikkeling van op video opgenomen simulaties. Tijdschrift voor Hoger Onderwijs, 16, 117-130. open access https://www.tvho.nl/edition.php?id=60

• Ik heb dit nog niet goed gelezen, maar het is overduidelijk een poging om het personeelsselectiemodel toe te passen, zonder daarbij de vraag naar de juistheid van die keuze, laat staan de rechtvaardigheid ervan te beantwoorden.

Trost G, Blum F, Fay E, Klieme E, Maichle U, Meyer M, Nauels H-U. Evaluation des Tests für Medizinische Studiengänge (TMS): Synopse der Ergebnisse. Bonn: ITB; 1998. [nicht aufgefunden]

Tweede Kamer der Staten-Generaal (1998). Wijziging van de Wet op het hoger onderwijs en wetenschappelijk onderzoek, houdende aanpassingen in het systeem van selectie voor opleidingen waarvoor een toelatingsbeperking is vastgesteld. Kamerstuk 25 947, nr. 2 Voorstel van wet. Nr. 3 Memorie van Toelichting. A, Advies van de Raad van State en nader rapport.

Tweede kamer der Staten-Generaal. Vaststelling van de begroting van de uitgaven en de ontvangsten van het ministerie van Onderwijs, Cultuur en Wetenschappen (VIII) voor het jaar 1998. Kamerstuk 25 600 VIII. Nr. 5, Verslag van een algemeen overleg. (Over rapport Drenth en de Beleidsnotitie)

Zentrum für Testentwicklung und Diagnostik an der Universität Freiburg (1998). Eignungstest für das Medizinstudium in der Schweiz. (Genoemd in eindrapport commissie Sorgdrager 2003)

1999 De deur voor selectie staat nu op een kier

TK 25 947 (27-1-1999). Brief minister over spoedige behandeling van dit wetsvoorstel i.v.m. verwachtingen bij schoolverlaters voor studiejaar 1999-2000. pdf

"> TK 25 947 (12-3-1999). Memorie van antwoord. pdf

TK 25 947 (24-3-1999). Memorie van toelichting. pdf

TK 25 947 (14-1-1999). Nota n.a.v. het verslag. pdf

Broek, A. van den, M. Gooskens, G. Klein, M. Leiblum & A. Lewe (1999). Decentrale selectie bij opleidingen met een toelatingsbeperking. Onderzoek in opdracht van de commissie Sorgdrager. Nijmegen: IOWO KUN.

Otting, H., & Zwaal, W. (1999). Het effect van selectie op studieprestaties. Tijdschrift voor Hoger Onderwijs, 17, 245-257. open access https://www.tvho.nl/edition.php?id=60

2000

Hänsgen K-D, Spicher B. Zwei Jahre Numerus clausus und Eignungstest für das Medizinstudium in der Schweiz (EMS). Teil 1: Erfahrungen mit dem EMS als Zulassungskriterium. Schweiz Ärztezeitung Heft 2000;81(12):666-72. pdf. Teil 2: EMS und Chancengleichheit. Schweiz Ärztezeitung Heft 2000; 81(13):723-30. pdf Website auteur: site]

Kamerman, Sheila (5 mei 2000). Universiteit op zoek naar artsen. Selectie studenten geneeskunde 'niet eerlijker, wel menselijker.' NRC Handelsblad. [niet online te vinden; ik heb het knipsel]

• "Het liefst zou chirurg prof. O. Terpstra met de scholieren die graag arts willen worden, een weekje op de hei gaan zitten. 'Een paar avonden rond een kampvuur, een survivaltocht en ik kan aardig inschatten wie een goede arts kan worden,' zegt hij." (....) Kamerman; "In Nederland bestaat geen traditie om op academische excellentie te selecteren, zoals in Groot-Brittannië en de Verenigde Staten waar de beste universiteiten alleen de meest veelbelovende studenten toelaten." Drenth krijgt de gelegenheid om even zijn ongenoegen over die decentrale warboel te spuien. Een schooldecaan, W. Rietman, is heel uitgesproken in zijn opvattingen, na de eerste ervaringen met de decentrale toelating. O. de Vries, belast met selectie van studenten aan de UU. Onderwijsdirecteur H. Hendrix van de Universiteit Leiden. M. Verwey, VU, gaat proberen 'affiniteit met de multiculturele samenleving' te meten.

2001 Selecteren blijkt moeilijker dan men dacht

Bijl, Paul van der (6 januari 2001). Selectie aan de poort. Universiteiten en hogescholen beginnen aarzelend met eigen selectie. NRC Handelsblad. [ik vind dit artikel niet online, helaas; heb zelf het origineel]

• In dit artikel o.a. Olle ten Cate "Je kunt het vergelijken met een sollicitatiegesprek."

Cate, Th. J. ten, & H. L. Hendrix (2001). De eerste ervaringen met selectie voor de artsopleiding. Nederlands Tijdschrift voor Geneeskunde, 145, 1364-8. html

• Beschrijft de (totaal verschillende) decentrale selectie die selecterenderwijs in Leiden respectievelijk Utrecht is uitgevoerd.
• In Leiden kwamen er van kandidaten 31 bezwaarschriften, behandeld (en ongegrond verklaard) door de vaste commissie voor beroep- en bezwaarschriften van de Universiteit Leiden. Dat is opvallend: dus niet door de CoBEx. Moeten we daar gelukkig mee zijn? De vaste commissie heeft de bezwaren ontvankelijk verklaard.
• uit de slotbeschouwing: "De politiek lijkt vooral het gedrag van de scholier te willen beïnvloeden, terwijl voor een geneeskundefaculteit niet het verleden van de kandidaat, maar juist diens toekomst relevant is. Antwoorden zijn nog niet te geven. Voor een gedegen evaluatie van de decentrale selectie in algemene zin is het nog veel te vroeg. In ieder geval kan de vraag of er betere studenten worden toegelaten nog lang niet worden beantwoord; dat zal nog jaren onderzoek vergen. En of decentrale selectie een rechtvaardiger onderscheid heeft gemaakt tussen hen die wel en hen die niet zijn toegelaten, weten wij ook nog niet. Dat vergt breed onderzoek onder aspirant-studenten en hun omgeving, toegelatenen en niet-toegelatenen, waarbij eerst rechtvaardigheidsnormen gesteld moeten worden. Die normen zullen ongetwijfeld weer discussie oproepen, dus het is nog onduidelijk of er een helder antwoord zal komen op de vraag wie het meeste recht op toelating heeft."

Hänsgen K-D, Spicher B. EMS Eignungstest für das Medizinstudium in der Schweiz. Bericht über die Durchführung und Ergebnisse, Evaluation der Vorhersage von Prüfungserfolg - avec un résumé en français. Berichte des Zentrums für Testentwicklung und Diagnostik Band 7. Fribourg;2001. Auch im Internet abrufbar unter www.unifr.ch/ztd/EMS.

F. Lievens, P. Coetsier & C. Decaesteker (1999). Predictieve validiteit en sekse-specificiteit van het toelatingsexamen 'Arts en Tandarts' in Vlaanderen: Een eerste peiling. Pedagogische Studiën, 78, 4-15. pdf

2002 Numerus clausus

Wieland van Dijk (11-4-2002). Commissie Sorgdrager: nog te veel selectie op kennis. DUB artikelm "Hogescholen en universiteiten die zelf studentenselecteren leggen nog altijd te veel nadruk op kennis. Dat is deconclusie van de commissie-Sorgdrager, die het experimentbegeleidt."

K.-D. Hänsgen und B. Spicher (2002). Numerus clausus: Finden wir mit dem 'Eignungstest für das Medizinstudium' die Geeigneten? Medical Education pdf

• Zusammenfassung Für die Zulassung zum Studium der Medizin wird seit 1998 ein Numerus clausus an den Universitäten Basel, Bern, Freiburg und Zürich angewendet. Als Zulassungskriterium dient ein Eignungstest. Welche Erfahrungen liegen bezüglich dieser Zulassung vor - berücksichtigt sie wie gefordert die Eignung? Diese Frage konnte nun auch erstmals in der Schweiz anhand konkreter empirischer Daten untersucht werden, indem für zwei Jahrgänge (1998 und 1999) die Prüfungsergebnisse im Studium mit den Testwerten im EMS verglichen worden sind. Der Testwert erlaubt eine gute Vorhersage von Studiendauer und Prüfungsnoten. Es erhalten diejenigen bevorzugt einen Studienplatz, die das Studium in kürzerer Zeit und mit besseren Leistungen absolvieren. Gleiche Testwerte bedeuten auch in verschiedensten Teilgruppen (nach Sprache, Alter, Geschlecht, Disziplin, Universität) eine vergleichbare Bestehenswahrscheinlichkeit der Prüfung - die Chancengleichheit ist gegeben.
  Der EMS ist nicht nur bezüglich Ökonomie, Rechtsgleichheit oder Willkürfreiheit gegenüber anderen Zulassungskriterien konkurrenzlos - er differenziert nachweislich Personen nach der Studieneignung.

Hänsgen K-D, Spicher B. (2002). Numerus Clausus: Numerus Clausus: le "test d'aptitudes pour les études de médecine" (AMS) permet-il de trouver les personnes les plus aptes? Bulletin des médecins suisses - 2002;83 (47) 2562 - 2569. pdf

Robyn M. Dawes (2002). The Ethics of Using or Not Using Statistical Prediction Rules in Psychological Practice and Related Consulting Activities. Philosophy of Science, 69, 178-184. free pdf request

• abstract Professionals often believe that they must "exercise judgment" in making decisions critical to other people's lives. The relative superiority (established in roughly 150 studies) of statistical prediction rules (SPR's) to intuitive judgment for combining incomparable sources of information to predict important human outcomes leads us to question this personal input belief. Some professionals hence use SPR's to "educate" intuitive judgment, rather than replace it. In psychology in particular, such amalgamation is not justified. If a well-validated SPR that is superior to professional judgment exists in a relevant decision making context, professionals should use it, totally absenting themselves from the prediction.
• Het kost een enkele redeneerstap extra, maar dan is dit ook relevant voor de discussie over toelating bij numerus-fixusstudies in de Nederlandse verhoudingen (zijn onderwijsstelsel, de selectiviteit daarvan, de wetgeving), en hoe de opstelling van de professional daarin is.

2003 De juiste student op de juiste plaats: de Cie van politica Sorgdrager

Sorgdrager, W. (Voorzitter) (2003). De juiste student op de juiste plaats. Eindrapportage van de Begeleidingscommissie Decentrale Toelating. www.minocw.nl/onderwijs/hogeronderwijs.nl

Broek, Anja van den, Joyce Kerstens, & Mirjam Woutersen (2003). Lot in eigen hand. Evaluatie van de experimenten met decentrale toelating in het hoger onderwijs. Onderzoek in opdracht van de Begeleidingscommissie Decentrale Toelating. Nijmegen: IOWO KUN. www.minocw.nl/onderwijs/hogeronderwijs.nl

Guus Valk. p. 8 NRC HANDELSBLAD Voor studies geneeskunde Universiteiten staken selectie 'aan de poort' Door onze redacteur Guus Valk Den Haag, 29 maart [2003].

• Twee van de vijf universiteiten die eerstejaars studenten geneeskunde 'aan de poort' selecteren, stoppen met het experiment wegens gebrek aan succes. De medische opleiding van de Universiteit Leiden heeft het project afgeblazen, de Universiteit Utrecht stopt er aan het einde van dit studiejaar mee. Dat blijkt uit een rondgang langs de medische faculteiten. Slechts één van de vier universiteiten die de effecten van selectie hebben gemeten, de Erasmus Universiteit Rotterdam, zegt dat geselecteerde studenten betere resultaten behalen. Volgens de universiteiten van Amsterdam, Utrecht en Leiden behalen geselecteerde studenten geen betere resultaten. Utrecht en Leiden zeggen dat de proef bovendien te kostbaar is om ermee door te gaan. De Vrije Universiteit doet sinds kort mee en heeft het project nog niet geëvalueerd. De Rijksuniversiteit Groningen begint er komend studiejaar mee. Demissionair staatssecretaris Nijs (onderwijs) beslist volgende week of zij instellingen meer ruimte wil geven om goede studenten te selecteren. Haar voorganger, minister Hermans, begon in 1999 met selectie voor opleidingen met een zogeheten 'numerus-fixus' - in de praktijk vooral geneeskunde - in combinatie met een gewogen loting, waarbij alleen scholieren die gemiddeld hoger dan een acht scoren niet meeloten. Dit systeem verving de algemene loting die vaak leidde tot 'schrijnende gevallen'. Zoals dat van WO-scholiere Vernooij [de spelling is met ij, niet y, email Conall Boyle 5 maart 2010] die ondanks een gemiddelde van 9,6 op haar eindlijst, vanaf 1996 driemaal werd uitgeloot voor geneeskunde. Opleidingen met een nunierus fixus mogen tot maximaal 50 procent van de studenten selecteren. Op die manier, vond Hermans, houden studenten hun lot meer in eigen hand. De instellingen mochten zelf de criteria bepalen. Ook enkele niet-medische studies, zoals journalistiek aan de Hogeschool van Utrecht, begonnen te selecteren. Daarover zijn nog geen gegevens bekend. Vorige maand adviseerde een commissie, onder leiding van oud-minister Winnie Sorgdrager in opdracht van Nijs om het systeem van loten helemaal te vervangen door selectie. Volgens de Utrechtse hoogleraar medische onderwijskunde Th. ten Cate zullen eerstejaars studenten komend studiejaar weer worden toegelaten door loting. Nu selecteert de universiteit 10 procent van de medische studenten door hun kennis en vaardigheden te testen. Dit systeem is echter veel te duur, zegt Ten Cate. "Op hoogtijdagen zitten tien mensen in de slectiecommissie. Die tijd gaat allemaal af van het onderwijs. Bovendien blijkt dat geselecteerde studenten geen hogere cijfers halen. Vwo-ers hebben allemaal dezelfde opleiding gehad, dus de verschillen zijn niet zo groot." De universiteit begint volgend studiejaar met een 'klasje' van topstudenten, waarvoor de universiteit nog wel wil selecteren. De Erasmus Universiteit zegt dat geselecteerde studenten wel degelijk gemotiveerder zijn dan ingelote studenten. Zij selecteert nu 30 procent van de studenten geneeskunde en gezondheidswetenschappen en wil dat uitbreiden naar circa 50 procent. Volgens eigen onderzoek halen geselecteerde studenten hogere cijfers. De Landelijke Studentenvakbond is tegen selectie, omdat in de praktijk niet de student, maar de instelling de meeste invloed heeft. "Iedere opleiding verzint eigen criteria", zegt voorzitter Noortje van der Meij. "Daardoor weet de student niet-waar hij aan toe is."

Chavannes, Marc (2003). De worsteling met de Amerikaanse erfzonde. NRC Handelsblad 22 juni, 25.

• 'Mogen universiteiten lagere eisen stellen aan minderheden? Komende week bepaalt het Supreme Court de toekomst van affirmative action. Chavannes spreekt enkele betrokkenen, zoals filosoof Carl Cohen, Ralph Williams, jurist van Michigan State University Jonathan Alger, Theodore St. Antoine. Carl Cohen verhaalt hoeveel moeite het hem kostte om gegevens over de feitelijke toelatingsprocedure in handen te krijgen. Daaruit blijkt dat blanken geweigerd werden terwijl zwarten met dezelfde scores werden aangenomen. Chavannes begrijpt er maar weinig van, want uiteraard zijn testscores in de VS niet het enige criterium, en is zo'n vergelijking op maar een enkele van de toelatingscriteria demagogisch. Afijn, wel een uitgebreid artikel.

NOS Journaal 23 juni 22:00 uur: Supreme Court doet uitspraak dat positieve discriminatie is toegestaan, zij het niet door voor ras punten toe te kennen, maar bijvoorbeeld wel zoals de Law School selecteert waarbij een redelijke raciale mix tot stand wordt gebracht.

Hoogstraten, Diederik van (24 juni 2003). Universiteit VS mag ras meewegen. Volkskrant 24 juni 2003 p. 4 (van hoogstraten is medewerker te New York)

2004 Experimenteren met selectie

Tweede Kamer 29388 nr. 1 (8-1-2004). Toelatingsbeleid in het hoger onderwijs; Brief staatssecretaris met notitie 'Ruim baan voor het toelatingsbeleid in het hoger onderwijs'. pdf

Ben Wilbrink (2004). Extra selectie aan de poort: wanneer is genoeg genoeg?. Onderzoek van Onderwijs, 2004, 33 nummer 3, 37-40. html

Henk van Berkel (2004). Selectie voor de universiteit: oude wijn in nieuwe zakken. Onderzoek van Onderwijs, 2004, 33 nummer 3, 41-43.

• "... de belangrijkste argumenten waarom selectie aan de poort niet werkt."

• Column. Een parodie.

• voor annotaties bij dit pleidooi van Wim van der Linden zie html

Itai Mol (3 april 2004). 'Blokken voor de poort'. De Volkskrant Wetenschap, 1. artikel

Een hele pagina selectie-aan-de-poort, nav. plannen van het Leidse CvB. (Later toch maar afgeblazen). Daarin ook: Grandes écoles en het plebs. Het einde van de Zentralstelle. Oxford en Cambridge mikken het hoogst.

D. N. M. de Gruijter (2004). Gewogen loting bij psychologie. Onderzoek m.b.t. de toelatingsselectie bij de opleiding psychologie in 2004/2005. ICLON. rapport 142. pdf

• In zoverre als de invoering van de gewogen loting een verschuiving in de belangstelling van aanstaande studenten voor Leidse opleidingen teweeg brengt, is er niet alleen sprake van selectie voor de opleiding Psychologie, maar ook van grotendeels ongestuurde plaatsing van studenten over opleidingen binnen de Universiteit Leiden. Immers, de universiteit heeft geen invloed op de eventuele keuze van de afgewezen kandidaten voor een andere studie in Leiden. [mijn accent, b.w.]

  blz. 13

Pieter Drenth (8 april 2004). Selectie aan de poort werkt niet. nrc.nl artikel

• Het is een misverstand te denken dat het studierendement een hoge vlucht neemt wanneer aankomende studenten eerst alle mogelijke tests moeten afleggen, voordat zij tot de studie van hun keuze worden toegelaten, meent Pieter J.D. Drenth.

Kees Kolthoff (15 april 2004). PvdA steunt foute selectie. de Volkskrant artikel

• " .. eigentijds elitedenken waartoe men zich bij eerdere gelegenheden nog niet zo openlijk durfde te bekennen. Want men heeft het niet meer alleen over opleidingen die door gebrek aan geld en faciliteiten noodgedwongen een beperkte toelating (numerus fixus) moesten instellen, maar over studierichtingen en hele universiteiten die opgestoten moeten worden in de vaart der volkeren. "

Kees Kolthoff (15 april 2004). PvdA steunt foute selectie. de Volkskrant betaalmuur

• Het nieuwe aan de recente versie van de discussie is dat het schaarste-argument nu verdrongen is door een vorm van eigentijds elitedenken waartoe men zich bij eerdere gelegenheden nog niet zo openlijk durfde te bekennen. Want men heeft het niet meer alleen over opleidingen die door gebrek aan geld en faciliteiten noodgedwongen een beperkte toelating (numerus fixus) moesten instellen, maar over studierichtingen en hele universiteiten die opgestoten moeten worden in de vaart der volkeren. En wij met hen.

  Tot ieders verbazing verschafte de grootste oppositiepartij, bij monde van PvdA-fractiewoordvoerder Jacques Tichelaar, staatssecretaris Nijs de ruimte haar heilloze ideevoor het hoger onderwijs uit te voeren. In ruil voor een stukje financieringssystematiek, die niets met de inhoud, de kwaliteit en de maatschappelijke functie van het onderwijs te maken heeft. En hij liet het aan CDA, SP en GroenLinks over de noodzakelijke kritische vragen te stellen en aan Kees Vendrik (GL) om in een voortreffelijk en principieel betoog de beginselen van hoger onderwijs voor velen, de emanciperende en culturele waarde van onderwijs en de onzin van 'selectie aan de poort' te verdedigen tegen het platte meritocratische VVD-model. Een model dat nu ook door de PvdA dreigt te worden omhelsd. Een vergelijking van de twee situaties, numerus fixus en algemene toelatingsbeperking, is verhelderend en onthullend.

  De numerus fixus, een maximum aantal toe te laten studenten, werd eind van de jaren zestig voor het eerst voor een aantal universitaire studierichtingen (geneeskunde, tandheelkunde en biologie) van overheidswege bij wet afgekondigd en herhaaldelijk bevestigd. Bij wet, want het was een inbreuk op het algemene recht van toelating tot een universitaire studie op grond van het diploma vwo (voorbereidend wetenschappelijk onderwijs) waartoe de overheid zich genoodzaakt zag doordat zij was ingehaald door een grote toeloop van studenten bij een onvoldoende opleidingscapaciteit.

  De numerus fixus maakte felle discussies los die uitwaaierden over een groot aantal deelgebieden: de basis voor het recht van toelating door middel van het 'omnivalente' vwo-diploma, de voorspelbaarheid van de maatschappelijke behoefte, de (maatschappelijke) wenselijkheid van beperking van afgestudeerden in de numfix-beroepen, het individuele profijt van een hoge opleiding, het bepalen van de aantallen toe te laten studenten, het vaststellen van de wijze van selecteren, het te verwachten rendement van bestaande en te ontwikkelen selectiemiddelen, het aantal toegestane pogingen tot toelating, de rechtvaardiging van toelating en afwijzing naar alle, verschillende, betrokkenen en belanghebbenden.

  Uit de opsomming van al deze aspecten blijkt al de grote reikwijdte van de problematiek. Zij loopt van politiek-ideologisch en rechtsfilosofisch tot meettechnisch en onderwijskundig. En, natuurlijk, financieel. Niet dat dit steeds duidelijk is, of duidelijk wordt gemaakt. Integendeel. Ideologische uitgangspunten worden in de hedendaagse politiek liefst verdonkeremaand of vederlicht 'afgeschud' en rechtsfilosofische doordenking zouden de problematiek een ondragelijke zwaarte kunnen verlenen. De PvdA-fractie heeft bij haar nieuwe opstelling alle wezenlijke punten gemist:

  De technische onmogelijkheid het studierendement meer dan minimaal te verhogen door tests, motivatie-onderzoek en dergelijke vtoelating.

  De afwezigheid van financi, personele en organisatorische middelen om zo'n minimale verbetering te verwezenlijken. (Beide punten zijn door een deskundige, prof.dr. P.J.D. Drenth, nog eens in NRC Handelsblad van 8 april uitgelegd en voorgerekend.)

  De misvatting dat veelsoortige problemen in het (hoger) onderwijs door strengere selectie van studenten in plaats van door verbetering van het onderwijs kunnen en moeten worden aangepakt. Hierdoor wordt ook het zwaartepunt in de verantwoordelijkheid voor de studieresultaten verkeerd gelegd: de pre-occupatie met de 'geschiktheid' van studenten voor het onderwijs komt in de plaats van aandacht voor geschiktheid van onderwijs voor studenten en voor de beoogde en gedroomde onderwijsdoelen.

  Het politieke uitgangspunt dat overheid en onderwijsinstellingen de mogelijkheid van maatschappelijke bijdragen en individuele ontplooiing van een reeds langjarig geselecteerde groep met gelijke kansen en op hoog niveau dient te bevorderen, in de (onderwijskundige) wetenschap dat verschillen in talent en inspanning door onderwijs niet gelijkgeschakeld maar verder ontwikkeld worden.

  Als het de verantwoordelijkheid van politici en bestuurders is te handelen op grond van de best beschikbare kennis en overeenkomstig hun politieke beginselen, dient de Partij van de Arbeid afstand te nemen van de egoi¿stische instincten, de lege opwinding over 'top'-studenten, 'top'-masters, 'top'-universiteiten en daaruit voortkomende rechtse plannenmakerij die de ontwikkeling van het hoger onderwijs voor onze samenleving bedreigt.

  Kees Kolthoff is voormalig hoofd van het Centrum voor Onderzoek van het Wetenschappelijk Onderwijs van de Universiteit van Amsterdam (1965-1973) en was woordvoerder voor hoger onderwijs in de PvdA-fractie in de Tweede Kamer (1973-1981).

Dirk Lewin und Irene Lischka (2004). Passfähigkeit beim Hochschulzugang als Voraussetzung für Qualität und Effizienz von Hochschulbildung. Arbeitsberichte 6 04. ISSN 1436-3550. pdf

Wissenschftsrat (2004). Empfehlungen zur Reform des Hochschulzugangs pdf

F. Lievens, P. Buyse (2004). De predictieve validiteit van cognitieve en niet-cognitieve voorspellers van het Toelatingsexamen 'Arts en Tandarts' in Vlaanderen. Pedagogische Studiën, 81, 444- . samenvatting

Sternberg, R. J. (2004). Theory-based university admissions testing for the new millennium. Educational Psychologist, 39, 185–198.

Gerard Reijn (18-12-2004). Veel betere student door selectie. Loten leidt tot grotere uitval dan schiften. de Volkskrant "Het Erasmus Medisch Centrum zegt voor het eerst bewijzen te hebben dat geselecteerde studenten het duidelijk beter doen dan studiegenoten die door loting zijn toegelaten" paywalled [Over dat promotieonderzoek van Urlings-Strop zie ook mijn pagina over decentrale selectie.

• Tot nu toe werd nooit bewezen dat selectie nut heeft, maar prof. Ted Splinter, onderwijsdirecteur van het Erasmus MC, en onderzoekster Louise Urlings-Strop zeggen het onomstotelijk bewijs te hebben.

  Het Erasmus MC selecteert zijn studenten in twee stappen. In de eerste fase krijgen aspirant-studenten een formulier voorgelegd waarin onder meer wordt gevraagd naar de motivatie om actief te zijn in de gezondheidszorg, en naar activiteiten die de scholieren doen naast hun schoolverplichtingen. Dat kan gaan om uiteenlopende zaken als topsport, muziek of zorgverlening.

  Op basis van dit formulier valt de helft van de achthonderd gegadigden af. In de tweede fase worden de resterende aspirant-studenten drie dagen getest op studievaardigheden, en worden er 185 geselecteerd.

  Staatssecretaris Rutte van Onderwijs stelde deze week een lijst op met studies die de komende twee jaar mogen experimenteren met verhoging van het collegegeld en/of selectie aan de poort. Sommige instellingen zullen het komend jaar al tot selectie overgaan, andere in 2006.

  Geneeskundestudies mochten al langer een deel van hun studenten selecteren. Dat begon in 2000, naar aanleiding van de commotie om Meike Vernooy, die ondanks haar eindexamenlijst van gemiddeld een 9,6 tot drie maal toe werd uitgeloot voor geneeskunde.

  De Tweede Kamer besloot daarop dat de 'domme loting' die gold voor numerus fixus-studies, zou worden aangevuld met het recht van universiteiten en hogescholen zelf studenten te selecteren.

  Het aandeel te selecteren studenten is in een paar jaar uitgebreid tot 50 procent, maar de meeste universiteiten hebben nooit van die mogelijkheid gebruikgemaakt. Zij verwachten niet veel heil van selectie. De universiteiten van Utrecht en Leiden waren er wel mee begonnen, maar zijn weer gestopt omdat selectie niet zou leiden tot betere resultaten.

  Een veelgehoord bezwaar tegen selectie aan de poort is dat het zo duur zou zijn. Splinter stelt echter dat de besparingen vele malen groter zijn. Een student medicijnen kost twintigduizend euro per jaar. Als dankzij selectie enkele tientallen studenten minder uitvallen, bespaart dat ettelijke tonnen op jaarbasis.

• Sommige universiteiten, met name die van Leiden, zouden niets liever willen dan al hun studenten zelf uitkiezen, maar ex-staatssecretaris Nijs had die hoop in het voorjaar al de grond in geboord. Slechts studies met een 'erkende evidente meerwaarde' zouden mogen experimenteren met eigen toelatingseisen, of met verhoging van het collegegeld.

  Rutte stelde een lijst vast van enkele tientallen studies, die weliswaar geen van alle helemaal voldeden aan de criteria van 'erkende evidente meerwaarde', maar die dat in aanleg zouden kunnen doen. Of die al aardig in de buurt kwamen. Bestuursen organisatiewetenschap (b en o) bijvoorbeeld, een opleiding van de Universiteit van Utrecht, een studie die in ranglijstjes als van Elsevier al jaren hoog scoort.

  Decaan Paul Verweel denkt dat zijn studenten vooral zo tevreden zijn dankzij de kleinschaligheid van de opleiding. 'Mensen hebben behoefte ergens bij te horen, en hier hebben ze het gevoel er bij te horen.'

  Studenten willen soms bij de hand genomen worden, zegt hij. Veel universitaire studies vinden het voldoende als er uitstekende leerstof wordt voorgezet. De student zoekt maar uit hoe hij het verwerkt. 'Dat is als rijles in een bus. De chauffeur rijdt, en legt aan de passagiers uit wat hij doet. Na die les kunnen de meesten echt geen bus rijden.' Hij begeleidt zijn studenten intensief. De eerste twee studiejaren staan er voor elke student meer dan tien evaluatiegesprekken per jaar gepland.

  De studenten zijn er dik tevreden mee. Tweedejaars Sebastiaan Steenman: 'Ik volg ook nog een andere studie, onderwijskunde. Daar voel ik me echt een nummer, daar ken ik niemand. Hier ken ik iedereen. We zitten met zijn allen in één gebouw, dus je kunt heel makkelijk een docent aanspreken.' Zijn jaargenoot Guido van Doorn vindt de opleiding zelfs 'een beetje warmte uitstralen'. De colleges bevallen hen: weinig hoorcolleges, veel discussie, kleine groepen. Steenman zou zelfs nog wel bereid zijn een hoger collegegeld te betalen, bijvoorbeeld 2000 euro per jaar, om hier te mogen studeren. 'Maar liever niet.'

  Dat zal niet nodig zijn, want daar ziet decaan Verweel niets in. Noem hem oud-links, noem hem nostalgisch, maar hij vindt financiële barrières voor studenten verwerpelijk. Hij wil bewijzen dat geld niet alles bepalend is, dat je ook zonder extra geld een uitmuntende opleiding kan opzetten. En vooral wil hij mensen opleiden die later, in het openbaar bestuur, weten dat niet alles om geld draait.

  Selecteren aan de poort wil hij wel. Nu melden zich jaarlijks tweehonderd studenten voor zijn opleiding aan, waarvan hij er negentig kan plaatsen. Hij gaat zijn studenten niet alleen uitkiezen op basis van cijfers op de eindlijst. Hij wil de aspiranten enkele tests afnemen en een opstel laten schrijven over hun motivatie. De procedure wordt afgesloten met een sollicitatiegesprek.

  Verweel vindt het experiment met selectie geslaagd als de doorstroming van de studenten er beter van wordt. Daar zal hij nog een harde dobber aan krijgen. Nu al overleeft 80 procent van de studenten het eerste jaar, terwijl dat bij veel sociale studies maar 40 procent is; en 30 procent studeert af binnen vier jaar, een percentage dat elders pas jaren later wordt bereikt.

  Niet alle studies die van Rutte mogen experimenteren, bestaan al. Inholland wil in Rotterdam een speciale lerarenopleiding opzetten voor basisscholen. De commissie-Korthals, die Rutte voor deze operatie adviseerde, heeft wel twijfels bij de opleiding, maar concludeert welwillend dat de plannen van Inholland getuigen van de 'ambitie om een opleiding te ontwikkelen die duidelijk meerwaarde biedt'.

  Volgens plaatsvervangend lid van het college van bestuur van Inholland, Joke Snippe, zal er op de opleiding plaats zijn voor zo'n dertig studenten. De opleiding zal pas in 2006 van start kunnen gaan. 'Een van de bijzondere dingen van deze opleiding is dat hij zal voorbereiden op managementtaken in het basisonderwijs. Dat doet geen enkele andere opleiding. We gaan werken met internationale uitwisseling, er komt een onderzoekscomponent en we gaan technieken van leren op afstand toepassen.' De opleiding moet nog worden ontwikkeld, de selectieprocedure ook, maar die zal gebaseerd zijn op de hoge schoolcijfers en op een intake assessment.

  Blijft de vraag of selectie eigenlijk wel nut heeft. De commissieKorthals, die Rutte adviseerde, heeft zelf twijfels. Selectie op 'individuele kwaliteiten als motivatie en attitude' heeft niet veel voorspellende waarde als er aan de opleiding zelf niets verandert. 'In die zin is de context van de opleiding een betere voorspeller van studiesucces en rendement', schrijft de commissie.

  Er is al wel enige ervaring met selectie aan de poort in Nederland. Sinds 2000 mogen studies met een numerus fixus maximaal de helft van hun eerstejaars zelf selecteren. Daardoor ontstaat de unieke situatie dat geselecteerde studenten naast nietgeselecteerden studeren, en hun prestaties dus uitstekend kunnen worden vergeleken.

  Alle geneeskundestudies hebben een numerus fixus, maar van de selectiemogelijkheden wordt slechts weinig gebruik gemaakt. De universiteiten van Groningen, Nijmegen en Maastricht zijn er nooit aan begonnen. Dr. J. Cohen-Schotanus van het onderwijsinstituut van de geneeskundefaculteit van de Rijksuniversiteit van Groningen: 'Wij zijn er niet aan begonnen omdat het studierendement bij geneeskunde al heel hoog is. Bovendien hebben wij de afgelopen jaren gevolgd hoe studenten die op de middelbare school hoger dan een acht hadden het deden. Die blijken iets sneller te studeren dan gemiddeld, maar wij denken dat je die snelheid voor anderen ook kunt bereiken door je onderwijs te verbeteren.'

  De geneeskundefaculteiten van Leiden en Utrecht zijn bij gebrek aan resultaten alweer gestopt met selectie.

  Maar het Erasmus Medisch Centrum in Rotterdam is er dolenthousiast over. Binnenkort worden cijfers gepubliceerd die overtuigend moeten aantonen dat selectie helpt. Volgens opleidingsdirecteur prof. dr. Ted Splinter en onderzoeker Louise Urlings-Strop is het percentage studenten dat vrijwel zeker uitvalt bij gebrek aan studiepunten, sterk gedaald. Het 'normale' percentage ligt, na twee jaar studie, iets boven de 15 procent. Bij de geselecteerde studenten is het minder dan 5 procent. De geselecteerden haalden in twee jaar gemiddeld (omgerekend) 108 ectsstudiepunten, de nietgeselecteerden 96.

  'We hebben dus duidelijk een methode gevonden die succes heeft', zegt Splinter. Vooral het vermijden van uitval is erg interessant, ook financieel. Een geneeskundestudent kost twintigduizend euro per jaar. Als die zijn studie niet afmaakt, is dat weggegooid geld.

  De resultaten in Rotterdam lijken een overtuigend bewijs dat selectie aan de poort wel degelijk een succes kan zijn. Maar of dat ook zal gelden voor de veertien studies die van Rutte mogen gaan experimenteren, is zeer de vraag. In Rotterdam dingen jaarlijks zo'n 800 studenten mee voor 185 te vergeven plaatsen. Dat is een heel scherpe selectie. Bij Bestuursen organisatiewetenschappen in Utrecht kunnen 90 studenten worden gekozen uit 200 belangstellenden; dat vergt al veel minder scherpe selectie. En bij andere opleidingen zal het aanbod nog minder overvloedig zijn. Het lijkt waarschijnlijk dat selectie nuttiger is naarmate het aanbod van studenten overstelpender is. Dat wordt bij de lerarenopleiding in Rotterdam of bij de talenstudies in Leiden toch nog lastig.

2005 Adriaansens' selectie van briljante geesten

Roger Standaert (2005). Examens in Vlaanderen. Een contextbeschrijving. Examens, 2, februari 5-8.

• Voor Nederlanders nuttige informatie: "Vlaanderen kent geen centrale richtlijnen voor examens"

Gerben van Lent (2005). Leidt meer meten tot meer weten? Pleidooi voor een xperiment. Examens, 2, februari, 16-18. artikel €

• Schaamteloos, want ondeskundig, pleidooi voor selectie-aan-de-poort. Versta me goed: het verwijt van ondeskundigheid slaat hier op de talrijke uitspraken in dit artikel die gewoon in strijd zijn met wat uit degelijk wetenschappelijk onderzoek bekend is. Iedereen mag zijn opvattingen hebben, maar de feitenbasis moet toch wel een beetje kloppen. Zo heeft Wim van der Linden in een voorgaand nummer van dit tijdschrift net uitgelegd dat goede tests voor selectie voor hoger onderwijs onmogelijk kostbaar zijn, en hier is iemand die de stelling van van der Linden kent (p. 18) en toch denkt dat die instrumenten zo wel even in elkaar zijn te zetten. Dat hoort niet, foutje van de redactie van Examens

Benedikt Hell & Heinz Schuler (2005). Verfahren der Studierendenauswahl aus Sicht der Bewerber. Kolumnentitel: Studierendenauswahl aus Bewerbersicht. Empirische Pädagogik, 19, 361-376. pdf

• abstract Applicants´ perception of methods for student selection
  The evaluation of methods for student selection is analyzed in three studies. Study 1 focuses on the comparative evaluation of methods. Specific ability tests, interviews, and school grades are preferred, experienced subjects appreciate the methods more than subjects without experience do, and the achieved results have impact on the evaluation. In study 2, a semantic differential for the evaluation of methods for student selection is developed. The 16 items of this scale can be reduced to three factors: (1) style / information and stimulation, (2) general evaluation, and (3) affective impact / appreciation of the applicant. In study 3, the results of the prior studies are combined: the comparative evaluation (study 1) is ascribed to the achieved results and the factors identified in study 2. Achieved results and the factors general evaluation and affective impact / appreciation of the applicant turn out to be significant evaluation determinants. Consequences for students´ selection of are discussed.

L.C. Urlings-Strop en T.A.W. Splinter (2005). Decentrale Selectie voor de Studie Geneeskunde aan het Erasmus MC: Validiteit van de Selectiemethode. In Meten en Onderwijskundig Onderzoek (p. 412-413). ORD 2005 Gent.

• Zie vooral ook de publicatie in 2008 decentraleselectie.htm#Urlings

Van Eijl, P.J., Wolfensberger, M.V.C., Van Tilborgh, P.J., en Pilot, A. (2005). Honoursprogramma's in Nederland: resultaten van een landelijke inventarisatie in 2004. Utrecht: IVLOS, Universiteit Utrecht, IVLOS-mededeling 77. pdf

• Een soort tegenbeweging: vooral selecteren. Een poging, aangesleurd door Hans Adriaansens, om het angelsaksische model voor toelating tot hoger onderwijs in Nederland te introduceren. Ik heb er weinig goed woorden voor over, maar het is goed dat er wordt geëxperimenteerd, natuurlijk. In dit stuk een overzicht van hoe een en ander in zijn werk gaat.

2006 ROA's confusion

Dato N.M. de Gruijter (2006). Selectie van studenten & bindend studieadvies. Tekst van een bijdrage aan Het Nationale Universiteiten Congres, 31 mei te Amsterdam. pdf D.N.M. de Gruijter, M. Yildiz & J. 't Hart (2006). VWO-examenresultaten en succes in de propedeuses Geschiedenis en Psychologie. Deelonderzoek van experimenten met selectie: selectie op basis van vooropleidingen. Leiden: ICLON, rapport nr 164. pdf

D. N. M. de Gruijter, M. Yildiz en J. 't Hart (2006). VWO-examenresultaten en succes in de propedeuses Rechten. Leiden: ICLON, rapport nr 165. pdf

Janke Cohen-Schotanus, Arno M. M. Muijtjens , Jan J. Reinders, Jessica Agsteribbe, Herman J. M. van Rossum & Cees P/ M. van der Vleuten (2006). The predictive validity of grade point average scores in a partial lottery medical admission system. Medical Education, 40, 1012-1019.

• Ik was er heel benieuwd naar, want waarom zou je de moeite nemen om nog eens te gaan onderzoeken wat op voorhand bekend is en door niemand wordt bestreden? Maar op deze vraag geeft het artikel mij geen antwoord. Ook niet in de discussie of in de introductie. De data waren beschikbaar, waarom dan de analyse niet publiceren? Het probleem dat ik ermee heb is dat zo'n incidentele publicatie wel degelijk de indruk kan wekken dat selectie op de in het artikel besproken gronden zinvol zou zijn. Ik vind inderdaad meermalen benadrukt dat het van belang zou zijn om voorspellende waarden (van eindexamencijfers) te kennen om daar dan in de selectie iets mee te doen. Maar gegevens uit dit type onderzoek zijn van weinig of geen waarde in een discussie over varianten van toelatingsmethoden bij numerus-fixusstudies. Immers, we hebben al die intelligente scholieren hard nodig voor onze samenleving, het liefst met een hogere opleiding die er het meeste uit weet te halen. Als dat geen geneeskunde is, dan misschien fijnmechanica in Eindhoven, psychologie in Utrecht, of Chinees in Leiden. En dan is het vrijwel zeker niet het geval dat kandidaten met een wat mindere prognose voor geneeskunde, juist een beter prognose zouden hebben voor een andere studie van hun persoonlijke voorkeur, zeker niet als dat veeleisende studies zijn in de natuurwetenschappelijke hoek. Die afweging tegen alternatieve opleidingen is direct relevant, omdat het hier om publiek bekostigd onderwijs gaat: de club die bepaalt is niet het bestuur van de faculteit geneeskunde, maar de minister van onderwijs. Althans, zo hoort dat in beginsel te zijn, en alleen wanneer delegeren naar lagere echelons betere besluitvorming op zou leveren gezien van het belang van de samenleving, is zulk delegeren zinvol.
• Bovenstaande kritiek is natuurlijk niet helemaal fair tegenover de onderzoekers: de kritiek geldt vrijwel alle eenzijdig op selectie (en niet op plaatsing) gerichte studies, zoals bijvoorbeeld ook die aan de Universiteit van Leiden.
• Mijn commentaar grijpt terug op een analyse die ik in 1974 heb gegeven in Onderzoek van Onderwijs (‘Nog meer cijfers’ html). Het Nederlandse WO is publiek bekostigd onderwijs (anders dan in bijv. de VS), wat betekent dat de vraag of selectie iets oplevert, niet de juiste vraag is. Die moet zijn: welke opleiding kan een gegeven kandidaat, gezien capaciteiten etcetera, het best volgen? Dat is plaatsing, en dat is volstrekt iets anders dan selectie. Zie het oude onvolprezen boek van Lee Cronbach en Goldine Gleser (1965) over selectie, allocatie, en de verschillen daartussen.
• Dit onderzoek gaat over een cohort uit de jaren 1982 en 1983. Janke Cohen laat mij weten dat voor latere cohorten verbanden tussen eindexamencijfers en later studiesucces wegsmelten. De reden is een spectaculaire verbetering van het studierendement door een ingrijpende herziening van de examenregeling (zie daarvoor het proefschrift van Janke Cohen, en een analye die ik zelf heb gegeven van die examenherziening html): bij een studierendement van 90% hangt vrijwel niets daar nog mee samen. Is dit verrassend? Nee, want wie rendementen wil verbeteren, moet eerst maar eens naar het gegeven onderwijs kijken, en pas daarna naar eventuele selectie-aan-de-poort. Het is wel onthullend. De fixatie op selectie is zo enorm, dat er geen aandacht meer is voor het alternatief van zorg voor een goede kwaliteit van het onderwijs.

• from the abstract The results suggest that after graduation human capital factors do not explain subsequent differences in labour market outcomes. The medical degree seems a sufficient signal of screening device as such. However, selection processes during education take place on human capital acquired before and during medical education.
• The article is online, not for free however
• The 'labor market' situation is that of students having passed their medical examination (masters + 2 years of clinical training). It is kind of an internal market, reserved to candidates that likewise have passed their emdical examination in the Netherlands or elsewhere. This is not the usual labor market that confronts graduates in other disciplines. Observe how this state of affairs relates to admission policies: admission to medical studies in fact is admission to a highly protected labor market (bw).
  p. 450 From the problem statement: "Although following the same medical course offers the same minimum quality, there are still differences in the competences between good and mediocre students. Why then would these differences not predict the labour market chances of physicians, such as it would be expected to make a difference for other graduates, from other study fields, as well?"

  This is typical of the kind of folk psychology to be found in much of the public discussion on admissions to higher education also. It will get the authors in lots of trouble. What is it for a student to be 'good'? Does she have to have high academic credits, high grades, a high status course profile, minimum procrastination, or what? Or is it her intellectual capabilities that the authors have in mind, as the much overworked term 'competence' seems to suggest? The point being, of course, that grades obtained are the result of the interplay between intention, capability, time invested, and the vicissitudes of the tests and testing situations themselves. In the paragraph on measurement problems the authors are struggling to explain the concept of validity without using that concept or referring to its literature. In my opinion the best article is that of Borsboom, Mellenbergh en Van Heerden (2004), it is conceptually very advanced, however. [Denny Borsboom, Gideon J. Mellenbergh and Jaap van Heerden, J. (2004). The concept of validity. Psychological Review, 111, 1061-1071. pdf] The bottomline is that the test user should prove or at least make it highly likely that the test is proper to the use its results are put to. This never is an easy thing to do.

• A remarkable set of educational 'measurements' is used in this investigation: the 'progress test' of medical knowledge at the master level, a test that Maastricht students have to take every third month from the very beginning of the course, as well as regular tests (block and skills tests) from the four-year course. The authors call these tests 'measurements,' I'd rather use the neutral term 'assessments,' because it is not at all clear what these tests are 'measuring': intellectual capabilities, propensities to invest in test preparation, particular combinations of these, or what? A test might be a lousy 'measurement' and nevertheless be functional in motivating students to invest time, and to do so efficiently.
• The data used in this study should have something to say on issues related to the admissions process. The article is disappointing in this respect, partly because it is very difficult to read because of its poor English and rather chaotic presentation of theory. Let me give one illustration. A crucial instrument in this research is the Progress Test, in fact an examination for the Master's degree in medicine: the strange thing about this test, not explained in the article, is that the percentage correct on this test at the end of the fouryear course is but 30% (percentage correct minus percentage wrong on 150 items of the righ-wrong choice type, see Figure 1 in the article); either the 30% is not the correct figure, or this test is not a valid test at all, or there are special circumstances that should have been mentioned.

2007 Leiden geeft op: geen selectie aan de poort

Bart Dirks (18 april 2007). Studeren bij de buren. De Volkskrant p. 13.

• "De Kruif, die behalve hoogleraar ook jarenlang decaan was van de faculteit Diergeneeskunde, erkent dat het Nederlandse lotingssysteem ook voordelen heeft. 'In Nederland heb je de selectie vooraf, hier mag iedereen beginnen en is de selectie in het eerste jaar. Twee van de drie Belgische studenten vallen af. En van de Nederlandse studenten vliegen er zelfs drie van de vier of misschien wel vier van de vijf uit. Het onderwijssysteem sluit minder goed aan op de leermethodes die worden gebruikt op Nederlandse middelbare scholen. Je zit in je eentje in een vreemd land en dan moetje enorm veel feitjes leren. De afvallers zullen best gedesillusioneerd zijn en het systeem als keihard ervaren. Je bent tenslotte een heel jaar kwijt. Ik geef het niet graag toe, maar een Nederlander is wat dat betreft toch socialer, wat minder ieder voor zich.'

Don A. Moore and Steven L. Blader (2007). Revisiting the Instrumentality of Voice: Having Voice in the Process Makes People Think They Will Get What They Want. paper. pdf

• Dit is een type onderzoek dat in sociaal-psychologische hoek is te vinden, in Nederland bijvoorbeeld ook in Leiden beoefend. Er is dus enige interpretatie nodig om verband te leggen met de thematiek van loten voor numerus-fixusstudies. Zoals de titel dan al suggereert: bij loten is er geen persoonlijk gesprek of onderzoek, dus geen mogelijkheid om persoonlijk gehoord te worden. Het zou best zo kunnen zijn dat wij mensen, of wij Westerlingen, zo in elkaar zitten dat we dat als minder rehtvaardig beschouwen dan procedures waarbij er wel sprake is van gehoord worden, ook al zouden we weten dat dat gehoord worden zelden of nooit feitelijk de doorslag geeft. Inderdaad is het zo dat de mogelijkheid van 'gehoord worden' door tal van partijen als een belangrijk punt in de meningsvorming over toelatingsprocedures wordt opgevoerd. Lees dit paper, het is in ieder geval geschreven zonder de last van een positie in ons Nederlandse debat over loten, gewogen loting, en selectie op examencijfers of nog vagere gegevens.
• Zie ook Dawes (2002, hierboven), voor een standpunt dat juist harde rationaliteit de juiste ethische handelwijze oplevert bij selectie.

Commissie Ruim baan voor talent (2007). Advies Commissie 'Ruim baan voor talent' Den Haag: november 2007. pdf, Ruim baan voor talent. html

• Gerard Reijn 11-12-2007). Het gaat om selectie ná de poort. De Volkskrant. p. 3, verslaggever Gerard Reijn. http://www.volkskrant.nl/binnenland/article485835.ece/Commissie_studenten_selecteren_aan_de_poort Dit is eenverslagje n.a.v. het verschijnen van het advies van de commissie Wegen voor talent (aangeboden aan minister Plasterk 11-12-2007), dat is iets anders dan dit stuk uit november dat vooral over de toekenning van experimenteerstatus e.d. gaat. Reijn citeert Rob Reneman, lid van de adviescommissie: "Bij psychologie bijvoorbeeld, weet je dat studenten die op hun eindexamen vwo minder dan een 7 hadden voor wiskunde, het erg moeilijk krijgen. Als je zo'n specifiek criterium hebt waarmee je het succes van studenten kunt voorspellen, waarom zou je dat niet gebruiken?" Wel, meneer Reneman, omdat hoger onderwijs niet gaat over voorspellen, maar over onderwijs. Ongelooflijk hoe na meer dan dertig jaar intensieve discussie nog zulke platte gedachten als wijsheid worden verkocht door een lid van een ministeriële commissie.
• p. 2: "Dit is de verslaglegging van de commissie 'Ruim baan voor talent' naar aanleiding van de voorstellen die universiteiten en hogescholen in september en oktober 2004 hebben ingediend voor experimenten met selectie, collegegeldverhoging en flexibele toelating."

2008 Jurisprudentie komt met mondjesmaat op gang

College van Beroep voor het Hoger Onderwijs site.

• Beslissingen op decentrale selectie bij numerus fixus studierichtingen kunnen aan dit College worden voorgelegd.
• 21 juli 2008, tegen de UvA. pdf. Vrijwilligerswerk dat niet naast opleiding of studie is verricht, maar voltijd in Afrika, niet gehonoreerd. Voorzitter van het College: mr Ben Olivier. De appellant wil graag zijn vrijwilligerswerk gehonoreerd zien, en maakt bezwaar tegen toepassing van de regeling van de UvA die dit vrijwilligerswerk niet honoreert.
• Het voorgaande casus is (mei 2009) is een van de zeer weinige dat op de site van het College is te vinden en dat inhoudelijk van karakter is. Het gaat niet om een principieel bezwaar tegen de decentrale selectie als zodanig, of belangrijke onderdelen daarvan.
• In een ander casus pdf krijgt de appellant gelijk, maar blijkt het niet mogelijk om apellant alsnog tot de studie toe te laten: "Omdat hetgeen appellante wil — namelijk alsnog toegelaten worden tot de opleiding geneeskunde voor het studiejaar 2008-2009 — niet gerealiseerd kan worden — de beschikbare plaatsen zijn immers reeds toebedeeld — komt het het College geraden voor dat verweerder bij het nieuw te nemen besluit op bezwaar in overweging neemt appellante een nieuwe kans te geven door haar deel te laten nemen aan de decentrale selectie voor het volgende studiejaar." Dat is toch ongelooflijk.

TK 3154 (2008). ... het mogelijk niet plaatsen van leerlingen als gevolg van een controverse tussen de IBG en de medische faculteiten van VU en UvA. pdf

• Uit de beantwoording:
• "De twee instellingen hebben voor het studiejaar 2008-2009 beide 350 opleidingsplaatsen en het percentage van de decentrale selectie op 50% gesteld. Zij hebben zich onvoldoende gerealiseerd dat daarvan de 8-plussers nog afgaan en na het afronden van de decentrale selectie 175 personen geïnformeerd dat zij waren geselecteerd en zouden worden toegelaten tot de opleiding geneeskunde. Dat aantal was dus te hoog."
• "Ik heb ingestemd met een eenmalige maatregel die eruit bestaat dat alle gegadigden die de decentrale selectie met goed gevolg hadden afgerond, maar als gevolg van de fout boventallig waren geworden en evenmin (later) zijn ingeloot, toch worden geplaatst. Het gaat daarbij om een aantal van 3 (VU/VUMC) respectievelijk 25 (UvA/AMC) personen."

Tweede Kamer 29388 nr. 15 (20-5-2008). Toelatingsbeleid in het hoger onderwijs; Brief minister ter aanbieding beleidsreactie op 'Wegen voor Talent'. pdf

Tweede Kamer (2-7-2008). Toelatingsbeleid in het hoger onderwijs; Verslag algemeen overleg gehouden op 5 juni 2008 over o.a. eindrapport Commissie 'Ruim baan voor talent'. pdf

Gerard Reijn (30 juli 2008). 'Universitaire pabo' razend populair — 'Zware pabo' werft veel vwo'ers voor lerarenvak. De Volkskrant, p. 1, resp. 2.

• "Ondanks de onbekendheid meldden zich al 150 belangstellenden. Na selectie bleven daarvan vijftig over, want meer plaatsen zijn er niet."
• "Bijna uniek is dat de opleiding studenten mag selecteren. Er zijn maar weinig opleidingen aan de universiteit die dat mogen, maar Apo maakt gebruik van een slimme truc: iedereen kan worden toegelaten tot de opleiding Onderwijskunde, maar wie naar de 'speciale variant' Apo wil, moet door een sollicitatieprocedure. Een truc die de Universiteit Utrecht al vaker en met succes heeft toegepast, bij ondermeer het University College en bij het Law College op de rechtenfaculteit."
• Voor deze redacteur van de Volkskrant zijn slimme trucs dus gelijk aan mogen: over de grenzen van de wet heen gaan is gelijk aan binnen de grenzen van de wet blijven. Hoe nu?
• Afgewezen kandidaten kunnen zich beroepen on onrechtmatigheid van deze toelatingsprocedure.
• Inhoudelijk valt hier bij op te merken dat het niet echt de vraag is hoe deze selectieprocedure zich verhoudt tot het met deze opleiding beleden doel om academisch opgeleide onderwijzers voor klassen in de basisschool te krijgen: selecteren op briljantie staat haaks op de mogelijkheid dat doel echt te bereiken. Net als briljante onderwijzers een halve eeuw geleden in grote getale via de opleiding pedagogiek hun klaslokaal vaarwel zeiden, mag verwacht worden dat deze briljante studenten dat straks evenzo zullen doen. Geen ramp, daar niet van, maar waarom wil iedereen iedereen toch steeds weer voor de malle houden? b.w.

J. A. Dekker (2008). Een review van decentrale selectie en numerus fixus bij geneeskunde. Tijdschrift voor Hoger Onderwijs, 26. open access https://www.tvho.nl/edition.php?id=60

• Een overzicht van decentrale selectie bij de diverse faculteiten. Nuttig
• Een kritische kanttekening heb ik wel. Het stuk ademt de geest van geneeskunde. Dat mag, iedereen die dat wil mag eigen belangen vooropstellen. De kritische noot is eenvoudig deze: geneeskunde is onderdeel van een stelsel van hoger onderwijs, daar zijn nog meer faculteiten dan alleen de geneeskundige. Als geneeskunde de beste studenten wil, riekt dat toch naar egoïsme. Het tegenargument zou zijn: de beste studenten voor geneeskunde doet geen enkele andere opleiding tekort, want deze kandidaten behoren daar juist NIET tot de beste studenten. Dit tegenargument is bij Dekker niet te vinden, wel iets dat er op lijkt: de unieke motivatie van kandidaten voor geneeskunde. Het probleem met die motivatie, een terugkerend thema in de maatschappelijke discussie over de numerus fixus voor de geneeskundige studies, is dat daarvan nog nooit iets overtuigend is aangetoond, en dat het als een paal boven water staat dat selecteren op motivatie niet op een goede manier mogelijk is. Vragenlijsten zijn geduldige instrumenten, maar leveren op zichzelf geen data die als empirisch zijn te kenmerken. In het artikel noemt Dekker volop problemen met die motivatie, maar in haar conclusie wordt die motivatie desondanks omhoog gestoken.
• Een omissie: geen pleidooi voor afschaffen van de numerus fixus, kennelijk komt die numerus fixus de medische wereld wel goed uit (zo is de numerus fixus ook in de wereld gekomen: succesvolle lobby van in de zestiger jaren vanuit de medische wereld, die de groeiende aantallen studenten maar niks vonden). Dekker schrijft vanuit de stellingname van het KNMG Studentenplatform, en somt wel de nadelen van al die selectie op t.o.v. vrije toelating: jammer dat de conclusie 'weg met numerus fixus' hier een brug te ver is. Het Studentenplatform zou het stuk van De Grip en Borghans in Economisch Statistische Berichten eens kunnen lezen, voor een argument dat ze mischien over de streep kan trekken: een numerus fixus verstoort de markt, beter is dus: weg ermee.

2009

  Louise C. Urlings-Strop, Theo Stijnen, Axel P. N. Themmen & Ted A. W. Splinter (2009). Selection of medical students: a controlled experiment. Medical Education, 43, 175-183.

• Onderzoek naar de resultaten van de extra selectie die de faculteit geneeskunde van de Erasmus Universiteit sinds 2001 uitvoert, gebruik makend van de mogelijkheid die de wet daartoe biedt.
• Ik bespreek dit artikel uitvoerig, omdat het heel informatief is voor de mogelijkheid die de huidige wet biedt om de toelating via gewogen loting deels te vervangen door selectie, en omdat een en ander aanleiding geeft tot een kritische beschouwing over de zinvolheid van deze wettelijke mogelijkheid. Voorlopig werk ik een en ander op deze plek uit, maar ik zal uiteindelijk de bespreking op een afzonderlijke webpagina plaatsen.
• Tussen 2001 en 2004 zijn 389 studenten via deze extra selectie toegelaten, tegen 938 via gewogen loting. Daarnaast is er naturulijk nog een groep die direct is toegelaten op grond van een cijfergemiddelde van 8 en hoger op het eindexamen.
• Op vallend is dat deze twee groepen ongeveer dezelfde studieresultaten boeken, met kleine (statistisch niet significante) verschillen ten voordele van de geselecteerde groep, verschillen die, zoals te verwachten, voor het 2e, 3e en 4e studiejaar kleiner worden. Dat resultaat vat ik zelf dan maar zo samen: de studieresultaten rechtvaardigen de extra selectie niet.
• Het is opmerkelijk dat er geen verschillen in studieresultaten zijn gevonden, selectie levert meestal toch wel beperkte resultaten op. Hoe zit dit in elkaar? 1. De wet verbiedt dat de extra selectie gebeurt op basis van studieresultaten in het VO. 2. De extra selectie van de Erasmus Universiteit gebeurt daarom deels op basis van persoonsgegevens die niet hebben te maken met studiecapaciteiten, deels op basis van intellectuele capaciteiten. 3. dat die persoonsgegevens — het gaat om extra-curriculaire activiteiten— geen verband hebben met studieresultaten ligt in de lijn van de verwachting, 4. dat de uitvoerige toets van vier dagen op intellectuele capaciteiten geen effect op studieresultaten oplevert is tegen de (mijn) verwachting. 5. Het uitblijven van effect van de selectie is des te opvallender omdat deze extra selectie toch tamelijk scherp is.
• De onderzoekers nemen dan een verrassende positie in, omdat zij studiestaken als criterium hanteren, en op dat criterium blijken wèl significante verschillen. Maar is dit een effectiviteitscriterium? En is het een criterium dat zinvol is in een situatie van een wettelijke numerus fixus?
• p. 182: " In this study, our main finding was that the dropout rate in these students was 2.6 times lower than in lotteryadmitted students. "
• Wie mogen er meedoen aan de selectie in Rotterdam, is die deelname dan helemaal vrij? Of mogen kandidaten zich maar op één universiteit voor selectie aanmelden? Wat ik dan maar zelf moet gaan uitzoeken, het artikel geeft er geen informatie over: als andere faculteiten geneeskunde geen selectie in hun procedure doen, en iedereen is vrij om in Rotterdam mee te doen, dan zou de selectie-groep in Rotterdam een landelijke groep zijn, en kan Rotterdam daarmee althans in theorie de krenten uit de landelijke pap vissen.
• De selectie gebeurt in twee fasen: de eerste fase laat de helft van de kandidaten (all applicants who were ranked above the mean) door naar de tweede fase. Alle kandidaten worden gerangordend op hun buitenschoolse activiteiten in 1) gezondheidszorg, 2) management en bestuur, 3) sport, muziek, wetenschap, 4) buitenschoolse opleiding ('academic education') en/of 5) extra onderwijstrajecten in het v.o. Ik zou hier graag veel meer over weten, maar de auteurs verwijzen niet naar voorlichtingsmateriaal, noch naar wetenschappelijk onderzoek over gebruik van buitenschoolse activiteiten in selectieprocedures. Ook blijft buiten beschouwing waarom hier eigenlijk voor is gekozen, maar te vermoeden valt dat het een uitwerking is van wat gemotiveerdheid van kandidaten zou kunnen zijn. Ik gis maar. p. 181: "Our choice of selection criteria was based on the hypothesis that pre-university students who have distinguished themselves from their peers in their extracurricular activities, but not in higher GPAs, might have characteristics that will lead them to perform better in medical school than controls admitted on the basis of a lottery. Because no literature was available to support this, we felt that a second selection step, based on cognitive abilities, might be needed." Let op de formulering in de laatste regel: de auteurs wekken hier en elders de indruk dat zij voor deze selectie verantwoordelijk zijn. Ik zal vragen hoe dat precies zit, want de rechtspersoon moet ongetwijfeld de universiteit zijn, gedelegeerd aan de decaan van de faculteit. Ik ben wel benieuwd naar de besluitvorming in Rotterdam, en de overwegingen die daar de doorslag hebben gegeven voor deze keuze, een keuze voor extra selectie die door de meeste faculteiten elders niet is gemaakt.
• De kandidaten die door de eerste fase heen zijn gekomen, komen vier dagen toetsen afleggen. Het artikel geeft er weinig informatie over. p. 178: Tests "contained questions on logical reasoning, scientific thinking, epidemiology and pathology, anatomy and philosophy. Three tests consisted of multiple-choice questions and two of open-ended questions." Om door de selectie heen te komen moet op vier van de vijf tests tenminste een 5,5 worden gescoord, evenals op de vijf tests gemiddeld. Ruim meer dan de helft van de deelnemers aan deze tweede fase slaagt (Table 1). Hier dus niet een vastgesteld aantal of percentage. Dat moet betekenen dat de faculteit bewust mikt op een aantal via selectie toe te laten studenten dat ruim ligt beneden het door de wet toegestane maximum.

  J. A. Dekker, M. M. C Lambregts, M. W. Heeren, J. I. Hanemaayer (2009). Toelating tot de medische opleiding in beweging. Capaciteit en legitimiteit. Tijdschrift voor Medisch Onderwijs, 28, 159-166.

• Voor een annotatie zie "loten_nf.htm#"Dekker2009

2010

Raad van Advies voor de Volksgezondheid & Zorg (2010). Numerus fixus geneeskunde: Loslaten of vasthouden. Advies. pdfVoor annotatie zie hier

Olle ten Cate, Marijke van Dijk, Cees van der Vleuten, Albert Scherpbier en Lambert Schuwirth (13 februari 2010). Loting eerlijker dan selectie. De Volkskrant, Forum-pagina. Voor annotatie zie hier

Jan Borleffs, Janke Cohen en Rob Hiemstra (2 maart 2010). Selectie is beter dan loting. De Volkskrant, Forum-pagina. Voor annotatie zie hier

NRC Handelsblad (4 maart 2010). Kamer praat niet verder meer over hoger onderwijs.

Janke Cohen Schotanus (2 november 2010). Tegenintuïtief. Rede uitgesproken bij de aanvaarding van het ambt van hoogleraar onderzoek van onderwijs in de medische wetenschappen aan de Rijksuniversiteit Groningen.

• Gaat in op recent beleid bij geneeskunde Groningen om de ruimte voor selectie anders te benutten. Bevat interessante data die vergelijking mogelijk maken van het NR voor vier onderscheiden groepen: de direct toegelatenen, de na selectie toegelatenen, de bij selectie afgewezenen die via loting zijn binnengekomen, de ingelote studenten die niet aan de selectie hebben meegedaan. De middelste twee groepen verschillen nauwelijks van elkaar. Janke Cohen spreekt zich uit tegen de uitzonderingspositie voor kandidaten met hoge eindexamencijfers.
• Het is een interessant verhaal. Het enige kritische nootje dat ik er bij heb: het hele verhaal gaat uit van de opleiding als de partij die het voor het zeggen heeft; ik had graag een opmerking gezien dat andere actoren ook belangen hebben, die niet hoeven te sporen met het beleid van de opleiding. Maar natuurlijk: de opleiding mag het belang van de opleiding benadrukken. Het is aan andere actoren om daar eventueel een protest tegen te laten horen. Gezien het tegenintuïtieve karakter dat zo'n protest inhoudelijk zou hebben, zie ik het er nog niet meteen van komen, anders dan vanaf deze plek. In zekere zin een gemiste kans voor Janke: zij begion juist met als voorbeeld van 'gezond verstand' de uitspraak te nemen dat het met dat loten maar eens afgelopen moet zijn. Zij werkt dat in deze rede niet echt uit. Ze verontschuldigt zich ook voor het weinige dat ze kan melden in de beschikbare tijd. De gedrukte rede bevat niet meerr tekst dan ze heeft kunnen uitspreken.
• Een online versie van de rede heb ik nog niet kunnen vinden
• Het eerste deel van de rede gaat over numeriek rendement en cesuurbepaling. Op dit deel heb ik een blog voor het forum van BON geschreven, zie hier, waarop stevige discussie is gevolgd. [NB: de blog is door de kleilaag van moderatoren van het forum van BON verwijderd, inclusief alle reacties. Een pdf van de hele draad is te vinden onder de link]

2013

KNAW Seminar (16 september 2013): Is loting onrechtvaardig? html

• Wanneer beschikbare studieplaatsen worden verdeeld door middel van loting, spelen inhoudelijke argumenten geen rol meer. Loting geeft alle kandidaten dezelfde kansen, maar gaat voorbij aan hun individuele kwaliteiten. Ook is er geen aandacht voor mogelijke alternatieven. Is dit rechtvaardig, of juist niet? Onder welke voorwaarden is de gelijkheid van loting aanvaardbaar of zelfs wenselijk?

  Ook in Nederland wordt loting de laatste dertig jaar steeds vaker toegepast als verdelingsinstrument. Loting bij de toegang tot onderwijs staat nu sterk ter discussie. De sprekers van deze KNAW-themamiddag stellen eerst historische en filosofische vragen over de rechtvaardigheid van loting. Daarna spitst het debat zich toe op loting in het hoger onderwijs. Wat is de waarde van loting vergeleken met andere selectiemethoden?

  • Josine Blok: Is loting (on)rechtvaardig? pdf
  • Ingrid Robeyns, Erasmus Universiteit Rotterdam: Kan loting tot een rechtvaardige allocatie leiden? pdf
  • Josine Blok, Universiteit Utrecht: Waarom werden in klassiek Athene politieke ambten verdeeld door loting?
    • pdf van de tekst
    • van de powerpoint eveneens een pdf
  • Margo Trappenburg (UU): Loting bij geneeskunde. Uitwas van de jaren ’60?
    • Pdf van de powerpoint van de voordracht; of de powerpoint zelf ppt
  • Martijn van het Hoofd (Hogeschool Utrecht): Loting en andere vormen van selectie bij HBO-fysiotherapie pdf
  • Nancy Hartgring (Hogeschool Utrecht): Selectieve propedeuse. Zelfselectie bij HBO-oogzorg pdf
  • Ida Hogendoorn (Hogeschool Utrecht): Decentrale selectie bij mondzorgkunde pdf
  • Pieter Drenth (VU): Loting voor de studie geneeskunde?
    • pdf van powerpoint
    • html van de tekst (blog op wordpress.com)
  • Olle ten Cate (UMCU): Gewogen loting of selectie voor de medische studie? Over eerlijkheid, voorspelling en het Hawthorne-effect.
    • Powerpoint van de voordracht: pdf
    • Th. J. ten Cate (2012). De ratio, de emotie, en het Hawthorne-effect. Selectie voor de geneeskunde opleiding. TH&MA : Tijdschrift voor Hoger Onderwijs & Management, 19 (1), pg. 6-10 pdf

2014

De decentrale selectieprocedures geneeskunde op een rij! (november 2014) Zie ze op deze webpagina

2015

Kamerbrief (11 december 2015) (31288 nr 499). pdf

Inspectie (november 2015). Selectie en toegankelijkheid van het hoger onderwijs. Deelrapport B: Verschillen en ontwikkelingen in de instroom in het bekostigd voltijd bacheloronderwijs. pdf

Inspectie (november 2015). Selectie en toegankelijkheid van het hoger onderwijs. Deelrapport A: Verkenning naar maatregelen rond in- en doorstroom in het bacheloronderwijs. pdf

Inspectie (november 2015). Selectie en toegankelijkheid van het hoger onderwijs. Samenvatting eerste 2 rapporten pdf

2016

Casper Hulshof (15 september 2016). Zo effectief is decentrale selectie voor de studie nou in de praktijk. [Ingezonden brief NRC] tweet

2017

Anouk Wouters (2017). Effects of medical school selection: on the motivation of the student population and applicant pool. Dissertation Vrije Universiteit Amsterdam. partial downloads

• Voor een selectiepsycholoog is dit weer eens merkwaardige kost (theoretisch kader gaat ongeveer volledig voorbij aan de selectiepsychologie). Het idee om motivatie als speerpunt te nemen is wel begrijpelijk, maar vanuit selectiepsychologisch gezichtspunt verdraaid weinig belovend. Afijn, we hebben nu een proefschrift dat dat dan ook laat zien.

Marieke de Visser Cornelia Fluit Jaap Fransen Mieke Latijnhouwers Janke Cohen-Schotanus Roland Laan (2017). The effect of curriculum sample selection for medical school. Advances in Health Sciences Education, 22, 43–56 open access.

Nienke R. Schripsema, Anke M. van Trigt, Susanna M. Lucieer, Anouk Wouters, Gerda Croiset, Axel P. N. Themmen, Jan C. C. Borleffs, Janke Cohen-Schotanus (2017). Participation and selection effects of a voluntary selection process. Advances in Health Sciences Education, 22, 463-476. open access

• We included data from two cohorts of medical students admitted to Erasmus MC, Rotterdam and VUmc, Amsterdam, The Netherlands and compared them to previously published data from Groningen medical school, The Netherlands. All included students were admitted based on either (1) a top pre-university grade point average, or (2) a voluntary selection process, or (3) weighted lottery.

Tactisch doubleren in de vijfde klas om toegelaten te worden tot de universiteit. Op de school van Irma Raadgeep doen leerlingen uit vrije wil vwo-5 over. Daarmee vergroten ze hun kans op toelating op de universiteit van hun keuze.  4 juli 2017 NRC artikel

Klaas Visser (augustus 2017). Kantel de selectie in het hoger onderwijs. ScienceGuide blog

Nienke R. Schripsema (2017). Medical student selection: Effects of different admissions processes. Dissertation Groningen. open access mst of the chapters

Klaas Visser (7 december 2017). Selectie van studenten is riskant experiment aob blog

• Opleidingen in het hoger onderwijs moeten methoden die ze gebruiken voor de selectie van hun studenten in alle openheid onderbouwen. Dat gebeurt nu niet, schrijft oud onderwijsdirecteur Klaas Visser en dat is onaanvaardbaar.

Herman Vermeulen verzamelde nieuws en opinies over decentrale selectie in deze moments

2018

Numerus fixus, selectie en kansengelijkheid in het wetenschappelijk onderwijs. Een overzichtsstudie naar doelen, criteria, instrumenten en effecten van selectie. Anja van den Broek, Kyra de Korte, José Mulder, Joyce Bendig-Jacobs
Oktober 2018 pdf

Selectie bij opleidingen met een numerus fixus & de toegankelijkheid van het hoger onderwijs Anja van den Broek, José Mulder, Kyra de Korte, Joyce Bendig-Jacobs & Marije van Essen Onderzoek in opdracht van het ministerie van OCW Juni 2018 pdf

Yvonne Rouwhorst (2018). Meritocratische idealen in selectie: tussen plan en praktijk Over het proces van universitaire numerus fixusopleidingen om tot de inrichting van een selectieprocedure te komen. Masterscriptie Publiek management Universiteit Utrecht Utrechtse School voor Bestuurs- en Organisatiewetenschappdf Zie ook: Yvonne Rouwhorst wint LSVb scriptieprijs ScienceGuide

Besluit van 30 mei 2018 tot wijziging van het Uitvoeringsbesluit WHW 2008, het Besluit experiment vraagfinanciering hoger onderwijs en het Besluit experimenten flexibel hoger onderwijs in verband met de Wet invoering associate degree-opleiding. online

Belangrijke wijzging voor BSA, maar dat BSA blijft een schadelijke paarse krokodil.

• II Topsport Het beoefenen van topsport is in het Uitvoeringsbesluit WHW 2008 niet benoemd als persoonlijke omstandigheid die in achtgenomen moet worden bij het afgeven van een bindend studieadvies (artikel 7.8b, van de wet) of een verwijzing in de postpropedeutische fase (artikel 7.9, van de wet). Dit wijzigingsbesluit wordt aangegrepen om artikel 2.1 zodanig te wijzigen dat instellingen voortaan ook het beoefenen van topsport als persoonlijke omstandigheid kunnen betrekken in hun besluitvorming aangaande een bindend studieadvies en de verwijzing in de postpropedeutische fase. De wijziging houdt in dat instellingen de mogelijkheid krijgen om andere dan de in het eerste lid van artikel 2.1 genoemde persoonlijke omstandigheden vast te stellen die meewegen bij het uitbrengen van een bindend studieadvies en de verwijzing in de postpropedeutische fase. Dit impliceert dat het instellingsbestuur de opsomming in het eerste lid ook kan uitbreiden met andere persoonlijke omstandigheden dan het beoefenen van topsport. Daarnaast wordt artikel 2.1 uitgebreid met een «hardheidsclausule». Er kan zich namelijk een persoonlijke omstandigheid voordoen die in artikel 2.1 niet wordt genoemd en door het instellingsbestuur niet is voorzien, maar die van een zodanige aard is dat deze moet worden meegewogen bij het al dan niet uitbrengen van een bindend studieadvies en een verwijzing in de postpropedeutische fase, omdat dit anders een onbillijkheid van overwegende aard jegens de student zou opleveren. Met deze wijzigingen van artikel 2.1 wordt een parallel getrokken met artikel 7.51, tweede lid, van de WHW, waarin de bijzondere omstandigheden worden genoemd die in geval van studievertraging recht kunnen geven op een uitkering uit het profileringsfonds van een instelling.

Susan Niessen (2018). New rules, new tools: Predicting academic achievement in college admissions. Dissertation RUG. download chapters

• Susan Niessen (juli-augustus 2019). Voorspellen van studiesucces in toelatingsprocedures. open accessDe Psycholoog, 34-45

  ---

  Frappante is dat ooit, 1975, de Tweede Kamer perfect verdeeld was over loten of selecteren voor toelating tot numerus-fixusstudies. Links (PvdA e.a.) versus rechts (VVD e.a.).

  Niessen is gebonden aan de VSNU-integriteitscode, maar legt haar rechtse standpunt niet uit.

  Na alle plussen en minnen is de conclusie van haar promotieonderzoek: er is slechts een geringe toename van studiesucces en 'is het echter de vraag of decentrale selectie überhaupt de moeite waard is' (p. 43). Voorstander van selectie A.D. de Groot schreef dat al 70er jaren.

  Kennelijk moet telkens weer opnieuw worden onderzocht wat overigens al lang en breed bekend is. Zo vond het CvB van de Leidse Universiteit eens dat selectie-aan-de-poort gewenst was. Het College was zo verstandig dat te laten onderzoeken voor het beleid zou worden. En ja hoor.

  Trouw, 25 mei 2006: 'Geen selectie studenten Universiteit Leiden' https://www.trouw.nl/nieuws/geen-selectie-studenten-universiteit-leiden~b75837e1/?referrer=https%3A%2F%2Fduckduckgo.com%2F

  D.N.M. de Gruijter, M. Yildiz & J. 't Hart (2006). VWO-examenresultaten en succes in de propedeuses Geschiedenis en Psychologie. Deelonderzoek van experimenten met selectie: selectie op basis van vooropleidingen. Leiden: ICLON, rapport nr 164. https://scholarlypublications.universiteitleiden.nl/handle/1887/7810

  • Een voorafgaand artikel van Susan Niessen gaat over selecteren voor numerus-fixusstudies in het wo. De sectie 'effectieve toelatingsprocedures' (p. 36) etaleert blijmoedig de meritocratische ideologie https://pure.rug.nl/ws/portalfiles/portal/90347722/De_psycholoog.pdf

  
  

  ---

  
  

  2019

  
  

  
  

  ---

  Susan Niessen, Rob Meijer & Marvin Neumann (november 2019). Mis(ver)standen in de selectiepraktijk. Een goed verhaal maakt nog geen goede beslissing. De Psycholoog open

  ---

  
  

  ---

  Kaya Bouma en Remco Meijer12 juni 2019. Universiteiten moeten strenger selecteren aan de poort, luidt advies aan regering. de Volkskrant artikel

  ---

  
  

  ---

  commentaar op AWTI thread

  ---

  
  

  ---

  
  

  2020

  
  

  
  

  ---

  Van Engelshoven, I. (2020, 8 oktober). Toegankelijk hoger onderwijs: selectie en beleidsreactie Monitor beleidsmaatregelen 2019-2020 [Kamerbrief]. https://open.overheid.nl/repository/ronl-b5ef0cfe-2309-4ae6-976a-7e5d4dc97741/1/pdf/kamerbrief-selectie-in-het-hoger-onderwijs-en-beleidsreactie-monitor-beleidsmaatregelen-2019-2020.pdf" target='_blank'>pdf

  
  

  ---

  Schreurs S. (2020). Selection for medical school: the quest for validity. [Proefschrift]. Universitieit Maastricht. https://doi.org/10.26481/dis.20200320ss

  ---

  
  

  ---

  Sanne Schreurs (2020). Selection for medical school. The quest for validity. Dissertation Maastricht.

  ---

  
  

  ---

  Sebastiaan Steenman, Kitty Cleutjens, Sanne Schreurs, Timon de Boer & Gijsbert van Elven (2021). Handreiking evaluatie toelatings- en selectiebeleid. VSNU

  
  

  ---

  American Sociological Association (March 22, 2021). RECONSIDERING THE USE OF GRE IN GRADUATE SCHOOL ADMISSIONS DECISIONS position paper

  ---

  
  

  ---

  Wendy de Leng (2021). Toelating van geneeskundestudenten. Ontwikkeling en toepassing van een situationele beoordelingstest voor het meten van integriteit. De Psycholoog, #11, 10-20 Niet vrij online.

  ---

  
  

  ---

  Tim van Wessel & Sebastiaan Steenman (december 2016). Studiesucces gedifferentieerd voorspellen met vwo-cijfers. Onderwijsinnovatie 33-35. hele nummer pdf

  ---

  Alsof wat voorspelbaar is zomaar gebruikt zou mogen worden om te selecteren. Het is toch van de gekke. Het gaat wel om een fundamenteel recht hè! https://twitter.com/benwilbrink/status/1460269820331626497 #decentrale_selectie Ik stuit weer eens op academici die het vanzelfsprekend vinden voor NF-studies te selecteren op wat dan ook maar positief correleert met succes in propedeuse of bachelorfase. Het gaat wel om fundamentele rechten hè! https://ou.nl/documents/40554/383618/2016_OI_4.pdf… 33-35 Het heet dan ook nog 'rechtvaardig' om die kandidaten voorrang te geven die een hogere slaagkans hebben. Ik zie niet in wat daar rechtvaardig aan is. #meritocratie Het probleem is ook dat andere NF-studies hetzelfde doen. Sommige kandidaten maken dus NERGENS goede kans. #schande

  
  

  ---

  Lianne Mulder en vele anderen (2022). Selection for health professions education leads to increased inequality of opportunity and decreased student diversity in The Netherlands, but lottery is no solution: A retrospective multi-cohort study. Medical Teacher open

  ---

  
  

  ---

  Soppe, K. (2022). To Match or not to Match? Improving Student-Program Fit in Dutch Higher Education. [Proefschrift]. Universiteit Utrecht. https://dspace.library.uu.nl/bitstream/handle/1874/421033/K%20F%20B%20%20Soppe%20-%20thesis.pdf" target='_blank'>pdf

  ---

  
  

  ---

  Michiel Bakker (6 april 2022). Kansenongelijkheid toegenomen na invoering selectie; wat gaan we eraan doen? Interview met Lianne Mulder en Suzanne Fikrat. ScienceGuide web.

  p>
  

  
  

  ---

  
  

  2023

  
  Inspectie voor het Onderwijs (20-1-2023). Selectie in hoger onderwijs onvoldoende en onvolledig onderbouwd. webpagina

  Inspectie voor het Onderwijs (20-1-2023). Selectie in het hoger onderwijs: criteria, instrumenten en de borging van kansengelijkheid. rapport.

  ---

  Draadje dat ik hierbij maakte: https://twitter.com/benwilbrink/status/1617141666497925124 Decentrale selectie in het hoger onderwijs. Beun de Haas is de baas. En daar ziet de Inspectie dan op toe. Heeft de Inspectie zelf dan wèl de nodige expertise in huis of ingeschakeld? Het rapport vermeldt geen auteurs. Gezien de literatuurlijst (oudste item is 2018) zet ik meteen vraagtekens bij dit rapport. Nou ja, inventarisatie is nuttig. Kennelijk heeft niemand bij de Inspectie zich gerealiseerd dat bijna een halve eeuw discussie over toelating tot numerus fixusstudies in feite over hetzelfde onderwerp gaat http://benwilbrink.nl/publicaties/97OpsommingDrenth.htm Belangrijke rol in deze discussie speelt het idee bij veel maatschappelijk succesvolle mensen dat dit succes een persoonlijke verdienste is, en dus navenant moet worden beloond. Debat over meritocratie heeft de laatste jaren dat idee wel aan het wankelen gebracht (7 vinkjes). Zie bijvoorbeeld Michael Sandel 'The tyranny of merit. What's become of the common good?' : https://benwilbrink.wordpress.com/2020/10/07/annotaties-bij-sandel-2020-the-tyranny-of-meritocracy/ De VSNU doet enige moeite om boven het niveau van Beun de Haas uit te komen, maar lukt dat ook echt? Steenman, Cleutjens, Schreurs, de Boer & van Elven (2021). Handreiking evaluatie toelatings- en selectiebeleid. VSNU https://universiteitenvannederland.nl/files/documenten/Domeinen/Onderwijs/Handreiking_evaluatie%20_toelatings_selectiebeleid_ONS.pdf… Want vinden Tweeps ervan? Een handreiking kan kort zijn. Vermeld dan toch ook sleutel-literatuur, en dat mis ik. Er blijkt op dit thema van selectie-aan-de-poort een onvermogen om afstand te nemen, en na te gaan wat ethisch, juridisch, maatschappelijk, test-theoretisch behoorlijk is. Een blinde vlek in het schootsveld van bijna alle auteurs is dat als vanzelfsprekend ervan wordt uitgegaan dat DE OPLEIDING bepaalt wie op welke manier wordt toegelaten, en wie niet. Dan kun je subtiel redeneren over validiteit en bias, maar het geheel deugt dus van geen kant. Hogescholen en universiteiten zijn instellingen van publiek onderwijs, geen private worstfabrieken die personeel zoeken. De wetgever vindt weliswaar dat opleidingen onder bepaalde voorwaarden mogen selecteren-aan-de-poort, maar ook de wetgever heeft dit niet goed doordacht. De overheid delegeert, in weerwil van de Grondwet, aan opleidingen hoe om te gaan met studiegegadigden die zich aan de poort melden. Verblindheid van de politiek blijkt wel uit het verbod op enige vorm van loting, ook de unaniem in 1975 gekozen gewogen loting, 40+ jaar bestaan. Dat laatste foutje is gecorrigeerd door de motie van Harry van der Molen (CDA) en Jan Paternotte (D66), https://trouw.nl/religie-filosofie/loten-en-selecteren-is-beter-dan-loten-alleen~b355b55b/… Zie ook brief van de minister, par. Invoering decentrale loting https://open.overheid.nl/repository/ronl-b5ef0cfe-2309-4ae6-976a-7e5d4dc97741/1/pdf/kamerbrief-selectie-in-het-hoger-onderwijs-en-beleidsreactie-monitor-beleidsmaatregelen-2019-2020.pdf

  
  

  ---

  Anja van den Broek | Kyra de Korte | José Mulder | Joyce Bendig-Jacobs (2018). Numerus fixus, selectie en kansengelijkheid in het wetenschappelijk onderwijs. ResearchNed pdf

  
  

  ---

  VSNU (2021). Handreiking evaluatie toelatings- en selectiebeleid. pdf

  ---

  • Deze handreiking is geschreven door een aantal leden van het onderzoekersnetwerk toelating en selectie: -  Dr. Sebastiaan Steenman (Universiteit Utrecht) 
Expertise in selectie, in het bijzonder alignment en hogere orde cognitieve vaardigheden. -  Dr. Kitty Cleutjens (Universiteit Maastricht)
Expertise in selectie Geneeskunde, toegankelijkheid, beleid en beheer t.a.v. selectie, assessment. -  Dr. Sanne Schreurs (Universiteit Utrecht)
Expertise in selectie voor de bachelor, validiteit, en medische studies. -  Timon de Boer, MSc (Universiteit Utrecht)
Expertise in masterselectie, educational data mining, en motivatiebrieven. -  Gijsbert van Elven (Universiteit Utrecht) Ondersteuning onderzoekersnetwerk.

  
  

  ---

  Tweede Kamer (24 januari 2023). Toevoeging van decentrale loting als selectiemethode voor opleidingen met capaciteitsfixus in het hoger onderwijs debat gemist

  ---

  
  

  ---

  ---

  
  

  ---

  ---

  
  

  ---

  ---

  
  

  ---

  ---

  
  

  ---

  
  

  Zie ook

  
  

  NB: zie ook de documentatie over loten en de thematiek van de numerus-fixus als zodanig

  Afzonderlijke pagina: Toelating tot scholen (voortgezet onderwijs) htm

  
  

  Links

  
  

  Die Schweiz (und Österreich!), Medizin-studium Eignungstest für das Medizinstudium (EMS) EMS site Offizielle Seite vom Zentrum für Testentwicklung und Diagnostik der Universität Fribourg

  
  

  ---

  ---

  april 2023 \ contact ben apenstaartje benwilbrink.nl freelance advies ontwikkeling onderzoek

  ---

    http://www.benwilbrink.nl/projecten/decentraleselectie.htm

  ---