A. Hazewinkel

SELEKTIE VAN STUDENTEN

Een belangrijk deel van het selektierapport behandelt (de konsekwenties van) het probleem van de ten onrechte toegelaten en afgewezen studenten. Diverse auteurs (o.a. Wijnen, Wilbrink, Hofstee, De Bruine) hebben op dit punt veel kritiek op de beweringen van De Groot, en kiezen voor de argumentatie van Hazewinkel. Hoewel dit artikel velen reeds bekend zal zijn (Intermediair, Hoger onderwijs cahier-10 etc.) hebben wij het voor de volledigheid toch hier opgenomen. Wij geven hier slechts een korte schets van de opbouw van het artikel; voor een goed begrip van de kritieken verdient het aanbeveling het gehele artikel te lezen.

Hazewinkel begint met vier motieven te onderscheiden, die dikwijls voor selektie worden aangevoerd; ze vallen in twee soorten uiteen: beperking en/of fixering van het aantal, en het tegenhouden van minder geschikten of ongeschikten. Hij laat dan eveneens de gevaren (nadelen) van permanente selektie zien en keert zich daarbij tegen het proces van de wet(matigheid) van Posthumus m.b.t. permanente selektie. Ook met moderne selektiemetoden echter blijven vele van de algemene problemen, die aan selektie kleven, bestaan. Het voorspellen van studiesukses is een moeilijke zaak; altijd blijft het probleem van de ten onrechte afgewezenen en toegelatenen. In een met uitvoerige tabellen geadstrueerd betoog toont Hazewinkel de tekortkomingen van selektiemetoden (o.a. geringe validiteit van de studiesuksesvoorspellers).

Zelf vat hij zijn betoog als volgt samen:

1. Selektie behoort het onderwijs te dienen. Derhalve mag van permanente selektie geen sprake zijn.
2. In Nederland is door vóórselektie de kwaliteit van het studentenaanbod relatief goed. Een lage selektieverhouding, d.w.z. selektie van een kleine topgroep uit het gehele aanbod, is geen reële mogelijkheid. Te veel potentiëel goede kandidaten zouden hierdoor afgewezen worden.
3. Wil men alleen de slechtsten uitzeven dan blijkt de reduktie van het aantal fouten, vergeleken met die, gemaakt wanneer 100% wordt toegelaten, slechts gering te zijn. Wat men wint bij de ene soort fout verliest men bij de andere.
4. Moet men het aantal studenten reduceren wegens een te grote toeloop dan lijkt selektie beter dan loting. Selektie kan echter de kwalitatieve verscheidenheid van de studentenpopulatie ongunstig beïnvloeden. Dit betekent tevens discriminatie jegens al die studenten wier kracht ligt op gebieden die door het selektieinstrument niet worden bestreken.
5. Dit alles maakt selektie voor studenten moeilijk aanvaardbaar en voor onderwijsinstellingen niet zonder risico."

Als aanhangsel van deze bijdrage volgen "Enkele kanttekeningen" van prof. Begeer uit Rotterdam. Hij heeft deze indertijd op ons verzoek geschreven en ze zijn eveneens eerder afgedrukt in Hoger onderwijs cahier-10. Met de hoofdlijnen van Hazewinkel is hij het geheel eens. [NB: ik geef hier geen transcriptie van de reactie van Begeer. Ik vind de reactie niet echt ter zake. Ik wil een regelrechte blunder hier toch wel citeren: "Hazewinkel heeft duidelijk aangetoond dat in het nederlandse bestel beperking van de toelating van studenten grote verliezen aan potentiële afgestudeerden mee kan brengen." Ik vertrouw erop dat u zelf ziet hoe Begeer hier de fout ingaat. B.W.]

Selektie van studenten

Inleiding

Hoewel het meeste van hetgeen volgt geldt voor de selektie van alle studenten zal de aandacht vooral op de medische studenten gericht zijn omdat voor hen reeds sprake is van een numerus fixus. In sommige landen worden kandidaten voor de medische studie streng geselekteerd. Engeland en vooral de Verenigde Staten van Amerika zijn voor de hand liggende voorbeelden. In Nederland is tot nu toe nauwelijks sprake van selektie geweest. De enige voorwaarde die aan toekomstige medische studenten gesteld wordt, is, dat ze een bepaald soort einddiploma van een middelbare school in hun bezit hebben.

Sinds een jaar of zeven wordt ook in Nederland serieus gedacht over het instellen van een numerus fixus voor de medische studie om de problemen die de beperkte opleidingskapaciteit van de fakulteiten oproepen, op te lossen. Selektie is geen noodzakelijke konsekwentie van een numerus fixus, tenzij we ook loting of de procedure 'wie het eerst komt, wie het eerst maalt' onder het begrip selektie willen laten vallen. Hier wordt onder selektie verstaan: het op grond van waargenomen verschillen in individuele kenmerken beslissen wie tot de studie, of gedeelten daarvan, toegelaten wordt. Volgens deze definitie wordt dus nu reeds geselekteerd, vooraf op grond van het kenmerk "bezit van een einddiploma van een hbs-B of een gymnasium-B", of in sommige gevallen het geslaagd zijn voor een colloquium doctum, en tijdens de studie op grond van examenresultaten.

Vier motieven voor selektie

Selektie, zoals hier gedefinieerd, is een beslissingsprocedure. Aan zo'n procedure kunnen verschillende overwegingen ten grondslag liggen. De nu vigerende regeling voor de selektie vooraf is gebaseerd op wettelijke voorschriften. De motieven voor selektie tijdens de studie worden zelden expliciet gemaakt. Ook voorstellen voor een selektie vooraf, anders dan alleen op grond van het middelbare school-diploma, worden zelden duidelijk en ondubbelzinnig gemotiveerd. Enkele motieven, die wel eens genoemd worden, zijn:

1. beperking van het aantal studenten om dit beter in overeenstemming te brengen met de huidige opleidingskapaciteit;
2. fixering van het aantal studenten, zodat planning van de onderwijsvoorzieningen beter mogelijk wordt;
3. verhoging van het niveau van de studentengroep, zodat met eenzelfde onderwijsplanning betere resultaten bereikt kunnen worden. Hierdoor neemt tevens de homogeniteit van de studentenpopulatie toe, doordat de spreiding van aanleg en kapaciteiten naar beneden beperkt wordt;
4. voorkomen van falen van studenten, omdat dit voor de falende student en de fakulteit onverantwoorde investeringen in geld, energie en tijd betekent. Selektie op grond van dit motief zou men een 'early warning system' kunnen noemen.

Deze vier motieven vallen in twee duidelijk onderscheidbare groepen uiteen: beperking en/of fixering van het aantal en tegenhouden van minder of ongeschikt.en. Het onderscheid tussen a) en b) is minimaal, dat tussen c), niveau verhoging, en d), voorkomen van mislukkingen, lijkt onbelangrijk, maar is het niet. Ver-waarlozing van het verschil tussen c) en d) leidt tot zulk schijnbaar redelijke, maar in wezen aanvechtbare redeneringen, als: "We kunnen niet meer dan 200 studenten verwerken. Als we dan moeten selekteren, laten we dan hèn afwijzen, die toch een zeer geringe kans hebben hun studie zonder ernstige vertraging te voltooien". Dit lijkt dus een selektie-argument op basis van motief d), voorkomen van mislukkingen. De redenering is aanvechtbaar, omdat het onwaarschijnlijk is dat het aantal kandidaten, dat op grond van bepaalde kenmerken een zeer slechte studieprognose heeft, gelijk is aan het aantal dat afgewezen moet worden. Als de boven weergegeven redenering in praktijk gebracht wordt, zal men al gauw geneigd zijn het aantal kandidaten met slechte prognose aan te passen aan het aantal dat afgewezen moet worden. Daarmee wordt in feite motief c), niveauverhoging, de basis voor de selektieprocedure. De moeilijkheid is dat er theoretisch zo'n nauwe relatie bestaat tussen de motieven c) en d): niveau-verhoging vermindert de kans dat er kandidaten toegelaten worden met een ongunstige prognose. Het begrip 'ongunstige prognose' is een niet scherp omlijnd begrip: het hangt van een willekeurige beslssing af, bij welke slaagkans men de grens tussen gunstige en ongunstige prognose legt.

Voor de praktijk van selektie en onderwijs is het echter mogelijk en zelfs belangrijk om c) en d) te onderscheiden. Als men de selektieprocedure op motief c) baseert, stelt men het belang van de onderwijsinstelling boven dat van de kandidaten. Men zal vrijwel altijd, nl. in al die gevallen dat het aantal afgewezen kandidaten duidelijk groter is dan het aantal met een slechte prognose, kandidaten afwijzen die de studie zonder veel moeite hadden kunnen volbrengen. Gezien de geringe voorspelbaarheid van studiesukses zal bovendien een aantal toegelaten kandidaten minder goede prestaties leveren dan een aantal afgewezen kandidaten had kunnen leveren, waren zij toegelaten. Dit feit, in de paragraaf "Twee soorten fouten in de selektie" nader met cijfers toegelicht, zal bij velen het gevoel oproepen onrechtvaardig behandeld te zijn. Dit bezwaar kan men moeilijk afdoen door te wijzen op het belang van de zwakke student, die zoveel narigheid bespaard wordt. Zo'n argument past alleen bij motief d).

Gevaren van permanente selektie

Een nog ernstiger bezwaar tegen selektiemotief c) is dat op geen moment een norm vastgelegd wordt, zoals bij d) het geval is. Niveauverhoging is in principe onbegrensd en leidt onvermijdelijk tot een wet-van-Posthumus-proces. Als tijdens de opleiding blijkt dat het niveau toch niet ideaal is, ligt het voor de hand om de selektie te herhalen. Niemand kan echter kontroleren of het niveau van de studenten te laag is, of dat de normen te streng zijn, of dat misschien het onderwijs slecht was (niet aan deze studentengroep aangepast). Het is niet ondenkbaar dat op deze wijze het peil van het onderwijs ongestraft steeds lager wordt, terwijl het niveau van de studentengroep door de voortdurende sselektie zodanig wordt opgevoerd dat alleen de zeer goede, zij die mauwelijks onderwijs nodig hebben, nog overblijven. Deze mogelijkheid wordt in feite impliciet aanvaard door diegenen, gelukkig niet velen meer, die zeggen dat al die moderne aandacht aan het onderwijs en aan de begeleiding van de studenten besteed, zinloos is: vroeger kwamen de werkelijk goede er toch ook door?

Het hierboven geschetste wet-van-Posthumus-proces van permanente selektie is uit de praktijk van het lager en middelbaar onderwijs genoegzaam bekend. Ook al is het gevolg niet altijd een zo vergaande achteruitgang van de kwaliteit van het onderwijs als zojuist als mogelijkheid genoemd werd, het blijft altijd om meer dan één reden een schadelijke zaak.

Permanente selektie bevordert de onderlinge kompetitie tussen de studenten en zelfs de voorstanders van kompetitie als motiverende faktor geven toe dat b.v. de huidige situatie tijdens het prop.jaar aan verschillende medische fakulteiten in Nederland tot een ongezonde vorm van kompetitie leidt. Permanente selektie is nadelig voor het (voor het onderwijs zo belangrijk) klimaat van samenwerking tussen docent en student. Het schept een situatie waar de belangen van de twee partners in het onderwijsproces voor een deel tegensteld zullen zijn. Initiatieven van studenten, die voor het leerproces gunstig zouden kunnen zijn, worden afgeremd uit vrees voor negatieve beoordeling. Permanente selektie remt de zelfkritiek die iedere docent nodig heeft om zijn onderwijs op peil te houden of te verbeteren. In een systeem waar permanent geselekteerd wordt, is het te gemakkelijk om slechte tentamen-resultaten te verklaren uit een laag niveau van de studenten. De reële mogelijkheid van te strenge normen of onderwijs metoden die niet aangepast zijn aan deze studenten in deze fase van hun studie, wordt te gemakkelijk over het hoofd gezien. Tenslotte is permanente selektie inefficiënt: als studenten na 1, 2 of meer jaren studie ophouden te studeren, betekent dit verspilling van tijd en geld van student en maatschappij. Maar permanente selektie is niet alleen 'het wegsturen of nopen tot weggaan van studenten; er is ook sprake van permanente se-lektie als een student een jaar over moet doen. Ook dan worden onderwijsvoorzieningen ondoelmatig gebruikt. In sommige gevallen zal dit te wijten zijn aan gebrek aan kapaciteiten of aan inspanning van de kant van de student. In vele gevallen zal dit tevens te wijten zijn aan het systeem dat een student twaalf maanden kan geven. Vergelijken we in dit verband de situatie aan de MFR met die aan de andere medische fakulteiten in Nederland, dan zien we dat in Rotterdam selektie bij het propaedeutisch examen, dankzij de nu nog toegestane numerus fixus, in veel geringere mate plaats vindt dan elders. Er is voorlopig nog geen reden om aan te nemen dat studenten hier intelligenter en ijveriger zijn dan elders, ook niet dat ze na het propaedeutisch examen als groep een lager niveau dan elders hebben. Voorlopig is dus de konklusie gewettigd dat het systeem, om veel studenten bij hun propaedeutisch examen voor twaalf maanden weg te sturen, niet noodzakelijk is en dus een ongeoorloofde verspilling.

Dit betoog tegen permanent selekterend onderwijs zal door sommigen misschien beschouwd worden als een open deur intrappen. Bovendien kan men tegen de hier gesuggereerde koppeling van selektie om niveauverhoging te bewerkstelligen (motief c) en permanente selektie bezwaar maken. Het is immers heel wel mogelijk om, uitgaande van een beperkte opleidingskapaciteit op grond van een selektieprocedure 'de besten' uit het totaal aanbod toe te laten en daarna niet meer te selekteren. Daarmee zou dan het bezwaar van de permanente selektie verdwenen zijn en alleen de bezwaren van de onrechtvaardigheid en de geringe opbrengst van een duur selektiesysteem overblijven. Men kan hierbij dan wijzen op de Amerikaanse situatie waar, voor zover mij bekend iedere medical school selekteert en waar permanente selektie zeldzaam is. Er is echter een groot verschil tussen de Amerikaanse situatie en de situatie die wij kunnen verwachten als een numerus fixus wettelijk toegestaan zal worden. Amerikaanse medical schools verkeren in de omstandigheid dat ze uit een groot aanbod een betrekkelijk gering percentage kandidaten kunnen kiezen. Onder zulke omstandigheden biedt zelfs een gebrekkige selektieprocedure een zekere garantie dat alle toegelaten kandidaten aan hoge eisen voldoen, zoals hieronder zal worden duidelijk gemaakt, en zal de staf geen neiging hebben om nog verder te selekteren. In Nederland kan men niet verwachten dat een zo rigoreuze selektie in de nabije toekomst een reële mogelijkheid zal zijn en blijft het gevaar van de permanente selektie, tenminste als instelling van de onderwijsstaf, be-staan. Alleen door uitdrukkelijk voor motief d) te kiezen kan dit voorkomen worden.

Algemene problemen van selektie

Selektie om voorspelbaar mislukken in de studie te voorkomen, vooronderstelt een min of meer willekeurige beslissing: als een groep studenten met bepaalde kenmerken een kans van falen heeft die hoger ligt dan een maximaal aanvaard-bare waarde (80% bijv.) dan zeggen we dat voorspelbaar is dat deze groep zal mislukken. De moeilijkheid zit hem niet alleen in de keuze van een acceptabel niveau voor deze maximum waarde, ook de schatting van de kans van falen is minder eenvoudig dan men op het eerste gezicht zou denken. Laten we eens aannemen dat een onderzoek is gedaan naar de samenhang tussen een aantal goede voorspellers, zoals middelbare schoolresultaten en speciaal voor het doel ontwikkelde tests, en studiesukses. Het onderzoek voldoet aan hoge eisen: de studenten worden allen toegelaten tot de studie en de schoolresultaten zowel als de testgegevens worden zorgvuldig geheim gehouden, zodat de beoordelende in-stanties hierdoor niet beïnvloed kunnen worden. Tenslotte omvat het onderzoek een groot aantal studenten van meer dan één beginjaar. Na enige jaren zal men dan konstateren dat b.v. 80% van de studenten met een bepaalde kombinatie van ongunstige school- en testresultaten de studie heeft moeten staken of ernstige vertraging in de voortgang van hun studie hebben gehad. Wettigt dit nu de konklusie dat een zodanige groep 80% kans heeft om te falen? Het zou onjuist zijn om deze vraag zonder meer bevestigend te beantwoorden. Een positief antwoord is slechts gerechtvaardigd als men hier de beperking aan toevoegt: 'in het huidige onderwijssysteem, waar zeker het eerste jaar getentamineerd wordt mede om "de zwakken uit te selekteren". Deze selektieve funktie van de tentamina valt niet te miskennen zelfs niet in Rotterdam, waar het aantal studenten onder de noodwet nog beperkt is en waar de neiging tot selekteren dus minder groot zal zijn dan elders. Ook hier geldt dat, als een docent om welke reden dan ook een slaagpercentage heeft van 85%, 90% of hoger, het opvallend is hoe zijn kollega's reageren. De mogelijkheid dat het onderwijs zo uitstekend was dat vrijwel niemand een slecht tentamen hoefde te maken, wordt verrassend weinig als verklaringsmogelijkheid genoemd. De docent zal daarentegen onder druk komen te staan om zijn normen zodanig te verhogen dat nu reeds, of als dat niet mogelijk is toch zeker een volgende keer, het percentage onvoldoendes weer "normaal", dat is 20 á 25%, wordt.

Uit de psychologische literatuur over voorspelling van sukses in opleiding en werkkring blijkt telkens weer dat de voorspellende waarde van tests niet alleen sterk afhankelijk is van het gedrag dat voorspeld wordt, maar ook van plaats en omstandigheden waarin gestudeerd of gewerkt wordt. Een selektieve studie-omgeving, zoals in de vorige alinea beschreven, is voldoende verschillend van een niet-selektieve om van een andere omgeving en andere resultaten te verwachten.

Moderne selektiemetoden

Vroeger werd gewerkt met een vrij simpel prediktiemodel: intelligente personen hebben gedurende de eerste jaren van hun leven meer kennis en inzicht op allerlei terrein dan minder intelligente personen. Test men dit door middel van een algemene intelligentie-test, dan krijgen deze meer intelligente individuen een hogere score. Zij zullen tijdens hun studie wederom sneller en beter leren dan hun zwakker begaafde kollega's en de studieresultaten zullen daardoor korreleren met de vóór de studie verzamelde testresultaten. Faktoren als interesse voor het onderwerp, motivatie en in het algemeen persoonlijkheidskenmerken (vitaliteit, ambitie, evenwichtigheid e.d.) spelen tevens een, zij het moeilijk meetbare, rol. Maar deze faktoren beïnvloeden in vele gevallen de testresultaten in dezelfde richting als de studieresultaten. Tegenwoordig beschouwt men dit model als veel te simplistisch. Uit statistisch onderzoek is gebleken dat de voorspelbaarheid van toekomstig gedrag afhangt van de gebruikte tests, de samenstelling van de groep onderzochte personen, de (onderwijs) situatie waarin deze groep verkeerd heeft voordat de tests afgenomen werden en waarin zij verkeerde in de periode tussen testgedrag en te voorspellen gedrag, en de aard van het te voorspellen gedrag. De stelling 'als een persoon maar intelligent is, komt hij er wel' blijkt dus niet houdbaar.

Het resultaat van een onderzoek van de Educational Testing Service illustreert het belang van deze faktoren. Het bleek dat middelbare scholieren die een nieuwe vorm van chemie-onderwijs hadden gevolgd, op de toelatingsexamens voor de universiteit beduidend lagere scores behaalden. Toch hadden zij gedurende het eerste studiejaar aan de universiteit betere studieresultaten dan hun kollega's, die een oudere vorm van chemie-onderwijs genoten hadden. Het is waarschijnlijk dat het nieuwe chemie-onderwijs meer aandacht besteedde aan het ontwikkelen van inzicht in fundamentele begrippen en metoden ten koste van het vergaren van een grote hoeveelheid feitenkennis en dat de toelatingstest meer aandacht besteedde aan deze feitenkennis.

Een ander onderzoek uit de bedrijfspsychologie laat zien hoe belangrijk het is of een werksituatie motiverend is of niet. Sukses in het werk bleek goed voorspelbaar met verschillende intelligentie-tests voor zover het personen betrof die sterk gemotiveerd waren. Geschiktheid in de funktie bleek niet, of zelfs negatief, gekorreleerd met tests in werksituaties die de arbeiders niet motiveerden. De tekening [betekenis? bw] van dit soort gegevens voor het onderwijs is duidelijk.

De effektiviteit van selektie
Zojuist is erop gewezen dat het voorspellen van studiesukses een moeilijke zaak is. Men kan alleen dan korrelaties van enig belang verwachten, als men eerst duidelijk homogene studentengroepen, homogene studiesituaties en homogene examensituaties heeft geïsoleerd. Aangezien echter het onderwijs, secundair en tertiair, zich snel ontwikkelt en daardoor vaak ingrijpende veranderingen ontstaan in de kenmerken van de aankomende studentenpopulaties en de onderwijs-situaties waarin zij vervolgens geraken, is generalisatie van gevonden korrelatieve verbanden tussen tests en studieresultaten naar volgende jaren een hachelijke zaak.

Zelfs gegeven deze situatie, zal het vóórkomen dat men moet selekteren en dan maar selekteert met behulp van een test voor algemeen niveau. Zo'n test maakt voorspellingen van toekomstige studieprestaties mogelijk.

Men kan het algemeen niveau dan b.v. door een eindexamengemiddelde of een in-telligentietestscore schatten. Laat ons eens aannemen dat een korrelatie gevonden wordt tussen deze niveau-score en studiesukses, die (uitgedrukt als een produkt-moment-korrelatiecoëfficiënt) gelijk is aan 0,40. Als de gezamenlijke frekwentieverdeling van voorspeller en criteriumscores 2) bij benadering normaal is, ontstaat een beeld als weergegeven in figuur 1.

Deze figuur is een grafische voorstelling van een frekwentieverdeling. De ellips is bij benadering zodanig getekend, dat alleen onwaarschijnlijke kombinaties van voorspeller-waarden en studiesukseswaarden erbuiten vallen. De in de figuur getrokken lijnen en aangebrachte letters vragen enige uitleg.

De horizontale lijn, waar links staat 51, is de lijn waarboven alle gevallen weergegeven zijn, die op de studiesukses-variabele voldoende scoren.

De waarde 5,5 wordt wel de kritische criterium-score genoemd. De vertikale lijn is de lijn die de toegelaten kandidaten van de afgewezen scheidt. Links van deze lijn liggen al die kandidaten die op grond van hun score op een of andere voorspeller, bij voorbeeld een intelligentie-test, afgewezen werden. De letters in de vier kwadranten van de figuur moeten als volgt gelezen worden:

• TOA staat voor ten onrechte afgewezen
• TT staat voor terecht toegelaten
• TA staat voor terecht afgewezen
• TOT staat voor ten onrechte toegelaten

In de volgende paragrafen zal nu aan de hand van deze figuur nagegaan worden welke invloed de selektie-verhouding, de sukses-verhouding en de validiteit hebben op de effektiviteit van het selektieproces.

Eerst volgen hier nog enkele definities:

De selektie-verhouding: het aantal studenten dat wordt toegelaten, gedeeld het totale aanbod; dat is in figuur 1

(TT + TOT) / (TOA + TA + TT + TOT)

De sukses-verhouding: het aantal studenten dat zou voldoen, dat wil zeggen een criterium-score zou halen boven de kritische score (in ons geval 51), als er niet geselekteerd wordt, gedeeld door het totale aanbod, dat is in figuur 1

(TOA + TT) / (TOA + TA + TT + TOT)

Validiteit: de korrelatie tussen selekterend instrument en criterium-variabele, meestal uitgedrukt als een of andere korrelatie-coëfficiënt, in ons geval de korrelatie tussen de selektietest en een of andere eindbeoordeling, b.v. het gemiddelde artsexamencijfer.

De invloed van de selektieverhouding op het afvalpercentage

Als het mogelijk is om uit een groot aanbod een relatief gering aantal te selekteren, zal het niveau van de geselekteerde groep hoog zijn. De figuren 2A en B demonstreren dit principe. Ze geven een situatie weer waar de samenhang voorspeller en studiesukses overeenkomt met een korrelatie van r = 0,40. Langs de vertikale as is de criterium-score, b.v. een examen-gemiddelde, afgezet. In het voorbeeld ligt 84% van de studenten boven de kritische criteriumscore als niet geselekteerd wordt. Als men nu maar 16% van het studenten aanbod zou behoeven te accepteren, dus b.v. 160 van een aanbod van 1000, dan zullen maar 7 van deze 160, dus 4% van de toegelaten groep, beneden de criteriumscore van 5,5 blijven. Als men daarentegen 50% moet accepteren, in dit geval 500, zullen daarvan 43, dus 9%, falen. Wil men in dit geval (een selektie-verhouding-van 0,50) een afvalpercentage van slechts 4% bereiken, dan moet men met selektie-instrumenten werken die een veel hogere korrelatie met het studieresultaat hebben, nl. bijna 0,60, een in de praktijk moeilijk te bereiken waarde.

Twee soorten fouten bij selektie

Wanneer in Nederland selektie voor medisch onderwijs zou worden ingevoerd, dan zal men toch rekening moeten houden met selektie-verhoudingen die nog veel hoger liggen dan 0,50. Men zou zich kunnen voorstellen dat onder de druk der om-standigheden de fakulteiten het recht krijgen om b.v. een 10 tot 30% van het studenten-aanbod te weren.

Nemen we het voor de effektiviteit van de selektie meest gunstige geval van 30% afwijzingen, dus een selektie-verhouding van 0,70, en veronderstellen we dat de sukses-verhouding van 0,80 is (zonder selektie slaagt 80%), dan krijgen we bij de niet onrealistische korrelatie r = 0,40 en een studentenaanbod van 300, het beeld dat weergegeven is in figuur 3. Dit vrij realistische beeld geeft ons belangrijke informatie met betrekking tot de konsekwenties en implikaties van selektie.

1. We zien dat men bij de huidige stand van de selektie-research moet rekenen op een afvalpercentage van ongeveer 30 als van het totale aanbod van 300 er 210 (70%) toegelaten worden en als van dit zelfde aanbod er 60 (20%) potentiële afvallers zijn. De helft van deze 60 "ongeschikten" zijn dan door de selektieprocedure geweerd.
2. Het afwijzen van 30 van de 60 ongeschikten is gedaan ten koste van 60 potentiële geschikten, die nu in de groep van de ten onrechte afgewezenen (TOA) vallen.
3. Een manier om de waarde van een selektieprocedure te bepalen is het percentage afvallers met selektie te vergelijken met dat zonder selektie. In de situatie van figuur 3 falen met selektie 30 van de 210 toegelaten kandidaten, dat is 14% tegenover 60 van de 300 of 20% als niet geselekteerd wordt. Stel nu eens dat de selektie door de middelbare school reeds zo effektief is en dat de kwaliteit van het onderwijs zoveel verbetert dat het mogelijk is om zonder veel tijdverlies 90% van een ongeselekteerde groep studenten de eindstreep te laten halen. Als we nu met een selektie0procedure werken waarvoor de korrelatie weer 0,40 is en we zouden 30% niet toelaten tot de studie, dan krijgen we bij een aanbod van 300

   
   

   TAO = 73   TA = 17 
   TT  = 197 TOT = 13 

   
   Dat wil zeggen dat het afvalpercentage dat zonder selektie 10% bedraagt, na selektie 6% bedraagt: in plaats van 30 van de 300 falen nu 13 van de 210 studenten. Deze kleine winstgaat ten koste van 73 studenten, die ten onrechte afgewezen werden.

4. Onder punt c. is reeds gewezen op de kosten van het verminderen van het faalpercentage door selektie, nl. het aantal ten onrechte afgewezen kandidaten. Bij de daar gebruikte waarderingsmetode van een selektieprocedure wordt met deze kosten geen rekening gehouden. Het enige criterium dat daar gehanteerd wordt ter bepaling van de effektiviteit van de selektie is de reduktie van het relatieve aantal studenten dat toegelaten wordt maar faalt. Een andere metode om de waarde van een selektiesysteem te bepalen houdt rekening met de beide soorten fouten die gemaakt worden: de TOA's en TOT's (bij de eerste metode telden alleen de TOT's). Men kan in dit geval de fouten een verschillend gewicht geven. Het eenvoudigste is echter ze even zwaar te wegen en dan die selektieverhouding te kiezen, waarbij voor een gegeven suksesverhouding en een gegeven korrelatie tussen test en studie-sukses het totale aantal fouten minimaal is. Wanneer men de konsekwenties hiervan nagaat, stuit men op verrassende resultaten.

TABEL 1

Aantal foute selektie-beslissingen als funktie van de selektieverhouding bij vier verschillende voorspeller-criterium-korrelaties. Het aanbod van kandidaten bedraag 300. De suksesverhouding is 0,80.

 Tabel 1 Hazewinkel 1974
 -------------------------------------------------------------
 selektie-
 verhouding        0,10  0,70  0,80  0,90  0,95  1,00
 -------------------------------------------------------------
 r = 0,35 
         TOT         2    31    38    49    54    60
         TOA       212    61    38    19     9     0
                   ---   ---   ---   ---   ---   ---
         totaal    214    92    76    68    63    60
 -------------------------------------------------------------
 r = 0,40 
         TOT         1    30    36    46    51    60
         TOA       211    60    35    16     6     0
                   ---   ---   ---   ---   ---   ---
         totaal    212    90    72    62    57    60
 -------------------------------------------------------------
 r = 0,60 
         TOT         0    21    31    43    48    60
         TOA       210    51    31    13     3     0
                   ---   ---   ---   ---   ---   ---
         totaal    210    72    62    56    51    60
 -------------------------------------------------------------
 r = 0,90 
         TOT         0     6    14    32    45    60
         TOA       210    36    14     2     0     0
                   ---   ---   ---   ---   ---   ---
        totaal     210    42    28    34    45    60
-------------------------------------------------------------

-->

In tabel 1 zijn de aantallen fouten weergegeven als funktie van de verhouding bij bepaalde waarden van de validiteit (r) van de voorspeller. De laatste kolom van deze tabel geeft het aantal fouten bij een selektie-verhouding 1,00, d.w.z. wanneer men 100% toelaat en in feite dus geen selektie toepast. Deze kolom is in de tabel opgenomen om een goede vergelijkingsmaatstaf te hebben. Immers, als blijkt dat door de toepassing van selektie het aantal gemaakte fouten belangrijk beneden deze 60 blijft, die men kan verwachten als geen selektie toegepast wordt, dan pleit dit voor de effektiviteit van de selektieprocedure. Wat blijkt nu het geval te zijn?

Wanneer het aantal potentieel ongeschikten zoals in ons voorbeeld relatief klein is, nl. 20%, dan zal de selektieprocedure van zeer goede huize moeten zijn d.w.z. dat de samenhang tussen voorspeller en studiesukses hoog zal moeten zijn, wil de selektie tot een belangrijke reduktie van het aantal gemaakte fouten kunnen leiden. Uit de eerste drie regels van de tabel blijkt dat in dit geval een validiteit r = 0,35 niet voldoende is om een selektieprocedure te rechtvaardigen. Immers, het totale aantal van de gemaakte fouten neemt weliswaar af naarmate de selektie-verhouding toeneemt (dus hoe minder mensen men afwijst des te minder fouten maakt men) maar bij alle in de tabel voorkomende selektieverhoudingen (tussen 0,10 en 0,95) blijft het aantal gemaakte fouten boven de 60. Bij een korrelatie r = 0,40 is het mogelijk door het afwijzen van 5% van de kandidaten de 60 falers terug te brengen tot 51 ten koste van slechts 6 ten onrechte afgewezenen. Als men deze laatste fout even zwaar telt als de fout van het accepteren van ongeschikten, dan is de balans 57 fouten. De selektiemetode biedt dus voordeel hoewel het verschil (drie fouten minder dan zonder selektie) wel uitermate klein is. Bij de wel zeer hoge validiteit van 0,60 is de reduktie van het aantal fouten nog slechts 9.

Pas wanneer men voorspellers zou hebben die de onwaarschijnlijke validiteit r = 0,90 zouden bezitten, zou een aanzienlijke reduktie van het aantal gemaakte fouten mogelijk zijn. In dit geval is de optimale selektie verhouding niet zoals in de drie eerste gevallen 0,95, maar 0,80. Het aantal fouten loopt dan van 60 tot 28 terug. Deze laatste rij in de tabel is echter voor een selektie met behulp van voorspellende tests slechts van teoretische betekenis. Het probleem wordt er duidelijker door, maar er is geen voorspeller van studiesukses die zelfs maar bij benadering een validiteit zou kunnen bereiken van r = 0,90.

Konklusies

Uit het voorgaande kunnen we de volgende, meer algemene konklusies trekken: Als de foute beslissing 'ten onrechte afwijzen van een kandidaat' bij benadering even zwaar weegt als de toelating van een ongeschikte kandidaat, heeft selektie geen zin, wanneer de kwaliteit van het aanbod, b.v. door een vóór-selektie (vwo-examen!), redelijk hoog is (sukses-verhouding 0,80 of hoger). Als men alleen de toelating van ongeschikte kandidaten wil verminderen, lijkt de situatiegunstiger. In dat geval kan echter slechts door middel van een lage selektie-verhouding een belangrijke reduktie van dit soort fouten teweeg gebracht worden. De absolute aantallen in tabel 1 geven overigens een geflatteerd beeld van deze reduktie. is reëler om de afname van het percentage ongeschikten in de toegelaten groep te beschouwen. Dan blijkt dat bij r =0,35 dit percentage bij een selektie-verhouding 0,70, 15% is tegenover 20% wanneer niet geselekteerd wordt. Pas wanneer men b.v. 90% van de kandidaten afwijst komt men op een klein afvalpercentage, nl. 6%. Tellen beide fouten dan heeft selektie dus alleen zin als er veel ongeschikten in de kandidatengroep zitten.

TABEL 2

Aantal foute selektie-beslissingen als funktie van de selektieverhouding. Het aanbod van kandidaten bedraagt 300. De suksesverhouding is 0,20 en de voorspeller-criterium-korrelatie is gegeven door r = 0,60.

In tabel 2 is zo'n situatie weergegeven. Slechts 20% van de kandidaten heeft hier sukses met de studie. De meeste selektie fouten worden nu gemaakt als men te veel kandidaten toelaat. Een selektieverhouding van 0,90 geeft 212 foute beslissingen, vooral doordat te veel ongeschikten toegelaten worden (TOT=211), terwijl de optimale selektieverhouding (in termen van het kleinste totale aantal foute beslissingen) bij 0,10 ligt. Weegt alleen de toelating van de onge-schikten zwaar, dan heeft selektie ook zin in een goede groep, mits men zeer veel kandidaten kan afwijzen (de Amerikaanse situatie).

Men kan voorlopig rustig konkluderen dat in Nederland selektie op grond van schoolgegevens, tests of andere voorspellers (die nooit validiteiten in de orde van grootte r = 0,90 hebben) niet zinvol is.

Deze konklusie geldt echter slechts onder twee voorwaarden:

1. selektie heeft ten doel om zo weinig mogelijk goede kandidaten af te wijzen en zo weinig mogelijk slechte kandidaten toe te laten en
2. toelating van alle studielustigen is een reële mogelijkheid.

Als aan de tweede voorwaarde niet is voldaan door een overweldigende toeloop van studenten wordt aan de eerste voorwaarde ook maar ten dele voldaan. Selektie is dan óók een middel om het totaal aantal toelatingen te reduceren. De vraag wordt dan of selektie daartoe de beste metode is.

Selekteren of loten?

Bij de introduktie van het begrip "selektieverhouding" is terloops opgemerkt dat we vaak niet vrij zijn in de keuze van een bepaalde selektieverhouding. De meest voorkomende gevallen zijn:

1. men is verplicht om iedereen die zich aanmeldt toe te laten; de selektie-verhouding is dan 1,00.
2. men mag een vast aantal, een numerus fixus, tot de studie toelaten; de selektieverhouding hangt dan af van het totaal aantal aanmeldingen.

Bij een nationale beleidsbepaling met betrekking tot een numerus fixus kan men wellicht het totaal aantal te aanvaarden studenten in een bepaalde studierichting afhankelijk stellen van (een schatting van) het aantal aanmeldingen. Is het selektie-motief minimalisering van foute selektiebeslissingen dan is dit de meest rationele procedure. De term "numerus fixus" zou dan evenwel vervan-gen moeten worden door "numerus variabilis" of "ratio fixa". In Nederland wordt echter selektie vooral verdedigd om het aantal studenten te reduceren in verband met het beperkte aantal opleidingsplaatsen. Deze beperking is dan, volgens deze opvatting, noodzakelijk om goed onderwijs te kunnen geven. Als men deze argumentatie aanvaardt, een argumentatie waarbij het afwijzen van geschikte kandidaten als een noodzakelijk kwaad wordt geaccepteerd en waarbij een eventuele kwaliteitsverbetering van de studentenpopulatie niet primair het doel van de selektie is, heeft men nog twee alternatieven: men kan studenten selekteren op grond van één of andere voorspellende variabele of men kan door loting uitmaken wie toegelaten wordt.

Wanneer een selektieprocedure zo weinig valide is dat niet selekteren, maar 100% toelaten, het kleinste aantal foute beslissingen met zich meebrengt (het eerste geval in tabel 1) lijkt loting rechtvaardiger dan selektie. Bij even doordenken moet men echter tot de konklusie komen dat het gebruik van relevante informatie, hoe gering die relevantie ook is, altijd tot minder foute beslissingen moet leiden dan beslissen zonder zulke informatie. Met andere woorden: zolang de validiteit van een voorspeller groter is dan r = 0, verdient se-lektie de voorkeur boven loten. Tabel 3 demonstreert dit op overtuigende wijze.

TABEL 3

Aantal foute selektie-beslissingen als funktie van de selektieverhouding bij gebruik van een voorspeller met validiteit r = 0,35 en bij loting. Het aanbod van kandidaten bedraag 300. De suksesverhouding is 0,80.

De aantallen fouten in de twee kategorieën (TOT en TOA) bij een validiteit van r = 0,35 worden hier vergeleken met de fouten gemaakt bij loting. Het blijkt nu dat niet alleen het totaal aantal fouten bij een gegeven selektie-verhouding steeds groter is bij loting dan bij selektie, maar dit geldt steeds zowel voor de ten onrechte toegelatenen als voor de ten onrechte afgewezenen. Hetzelfde kan men overigens konstateren als men in één bepaalde kolom (bij een gegeven selektieverhouding' in tabel 1 de aantallen fouten bij een bepaalde validiteit vergelijkt met die bij een hogere validiteit. Loten in plaats van selekteren lijkt dus even dwaas als kiezen voor een weinig valide voorspeller als men ook een meer valide voorspeller kan gebruiken.

Er moet echter op een gevaar van deze schijnbare onaanvechtbare logische redenering gewezen worden. Als een voorspeller weinig informatie geeft over studiesukses, betekent dit dat vele andere faktoren dit sukses medebepalen. Een validiteit van r = 0,35 is laag. Teoretisch moet het mogelijk zijn om andere kenmerken van studenten te vinden die met studiesukses samenhangen. Laten we eens aannemen dat er zo'n andere eigenschap bestaat, waarvoor nog geen meetinstrument ontwikkeld is. We nemen aan dat de eigenschap meetbaar is en dat een test die dit meet dezelfde validiteit zou kunnent krijgen als de reeds bekende voorspeller. We noemen de bekende en voor selektie gebruikte de teoretische voorspeller P, de hypotetische voorspeller Q en we nemen aan dat ze onderling geen samenhang vertonen (de korrelatie tussen P en Q is nul).

Studenten zullen nu meer kans van slagen hebben naarmate ze meer eigenschap P bezitten. Hetzelfde geldt voor Q. slagen hebben naarmate De beste studenten bezitten beide eigenschappen in hoge mate. Door nu alleen te selekteren op P en niet op Q zullen alle studenten die zwak in P zijn maar goed in Q (P-; Q+) en die op grond daarvan goede slaagkansen hebben afgewezen worden. Even goede studenten, sterk in P maar zwak in Q ; Q-) worden toegelaten.

Vanuit het standpunt van de onderwijsinstelling of van de maatschappij betekent dit dat van de drie kategorieën goede studenten (P+; Q+), (P+; Q-) en (P-, Q+) alleen de eerste twee overblijven. De studentengroep en de groep af-gestudeerden wordt homogener of om het minder vriendelijk te zeggen: meer ge-lijkgeschakeld.

Of dit een nadeel is hangt vooral af van de aard van de eigenschappen P en Q. Wel moet erop gewezen worden dat Q in feite alle eigenschappen omvat die studiesekses-verhogend werken, die niet samenhangen met of gemeten worden door P en waarvoor nog geen meetinstrument ontwikkeld is. Hoe lager de validiteit van P is, des te veelzijdiger is de groep Q en des te groter is de uniformerende werking van de selektieprocedure.

Vanuit het standpunt van de Q+ studenten is er sprake van discriminatie. Rechtvaardigheid zou eisen dat er alleen gekeken wordt naar studieresultaten en niet of deze vooral bereikt zijn dank zij eigenschap P.

Samenvatting

Dit gehele betoog kan in het kort als volgt samengevat worden:

1. Selektie behoort het onderwijs te dienen. Derhalve mag van permanente selektie geen sprake zijn.
2. In Nederland is door vóórselektie de kwaliteit van het studentenaanbod relatief goed. Een lage selektieverhouding, d.w.z. selektie van een kleine topgroep uit het gehele aanbod, is geen reële mogelijkheid. Te veel potentiëel goede kandidaten zouden hierdoor afgewezen worden.
3. Wil men alleen de slechtsten uitzeven dan blijkt de reduktie van het aantal fouten vergeleken met die, gemaakt wanneer 100% wordt toegelaten, slechts gering te zijn. Wat men wint bij de ene soort fout verliest men bij de andere.
4. Moet men het aantal studenten reduceren wegens een te grote toeloop dan lijkt selektie beter dan loting. Selektie kan echter de kwalitatieve ver-scheidenheid van de studentenpopulatie ongunstig beïnvloeden. Dit betekent tevens discriminatie jegens al die studenten wier kracht ligt op gebieden die door het selektieinstrument niet worden bestreken.
5. Dit alles maakt selektie voor studenten moeilijk aanvaardbaar en voor onderwijsinstellingen niet zonder risico.

Naschrift

Bij het ter perse gaan van dit artikel kwam mij een voordracht onder ogen gehouden door een vooraanstaand Amerikaans psycholoog, David P. Campbell, voor de American Association of Collegiate Registrars and Admissions Officers. Hij waarschuwt voor de homogeniserende werking van de gebruikelijke selektie-pro-cedures en stelt nadrukkelijk "..., we must insist on diversity". Volgens hem "Universities should be centers of all kinds of excellence, not simply those associated with earning a PhD in the arts and sciences." Mijn betoog is o.a. een waarschuwing voor de uniformerende gevolgen van het uitsluitende gebruik van een weinig valide voorspeller. Zijn waarschuwing is gericht tegen de Amerikaanse selektiemetoden die in veel gevallen een hogere validiteit bereiken maar evenzeer tot een ernstige beperking van de verscheidenheid van studenten-populaties leiden. Ik kan lezing van het artikel warm aanbevelen aan een ieder die belangstelling heeft voor "Admissions Policies: side effects and their implication"; American Psychologist Vol.26 nr. 7 (July) 1971, p. 636-647. https://scihub.wikicn.top/10.1037/h0032122

A. Hazewinkel

noot 1) Het grootste gedeelte van dit artikel werd reeds in een iets meer gepopulariseerde vorm gepubliceerd in Intermediair van 28 oktober 1971. De oorspronkelijke versie ervan is met toestemming van Intermediair en de schrijver opgenomen. Dit artikel is tevens gepubliceerd in hoger onderwijs cahier nr. 10, mei 1972.

noot 2) Als we alle kandidaten toelaten, dan zouden ze niet allen sukses met hun studie boeken. Het sukses kunnen we meten b.v. met behulp van een gemiddeld cijfer aan het einde van een studieperiode (b.v. het artsexamen). We noemen dit de studie-sukses-variabele of criterium-score.

maart 2021 \