thuis   publicaties


OTO Hoger Onderwijs Cahiers 13 (Jos de Mulder en Egbert Visscher redactie) Selektie van studenten: achtergrond / effekten, 1973, 166-176

Tegenspraken in het selectievoorstel - De Groot


Ben Wilbrink


laatste concept


Over erfelijkheid van intelligentieverschillen is in de pers veel (onzin) geschreven, over het eigenlijke onderwerp van het rapport De Groot, zijn voorstel voor de inrichting van selectieprocedures voor het hoger onderwijs, vinden we slechts bij Hofstee en Kolthoff commentaar. Grijs (VN 23-9-1972) sluit zich aan hij de opvatting van De Groot (blz. 115):


'De filosofie' van dit rapport is dat men onrecht door selectie niet moet trachten te omzeilen door expliciete, institutionele selectie te vermijden - of erger, net te doen of er geen selectie is maar intussen medioker en inefficiënt onderwijs aan allen te geven. Men moet wel durven selecteren, op rationeel gekozen 'selectiepunten', met acceptabele methoden, die duidelijke consequenties hebben; en men moet negatieve fouten van de selectieprocedure - die onvermijdelijk zijn - opvangen door verstandige regelingen: herkansingen, goede alternatieven, de tweede opleidingsweg.


Men kan het hier alleen maar met De Groot eens zijn. Een vraag is echter of de voorstellen die De Groot doet beantwoorden aan deze eisen. Grijs is van mening dat De Groot "het technische probleem van de selectie heel duidelijk uit de doeken gedaan" heeft. Hofstee daarentegen voelt zich als psycholoog in zijn kruis getast, omdat De Groot op enkele belangrijke punten onvoldoende aansluit bij de wetenschappelijke stand van zaken. Hiermee is de thematiek van dit stuk aangegeven: de onderwijskundige uitgangspunten van De Groot zijn uitstekend, maar hoe zit het nu met de juistheid van zijn argumentatie voorzover deze betrekking heeft op de inrichting van selectieve toelatingsprocedures tot het hoger onderwijs?

Niet alle inconsistenties van het Rapport worden besproken, voor controversiële zaken zoals de ideeën van De Groot over selectie van de allerbesten, en zijn eigenaardig gebruik van het intelligentie-begrip, zij de lezer verwezen naar Hofstee (De Groene 26-9-172) en Kolthoff (HP 20- & 27-9-172).

Wat de vorm betreft, is vnl. gekozen voor het tegen elkaar afzetten van strijdige Uitspraken van De Groot, zodat de lezer die de juistheid van citeren gecontroleerd heeft, voor zichzelf conclusies kan trekken over de argumentatie van De Groot. ook waar het nogal vak-technische zaken betreft. Verondersteld wordt dat de lezer het artikel van Hazewinkel (elders in dit cahier opgenomen) kent.


Over studietoetsen


In het selectievoorstel - De Groot spelen studietoetsen een grote rol. Studietoetsen zijn een geschikt middel voor selectieve examens omdat ze in principe controleerbaar zijn op hun inhoud, hun test-eigenschappen, en de wijze waarop de toets-scores omgewerkt worden tot zak-slaag beslissingen. Daar staat tegenover dat ze in sommige situaties niet bruikbaar zijn, dat ze ook wel enige nadelen kunnen hebben die vooral bij slechte constructie en afname op de voorgrond treden. Een voorbeeld van slecht gebruik is om studietoetsscores te hanteren alsof ze ook inzicht geven in intelligentieverschillen tussen studenten, ja zelfs alsof studietoetsen dat "betrouwbaarder, specifieker en relevanter dan met enige aparte test mogelijk zou zijn" doen (geciteerde deel is uit De Groot "Selectie voor en in het hoger onderwijs", Staatsuitgeverij, 1972, blz. 75. Alle verwijzingen in het volgende hebben daarop betrekking, tenzij anders vermeld is).

Goed geconstrueerde studietoetsen hebben volgens De Groot ook een hoge predictieve validiteit, d.w.z. dat ze goede voorspellers van toekomstig studiesucces zijn (blz. 67, 73). Hoe hoog die validiteit dan wel is, laat hij in het midden, evenals de vraag of studietoetsen met de door hem gewenste eigenschappen inderdaad geconstrueerd kunnen worden. Dat is vervelend, want we zouden graag weten of Hazewinkel gelijk heeft in zijn pessimisme over de predictieve validiteit die met een toelatingsprocedure voor het Nederlandse hoger onderwijs gehaald kan worden. De Groot geeft toe dat gerapporteerde predictieve validiteiten dikwijls laag zijn en schrijft dit zonder verdere adstructie toe aan de betrouwbaarheid van examens en vooral aparte tentamina die vaak ver beneden het bereikbare zouden zijn (blz. 107). Ook op blz. 70 zinspeelt hij er op dat een redelijk minimum voor de predictieve validiteit niet haalbaar is. De conclusie die getrokken kan worden is dat de lezer mag kiezen: ofwel een behoorlijke predictieve validiteit is haalbaar (citaat blz. 73), òf wel niet haalbaar (citaat blz. 70). De kwestie is zeer belangrijk, omdat de opbrengst van een selectieprocedure afhangt (o.a.) van zijn predictieve validiteit, waarop we in volgende paragrafen nog uitgebreid in zullen gaan.


Hoe goed kan selectie volgens De Groot zijn ?


De kwaliteit van een selectieprocedure wordt afgemeten aan zijn resultaten. Een belangrijk resultaat is het aantal onterecht aangenomen, resp. afgewezen studenten (zie het art. van Hazewinkel ). Wanneer iedere toegelaten student een 'contract' krijgt dat onder bepaalde voorwaarden een diploma aan het einde van de opleiding garandeert, is het in zekere zin niet juist meer om van onterecht toegelatenen te spreken. Dit is wat De Groot bedoelt wanneer hij stelt: "Wie toegelaten is, is geschikt." (blz.33-34). Maar ook dan zijn er verschillen in de mate van geschiktheid, ook bij De Groot (blz.228), en die verschillen resulteren in meerdere of mindere aanspraak op intensieve studiebegeleiding of extra studiefaciliteiten, of in verschillen in het eindniveau waarop men afstudeert.(blz.38)

Nu zal men met de beschikbare middelen (opleidings-capaciteit) zoveel mogelijk studenten tot een zo hoog mogelijk niveau willen opleiden. Een goede selectieprocedure moet er dan ook in resulteren (de garantie kunnen geven) dat de 'meest geschikten' toegelaten worden, omdat dan het maximum bereikt wordt zowel wat betreft het aantal studenten dat opgeleid kan worden als het niveau dat bereikt kan worden; bijv.: minder 'geschikte' studenten maken meer aanspraak op docententijd, en verkleinen daarmee de opleidingscapaciteit. Een kwalitatief slechte selectie zal resulteren in een sub-optimaal gebruik van de beschikbare capaciteit.
Het bovenstaande selectie-beleid ligt het meest voor de hand, maar er zijn ook andere vormen van beleid denkbaar: men kan er ook juist voor kiezen om de beste onderwijs-faciliteiten ter beschikking te stellen van de wat 'zwakkere' broeders en zusters, en de 'meest geschikte' studenten uit bovenstaande redenering doorverwijzen naar tweede-weg opleidingen die georiënteerd zijn op zelfstudie of schriftelijk (T.V.-) onderwijs. Een dergelijk beleid verschilt principieel van het hierboven geschetste, maar heeft voor de techniek van selectie, de inrichting van de selectieprocedure, toch ongeveer dezelfde consequenties, zij het dan dat een en ander iets ingewikkelder wordt omdat er dan gewerkt wordt met twee i.p.v. slechts één selectie drempel (nl.: een onderste toelatings drempel, en een grens waarboven studenten door worden verwezen naar tweede-weg onderwijs.).

Zowel in het veldloop model als in het expeditie model traditioneel resp. 'contract' onderwijs) is de predictieve validiteit van het examen de factor die in sterkste mate de kwaliteit van de selectie zoals hierboven omschreven, aangeeft. Nu is het bovenstaande een redenering die door De Groot op een aantal plaatsen in zijn rapport in de meest felle bewoordingen afgewezen wordt (o.a. blz. 66), en op andere plaatsen weer uitdrukkelijk geaccepteerd. Zo is mijn betoog een korte schets van wat bij De Groot op blz. 62 genoemd wordt 'de eisen van doelmatigheid van institutionele selectie', en wat hij daar ook als grondslag voor de ontwikkeling van selectieprocedures aanbeveelt:


Dat betekent niet dat er pasklare oplossingen, met selectiemiddelen en al, bestaan voor concrete selectieproblemen. Maar wel is bekend hoe men ze uit doelmatigheidsoogpunt -- in termen van betrouwbaarheid, validiteit, en selectiestrategieen voor een maximale opbrengst -- het beste kan aanpakken. Wat overblijft zijn: 'technische' problemen. (blz.62)


Dit is een 'predictief model' hetzelfde model dat op blz. 66 heftig bestreden wordt; hetzelfde model ook dat door Cronbach & Gleser behandeld wordt, waarnaar De Groot meerdere malen verwijst als de bijbel van de institutionele selectie.


Wat zegt De Groot echter


Wil men nagaan of een selectiedrempel aan zijn doel beantwoordt, dan moet men niet onderzoeken in hoeverre hij verschillen voorspelt, maar in hoeverre hij een minimum-niveau garandeert. De vraag waar het op aankomt is, of het gelukt om ook de relatief zwakste studenten, met de maximale -- uit een oogpunt van tijd-investering en aandacht voor de anderen nog verantwoorde - - hoeveelheid extra-inspanning van de staf, te brengen tot het minimum-niveau van vaardigheden, dat krachtens de doelstellingen van het programma geeist wordt. (blz. 39)


Dit is iets anders dan de selectie gebruiken om een optimaal gebruik van de beschikbare opleidings capaciteit te kunnen maken. Nog ernstiger is dat De Groot hier volkomen eenzijdig streeft naar het zo klein mogelijk houden van het aantal onterecht toegelaten studenten, een streven dat noodzakelijkerwijs leidt tot een relatief groot aantal onterecht afgewezen studenten (de lezer kan er het artikel van Hazewinkel op naslaan, of De Groot op blz. 82 e.v.).De Groot is op dit punt zeer stellig:


Concreter: Als het voorkomt dat een goedwillende maar zwakke student er met een overmaat van 'bijles' doorheen 'gesleept' moet worden en dan nog maar zo-zo aan de minimumeisen voldoet, dan schort er iets aan de selectiedrempel. (blz. 39)


Waarbij hij de lezer bijna in de mond legt: dan moet de selectiedrempel dus verhoogd worden. Het laatste is echter een non-sequitur waar niet genoeg tegen gewaarschuwd kan worden (zie de alinea hierboven).

Bij iedere selectieprocedure worden twee soorten fouten gemaakt: kandidaten worden onterecht afgewezen, en er worden kandidaten toegelaten die de studie niet aan zullen kunnen. Het maken van deze fouten is onvermijdelijk, om de eenvoudige reden dat er geen selectie middelen bestaan die een volmaakte scheiding van 'geschikten' en 'ongeschikten' kunnen opleveren. Het zal niet verbazen dat De Groot op een andere plaats in het rapport wél van dit principe uitgaat, we hebben dit soort inconsistenties in het rapport al vaker kunnen constateren. Op blz. 84 vinden we nl.:


Deze overwegingen zijn van belang voor de beoordeling van de acceptabiliteit van een selectieprocedure: men moet daarbij inderdaad de relatieve zwaarte van de twee foutensoorten betrekken.


Nu claimt De Groot echter dat voor zijn expeditiemodel geen kandidaten onterecht worden afgewezen, en ook dat iedere aangenomen student 'geschikt' zal zijn.

a. Er worden geen kandidaten onterecht afgewezen omdat degenen die zakken voor examen I niet aan examen II mee mogen doen. En deze regel is niet triviaal volgens de Groot omdat studenten die de stof van I niet in voldoende mate verwerkt hebben door dit tekort niet kunnen slagen voor examen II, of niet behoren te slagen voor II. De Groot haalt hier een truc uit door te veronderstellen wat juist aangetoond moet worden, nl. dat het examen I zo 'goed' is dat degenen die daarvoor gezakt zijn inderdaad examen II niet kunnen halen. (Deze drogreden van De Groot is te vinden op blz. 106-7 ).

b. Er worden geen kandidaten onterecht aangenomen omdat in het expeditie-model iedere toegelaten student per definitie geschikt is, of beter: de geschiktheid is bij contract gegarandeerd. (blz. 33). Onderwijskundig gezien is dit een aanbevelenswaard uitgangspunt, maar voor het opzetten van een goede selectieprocedure betekent het geenszins dat er geen rekening meer mee hoeft worden gehouden dat er wel eens studenten zouden kunnen worden toegelaten die alleen met de grootste moeite tot een nauwelijks aanvaardbaar eindniveau kunnen worden gebracht. In het expeditie model worden deze selectiefouten niet meer afgewenteld op de rug van de student, maar komen ze ten laste van de staf-tijd en het hulpmiddelen krediet. Dat betekent niet dat er geen toelatings fouten door de selectie gemaakt kunnen worden, het betekent wél dat de consequenties van deze fouten anders komen te liggen. Met name betekent het dat bij een slechte selectieprocedure de opleidingscapaciteit niet optimaal benut wordt, dat er dus minder studenten kunnen worden toegelaten dan anders het geval zou kunnen zijn, of dat het peil van de opleiding zakt.


Conclusie uit het voorgaande: ook bij een selectie De-Groot worden dezelfde fouten gemaakt als bij iedere andere selectie, dezelfde soort fouten als het onderwerp zijn van de analyse van Hazewinkel. Hofstee zegt pregnanter:


Welnu, dan zijn we, waar we waren. Er kunnen mensen ten onrechte worden toegelaten,en er kunnen mensen ten onrechte worden afgewezen, ook al komen die laatsten in het verhaal van De Groot helemaal niet voor. Selectie-instrumenten zijn feilbaar. Na aftrek van onjuistheden en hogere machten blijft er een gewone selectiesituatie over, en dat was waar Hazewinkel het over had. Zijn argumenten betreffende onrecht en verspilling ga ik niet herhalen; ze blijven ook zonder dat recht overeind staan.


De relatie tussen onderwijscapaciteit en numerus fixus


"De onderwijs capaciteit is berekend op de eisen van selectie-vrij onderwijs en wordt strikt gehandhaafd. Dit houdt in, dat er een numerus fixus is voor het per cursus op te nemen aantal nieuwe studenten." (De Groot blz.31)


Onderwijs capaciteit en numerus fixus zijn bij De Groot hetzelfde (zie ook zijn uitspraak over de afstemming van de selectiedrempel blz. 31), een ongelukkige begripsvervaging die tot velerlei misverstanden aanleiding kan zijn. Numerus fixus is:


... het maximum aantal studenten, waarvoor de instelling het gecontracteerde studierendement van 100 % kan garanderen. (blz. 31)


Dit lijnrecht doorredeneren van capaciteit naar numerus fixus gaat voorbij aan een groot aantal beleidskeuzen die daar tussen kunnen liggen. Als voorbeelden kunnen genoemd worden:



Apart aandacht verdient de vraag of 'de' capaciteit op eenvoudige wijze te bepalen is. Als we één ding kunnen leren van discussies rond de huidige speciale numerus fixus regeling dan is het wel dat zoiets als 'de' capaciteit van een bepaalde opleiding niet op objectieve gronden vaststelbaar is. Misschien is het mogelijk een eind in de goede richting te komen wanneer ook in het hoger onderwijs meer met gedetailleerd uitgewerkte onderwijsleerplannen gewerkt gaat worden , zoals De Groot nog eens bepleit (blz. 91). Dat uit goed dagonderwijs met een doortimmerde organisatie noodzakelijkerwijs een beperkte capaciteit volgt (blz. 91) lijkt echter niet vanzelfsprekend. Ook dan zal blijven gelden "dat men in plaats van te selecteren de opnamecapaciteit kan oplappen door de formatie (of de outillage) ad hoc te versterken" (blz.91), naast de altijd bestaande mogelijkheid te zoeken naar minder staftijd vergende onderwijsvormen en -organisaties. Een voorbeeld van het laatste kan zijn het laten verzorgen van grote delen van het onderwijs door de studenten zèlf , bijv. tegen beloning met credit points.

Voorlopig lijkt het uitgesloten dat onderwijscapaciteiten op strikt onderwijskundige gronden bepaald kunnen worden. Dat betekent niet dat er geen beperkte capaciteit gesteld kan worden, maar dat is iets dat in belangrijke mate aan de onderhandelingstafel zal moeten gebeuren.

De Groot gaat bij zijn analyse van de capaciteits problematiek uit van de weinig reële veronderstelling dat inderdaad de enige grond die bepalend is voor de capaciteit, de analyse van de eisen van selectie-vrij onderwijs is (zie citaat aan begin van deze paragraaf). Dan zijn er dus geen problemen van tekort aan formatieplaatsen, tekort aan middelen, etc. Pas nadat hij zijn selectievoorstellen uitgebreid heeft behandeld komt De Groot er aan toe (in hfdst. 6) om ook andere gronden te vermelden die de capaciteit kunnen beperken. En pas dan signaleert hij de consequenties daarvan, evenwel zonder deze behoorlijk uit te werken:


het aantal plaatsen voor een bepaald studieprogramma loopt achter bij de specifieke vraag. Daarmee komen andere problemen aan de orde, die andere overwegingen en, eventueel, andere beleidsgronden voor de rechtvaardiging van selectie vergen. (blz. 91-92)


Hij noemt vervolgens enkele van deze beleidsgronden, legt de nadruk op de noodzaak van expliciete argumentatie daarvoor, maar gaat niet in op de gevolgen van een en ander voor de selectieprocedure zoals hij die in de voorgaande hoofdstukken op grond van nogal ideële veronderstellingen (capaciteit alleen bepaald door eisen van het onderwijs) heeft ontwikkeld. Wat blijft er over van zijn uitspraak over afstemming van de selectiedrempel, wanneer 'andere gronden' tot een numerus fixus dwingen? Wat blijft er dan nog geldig van deze uitspraak:


De ingangsselectie is zo ingericht, dat degenen die er doorheen komen zowel de voorkennis als het verstandelijk potentieel bezitten, dat voor het volbrengen van de opleiding in de selectie-vrije opzet nodig is. (blz.31)


Immers, dan dreigen velen afgewezen te worden die wèl 'geschikt' zouden zijn, een omstandigheid die dan ook nog verduisterd kan worden door manipulaties met de eisen die aan het minimum-eindniveau van de opleiding gesteld worden.

Laten we terugkeren tot de veronderstelling van De Groot dat de capaciteit bepaald wordt op grond van programma en eindniveau, en laten we mèt De Groot veronderstellen dat dit eindniveau op voor iedereen bevredigende wijze (maar hoe overtuig je de propedeuse studenten?) vastgesteld kan worden. De Groot maakt dan van de afstemming van selectiedrempel en capaciteit op elkaar, geen probleem:


Die afstemming is zo geregeld -- en deze operationele definitie is van fundamenteel belang -- dat alle bij het programma betrokken docenten en examinatoren het erover eens zijn, dat zij, gegeven de vastgestelde minimum-eisen van het programma, de opleiding van aldus geselecteerde studenten 'als aangenomen werk' op zich kunnen nemen. (blz.31).


Hier zijn een aantal opmerkingen bij te maken: Ten eerste blijkt hier waar Hofstee in zijn artikel voor waarschuwde: de asymmetrie in onderhandelingspositie tussen studenten en staf. Hier stelt de staf eenzijdig vast waar de selectiedrempel komt te liggen. Ten tweede is deze regel uiterst conservatief in die zin dat niet van de staf verlangd wordt dat zij óók enig risico voor hun rekening nemen. Herinnert u zich nog:


Als het voorkomt dat een goedwillende maar zwakke student er met een overmaat van 'bijles' doorheen 'gesleept' moet worden en dan nog maar zo-zo aan de minimum eisen voldoet, dan schort er iets aan de selectiedrempel. (blz.39)


Ten derde zal de 'zekerheid' minstens moeten berusten op ervaringen die met selectie-vrij onderwijs worden opgedaan (liefst met gecontroleerde condities die het mogelijk maken voldoende vertrouwen in de verkregen gegevens te hebben), een ervaring die nu nog niet beschikbaar is. Ook wanneer deze wèl beschikbaar is, zal dit geen dermate 'hard' gegeven zijn dat er op de door De Groot zo geliefde 'objectieve' wijze uit kan volgen waar de selectiedrempel zal moeten liggen om de staf de zekerheid te kunnen geven die De Groot hen zo graag zou schenken. Tenslotte moet als belangrijkste bezwaar naar voren gebracht worden dat De Groot hier een karakteristieke eigenschap van selectieprocedures miskent, waar hij stilzwijgend voorbijgaat aan het ervaringsfeit dat er altijd sprake zal zijn van grotere of kleinere aantallen foutieve beslissingen, óók wat betreft de afwijzingen. (ook in de vorige paragraaf is daar op gewezen). Wanneer De Groot de staf aanraadt zelf niet het risico van onterechte toelatingen tot de studie te nemen, zal de prijs daarvoor betaald worden door relatief grotere aantallen onterecht afgewezen studenten. Op zich is dit geen argument tegen het hanteren van selectieprocedures, maar wél tegen onzorgvuldig omspringen met selectiedrempels zoals De Groot dat hier doet.


 

De valkuil voor Hazewinkel vol met De Groot


Een belangrijke controverse in het rapport ligt er tussen De Groot en de psychometrici (zie noot*). De beide voorgaande paragrafen werden daar ook sterk door bepaald, en vormen zo een goede voorbereiding op een uitvoerige bespreking van het probleem zoals De Groot dat ziet, en de bezwaren die tegen zijn zienswijze aangevoerd kunnen worden. Er kan niet sterk genoeg gewezen worden op het belang dat de inzet van dit meningsverschil is: in de zienswijze van De Groot kan er bij wijze van spreken morgen al begonnen worden met het hanteren van een straffe toelatingsselectie, terwijl volgens de andere visie (de psychometrici, Hazewinkel, de Contactgroep Research Wetenschappelijk Onderwijs (RWO)), er zoveel haken en ogen aan deze selectieprocedure zitten, dat slechts met de allergrootste voorzichtigheid en zorgvuldigheid een begin gemaakt kan worden met het werken met bepaalde vormen van toelatingsselectie voor het hoger onderwijs.

Een goed begin is de analyse van de aanval van De Groot op Hazewinkel (par. 7.2 "Wil De Brauw iets dat niet kan?" ) (voor het betoog van Hazewinkel zij de lezer verwezen naar zijn artikel). Dat betoog zelf is ook in de ogen van De Groot onaanvechtbaar, zolang zijn veronderstellingen onderschreven kunnen worden. De bezwaren van De Groot gelden dan ook deze veronderstellingen:


  1. De selectieverhouding (aantal plaatsen gedeeld door aantal gegadigden) is voor selectie ongunstig, met name relatief hoog (men wijst slechts weinigen af, zie 5.8) 2.
  2. De haalbare validiteit (correlatiecoëfficient) ligt niet onwaarschijnlijk hoog (niet boven de 0,60 A 0,70).
  3. Selectie moet -- op de gebruikelijke wijze -- op predictieve gronden worden gerechtvaardigd (zie 5.41, en wel in het bijzonder tegenover de afgewezenen ('faalkans')
  4. De situatie na de selectie is die van het veldloop-model als vanouds. (blz. 106)


Deze veronderstellingen -- Hazewinkel vermeldt de eerste drie wel; ze zijn althans te vinden als men goed leest -- betekenen een sterke beperking van de waarde van de uitkomsten van het 'pure rekenen". (blz. 106)


*) noot: psychometrici zijn psychologen of mathematen die zich bezighouden met de theorie en empirie van (selectieprocedures gebaseerd op) psychologische instrumenten.


ad 1) Deze veronderstelling is niet cruciaal voor het meningsverschil, ook als ze niet juist zou zijn zou het predictieve model volledig kunnen blijven gelden. De Groot heeft er als bezwaar tegen dat de selectieverhouding veelal helemaal niet zo hoog is, waarvoor hij overigens geen ondersteunende gegevens aanvoert, en zijn tweede bezwaar is dat deze verhouding niet voor altijd vaststaat maar afhankelijk is van velerlei factoren die gedeeltelijk ook in de hand gehouden kunnen worden. overigens gaat hij eraan voorbij dat de optimale selectieverhouding afhankelijk is van de proportie 'geschikten' in het aanbod. Wanneer deze hoger is dan 0,70 is ook de optimale selectieverhouding nog niet gunstig (zoals het geval is bij de analyse van Hazewinkel). Zie ook R.F. Van Naerssen: "Het nut van selectie: enkele voorbeelden." in: Drenth, Willems en De Wolff (red.):"Bedrijfspsychologie."


ad 2)

"Men kan staande houden, dat men bij examens wel degelijk rekening moet houden met de mogelijkheid van correlatiecoëfficiënten die voor de begrippen van selectiepsychologen 'onwaarschijnlijk hoog' zijn."(blz.106)


Ook hier voert De Groot geen enkel gegeven aan dat zijn stelling zou kunnen ondersteunen. Zijn uitspraak kan gecontrasteerd worden met een uitspraak van Cronbach :


It is unusual for a validity coefficient to rise above 0,60, though that is far from perfect prediction. (Essentials of psychological testing, 3rd ed. blz. 135)


En Cronbach, die bij uitstek thuis is op het gebied van 'educational testing', maakt daarbij geen uitzondering voor studietoetsen = examens ).

Vervolgens bedenkt De Groot zich, en ondergraaft zijn zojuist uitgesproken verwachting over de grote hoogte van de correlatiecoëfficiënten (het is beter om over predictieve validiteit te spreken): "Het eigenlijke probleem is echter dat ze niet te berekenen zijn." Ook degenen die zich afvragen of De Groot niet ergens in zijn rapport beweert dat de predictieve validiteit waarschijnlijk laag zal zijn kunnen daarvan een bevestiging vinden in de voetnoot op blz. 70:


In principe kan hier ook staan 'predictieve validiteit'. Op grond van de redenering in 5.4 lijkt het echter zeer onwaarschijnlijk, dat hiervoor een redelijk minimum te halen is.


Hoog, laag, of niet te berekenen, alles is mogelijk. Dat ze niet te berekenen zijn klopt, tenminste, zolang er geen onderzoek naar gedaan wordt. De vraag naar de hoogte van de predictieve validiteit van een selectieprocedure moet op empirische wijze beantwoord worden, er moet een validiteits onderzoek gedaan worden. De Groot laat na om op deze plaats te wijzen op deze mogelijkheid, terwijl hij toch op een andere plaats de kostbaarheid van een dergelijk onderzoek aanvoert als argument tegen het predictieve model (blz. 66 onder ten tweede ).

En dan is er nog een vierde mogelijkheid, nl. dat de predictieve validiteit maximaal, d.i. gelijk 1,00 is. Ook deze mogelijkheid wordt door De Groot beargumenteerd, en wel met de al eerder ter sprake gebrachte redenering dat studenten die voor examen I gezakt zijn niet kunnen of behoren te slagen voor examen II (het eerste is het selectie examen, het tweede een afsluitend examen aan het eind van de studie). Deze argumentatie, op blz. 107, gaat uit van hetgeen juist te bewijzen was: nl. dat de predictieve validiteit van het toelatingsexamen inderdaad zo hoog is dat degenen die er voor gezakt zijn en toch verder studeren voor het grootste deel ook voor het afsluitende examen zakken. Maar voor dit bewijs is een 'kostbaar onderzoek' nodig, De Groot lost het probleem liever met een drogreden op. Conclusie: veronderstelling 2 van Hazewinkel staat nog volledig overeind.

ad 3 en 4) Veronderstelling 4 wordt Hazewinkel door De Groot in de schoenen geschoven, waarvoor De Groot niet meer argumentatie levert dan de op zich niets duidelijk makende, slechts het eigen standpunt herhalende opmerking over de veronderstellingen van de psychometrische werkwijze:


Die vooronderstellingen zijn die van het veldloop-model. Men zou ook van het jungle- model met de bijbehorende "survival of the fittest' kunnen spreken. (blz.39)


Het verwijt dat De Groot hier aan de psychometrie maakt, geldt veeleer het onderwijs. Er is niets inherent aan de psychometrie dat het alleen zou kunnen werken in een veldloop-model. Zie bijvoorbeeld de studie van Cronbach & Gleser "Psychological tests and personnel decisions". Deze auteurs gaan ook heel expliciet uit van de overweging dat selectie op predictieve gronden gerechtvaardigd moet kunnen worden, (voorzover het institutionele selectie betreft, waarvoor de psychometrie het verst ontwikkeld is), en met name op het punt van de bijdrage aan de juistheid van toelatingsbeslissingen stellen zij huidige testprocedures in gebreke.

Blijft over veronderstelling 3. Het is de moeite waard om de bezwaren van De Groot uitvoerig te citeren, en deze te contrasteren met eigen uitspraken op andere plaatsen in het rapport.


Als men als enige, of bijna enige mogelijke rechtvaardiging van selectie ziet, dat van een student die afgewezen wordt gezegd kan worden dat zijn prestaties op een propaedeutische toets hebben laten zien , dat hij het in de toekomst toch waarschijnlijk niet zal halen, dan komt men niet ver. Men werkt dan met een succes-(faal-)kans die alleen in het veldloopmodel gedefinieerd is (3.5), en men zet alles op de predictieve rechtvaardiging -- waarvan wij al weten dat zij zwak staat (zie 5.4). Zo moet men het niet doen. (blz.108)


Vergelijk dit met een uitspraak waarin ook De Groot op de voorspellende toer is:


toekomstige studieprestaties zijn op basis van niets zo goed te voorspellen - of, in de geest van het expeditie-model: op basis van niets zo goed te garanderen -- als die van vroegere studieprestaties. (blz. 78)


Merk op dat De Groot wanneer het hem goed van pas komt, telkens weer van het predictieve model gebruik maakt, en dit ook maar nauwelijks versluiert met woordenspelletjes als voorspellen = garanderen. Opmerkelijk is ook dat het pleidooi dat De Groot tegen veronderstelling 2 heeft gehouden, nl. dat examens (lees: studietoetsen) een onverwacht hoge predictieve validiteit hebben, in bijna lijnrechte tegenspraak is met het juist gegeven citaat van blz. 108 waarin hij juist weer veronderstelt (zoals Hazewinkel op grond van een uitgebreide argumentatie ook concludeert) dat de predictieve rechtvaardiging zwak staat. Een passage waarin ook De Groot met verwachtingen werkt:


Geschiktheid: gegadigden van wie op goede gronden kan worden verwacht, dat zij het onderwijs van het programma niet zullen kunnen volgen, worden niet toegelaten." (blz.64) Over werken met een succes-(faal-)kans gesproken ....... Een langzamerhand al bekend citaat kan ook nu weer gebruikt worden om te demonstreren dat De Groot elders in zijn rapport wèl uitgaat van 'predictieve gronden'- voor drempelbepaling: "Als het voorkomt dat een goedwillende maar zwakke student er met een overmaat van 'bijles' doorheen 'gesleept' moet worden en dan nog maar zo-zo aan de minimum eisen voldoet, dan schort er iets aan de selectiedrempel. (blz.39)


Het predictieve model


Rest ons nog om enige klaarheid te brengen in de zeer verwarrende uiteenzetting van De Groot- over het 'predictieve model' gecontrasteerd met het 'inhoudelijke model' (op de blz. 66-69). Daaraan vooraf nog enige opmerkingen bij De Groot's uiteenzetting in par. 3.5 "Opnieuw: de valkuil voor psychologen." De meeste gedachten daarin zijn in het voorgaande al becommentarieerd. In zijn toelichting noemt De Groot een aantal veronderstellingen van de denkwijze van de 'voorspellende validiteit', vreemd genoeg zijn dat geheel andere dan de in de vorige paragraaf besproken veronderstellingen van Hazewinkel. Deze op blz. 37 genoemde veronderstellingen zijn nogal raadselachtig: wat zijn 'compensatorische modellen', 'oorzakelijke factoren'. en 'generalisatie van steekproef naar universum' 9. Volkomen verdwaalde kreten, waarvoor ook in het glossarium van het rapport geen uitleg gegeven wordt. Veronderstellingen van 'lineaire verbanden', dat is wel begrijpelijk omdat het refereert aan een stuk vakterminologie; maar dan is het onbegrijpelijk dat De Groot een argumentatie waarom niet met deze veronderstelling gewerkt zou mogen worden, achterwege laat; dat geldt ook voor zijn nogal kryptische opmerking over continue variabelen.

Verder naar blz. 66, de predictieve rechtvaardiging van een selectieprocedure. Dit is het model dat ook door Hazewinkel gehanteerd wordt, en waar De Groot drie ernstige bezwaren tegen heeft: "Ten eerste is dit model alleen overtuigend als het zuiver kan worden toegepast." De Groot adstrueert niet waarom dit zo zou moeten zijn. De uitspraak wordt iets begrijpelijker wanneer men weet dat De Groot het predictieve model hier zeer eng omschreven heeft. De predictieve selectieprocedure zou gebruik maken van alle maar beschikbare gegevens, ongeacht hun aard, waarvan aangetoond is dat ze bijdragen aan de predictieve validiteit. Deze karikatuur van de werkwijze van de selectie-psychologie heet in vakkringen de blindelings actuariële predictie, en wordt vrijwel niet meer gehanteerd vanwege de grote risico's dat er in feite op irrelevante gronden geselecteerd wordt, of zelfs dat de procedure discriminerend werkt tegenover bepaalde bevolkingsgroepen. (zoals De Groot ook volkomen terecht opmerkt.)

Zijn eerste bezwaar geldt dus een reeds lang in diskrediet geraakte speciale variant van het predictieve model.

"Ten tweede veronderstelt deze manier van denken dat men kan bouwen op de resultaten van validiteitsonderzoek." Inderdaad, en dat onderzoek is nodig om de gegevens te verkregen verkrijgen waarmee aangetoond kan worden dat de selectie op goede gronden plaatsvindt. Immers, een selectie die uiteindelijk niet veel betere uitkomsten geeft dan bij loting zouden zijn verkregen, kan men op grond van billijkheids- en doelmatigheids-overwegingen beter niet uitvoeren of vervangen door andere procedures zoals loting. Ook voor de selectie procedures zoals door De Groot voorgesteld moet aannemelijk gemaakt worden dat de selectie werkt zoals men ze bedoeld heeft te werken. Om daar achter te komen zal vaak een validiteitsonderzoek niet gemist kunnen worden. En ook De Groot stelt als eis aan zijn selectie dat ze toekomstige goede studieprestaties kan garanderen (blz. 78): "Ten derde staan in het byzonder differentiële beslissingen in de grenszone uiterst zwak." Precies, en dat zal altijd zo zijn, ook in het selectie-model De Groot. De op het randje afgewezen kandidaat zal altijd kunnen zeggen dat hij met een beetje geluk, of iets minder pech, net over de kritieke grens gekomen zou zijn, en zou kunnen gaan studeren. Dat beslissingen in de grenszone uiterst zwak staan is een direct gevolg van de onvolmaaktheid van iedere selectie-procedure. Wanneer een selectie niet zou resulteren in een aantal foutieve beslissingen (onterecht afgewezen, resp. toegelaten), dan zou het probleem van de rechtvaardiging van beslissingen in de grenszone zich niet voordoen. Het artikel van Hazewinkel maakt wel heel erg duidelijk dat dit een niet realiseerbare wensdroom is.

De argumenten van De Groot tegen het predictieve model (en dan niet in zijn karikaturale vorm zoals door De Groot geschetst) zijn niet ter zake, of gelden evenzeer voor ieder ander selectiemodel, inclusief het door De Groot voorgestelde. Wat De Groot als zijn inhoudelijke model omschrijft maakt al sinds jaar en dag deel uit van iedere goede opzet van selectie-procedures; De Groot creëert hier een schijn-tegenstelling die de lezer op dwaalsporen brengt. En dat is en hoge mate kenmerkend voor het gehele rapport De Groot.



3 mei 1973 b. wilbrink



[redactioneel OTO-Cahier p. 166:]

S A M E N V A T T I N G


B. Wilbrink


TEGENSPRAKEN TYPEREN HET SELEKTIEVOORSTEL DE GROOT


De (on)juistheid van de argumentatie van De Groot voor zover deze betrekking heeft op de inrichting van selectieve toelatingsprocedures vormt het belangrijkste onderwerp van het tweede artikel van Wilbrink. Hij noemt de onderwijskundige uitgangspunten van De Groot uitstekend. Hij zet echter tegenstrijdige uitspraken van De Groot tegen elkaar af, "zodat de lezer die de juistheid van citeren gecontroleerd heeft, voor zichzelf conclusies kan trekken over de argumentatie van De Groot, óók waar het nogal vaktechnische zaken betreft."

De predictieve validiteit (d.w.z. de voorspellende waarde t.a.v. toekomstige studiesuccessen) van goed geconstrueerde studietoetsen moet hoog zijn, maar De Groot is bij de uitwerking van dit begrip nogal onduidelijk en tegenstrijdig, stelt Wilbrink vast.

Ook bij het doel van het selectiebeleid (wie bepaalt dat?) en bij het probleem van de ten onrechte afgewezen en toegelaten studenten rijzen eveneens bij deze psycholoog vele vragen. Zo verwijt hij De Groot eenzijdig te streven naar het zo klein mogelijk houden van het aantal ten onrechte toegelaten studenten, Waardoor een relatief groot aantal ten onrechte wordt afgewezen.

Vervolgens snijdt Wilbrink de relatie tussen onderwijscapaciteit en numerus fixus aan. Hij meent dat de veronderstelling van De Groot, dat de enige grond die bepalend is voor de capaciteit de analyse is van de eisen van selectievrij onderwijs, weinig reëel. Het lijkt voorlopig uitgestoten dat onderwijscapaciteit op strikt onderwijskundige gronden bepaald kan worden.


"Dat betekent niet dat er geen beperkte capaciteit gesteld kan worden. maar dat is iets dat in belangrijke mate aan de onderhandelingstafel zal moeten gebeuren."


M.a.w. Wilbrink vindt dit een politieke kwestie. Een andere belangrijke controverse in het rapport, die Wilbrink aanhaalt, is de controverse tussen De Groot en de psychometrici (Hazewinkel e.a.). Hij doet dat onder de kop "De valkuil voor Hazewinkel vol met De Groot". De stellingen van Hazewinkel nemen hier een centrale plaats in.





Literatuur waarnaar is verwezen, of die in de context van dit artikel relevant is (maart 2003 toegevoegd).


Lee J. Cronbach en Goldine C. Gleser (1957/1965). Psychological tests and personnel decisions. Urbana, Illiois: University of Illinois Press.

Adriaan D. de Groot (1972). Selectie voor en in het hoger onderwijs: een probleemanalyse. 's-Gravenhage, Staatsuitgeverij, 1972.

Adriaan D. de Groot (1982). Academie en forum. Over hoger onderwijs en wetenschap. Meppel: Boom.

Aad Hazewinkel Intermediair 29-10-1971 'Selectie van studenten'

Aad Hazewinkel (1971). Enkele gedachten over selectie voor het medisch hoger onderwijs. Rotterdam: Afd. Onderwijsresearch medische faculteit.

Aad Hazewinkel (1974). Selektie van studenten. In in Jos de Mulder en Egbert Visscher (Red.) Selektie van studenten; achtergrond / effekten. Hoger Onderwijs Cahiers - nr. 13, 178-191.

Wim K. B. Hofstee (1972). De Groot komt met beperkte maatregelen, niet met een cratief beleid. De Groene, 2-10-1972.

Kees Kolthoff (1972). Een duik in de valkuil. 'Het geheime' selectierapport van prof. De Groot (1, resp. 2 en slot). Haagse post 39-20-9 resp. 40-27-9, 28-31.

Jos de Mulder en Egbert Visscher (Red.) (1973). OTO Hoger Onderwijs Cahiers 13 Themanummer Selektie van studenten: achtergrond / effekten.

Ben Wilbrink (1971). Levert selectie in het hoger onderwijs iets op? COWO UvA november 1971.

Ben Wilbrink (1972). Spiegelgevechten om het IQ. Het onderzoek van Arthur R. Jensen. Haagse post 40-27-9, 32-33. Later ook afgedrukt in Jos de Mulder en Egbert Visscher (Red.) Selektie van studenten; achtergrond / effekten. Hoger Onderwijs Cahiers - nr. 13, 29-33. html


Nabeschouwing


Als ik mij goed herinner, dan is dit artikel tot stand gekomenop uitnodiging van de redactie van OTO, en heb ik er met Jos de Mulder mooie gesprekken over gehad. Ik kon toen nog niet vermoeden dat selectie voor het universitaire onderwijs een lopend thema in mijn werk zou worden, vooral uitgelokt door het maatschappelijke debat over de te volgen methode bij de toelating tot numerus-fixusstudies, en in de 21e eeuw ook door de onzalige gedachte in neoliberale kringen - die zich tot binnen de gelederen van de PvdA uitstrekten - om meer selectie aan de poort te organiseren. Nota bene: terwijl het beleid er juist op uit is zoveel mogelijk jongeren een opleiding in het hoger onderwijs te laten afronden, zijn smaakmakende politici zoals Bolkestein, en binnen de PvdA jonge nieuwlichters als Martijn van Dam en Jacques Tigchelaar, bezig dat te doorkruisen met beeldvorming als zou het nog steeds om een kostbare elite gaan. De In dertig jaar tijd is er dus niet zo gek veel veranderd. Politici vallen makkelijk voor de misvatting dat (meer) selectie betekent dat de burger meer zelf te zeggen heeft, wat natuurlijk de grootst mogelijke onzin is. Dat is aan de hand van een tegenvoorbeeld makkelijk in te zien: stel je voor dat je ziekenhuizen de mogelijkheid zou geven hun inkomende patiënten te selecteren, zou dat de keuzevrijheid van die patiënten vergroten?





9-2004 \   freelance advies ontwikkeling onderzoek


Valid HTML 4.01!       www.benwilbrink.nl/publicaties/73TegensprakenOTO.htm