Over selectie voor het HBO: De stellingen

paper: http://www.benwilbrink.nl/projecten/hszuyd.htm

Doen we het, of doen we het niet? Over selectie voor het Hoger Beroepsonderwijs

Ben Wilbrink, Leiden — Inleiding: Bert Smeets

Hogeschool Zuyd : Kennis in Bedrijf - 18 november 2010 - Ruimte B0.201 - Tijd 11:00 - 11:45 - routebeschrijving

Abstract

Op de website van Kennis in Bedrijf een korte introductie en een samenvatting-vooraf. De uitwerking in een aantal stellingen volgt de daar aangegeven lijn.

Introductie

Bert Smeets zal inleiden.

Laten we bij iedere stelling, kort toegelicht, een discussie voeren. De wat langere teksten hierbeneden zijn bedoeld om later nog eens na te lezen. Voor wie geprikkeld raakt en het naadje van de kous wil weten zijn er verwijzingen naar literatuur, meest online (dus één klik verwijderd).

Stellingen

De commissie-Veerman — ‘Veerman’ in het volgende — maakt een groot punt van de vrijheid voor opleidingen om te selecteren aan de poort, maar onderbouwt dat met wensdenken en misvattingen. Het Kabinet Rutte heeft in het regeeraccoord opgenomen de adviezen van ‘Veerman’ op te volgen. Het Kabinet gaat dus amateuren met selectieve toelating tot opleidingen in het HO. Dat biedt kansen voor de HS Zuyd. Weten waar de misvattingen zitten, kan een voorsprong op de concurrentie opleveren. Neem stelling 5. ter harte, en laat ze maar kletsen over selectie.

Het kost een zee van tijd om op de details van het rapport van deze commissie in te gaan. Zie de ‘bijlage Veerman’ hier beneden.

‘Veerman’, met zijn oproep om opleidingen de vrije hand te geven om te selecteren, slaat een weg in waarop eigenlijk geen terugkeer mogelijk is. Opleidingen worden uitgenodigd om een marktpositie in te nemen; is dat eenmaal gebeurd, dan kunnen die opleidingen moeilijk meer terug naar de oude situatie van vrije toegang. Dit verschijnsel is helder zichtbaar in het Amerikaanse onderwijs: vele colleges hebben een vrije toegang, maar voor Harvard University is het onmogelijk om nu nog terug te gaan naar een dergelijke vrije toegang. Harvard heeft daar niet echt een probleem mee, maar het is wel degelijk een probleem voor instellingen die van vrije toegang naar een meer seelctieve gaan, en uiteindelijk constateren dat ze een onhoudbare positie hebben.

Dominic J. Brewer, Susan M. Gates & Charles A. Goldman (2002). In pursuit of prestige. Strategy and competition in U.S. higher education. New Brunswick: Transaction Publishers. [Technical papers volume available for free, at the RAND corp. pdf 5 Mb

Op meerdere plaatsen wordt gesteld dat selectie alleen kan wanneer het past bij een specifiek opleidingsprofiel, anders dan van verwante opleidingen; dat selectie niet mag leiden tot uitsluiting uit het HO; dat selectie dient om de juiste kandidaten op de juiste plaats te krijgen. Dat is allemaal mooi, maar daar gaat dus geen donder van terechtkomen wanneer maar één partij over die selectie gaat: de opleiding. Niet de overheid (belang van de samenleving), niet de studenten zelf (de eerstbelanghebbenden). Hoewel ‘Veerman’ met al deze voorwaarden en idealen voor en van selectie best een sympathieke indruk maakt, getuigt het geheel toch van een gebrek aan kennis van selectiezaken, van verzuim om deskundigheid uit selectiepsychologische hoek te raadplegen. Dat is vrij ernstig, want in die hoek zit de kennis van de mogelijkheden en vooral de onmogelijkheden, na een eeuw ervaring en onderzoek. Die eeuw is begonnen met de Army Alpha test, waarmee Amerika in korte tijd het leger op de been kon brengen dat Duitsland in 1918 op de knieën dwong. Dat is selectie, het is een vak, een wetenschappelijke discipline, met richtlijnen en keurmeesters (Nederlands Instituut voor Psychologie) tegen misbruik van tests zoals dat in de vorige eeuw op grote schaal gebeurde.

Ik geef een voorbeeld van een belangrijke misvatting in het denken van de commissie, dat selectie het voordeel heef dat geselecteerde studenten beter gemotiveerd zouden zijn zodat er een beter rendement haalbaar is. De commissieleden moeten hier aan hun tijd van kennismaking in hun studentengezelligheidsvereniging hebben gedacht, want deze gedachte is in de selectie-literatuur niet terug te vinden; selecteren is iets anders dan socialiseren. Integendeel, bij zijn inaugurele rede in 1969 betoogde Wim Hofstee al, aan de hand van empirisch onderzoek, dat selectie zijn eigen kinderen op kan eten: verhoog de eisen, en na aanvankelijk betere rendementen zal na verloop van tijd het oude ‘evenwicht’ in het onderwijs zich herstellen. Herken hierin maar de wetmatigheid van Posthumus.

W. K. B. Hofstee (1969). Selektie. Inaugurele rede. Rijksuniversiteit Groningen.
Nicholas Lemann (1999). The big test. The secret history of the American meritocracy. New York: Farrar, Strauss and Giroux.
K. Posthumus (1940). Middelbaar onderwijs en schifting. De Gids, 104 deel 2, 24-42. integraal op dbnl.nl

Denk niet dat selectie van patiënten iets is van de planeet Mars. In het Engelse taalgebied heet het triage, en het gaat er dan om wie bij schaarse tijd of middelen voorrang krijgt voor behandeling. Wat Alexander Astin scherp aan de kaak stelt is de Amerikaanse selectie voor top-instellingen: zij selecteren studenten zoals een ziekenhuis dat alleen de meest gezonde patiënten voor behandeling opneemt. Want: dan is het meeste succes verzekerd.

Deze metafoor is een nuttige ontmaskeraar van selectiebluf.

Over triage bijv.: Gerald R. Winslow (1982). Triage and justice: the ethics of rationing life-saving medical resources. University of California Press.

Koop toponderzoekers, koop topstudenten, en je bent een top reseach university. Dit klinkt alsof ik de zaak belachelijk maak, maar dat is toch niet het geval (zie Brewer e.a., hierboven genoemd). Dit is hoe het werkt.

Met werving van personeel gaat het op dezelfde manier: probeer hoog opgeleid personeel aan te trekken, in plaats van zelf personeel hoog op te leiden. Jacques van Hoof heeft als socioloog het mechanisme van kostenafwenteling van werkgevers op overheid en werknemers bestudeerd, en gepubliceerd in zijn ‘De arbeidsmarkt als arena’. Het is een dilemma voor werkgevers van jong talent: dit talent verder opleiden met het risico dat zij daarna vertrekken naar de concurrentie, of bij de concurrentie opgeleid talent wegkopen?

J. J. B. M. van Hoof (1987). De arbeidsmarkt als arena. Arbeidsmarktproblemen in sociologisch perspectief. SUA.
Jack J. Phillips (1987). Recruiting, training and retaining new employees. Managing the transition from college to work. Jossey-Bass.

Dit koopspel gaat natuurlijk maar tot op zekere hoogte op. Toen psychologen na meta-analyse van bergen empirisch onderzoek hadden ontdekt dat psychologische tests belangrijk verschil maken bij personeelsselectie, vielen zij soms ook in de valkuil te menen dat wat voor een enkel bedrijf mogelijk is, ook voor alle bedrijven samen mogelijk zou zijn. En dus voor de economie in zijn geheel een enorme boost op zou kunnen leveren. Maar dat klopt helaas niet, want de vijver van talent waaruit iedereen vist, is strikt beperkt.

F. L. Schmidt , J. E. Hunter, R. C. McKenzie & T. W. Muldrow (1979). Impact of valid selection procedures on work-force productivity. Journal of Applied Psychology, 64, 609-626. abstract
Allan H. Church (n.d.). From Both Sides Now: The Impact of I/O Psychology. webpage [I/O = Industrial/Organzational, in Nederland Arbeids- en Organisatiepsychologie]

Ondertussen hebben alle bedrijven vissers in dienst, en kan niemand meer ongestraft ophouden met vissen: dan gaat de concurrentie er immers met de beste vissen vandoor. Dit gevaar ziet ‘Veerman’ over het hoofd.

Ergo. Hoe meer opleidingen gaan vissen in de vijver met talent vers uit het vo of mbo, des te kleiner de vangsten worden.

Een ‘autoritaire’ of ‘institutionele’ benadering kan adequaat zijn, bijvoorbeeld bij personeelsselectie. P

E. A. M. van der Maesen de Sombreff (1992). Het rendement van personeelsselectie. Proefschrift, Rijksuniversiteit Groningen. samenvatting

Een interessant casus is een HBO-opleiding die in feite in bedrijfsopleiding is, en voor kandidaten uit het vo een extreem ongunstige scherpe selectie heeft: de Nederlandse Politieacademie. Deze selectieprocedure, anno 1990, is geëvalueerd door een team van psychologen, en de rapportage geeft een goed inzicht in wat er speelt bij personeelsselectie uit een overweldigend aanbod van kandidaten. De NPA (lees Binnenlandse Zaken en Justitie) kan het eigen belang hier volop optimaliseren.

Ben Wilbrink, Willem van Hoorn, Leo J. Th. van der Kamp en Jen Algera (1990). Selectie voor politie-officier. De toelating tot de Nederlandse Politie Academie. SCO. (Rapport 245) html

Bij institutionele selectie zoals voor de NPA is de betekenis van ‘geschiktheid’ tamelijk rechtlijnig: de verwachte bijdrage aan het bedrijfsresultaat, in dit geval niet van de NPA zelf natuurlijk, maar van de korpsen waar de kandidaten uiteindelijk in dienst komen.

Voor publiek onderwijs lijkt er ook zo’n eenvoudige definitie te zijn: geschikt is wie binnen redelijke tijd met redelijke resultaten de opleiding weet af te ronden. Maar uit het voorbeeld van de NPA volgt al dat dit een kortzichtig criterium is: die opleiding is er niet voor zichzelf, maar is dienstbaar aan o.a. de samenleving die de alumni opneemt. Dan wordt ‘geschikt’ dus meer iets als: de verwachte bijdrage aan de samenleving. Dat is nog helemaal niet zo'n gek idee, het komt volop terug in de theorie van het menselijk kapitaal. Voor dat laatste, in zijn samenhang met groeiende deelname aan onderwijs, zie bijvoorbeeld

Ben Wilbrink & Jaap Dronkers (1993). Dilemma's bij de groei van de deelname aan hoger onderwijs. Zoetermeer: reeks Achtergrondstudies van het Ministerie van Onderwijs en Wetenschappen. ('s-Gravenhage: DOP) html

WHW — Wet op Hoger onderwijs en Wetenschap

Artikel 7.57e regelt selectie door de instellingen. Een instelling mag bij een numerus fixus zelf tot op zekere hoogte kandidaten selecteren “die naar zijn oordeel beschikken over bijzondere kwalificaties” Dat is wat een gewoon mens ‘bijzonder geschikt’ zou noemen. Lid 3 van dit artikel bepaalt dat behaalde eindexamencijfers niet tot die bijzondere kwalificaties behoren.

Art. 7.8b over het studieadvies. Het instellingsbestuur kan een bindend afwijzend studieadvies afgeven (onder bepaalde voorwaarden). De wet geeft hier een nogal kromme omschrijving van wat geschiktheid voor de studie is:

De wetgever staat hier dus toe dat studenten die uitstekende beroepsbeoefenaren zouden kunnen zijn, maar de stof van de propedeuse niet op de door hun docenten gewenste wijze weten te reproduceren, uit de opleiding worden verwijderd. Er staat in de wet nog wel een prevelementje dat een en ander door de instelling wel goed begeleid moet worden, maar in essentie is de mogelijkheid van dit dwingend studieadvies een open deur naar risicomijdend gedrag van de instelling zelf.

Het VN-Kinderrechtenverdrag

Art. 28 1. “De Staten die partij zijn, erkennen het recht van het kind op onderwijs, en teneinde dit recht geleidelijk en op basis van gelijke kansen te verwezenlijken, verbinden zij zich er met name toe”

- c. “met behulp van alle passende middelen hoger onderwijs toegankelijk te maken voor eenieder naar gelang zijn capaciteiten;” pdf

Het VN-Kinderrechtenverdrag staat mijns inziens in de weg aan de voorstellen van ‘Veerman’ om instellingen de vrijheid te geven te selecteren aan de poort. Immers, hoe kunnen afgewezen kandidaten hun recht op hoger onderwijs dan nog verzilveren? Die afwijzingen zullen immers veelal geen afwijzingen op grond van absolute ongeschiktheid zijn. Oplossingen hiervoor liggen dan in een barre bureaucratie van meervoudige aanmeldingen, zoals in meerdere landen om ons heen gebruikelijk. De vraag is: zijn deze nadelen niet erger dan wat er realistsch valt te winnen met meer selectie aan de poort?

Ik zal een voorbeeld geven van de selectie voor de (bedrijfsinterne) Nederlandse Politie Academie. Geschiktheid is dan geschiktheid voor het beroep, en dat blijkt kwantificeerbaar als het nut (waarde in guldens) van de bijdrage aan de organisatie. Voor de hele groep kandidaten wordt het gemiddelde van die bijdrage op nul gezet, dus bij loten is de verwachte opbrengst nul guldens. De complexe selectieprocedure blijkt vervolgens simuleerbaar. Voor die simulatie zijn een aantal vereenvoudigende aannamen nodig over de samenhangen van de tests en eventuele andere instrumenten met het ultieme criterium van goed functioneren, en onderling, zodat voor alle kandidaten alle scores kunnen worden gegenereerd (door random trekken uit de veronderstelde multivariaat-normale verdeling die de scores hebben). Dit is het lastige deel. Zijn alle scores beschikbaar, dan kan een kind de was doen: scores rangordenen, en de gewenste groep met de hoogste scores afzonderen. Enzovoort. De uiteindelijk geselecteerde groep heeft dus ook scores op het criterium van verwacht goed functioneren, zodat de opbrengst van de selectie kan worden uitgerekend. Ik vertel het iets simpeler dan het in werkelijkheid is, de crux zit natuurlijk in de diverse veronderstellingen. Zie daarvoor onderstaand rapport.

Zodat voor deze toelatingssituatie er een methodiek beschikbaar is die het toestaat om te zoeken naar optimale toelatingsprocedures. Bijvoorbeeld valt te onderzoeken hoeveel minder de opbrengst van een gefaseerde selectieprocedure is ten opzichte van een ongefaseerde; wat het verlies is wanneer de persoonlijkheidstest wordt weggelaten; enzovoort. Haal het onderstaande rapportje over simuleren binnen, om een indruk te krijgen hoe dit werkt. Het programma is op dit moment alleen beschikbaar voor Macintosh computers die nog onder het oude OS (‘Classic’) draaien, ik kan het hier dus niet demonstreren (maar daar valt ook weinig aan te beleven, het gaat heel snel).

Ben Wilbrink. (1990). Complexe selectieprocedures simuleren op de computer.Amsterdam: SCO. (rapport 246) pdf

Met ‘integer’ bedoel ik niet echt meer dan dat onderwijs een vorm van publieke dienstverlening is, op het hoogste niveau geregeerd door wat erover in internationale verdragen is vastgelegd. Het kan dus niet zo zijn dat instellingen of opleidingen zich bij de toelating self-serving opstellen. Toch is dat laatste de dominante houding bij de selectie voor topinstellingen in de VS.

Oké, het gaat in het onderwijs dus om die toegevoegde waarde, en dat blijft zo ook wanneer de middelen schaars zijn — zoals een beperkt aantal beschikbare studieplaatsen — en er met die toegevoegde waarde moet worden gewoekerd.

Het denken over de waarde die onderwijs toevoegt is lastiger dan het denken over selecteren van de ‘betere’ kandidaten. Ook Derek Bok, President van Harvard in 1980 en opnieuw in 2006, signaleert dat, en zette vervolgens een mega-progamma op aan Harvard University om de verwaarloosde toegevoegde waarde weer op de kaart te zetten. Ik citeer:

Toch zijn we er in Nederland op een andere manier al wel aan gewend: het afrekencircuit dat kijkt naar scores op eindexamens en de Cito Eindtoets Basisonderwijs corrigeert daarbij voor kenmerken van de leerlingpopulatie zoals die destijds was ingestroomd. Het ‘afrekencircuit’: het dagblad Trouw met zijn hitlijsten voor scholen in het vo, de Inspectie met zijn kwaliteitskaarten. Het is de verdienste van Jaap Dronkers geweest om bij het initiatief van Trouw om schoolresultaten te publiceren, in de negentiger jaren, de toegevoegde waarde te benadrukken, en zo te voorkomen dat elitescholen te makkelijk met de eer zouden gaan strijken.

Die toegevoegde waarde komt op een algemeen geaccepteerde wijze aan de orde bij het afrekenen van scholen op hun prestaties. Maar dan zijn we bij de uitgang van onderwijstrajecten. Bij de toelating zitten we aan het begin, dat is kennelijk toch iets anders. Terwijl de rationele gedachte toch evident moet zijn: als de samenleving (via Trouw, de Inspectie) let op de toegevoegde waarde, dan kunnen en moeten we bij de toelating die te verwachten toegevoegde waarde dus laten meewegen.

Hoe lastig dit kan zijn laat het idee van A. D. de Groot over selectievrij onderwijs zien: dat lijkt een contract tussen opleiding en student om toegevoegde waarde te realiseren. Maar de angel zit in wie de opleiding tot dit contract toelaat: als de opleiding het eigen risico beperkt ten koste van de kandidaten, dan vliegt misschien juist de belangrijkste mogelijkheid om toegevoegde waarde te realiseren het raam uit. De Groot wil af van de hordenloop in het onderwijs, maar blijft denken vanuit het model van institutionele selectie, stelling 3.

Een uitwerking van toegevoegde waarde — als missie van de instelling — lijkt dus lastig. Twee dingen daarover, eerst het lastige, dan het vanzelfsprekende.

Het lastige van toegevoegde waarde als richtlijn bij de toelating is dat vanuit de positie van de individuele kandidaat moet worden gedacht: wat is voor deze kandidaat de beste plek om zich verder te ontwikkelen? Maar dat is een vraag die door een opleiding met selectie aan de poort heel lastig of helemaal niet is te beantwoorden. Over dit dilemma struikelt ook ‘Veerman’, die ‘de beste student op de beste plaats’ wil realiseren, maar daartoe het verkeerde instrument aanreikt: vrijheid voor opleidingen om aan de poort te selecteren. Een oplossing die een stap in de goede richting kan zijn, maar in een heel ander onderwijsstelsel, is de toelating tot Oklahoma University: Robert Sternberg’s Kaleidoscope Project. Oklahoma U., evenals de elitaire Tufts University, betrekt nadrukkelijk ook creatieve en praktische talenten bij de selectieprocedure, en weet zo kansen te bieden aan kandidaten die ze anders niet gehad zouden hebben. Kijk, dat is mooi. Voor dit en ander goed werk van Sternberg, zie het paper dat boven in de menubalk staat: Sternberg on intelligence and styles. Daarin overigens ook aandacht voor denkstijlen, een onderwerp dat voor kwalitatief goed onderwijs (zie stelling 5) van belang is.

Een vanzelfsprekende benadering om die toegevoegde waarde vorm te geven is om uit te gaan van de kwaliteit van het onderwijs, tenslotte moet het onderwijs die waarde toevoegen; selectie kan geen waarde toevoegen, alleen de mogelijkheid ertoe openstellen. Dat is dus stelling 5.

Een recent boek geeft meteen de problemen aan: de leraren zijn al gauw de zwarte schapen, en de methodologie van het onderzoek is verre van volmaakt.

D. N. Harris (2011). Value-Added Measues in Education: What Every Educator Needs to Know. Harvard University Press. [Ik heb dit boek nog niet gezien, maar wel het artikel in Science:]

Douglas N. Harris (August 12, 2011). Value-added measures and the future of educational accountability. Science, 333, 826-827.

• abstract Quantitative social scientists seek to develop ever-better tools for measuring and improving school teacher performance. One approach uses data on individual students' past test scores to predict subsequent scores and then subtracts the (counterfactual) prediction from the actual scores to estimate teachers' ‘value added.’ But there is considerable debate about what educational benefits these measures might yield. I discuss scholarly agreements and disagreements about statistical properties of teacher value-added measures and argue that most key research questions cannot be answered by the types of studies that now dominate the literature.

Is dit concept van toegevoegde waarde — value added — alleen richtinggevend voor ons denken over de inrichting van het onderwijs, of is het ook concreet uit te werken tot instrumenten om de mate van succes in het realiseren van die toegevoegde waarde vast te stellen? Op grote schaal wordt de laatste vraag (in Engeland, in de VS) bevestigend beantwoord, en in concreet controlerend beleid omgezet. Slachtoffers zijn vooral individuele leraren, zoals een snelle blik in de literatuur (googel "value added in education") doet vermoeden.

De gedachte ligt namelijk voor de hand, zeker bij politici en beleidsmakers, dat de toegevoegde waarde valt te meten door scores op toetsen vooraf en achteraf met elkaar te vergelijken. Er zijn een paar ernstige problemen met deze notie.

• De benadering met toetsen — high stakes testing — komt van buiten, is controlerend en afrekenend, en is alleen geïnteresseerd in het resultaat, niet in hoe dat wordt bereikt, of hoe betere resultaten kunnen worden bereikt.
• Deze afrekencultuur brengt bij de instellingen een cultuur van misleiding teweeg: manipuleren van toetsafname en scores, en van welke leerlingen deelnemen en welke niet.
• Het grootste risico is hetzelfde als altijd al: dat het onderwijs versmalt tot voorbereiding op de externe toetsen — teaching to the test — in Amerika een nationale plaag.
• Het lijkt eenvoudig om begin- en eindtoetsscores te vergelijken, maar in werkelijkheid is dit een methodologisch mijnenveld en zijn de uitkomsten dus niet transparant voor het publiek en politici.

Aan de VU is intensief gewerkt met studentenvragenlijsten waarin onderwijs en docent werden beoordeeld. Willem van Os heeft onderzocht of al deze moeite ook resultaat heeft opgeleverd in de vorm van verbeterd onderwijs. Nee dus. Evaluaties leveren immers nog geen recepten voor verbetering op, alleen aanwijzingen over wat er mogelijk valt te verbeteren (e aarzeling zit hem hierin: een tegenvallend resultaat is niet hetzelfde als een verbeterbaar resultaat, of een tegen redelijke kosten verbeterbaar resultaat).

Willem van Os (1999). Bruikbaarheid en effectiviteit van studentoordelen over het onderwijs. Proefschrift VU.

De hitlijsten van Trouw voor scholen in het vo zijn algemeen bekend en altijd goed voor een grote dagoplage. Maar vraag de redactie van Trouw eens hoe de scores precies worden berekend; dat blijkt dan onbekend te zijn (gevraagd: 2005; hopelijk is er ondertussen iets aan gedaan). Ongelooflijk dat Trouw hiermee is weggekomen.

Over prestatie-indicatoren zie mijn webpagina

Je zou toch verwachten dat het benadrukken van toegevoegde waarde de blik doet richten op de kwaliteit van het onderwijs, zoals Derek Bok voor Harvard University de kwaliteit van het onderwijs weer op de agenda heeft gezet. Binnen deze gedachtengang past dus wantrouwen tegenover tegenover partijen van buiten die ook beweren dat zij toegevoegde waarde van groot belang vinden, en dat kracht bijzetten door af te rekenen op eindprestaties die zijn gecorrigeerd voor beginprestaties.

Een volkomen andere manier om het thema ‘toegevoegde waarde’ aan te snijden, is economisch onderzoek naar het rendement op de persoonlijke en maatschappelijke investeringen in onderwijs: de theorie van het menselijk kapitaal. Meer en langer onderwijs lijkt altijd beter, maar ergens is er natuurlijk een punt waarop nog meer investeren in onderwijs geen interessant rendement meer oplevert. Ik heb samen met Jaap Dronkers in 1993 aangegeven dat dat moment wel eens eerder kan komen dan vaak gedacht, omdat mogelijk te veel rendement wordt toegeschreven aan opgedane kennis en vaardigheden, en te weinig aan intellectuele capaciteiten. U voelt de kneep wel: langer onderwijs zal die intellectuele capaciteiten niet echt verbeteren, maar zij zijn op de arbeidsmarkt wel verdraaid belangrijk. Een andere kneep is: als die capaciteiten zo belangrijk zijn, dan is het voor het hoger onderwijs van groot belang om die talenten ruim baan te geven, en niet eenzijdig op analytische capaciteiten te selecteren en toetsen (vgl. weer het Kaleidoscope Project van Sternberg).

Ben Wilbrink & Jaap Dronkers (1993). Dilemma's bij de groei van de deelname aan hoger onderwijs. Reeks Achtergrondstudies van het Ministerie van Onderwijs en Wetenschappen / DOP. html
James J. Heckman and Edward Vytlacil (2001). Identifying the role of cognitive ability in explaining the level of and change in the return to schooling, Review of Economics and Statistics 83, no. 1 (2001). [They argue that it is not possible to separate the effects of ability and schooling.]

Maar opgedane kennis doet er natuurlijk ook toe, en dat is vooral van belang om in het oog te houden bij de analyse van omzwaaien naar andere opleidingen of staken van de studie: Joop Hartog heeft dat eens kunnen onderzoeken, en gevonden dat deze studenten wel degelijk rendement hebben gehad van hun afgebroken opleidingen, en wel naar rato van de lengte van het verblijf in die opleidingen. Een afgebroken opleiding vertegenwoordigt wel degelijk toegevoegde waarde. Dringt die boodschap al door bij de opleidingen die omzwaaiers opnemen?

Ik meen dat het onderzoek van Hartog is te vinden in: J. Hartog & G.A. Pfann (1987). Onderwijsuitval, achtergronden en gevolgen. Economisch Statistische Berichten,, 72, 11-16.

Met dank aan Janke Cohen-Schotanus, die in haar inauguele rede (pdf) nog eens herinnerde aan deze stelling (aan het begin van het tweede deel van haar rede, over de inrichting van selectie voor geneeskunde). Janke Cohen spreekt vanuit de ervaringen bij geneeskunde in Groningen. Geneeskunde is een a-typische opleiding, met relatief hoge rendementscijfers, dus het is nog wel de vraag of deze voor geneeskunde goed verdedigbare stelling, dat ook is voor opleidingen met minder indrukwekkende rendementscijfers, dus meer studenten die na korte tijd de opleiding weer verlaten.

De stelling is eigenlijk heel simpel: de opleiding geneeskunde in Groningen heeft belangrijke rendementswinsten kunnen boeken door kwaliteitsverbeteringen van zowel het onderwijs, als de regeling van tentamens en examens. Janke Cohen heeft een en ander beschreven in haar proefschrift. Vooral ingrijpen in de examenregeling heeft tot spectaculaire verberingen in rendement geleid. In een ORD-paper (1995) heb ik geprobeerd aan de hand van een tentamenmodel-benadering om uit te leggen waarom de examenregeling met vrijstellende deeltoetsen en meer compensatie dan gebruikelijk, zoals aan de faculteit geadviseerd door Wim Hofstee, tot rendementswinst kan leiden, bij de invoering bij geneeskunde in Groningen een enorme klapper van beroerd rendement naar bijna het maximaal haalbare. Het gaat vooral om een besliskundige benadering, waarmee Robert van Naerssen ongeveer de eerste was in Nederland.

Cohen-Schotanus, J. (1994). Effecten van curriculumveranderingen. Studiewaardering, studeergedrag, kennis, studiedoorstroom in een veranderend medisch curriculum. Proefschrift Rijksuniversiteit Groningen. samenvatting
R. F. van Naerssen (1970). Over optimaal studeren en tentamens combineren. Openbare les. html
Ben Wilbrink (1995). Studiestrategieën die voor studenten en docenten optimaal zijn: het sturen van investeringen in de studie. Korte versie in Bert Creemers e.a. (Red.), Onderwijsonderzoek in Nederland en Vlaanderen 1995. Proceedings van de Onderwijs Research Dagen 1995 te Groningen (218-220). Groningen: GION. Paper: auteur. html

Onderzoekers van de Erasmus Universiteit claimen dat selectie aan de poort ook rendementswinst op zou leveren, ‘Veerman’ heeft het zelfs over 60% verbetering (in een onderzoek van Urlings-Strop). Maar dat gaat over kleine aantallen uitvallers, en dan kun je erop wachten dat dit weleens een toevalstreffer zou kunnen zijn. Janke Cohen gaat er in haar rede (pdf) kort op in: in vergelijkbare situaties aan andere faculteiten geneeskunde is geen rendementsverbetering geconstateerd. De reden is dat de rendementen bij geneeskunde tegenwoordig overal heel hoog zijn, zodat selectie-aan-de-poort (in plaats van loten) daar nauwelijks verbetering in kan brengen.

Louise C. Urlings-Strop, Theo Stijnen, Axel P. N. Themmen & Ted A. W. Splinter (2009). Selection of medical students: a controlled experiment. Medical Education, 43, 175-183. [Voor mijn annotatie bij die onderzoek zie decentraleselectie.htm#Urlings

Terug naar een actueel onderzoek naar rendement bij geneeskunde in Groningen, waarvan Janke Cohen in haar rede (pdf) enkele resultaten geeft. Bij de huidige ingewikkelde toelatingsprocedure zijn er een viertal te onderscheiden deelgroepen, waarvoor relaties met behaald rendement zijn te leggen. Van belang is de groep die niet direct is toegelaten, dus een cijfergemiddelde had lager dan 8, maar die via de selectieprocedure is binnengekomen; en de groep die in diezelfde selectieprocedure is afgewezen, maar vervolgens in de lotingsprocedure toch een plaats heeft gekregen. Welnu, deze twee groepen onderscheiden zich niet van elkaar in studierendement. De moeite van die expliciete selectie lijkt dus voor niets: de gewogen loting zonder die extra selectie doet het kennelijk al goed genoeg.

Mis ik iets, zult u misschien denken. Er is een groep die niet mee heeft gedaan aan de mogelijkheid om via selectie een plaats te krijgen. Kennelijk zijn dit kandidaten die van zichzelf weten dat ze dat via selectie niet gaan redden. Ingelote studenten uit deze groep doen het inderdaad qua rendement duidelijk minder goed. Hier is de vraag te stellen: stel dat je ‘toegevoegde waarde’ zou kunnen schatten, hoe subjectief misschien ook, zou dat op kunnen leveren dat deze ingelote studenten ongeveer even ‘waardevol’ zijn als de andere groepen? ‘Waardevoller’ misschien zelfs? Die analyse heeft Janke Cohen niet gemaakt, maar ze komt close.

==========================================================================================

Bijlage Veerman

Enkele passages uit het rapport, met mijn annotaties

Commissie-Veerman (april 2010). Differentiëren in drievoud omwille van kwaliteit en verscheidenheid in het hoger onderwijs. Advies van de Commissie Toekomstbestendig Hoger Onderwijs Stelsel. OCW. pdf

Het rapport van de Commissie-Veeman staat op het punt van alles wat raakt aan selectie bol van de misvattingen en niet door onderzoek ondersteunde opvattingen. Ik zal over dit rapport alsnog een wat verder uitgewerkte annotatie gaan maken, en die zo mogelijk uitwerken en indikken tot een artikel voor het Tijdschrift voor Hoger Onderwijs of voor mijn kwaliteitskrant. Voorlopig moet u het doen met de volgende korte annotaties bij passages uit het rapport van de commissie.

Dat komt prachtig uit. Ik heb er met Jaap Dronkers een analyse over geschreven. Daarin is het thema selectiviteit zeker ook aan de orde gekomen. Door de eeuwen heen is er groei geweest, ik kan me niet herinneren dat dat in Nederland in het verleden heeft geleid tot de roep om meer selectie, met mogelijk eind zestiger jaren als uitzondering: de regeringscommissarissen Posthumus, Maris en Van Os moesten ieder op hun eigen aandachtsterrein voorstellen ontwikkelen tegen het uitdijende beslag dat de financiering van de universiteiten op de begroting van de overheid legde en zou gaan leggen. Een selectieve propedeuse maakt onderdeel uit van het uitvoerig bediscussieerde maar uiteindelijk door de democratiseringsgolf ingehaalde voorstel van Posthumus. Wiegersma kwam in 1989 met een eigen analyse en voorstel voor de inrichting van het HO.

Ben Wilbrink & Jaap Dronkers (1993). Dilemma's bij de groei van de deelname aan hoger onderwijs. Zoetermeer: reeks Achtergrondstudies van het Ministerie van Onderwijs en Wetenschappen. ('s-Gravenhage: DOP) html

Sies Wiegersma (1989). Innovatie van het hoger onderwijs. Wolters-Noordhoff.

G. J. Bergenhenegouwen (1970). De Nota Posthumus in discussie. Een analyse van standpunten. SISWO Sector Onderzoek Wetenschappelijk Onderwijs & OTO Overlegcommissie Tertiair Onderwijs.

Een mysterieuze opmerking over scherp bewaken van het niveau van de instroom. Ik ben ook benieuwd naar de invulling van wat dan die kerntaak is, wat met intensivering van het onderwijs is bedoeld (stages afschaffen?), en wat met die kleine kwaliteit.

Ik moet nog zoeken naar de plaatsen in het rapport waarin dat aan de orde komt.

Dat wacht ik dan maar af. Wat hierboven staat kan ik niet beamen, ik ben dus benieuwd

Ook dit kan ik niet plaatsen. Wat is 'te'? Dan zou er een beter alternatief moeten zijn. Is dat er dan? Internationaal?

Dan volgt nog deze passage warin de voordelen van brede opleidingen worden opgehemeld, en geen enkel mogelijk nadeel vermeld:

Dit optimisme over brede opleidingen lijkt me toch een misvatting. Sies Wiegersma (1989) dacht daar anders over: een goede brede opleiding is moeilijker dan een goede specifieke opleiding. Immers, weinig weten van veel is al gauw zinloos, en dat is op twee manieren het risico bij brede opleidingen: allereerst uit de aard van het 'breed' opleiden, maar ook omdat juist 'brede' opleidingen de minder briljante studenten trekken. Dat laatste is misschien deels te verklaren wanneer kiezende studenten hetzelfde misverstand koesteren dat de commissie hier doet: de kansen op de arbeidsmartk straks zijn beter wanneer je breed bent opgeleid. Precies het tegenovergestelde is ook verdedigbaar, en mins inziens beter verdigbaar: juist de specifiek opgeleiden hebben betere arbeidsmarktkansen, namelijk allereerst op een enigszins afgeschermde arbeidsmartk waarvoor zij specifiek zijn gekwalificerd, en vervolgens ook op dezelfde 'brede' arbeidsmarkt waar de 'breed' opgeleiden hun heil zoeken. Op die 'brede' markt zullen specifiek opgeleiden (vliegtuigtechniek) al gauw een kansrijker positie hebben dan 'breed' opgeleiden.

Op p. 32 spreekt de commissie over toelatingsrecht dat iedere mbo-er zou hebben, ongeacht de gevolgde opleiding. Ik meen toch te weten dat dit onjuist is: er is wel degelijk in de wet sprake van een beperking van toelatingsrechten. Ik moet dat opzoeken

De commissie vraagt aandacht (p. 32) voor uitval van havisten, een kwetsbare groep omdat zij in vergelijking met mbo-ers niet over een arbeidsmarktkwalificatie beschikt. Ik zou daar graag de harde cijfers bij zien.

Ronkende teksten. Ik citeer ze liever niet, veel te lange lappen tekst. Concludeer daar maar uit dat de onderbouwing van een en ander op zijn best onvolledig moet zijn. Een reeks oude bekenden van de borreltafel komt langs:

• de juiste student op de juiste plaats
• selectie verbetert rendement
• selectie maak het instellingen mogelijk 'vrschillend' te zijn

Tja, ik zal proberen het te checken aan de opgegeven referenties, maar ik ben bang dat ik andere referenties ga aanvoeren. De commissie kijkt hier eenzijdig naar de studenten die door de selectie zijn gekomen. Maar de overheid is verantwoordelijk voor àlle kanidaten voor HO, die worden met 'selectie-aan-de-poort' mogelijk niet eerlijk bediend.

Dit riekt naar misleiding. Het is wel een aardig casus om achter de hand te hebben. Ik ga het dus iets uitwerken. Er worden ongelijke zaken met elkaar vergeleken: de Hogere Hotelschool is een beroepsopleiding met een glashelder profiel, zoals ook geneeskundige opleidingen dat hebben. 'Andere economische opleidingen' hebben dat niet, daar zijn dus meer studenten die nog niet zeker zijn van hun studiekeuze. Heeft met selectie dus niets te maken. Met Urlings-Strop heb ik over haar onderzoek gecorrespondeerd, ik zal dat nog eens teruglezen. Bij die 60% uitvalreductie gaat het om heel kleinde aantallen gaat, en in feite gaat het dus om niet meer dan een toevalsresultaat. Een foutje van de commissie, ik dacht niet dat Urlings-Strop zelf deze conclusie van 60% uitvalsreductie trekt. Onzin.

Ook dit riekt naar misleiding. Het is flauwekul wat hier wordt beweerd. De verwijzing naar Korthals is naar een andere commissie, dat schiet niet op, dat is vierdehands kennis en dus onbetrouwbaar

Ha, een president van de KNAW wil de commissie toch niet passeren. Ik ben benieuwd of ze met de afstandelijkheid van Drent goet weet om te gaan, ik ben bang van niet.

Dit denken is een trend die in de negentiger jaren is ingezet met de Commissie-Drenth (die de oren liet hangen naar beïnvloeding door Kok en Ritzen, zoals nederig achteraf bekend gemaakt door Pieter Drenth), verder uitgediept door opvolgende commissies (Sorgdrager, Korthals) en een ongelukkige motie van de PvdA (Martijn van Dam, Jacques Tichelaar) met steun van VVD en LPF (wat al aangeeft dat de PvdA hier een slippertje heeft gemaakt). Het lijkt dus niet tegen te houden, en ja, dan moet je het wettelijk regelen. Is dat een open deur? Dat van die randvoorwaarden, daar komt natuurlijk niets van terecht. Trouwen op gedragsvoowaarden (ja, mits) is geen goed idee. Draai het om: geen wettelijk geregelde selectie tenzij het zeker is dat deze niet gaat ontsporen. Maar ja, dit is een achterhoedegevecht.

De wollige tekst van de commissie is allesbehalve stevig. Niet geciteerd. De tweede voorwaarde wel:

Check: site Lisbon Recognition Convention

De commissie is in de war over selectie versus allocatie. Het lijkt erop alsof de commissie allocatie wil, maar ze pleit in feite voor selectie. Een allocatie-model zou veel dichter staan bij de kandidaten als belangenpartij, het selectiemodel ziet alleen het belang van de opnemende opleideng. De commissie ziet aankomen dat het selectiemodel tot marktonvolkomenheden gaat leiden, en wil daar vervolgens weer op corrigeren. Dat is modderen, en gedoemd tot mislukken.

Ook kletspraat:

Als er toch één ding is dat bekend is uit onderzoek naar onderwijs dat volgt op extreme selectie, dan is het wel dat de zo toegelaten studenten vervolgens op deze lauweren gaan rusten: hun kostje is gekocht. (Ivy League instellingen, Universiteit van Tokyo) Moet ik echt de literatuur hier weer bij gaan zoeken? Houd het voorzichtigheidshalve maar op het volgende: wie stelt dat na selectie binnengekomen studenten beter hun best zullen doen dan wanneer zij via loten waren binnengekomen, moet dit wel aannemelijk maken. Onlangs liet Janke-Cohen-Schotanus in haar inaugurele rede (pdf) gegevens zien waaruit alleen maa volgt dat via selectie tot de studie geneeskunde toegelaten studenten het even goed deden als als de via dezelfde selectieprocedure afgewezen studenten maar die vervolgens toch waren ingeloot.

Nog meer klets:

De passage over oorzaken van studieuitval is vooral nonsens. Ik zal de vewijzingen nog natrekken:

Deze suggestieve verwijzing naar selectiviteit in stelsels eleders is ronduit misleidend. Het rapport verwijst naar Cremonini e.a. 2010, dat moet ik nog bezien. Wat ik wel tot mijn beschikking heb:

Sheldon Rothblatt (Ed.) (1992). The OECD, the Master Plan and the California Dream: a Berkely conversation. Berkeley: Center for Studies in Higher Education, University of California. Met bijdragen van Halsey, Kerr, Clark, Callan, Trow.

• Burton L. Clark (zijn eerste zin en laatste alinea):
• “The question posed as my topic is whether California can serve as ‘the model for OECD futures,’ or more broadly, whether California postsecondary arrangements are exportable.” [p. 61]
• “The California case teaches that OECD could serve better the practical understanding of the processes of systems of higher education—their spring of action—if its studies were directed more to how each system works. Policy and planning could then be understood in their limited roles. They could be more realistically grounded in the ongoing realities and capabilities of these quite uncommon systems of effort and achievement.” [p. 78]

Sheldon Rothblatt (1997). The modern university and its discontents. The fate of Newman’s legacies in Britain and America. Cambridge: Cambridge University Press.

Deze cijfers kunnen niet kloppen. Studieloopbanenonderzoek geeft aan dat uiteindelijk van de instromers meer dan 80 % een afsluitend diploma HBO of WO behaalt. Een deel van het probleem is dat, voorzover ik weet, het CBS overgangen van WO naa HBO en omgekeerd niet registreert. Dit soort blunders is nogal ernstig voor een overheidscommissie.

Dan volgen nog korte stukjes over selectiviteit in andere landen. Deze korte presentaties zijn echt niet zinvol, want onvergelijkbaar met de situatie die we in het Nederlandse onderwijs hebben. Amateurisme. Lees de passages in het rapport, als je meent er sterke conclusies over wenselijke vormen van toelating uit te kunnen trekken, laat me dat vooral weten.

Lichtpuntje in de duisternis:

Uit de literatuurlijst van de commissie (nog niet gevonden):

H.P.M. Adriaansens (2005). Selectie als second best. Tijdschrift voor Hoger Onderwijs en Management (Thema), Nr. 4.

W. Dooge (2005), Selectie aan de poort loont! Tijschrift voor Hoger Onderwijs en Management (Thema), Nr. 4.

P.J.D. Drenth (2004). Selectie aan de poort van het Hoger Onderwijs. Tijschrift voor Hoger Onderwijs en Management (Thema), Nr. 4.

Bijlage Toegevoegde Waarde (Value Added)

Googelen op "value added in education" levert een eerste indruk op: een lastig concept, moeilijk uitvoerbaar, misplaatst toegepast om door individuele docenten toegevoegde waarde te bepalen. Houd het er voorlopig maar op dat het concept nuttiger is als heuristiek om doorgeschoten toestanden met selectie en ‘performance indicators’ te voorkomen, dan dat het een techniek zou kunnen zijn die betekenis heeft voor de dagelijkse onderwijskraktijk. Misschien is dat ook maar beter. Ter lering en vermaak (kopieer het lijstje, zet het in een emailtje aan jezelf, dan heb je klikbare links):

populair www

http://www.qualityresearchinternational.com/glossary/valueadded.htm
http://ohiorc.org/value-added/
http://www.springerlink.com/content/t184187m00081747/
http://www.sas.com/govedu/edu/k12/evaas/index.html
http://www.edweek.org/ew/articles/2009/07/01/36valueadd.h28.html
http://irepp.stanford.edu/projects/valueadded.htm
http://www.bera.ac.uk/value-added-analysis-of-pupil-and-school-performance/
http://varc.wceruw.org/
http://www.cew.wisc.edu/docs/resource_collections/CEW_ValueAddedEngineering_UWMadison.pdf

wetenschappelijk

http://edr.sagepub.com/content/37/2/65.abstract
http://www.education.gov.uk/research/data/uploadfiles/RW85.pdfhttp://www.urban.org/UploadedPDF/411577_value-added_analysis.pdf
http://www.kyepsb.net/documents/Stats/Journals/Heterogeneity%20of%20regression.pdf
http://www.revistaeducacion.mec.es/re348/re348_02ing.pdf
http://www.eduweb.vic.gov.au/edulibrary/public/publ/research/publ/value-added-measures-report.pdf
http://www.eui.eu/RSCAS/WP-Texts/08_06.pdf
http://www.effwa.org/pdfs/Value-Added.pdf
http://www.stanford.edu/group/pace/PUBLICATIONS/PB/PACE_BRIEF_OCT_2010.pdf
http://www.gmac.com/NR/rdonlyres/6B81E15E-0A57-4E84-B39D-E3B57483B4BD/0/RR0616_ValueAdded.pdf
http://www.eduweb.vic.gov.au/edulibrary/public/publ/research/nws/ResearcheLert-issue14-2007.pdf
http://www.aascu.org/pdf/06_perspectives.pdf
http://www.mathematica-mpr.com/Newsroom/Releases/2010/DCPS_VAM_7_10.asp
http://www.york.ac.uk/media/educationalstudies/documents/research/Paper15Value-addedinprimaryschools.pdf
http://www.amstat.org/sections/srms/proceedings/y2008/Files/301495.pdf
http://www.unb.ca/crisp/pdf/PB-VAM(23_Jan_2009).pdf
http://www.paeaonline.org/index.php?ht=a/GetDocumentAction/i/3530

Vergeet het werk van Astin niet. Ook zijn Four college years

Probeer het eens op heel andere manieren te benaderen. Een opleiding die vooral bezig is met selectie en numeriek rendement, heeft kennelijk niet het oog op de student. Dan gaat het in ieder geval niet goed met de toegevoegde waarde, omdat de instelling dat kennelijk niet tot zijn missie rekent.

Zo zijn er nog meer bedenkingen. Alles wat in het belang is van de opleiding of van andere partijen dan de studenten, staat kennelijk los van toegevoegde waarde, en is er waarschijnlijk zelfs schadelijk voor. Kan ik dat anecdotisch of aan de hand van onderzoek eventueel in andere institutionele settings helder maken?

Contrast: toegevoegde waarde is aan de individuele student. Wat in het casus van de NPA aan de orde was: de toegevoegde waarde aan het bedrijf of de instelling waar de kandidaat uiteindelijk in dienst komt. Hoe radicaal anders zijn deze maten eigenlijk? Is er overlap tussen?

Wat het eerst in gedachten komt: als de toegevoegde waarde enorm is, maar het startpunt lag heel laag, zal in een sollicitatieprocedure onze kandidaat dan toch makkelijk het loodje leggen tegen concurrentie die minder waarde heeft weten toe te voegen maar beter gekwalificeerd lijkt? Dat is een interessant punt: kom je zo niet uit bij de ontwikkelingskansen die er verder nog zijn, de zone van naaste ontwikkeling, die voor de ene kandidaat radicaal kan verschillen van die van de andere? Is dat goed vast te stellen, eigenlijk? Zijn daar voorbeelden van? Of is het gewoon te ingewikkeld?

overig

nog naar kijken:

Pieter J.D. Drenth (8 april 2004). Selectie aan de poort werkt niet. nrc handelsblad web

UM Observant jrg. 24 - nr. 31 29 april 2004 Grote spraakverwarrring. De Universiteit Leiden zal enkele jaren later terugkomen op de plannen om aan de poort te gaan selecteren: er worden dan gewoon teveel kandidaten eigenlijk ten onrechte afgewezen. web

Dales wil selecteren, want hij denkt dat hij eenderde van de kandidaten kan aanwijzen als zekere uitvallers. Te gek. Hij is ondertussen geen voorzitter meer van InHolland. web

Djoerd de Graaf, Uulkje de Jong, Marko van Leeuwen & Ineke van der Veen (2005). Stoppen of doorgaan. Vertrekkers en switchers van de HHS/THR: wie, waarom en hoe uitval te voorkomen. pdf

Uulkje de Jong (2005). Studieloopbanen. In Hans van Hout, Geert ten Dam, Marcel Mirande, Cees Terlouw & Jos Willems (Red.) (2006). Vernieuwing in het hoger onderwijs. Onderwijskundig handboek (63-77). Van Gorcum.

• tabel p. 72 participatiedoelstellingen

Niet meer artsen, de Volkskrant 29-10-2010 (afschaffen van de numerus fixus voor geneeskunde zal niet leiden tot echt meer beschikbare plaatsen: dat is onbetaalbaar, en de opleidingscapaciteit is er niet) web

Frans Kaiser Marc Kaulisch Carlo Salerno Egbert de Weert (2005). Op naar de 50% Een internationaal vergelijkend onderzoek naar deelname en deelnamebeleid voor de toekomstige kennismaatschappij. CHEPS. http://www.onderwijsraad.nl/upload/publicaties/340/documenten/op_naar_de_50.pdf

Hofstee, W. K. B., Notities over onderwijsrendement en -kwaliteit. U & H 1985, 32/3, 145-153. kwaliteit numeriek rendement

Onderwijsinspectie (2009). Werken aan een beter rendement:

http://www.onderwijsinspectie.nl/binaries/content/assets/Actueel_publicaties/2009/Werken+aan+een+beter+rendement.pdf

http://www.onderwijsinspectie.nl/binaries/content/assets/Actueel_publicaties/2009/Werken+aan+een+beter+rendement+-+achtergrondrapport.pdf

Onderwijsinspectie (2009). Bindend studieadvies:

http://www.onderwijsinspectie.nl/binaries/content/assets/Actueel_publicaties/2009/Bindend+studieadvies.pdf

Fumi Kitagawa & Jun Oba (2010). Managing differentiation of higher education system in Japan: connecting excellence and diversity. Higher Education, 59, 507-524. abstract

Posthumus, K. (1958). Rendement en beoordelingsgewoonten. Universiteit & Hogeschool, 4, #4, 156-161.

Posthumus, K. (1960). Bespiegeling over ‘Mislukking en vertraging van de studie’. Universiteit & Hogeschool 6, #5, 377-390.

• Over het door H. Th. Bakker geredigeerde rapport (zie elders op deze pagina). Posthumus citeert royaal uit dit rapport.
• “Het rendement van een instelling van hoger onderwijs kan slechts voor een beperkt gedeelte worden gemeten aan het percentage van de begingeneratie der studenten, dat het afsluitende diploma behaalt. Langer verblijf aan universiteit en hogeschool dan de nominale studieduur kan in verscheidene opzichten wnst betekenen; de wetenschappelijke en maatschappelijke ‘waarde’ van een academicus is niet omgekeerd evenredig met het aantal jaren van zijn studie.”

Bakker, H. Th. (Red.) (1959). Mislukking en vertraging van de studie. Verslag van een onderzoek verricht aan de Technische Hogeschool te Delft 1953-1957. Delft: Technische Hogeschool. 106 pp. + 32 pp. brochure klein octavo, ex-bibliotheek (Dit rapport is een samenvatting van een uitgebreider tussentijds rapport (1955) en een eindrapport (1958)) (Supervisie-commissie: prof. H.C.J. Duyker (Amsterdam), Prof D.J. Van Lennep (Utrecht), prof F.J.Th. Rutten (Nijmegen), prof. J.Th. Snijders (Groningen), prof H.J. Wijngaarden (Amsterdam), O. Bottema (vz) - Werkgroep: prof A.D. De Groot (vz), J.H. Dijkhuis, J.H. Ex, J. Kiers, prof B.J. Kouwer, prof H.W. Ouweleen, A.P. Riem Vis, W. Vijftigschild) (p. 25: De betekenis van studiemislukking als probleem. Alle gegevens van dit hoofdstuk overwegende krijgt men de indruk, dat de schade door het staken van de studie in de eerste 4 jaar, aangebracht aan de belangen van de maatschappij, de T.H. en de jongelui zelf, eigenlijk nogal meevalt. Zeker de helft blijkt door het overstappen nar een andere faculteit of door het gaan volgen van een dagstudie op iets lager niveau de juiste bestemming wel te vinden. (...) De overigen, die geen volledige dagstudie meer gaan volgen, hebben van de tijd aan de T.H. voor het merendeel toch geen nadeel maar eerder voordeel in hun verdere loopbaan ondervonden. Hier ligt echter een probleem zowel voor de maatschappij als voor de betrokkenen zelf, want er blijken studenten te zijn, die wel de capaciteiten bezitten om de studie aan de T.H. met succes te volgen, maar die door omstandigheden van buiten gedwongen worden de studie te staken.)

Christiaan Boudri & Roel van Asselt (februari 2013). Versterking van de doorstroom en de technische kwaliteit van het technische HBO. Adviezen vanuit het onderwijswerkveld. Landelijke Werkgroep HBO-Wiskunde. pdf

Roel in 't Veld c.s. (september 2016). Onderoek studiesucces doorstroom MBO - HBO. pdf

  http://www.benwilbrink.nl/publicaties/10SelectiehboHSZuyd.htm http://goo.gl/rKdRn