Niveautrends


Literatuuroverzicht met aantekeningen

Ben Wilbrink




Een eeuwig probleem met vergelijkingen van onderwijs over de jaren of decennia heen, is hoe eventuele verschillen in 'niveau' van afstudeerders vast te stellen. Dat is al lastig van het ene jaar op het andere, zoals voortdurende irritaties over onverwachte moeilijkheid van examenonderdelen demonstreert. Hoeveel moeilijker is het dan niet om vergelijkingen over decennia heen te maken: niet alleen veranderen de schoolvakken intussen inhoudelijk, maar er zijn vaak ook belangrijke stelselwijzigingen, de schoolpopulaties zelf veranderen, de wereld verandert, en maatschappelijke omstandigheden veranderen. Ik noem maar even de belangrijkste grote problemen. Daarnaast zijn er de strategische verschuivingen, als je dat zo mag noemen: om tal van redenen kan het voor leerlingen, leraren of scholen belangrijk zijn om zich strategisch te gedragen, wat hogere cijfers te geven aan bepaalde groepen leerlingen, leerlingen weg te houden van de afname van landelijke toetsen zoals de Citotoets, meer of juist minder leerlingen in het voorlaatste schooljaar te laten doubleren, en ga zo maar door.

Het springende punt is dan: wat valt er bij het begin van de 21e eeuw te zeggen over het eindniveau van ons onderwijs, in vergelijking met dat van een kwart eeuw, een halve eeuw, of een eeuw geleden? Welk onderzoek is daar eigenlijk over gedaan, of is dat wel gedaan? Bij gebrek aan behoorlijk gericht onderzoek, welke aanwijzingen zijn er te halen uit ander onderzoek, bijvoorbeeld de cohortstudies in eigen land, internationaal vergelijkend onderzoek zoals Pisa of Timss? Het aardige is dat in 2007 ook de Tweede kamer zich ernstig zorgen begon te maken, en de commissie Dijsselbloem instelde om niveautrends in relatie tot de grote onderwijsvernieuwingen van de laatste decennia te onderzoeken. De commissie heeft gerapporteerd, en het niveau van het huidige onderwijs in gebreke gesteld: dat wil zeggen dat de politiek de zaak behoorlijk in de soep heeft gedraaid, en dat alleen de scholen en vooral de leraren het ergste nog hebben weten te voorkomen.


caveat 1.

Het is onder het geweld van stapels onderwijsonderzoek, met grote cohorten en geavanceerde statistische bewerkingen, veel te makkelijk om te vergeten dat onderwijs weliswaar een belangrijke plaats inneemt waar het gaat om de ontwikkeling van intellectuele en andere vaardigheden van de jeugd, maar dat het slechts een kleine speler is vergeleken met de power van de neurologische ontwikkeling van de hersenen zelf, in relatie tot de dagelijkse leefwereld. Met andere woorden: de basis en de bulk van intellectuele ontwikkeling is niet aan het volgen van onderwijs te danken, of zou zonder het volgen van onderwijs ook plaatsvinden. Dat drukt ons dan met de neus op het feit dat onderwijs er juist is voor die intellectuele ontwikkelingen die niet van nature ook al plaats vinden (zoals taalontwikkeling): schrijven, lezen, rekenen, enzovoort. Jongeren hebben juist zo'n lange 'time out' van de samenleving om zich deze niet-vanzelfsprekende vaardigheden eigen te maken. Het gevaar van modieuze trends in het onderwijs is dat vaardigheden die alleen maar in onderwijs zijn te verwerven, weggedrukt worden door aandacht voor vaardigheden die ook zonder onderwijs te verwerven zouden zijn (een grote bek opzetten, etcetera).

Het gekke is dat ik bij deze caveat niet zo snel relevante literatuur kan noemen, al valt het zendingswerk dat Jelle Jolles verricht er zeker onder (psychoneurologische ontwikkeling in relatie tot wat onderwijs van jongeren vraagt site). Waarom kom ik dan op deze waarschuwing? Mogelijk dank ik dat aan Willem Hofstee, die meermalen waarschuwde dat onderwijs niet alle persoonlijke groei als verdienste van het onderwijs moet verkopen, en dat misschien maar weinig van die groei echt aan het volgen van het onderwijs is te danken en dus met een andere tijdbesteding niet zou zijn bereikt. Ook Alexander Astin heeft veel aandacht besteed aan de thematiek van wat de toegevoegde waarde van het (volgen van) onderwijs is, waarbij nadrukkelijk dus de vergelijking gemaakt zou moeten worden met de groei die zonder het volgen van (dat specifieke) onderwijs zou zijn opgetreden. Door onderwijs toegevoegde waarde is dus geen eenvoudig concept, laat staan om op dat punt vergelijkingen in de tijd of naar andere landen te maken.


caveat 2.

Houd ook altijd de schone schijn scherp in de gaten: onderwijs rekent zich makkelijk de briljante prestaties van studenten toe, maar dat is nogal eens volkomen ten onrechte. Het voorbeeld bij uitstek is Harvard University, dat aantoonbaar (onderzoek van Alexander Astin) geen bijzondere toegevoegde waarde levert aan zijn studenten, d.w.z. niet meer toevoegt dan gewone goede universiteiten zouden hebben gedaan. De verklaring is, natuurlijk, dat de scherpe toelatingsselectie die briljantie gewoon 'koopt.' Dat gaat ergens ten koste van, zeg maar ten koste van de samenleving in zijn geheel, maar dat is hier niet het punt. Als dan in de loop van de jaren zo'n selectieve drempel hoger wordt, en daarmee de prestaties van de alumni beter, is dat dus geen trend die bewijst dat het onderwijs zoveel beter is geworden. Voorbeeld hier: Berkeley University, dat vijftig jaar geleden helemaal geen selectieve toelating had, en nu een van de meest selectieve universiteiten in de VS is. Wie ernaar gaat zoeken, kan in Nederland ook wel van die voorbeelden vinden, zeker in ons voortgezet onderwijs dat één grote sorteermachine is (zie hier beneden rapportages over het VOCL cohort, waar de onderzoekers, Kuyper en van de Werf onder anderen, dit mechanisme uitstekend in de peiling hebben, als ik dat zo mag zeggen).


caveat 3.

Dat het niveau in mijn glas melk lager is dan dat in jouw glas, betekent niet dat ik minder melk in mijn beker heb (zie het voor je: mijn brede glas, jouw smalle). De maatschappelijke betekenis van het niveau van, zeg, het hoger beroepsonderwijs is natuurlijk ook sterk bepaald door de groeiende deelname eraan. Sterker nog: ook de duur van de opleiding speelt een grote rol. Er wordt van ons huidige universitaire onderwijs wel gezegd dat het kwalitatief ver achterblijft bij dat van een kwart eeuw terug, maar het is vergeleken met de situatie in Duitsland of Frankrijk werkelijk fantastisch goed wat studieduur betreft. De economische betekenis van die korte studieduur is enorm. Nu alleen nog de jongelui overtuigen dat het niet slim is hun studie te verdienen in de horeca. Let ook op verborgen mechanismen die direct bepalen wie deelneemt, of wie aan Citotoets of onderzoek deelneemt, en wie een speciale behandeling (speciaal onderwijs) krijgt of strategisch ziek is en zo in de 'gewone' groep niet meer meetelt.


caveat 4.

Het is niet vanzelfsprekend wie wat bedoeld met gebruik van de term 'niveautrend.' Dat is niet van belang ontbloot, omdat het ook niet vanzelfsprekend is wat de betekenis of de functie van onderwijs is: dat hangt er maar net van af welke belangengroep of wetenschapper er over gaat. In the theorie van het menselijk kapitaal gaat het inderdaad om de kennis etcetera die het onderwijs levert. Maar een favoriet van sociologen is de screening hypothese, dat het onderwijs als maatschappelijke zeef functioneert en de diploma's werkegevers helpen om doeltreffend hun personeel aan te nemen: selectie dus, dan is het meer een kwestie van duidelijke verschillen in niveau tussen opleidingen. Een evident geldige theorie is dat ouders en studenten via het onderwijs goede of betere maatschappelijke posities proberen te bereiken, een diploma is een als het ware een positionele ticket voor de samenleving. Dat laatste punt is voor beleid van enorm belang, want het leidt tot voortdurende druk om meer uit het onderwijs te halen dan anderen doen: hoe langer de opleiding, hoe moeilijker de opleiding, hoe selectiever de opleiding, hoe duurder de opleiding, hoe internalionaler de opleiding, des te meer dat ticket voor de ouders en de student waard is. De samenleving die dat allemaal toelaat (de Amerikaanse bijvoorbeeld) of dat betaalt (de Europese) is stapelgek. Ook vanwege dit laatste mechanisme is het een prestatie van belang geweest om de duur van het universitair onderwijs in Nederland te beperken, wat in een aantal stappen sinds 1980 is gebeurd.


caveat 5.

Het is vaak nog wel te doen om examenopgaven uit een ver verleden te vinden. Daaruit is dan door de vakleerkracht wel op te maken wat leerlingen moeten kennen en kunnen om dergelijke opgaven goed te maken. Maar dat levert op zich nog geen bevredigend antwoord op over het eindniveau van het betreffende onderwijs, allen over wat de best mogelijke prestaties van de kandidaten waren. Maar wat is de modale examenprestatie geweest? Wat was er nodig om een voldoende te halen?

Een eerste benadering zou kunnen zijn dat 55% van de van de vragen volledig goed, de overige volledig fout, een juist voldoende cijfer oplevert. Ik zou graag empirische gegevens hebben die het mogelijk maken om te beoordelen in hoeverre deze eenvoudige benadering opgaat. Ik zou, om te beginnen, eens kunnen kijken naar de hedendaagse eindexamens. Deze hebben een uitvoerige puntentelling die gekoppeld is aan strakke antwoordmodellen. Het zou me niet verbazen wanneer de eenvoudige benadering dichtbij de werkelijke aftestgrens ligt.

Waarom zou mij dat niet verbazen: de moeilijkheid van examenvragen wordt natuurlijk zo gekozen dat niet iedereen alles god maakt, of meer dan de helft alles fout. In psychometrisch geaarde literatuur is wel de aanbeveling te vinden dat de p=waarde van keuzevragen ergens rond de .7 zou moeten liggen voor een 'optimaal onderscheidend vermogen'. De psychometricus interpreteert dat onderscheidend vermogen vooral als het vermogen om verschillen tussen kandidaten te detecteren. Een meer verantwoorde interpretatie zou zijn dat het gaat om het vermogen van een examen om te onderscheiden tussen wat redelijkerwijs een onvoldoende prestatie is, en wat een voldoende prestatie. Kortom, een technische overweging bij de ontwerpers van examens en hun deeltoetsen leidt tot zoiets als 60% van de vragen (of van de te verdienen punten) is een juist voldoende niveau. Dat leerkrachten dat wel eens omkeren, en zeggen dat een voldoende niveau vanzelfsprekend ongeveer 6 van de 10 vragen goed is, is een andere zaak. Zij abstraheren ten onrechte van de moeilijkheid van de gestelde vragen. Deze opvatting kan dus tot ongelukken leiden wanneer de leerkracht zich niet meer realiseert dat gestelde vragen door de bank genomen te moeilijk, respectievelijk te makkelijk kunnen zijn om deze regel van 60% te hanteren. Dan halsstarrig vasthouden aan zo'n pseudo-absolute norm is niet geweldig productief. Vandaar dat de Cevo, die in Nederland toeziet op en verantwoordelijk is voor de eindexamens in het voortgezet onderwijs, examenuitslagen corrigeert wanneer deze een te grote uitslag vertonen. (zie Melis Melissen, in Examens, Tijdschrift voor de Toetspraktijk, 2006 meen ik: deze medewerker van het Cevo legt uit hoe deze procedure in zijn werk gaat.).




Nederland


Kees de Glopper (2008). Barbertje moet hangen. Bijna iedereen lijkt van mening dat het onderwijsniveau is gedaald. Die mening wordt echter niet gestaafd door betrouwbaar onderzoek. Didaktief, mei, 4-6. Het veel uitgebreidere volledige artikel is vrij beschikbaar op de didaktief-website: pdf


Commissie Dijsselbloem (2008). Tijd voor onderwijs. Eindrapport. Parlementair onderzoek onderwijsvernieuwingen. kamerstuk 31007 005 en 006 pdf

Lex Borghans, Rolf van der Velden, Charlotte Büchner, Johan Coenen en Christoph Meng (2008). Het meten van onderwijskwaliteit en de effecten van recente onderwijsvernieuwingen Deelonderzoek uitgevoerd door Researchcentrum voor Onderwijs en Arbeidsmarkt (ROA). Parlementair onderzoek onderwijsvernieuwingen, Commissie Dijsselbloem. kamerstuk 31007 009. pdf.


Nederland basisonderwijs


Frank van der Schoot (2008). Onderwijs op peil? Een samenvattend overzicht van 20 jaar PPON. Arnhem: Cito. pdf

COOL5-18 Cohort onderzoek onderwijsloopbanen onder leerlingen van 5 tot 18 jaar. NWO. html

http://www.cool5-18.nl/



Gerard Alberts & Bert Zwaneveld (2001). Alle dagen eindexamen. Interview Henk Schuring, vertrekkend wiskundeman bij het CITO. NAW 5/2 nr. 3 262-265. pdf




W. J. Pelgrum Th. J. H. M. Eggen & Tj. Plomp (1983). Tweede Wiskunde Project: analyses van uitkomsten : leerstofaanbod en resultaten. TH Twente afd Toegepaste Onderwijskunde.

Oort, Dr A. H. (1928). — Proeven over verstandelijke ontwikkeling op Leidsche scholen. — Leiden: Van Doesburg — Tweede druk aangevuld met nieuwe proeven en proeven in het Nederlandsche leger.

H. Scholte (1919 8e). Hoeveel en waarom? Supplement voor hen, die zich voorbereiden voor de toelating op hoogere burgerschool of gymnasium. J. B. Wolters. [Voor een citaat uit het voorwoord (toelatingseisen verschillen van school tot school), en een complete paragraaf uit het boekje, zie hier




Nederland voortgezet onderwijs


H. Kuyper en M. P. C. van der Werf (2007). De resultaten van VOCL '89, VOCL '93 en VOCL '99: Vergelijkende analyses van prestaties en rendement. Groningen: Gion. NWO projectnummer 411-20-101. pdf

Onderwijsraad (2006). Versteviging van kennis in het onderwijs. Verkenning.

Hans Goosen (). Een historisch overzicht en de opzet van de bundel.

Cevo (2006). Het niveau van de centrale examens in vwo en havo. http://www.stilus.nl/examen/x-0048.pdf

Mandemakers, Kees Mandemakers (1996). HBS en gymnasium. Ontwikkeling, structuur, sociale achtergrond en schoolprestaties, Nederland ca. 1800-1968. Amsterdam: Stichting beheer IISG 1996.

Wim Groen (2003). Vier decennia wiskundeonderwijs. NAW, 304. pdf

Van den Bergh, H., Rohde, E., en Zwarts, M. (2003). Is het ene examen het andere? Over de stabiliteit van schoolonderzoek en centraal examen. Pedagogische Studiën, 80, 176-191.

Marloes de Lange en Jaap Dronkers (2006). Hoe gelijkwaardig blijft het eindexamen tussen scholen? Discrepanties tussen de cijfers voor het schoolonderzoek en het centraal examen in het voortgezet onderwijs tussen 1998 en 2005 pdf

Jan Bouwens, over het niveau van de eindexamenkandidaten Latijn na de invoering van de tweede fase, en de correcties van het Cevo op de eindexamenresultaten volgens een nieuwe systematiek. hier [site BON]

Fred Goffree, Martinus van Hoorn en Bert Zwaneveld (Red.) (2000). Honderd jaar wiskundeonderwijs. Een jubileumboek. Leusden: Nederlandse Vereniging van Wiskundeleraren. [Met meerdere bijdragen die vergelijkingen trekken van zwaarte en niveau, maar ook van doelen en idealen: er is wel wat veranderd in het onderwijs]

D. J. Kruijtbosch (1936). Schriftelijke opgaven van het eindexamen der Hogere Burgerscholen-B met vijfjarige cursus. Wolters. Tiende druk.

Wiegersma, S. Wiegersma & M. Groen (1968). Resultaten van wiskundeonderwijs. Een verslag van een onderzoek door het Nederlands Instituut voor Praeventieve Geneeskunde TNO uitgevoerd in het kader van het International Educational Achievement Project. Wolters-Noordhoff. 

Kenneth J. Travers and Ian Westbury (1989). The IEA study of mathematics I: analysis of mathematics curricula. International Studies in Educational Achievement. Oxford: Pergamon.

Karsemeijer, J. Karsemeijer & G. Kazemier (1938/1968). Nederlands na 1600. Proza en poëzie ter lezing en verklaring voor leerlingen der hoogste klassen van V.W.O. en H.A.V.O. Wolters-Noordhoff.

B. W. Vriezen (1950). Wiskunde H.B.S.-B. Twintig mondelinge examens. Thieme.

Alewijn Visser (1954). Latijnse school en gymnasium te Alkmaar. Gedenkboek ter gelegenheid van het vijftigjarig bestaan van het Murmellius-gymnasium 1381-1904-1954. Alkmaar: Het Curatorium van het Murmellius-Gymnasium.



A. J. van Breen (1922). Vraagstukken van het examen middelbaar wiskunde KI. P. Noordhoff. Bezorgd door P. Wijdenes. Vierde druk.



H. G. A. Verkaart, P. Wijdenes & F. Schuh (1919). Mondelinge examens wiskunde LO, KI en KV. P. Noordhoff.



Birgit Donker (19-5-1994). Niet makkelijker maar anders. Zijn de eindexamens tegenwoordig makkelijker? Volgens het instituut voor toetsontwikkeling Cito zijn ze vooral anders. Ook verschilt het niveau van jaar tot jaar. Een nieuw ijkingssysteem moet dit verhelpen. NRC Handelsblad, p. 7 abstract



Nederland hoger onderwijs




Beekman, E. H. M. Beekman (1939?). Wiskundige opgaven v.h. propaedeutisch examen aan de T.H. (voorzien van antwoorden). De Centrale Commissie voor Studiebelangen. - 8e druk, 240 + 54 (antwoorden) blz. ingenaaid. slordig exemplaar



Verkaart, H. G. A. Verkaart (1929). Gids voor het examen wiskunde L.O. Noordhoff.


Internationale vergelijkingen


Pisa, etcetera.


Joachim Wuttke (2006). Fehler, Verzerrungen, Unsicherheiten in der PISA-Auswertung In: Thomas Jahnke, Wolfram Meyerhöfer: PISA & Co - Kritik eines Programms. Franzbecker Verlag, Hildesheim 2006, S. 101-154. http://www.math.uni-potsdam.de/prof/o_didaktik/pisa_debatte/Joachim%20Wuttke%20Fehler,%20Verzerrungen%20PISA.pdf [gebroken link? 1-2009]

Graham A. Jones (2005). What do studies like PISA mean to the mathematics education community? In H. L. Chick and J. L. Vincent: Proceedings of the 29th Conference of the International Group for the Psychology of Mathematics Education, Vol. 1, pp. 71-74. Melbourne: PME. pdf [pdf contains also other papers in this panel discussion, i.e. pp. 75-90.]

Antoine Bodin (2005). What does PISA really assess? What it doesn't? A French view. Joint Finnish-French Conference Teaching mathematics: beyond the PISA survey Paris 6 - 8 octobre 2005. pdf

Antoine Bodin (2006). Les mathématiques face aux évaluations nationales et internationales. pdf


Verenigde Staten


Peter Kloosterman (2010). Mathematics skills of 17-year-olds in the United States: 1978 to 2004. Journal for Research in Mathematics Education., 41, 20-51. research summary


Engeland




abstract




Paul Newton, Jo-Anne Baird, Harvey Goldstein, Helen Patrick and Peter Tymms (Eds.) (2010). Techniques for monitoring the comparability of examination standards. Ofqual. all chapters online



Flynn effect: we worden collectief intelligenter, waarom is dat?


James R. Flynn ontdekte dat in alle landen waarvoor over meerdere generaties resultaten op intellentietests bekend zijn, deze een aanzienlijke toename over generaties laten zien. Het verschijnsel is het Flynn-effect genoemd, en het heeft veel aandacht getrokken omdat er geen rechtlijnige verklaringen voor zijn gevonden. Van alles en nog wat zal er aan bijdragen, zoals betere voeding, meer onderwijs, een hoger tempo van leven, meer informatie die voor iedereen beschikbaar is. Maar ook alles tesamen levert geen sluitende verklaring op. Het fenomeen is dus een goede testcase voor methoden gericht op het verklaren van niveautrends, of het vinden van niveautrends.




Trahan, Lisa H.; Stuebing, Karla K.; Fletcher, Jack M.; Hiscock, Merrill (2014). The Flynn effect: A meta-analysis. Psychological Bulletin, Vol 140(5), Sep 2014, 1332-1360. abstract


James R. Flynn (2012). Are We Getting Smarter? Rising IQ in the Twenty-First Century. Cambridge University Press. isbn 9781107609174

James R. Flynn (2007/2009). What Is Intelligence? Beyond the Flynn Effect. Cambridge University Press. Expanded paperback edition

James R. Flynn & Clancy Blair (n.d.). The history of intelligence. New spectacles for developmental psychology. here p class='lit'> Jeremy E. C. Genovese (2002). Cognitive skills values by educators: Historic content analysis of testing in Ohio. Journal of Educational Research, 96, 101-114.



Richard E. Nisbett, Joshua Aronson, Clancy Blair, William Dickens, James Flynn, Diane Halpern & Eric Turkheimer (2012). Intelligence: New findings and theoretical developments. American Psychologist. pdf



Stephen Curtis (). The leaving certificate in New South Wales from 1939 to 1962. pdf