Doorrekeningen examen Van Bijsterveldt 2008

Ben Wilbrink

In de Tweede Kamer: donderdag 22 januari

http://static.ikregeer.nl/pdf/KST134032.pdf

http://static.ikregeer.nl/pdf/KST128068.pdf

http://static.ikregeer.nl/pdf/KST123512.pdf

Vooraf: Inspectie/Elsevier cijfers eindexamens 2007

Elsevier publiceert in januari 2009 een lijstje met scholen met de grootste, respectievelijk kleinste, verschillen tussen gemiddelden voor schoolonderzoek en centraal schriftelijk (figuur, klik deze voor een leesbare tabel). Bij VMBO-theoretisch zijn er wat grotere verschillen, en dat is ook voor HAVO en VWO zo. Nou ja, het gaat over ontzettend veel scholen, en daar iedere keer de vijf scholen met het grootste verschil. Vallen we daar dan van achterover? Ik niet. Maar het is wel interessant te signaleren, zoals Elsevier ook doet, dat er een samenhang lijkt te zijn met het percentage APC-leerlingen (leerlingen die wonen op een postcode waar relatief veel achterstandsproblemen zijn). De betekenis daarvan is volgens Elsevier dat deze leerlingen in het schoolonderzoek wat cadeau krijgen. Waarschijnlijker is dat deze leerlingen het in het centraal schriftelijk relatief relatief moeilijker hebben door oneerlijkheid in de vragen (de taal, de cultuur, in contextvragen waar heel erg veel taal en cultuur in zit, ook als ze niet over taal en cultuur, maar bijvoorbeeld wiskunde gaan). Afijn, dat hoeft hier niet verder uitgezocht.

Let ook op de kleinste verschillen: die zijn in het VWO nul. Dat lijkt me een heel betekenisvol gegeven. Het duidt erop dat het fenomeen in ieder geval voor een deel niets heeft te maken met cadeautjes geven aan eigen leerlingen: dan zouden er immers 'eerlijke' scholen moeten zijn waarin de verschillen tussen schoolonderzoek en centraal examen een toevalsverdeling rond nul hebben, en zouden er scholen moeten zijn met bijvoorbeeld -0,5, zoals in het VMBO het geval is. Niet dus.

Nog een interessante waarneming die aan de lijstjes van Elsevier is te doen: kijk eens naar de gemiddelden voor het centraal eindexamen. De verschillen, althans voor deze kop- en staartlopers, worden bijna helemaal bepaald door de gemiddelden voor het centraal schriftelijk. Dat is lastig te interpreteren. Het wijst er om te beginnen op dat de cijfers voor het schoolonderzoek helemaal niet hoger zijn dan elders, althans niet substantieel hoger. De scholen met het grootste verschil tussen schoolonderzoek en centraal schriftelijk zijn scholen waar gemiddeld lage cijfers op het centraal schriftelijk vallen. Dat laatste is waarschijnlijk om een scala van redenen zo, maar daar horen we niets over. Het heeft in ieder geval niet evident te maken met pogingen om via cadeau gegeven hogere cijfers eigen leerlingen die zich opgeven voor een numerus-fixusstudie een streepje voor te geven (dat moet ook eenvoudig door de Inspectie te signaleren zijn, want dan gaat het niet om zesjes, maar om cijfers rond de acht). Elsevier levert hier dus wel een interessante tabel, jammer dat ze niet een aantal stakeholders heeft gevraagd om hier eens met elkaar over van gedachten te wisselen.

Arthur van Leeuwen en Ruud Deijkers (8 januari 2009). Beste scholen 2009: opnieuw te hoge cijfers bij examens. Elsevier. html. Op deze webpagina ook links naar een aantal pdf-documenten van Elsevier, o.a. een overzicht van scholen met de grootste en de kleinste verschillen tussen eindexamencijfers (schoolonderzoek en centraal schriftelijk) pdf.

nog invoeren: Brief staatssecretaris over het Cito-onderzoek naar de mogelijkheden om het centraal examen in het voortgezet onderwijs anders te wegen http://www.ikregeer.nl/document/KST123512

Bij de doorrekening van specifieke situaties van studenten die zich voorbereiden op een 'examen Van Bijsterveldt' maak ik gebruik van een technologie die goeddeels publiek beschikbaar is op deze website: het model Strategic Preparation for Achievement Tests (SPA-model). Het model bestaat uit een opklimmende serie modulen met bijbehorend applets die in de browser zijn tte gebruiken om opgegeven toetssituaties door te rekenen.

25 oktober 2008. Staatssecretaris Van Bijsterveldt heeft laten weten (hier) dat zij de eindexamenseisen gaat aanscherpen om zo een betere aansluiting met het hoger onderwijs te krijgen, waarvan de onderdelen zijn: 1) cijfers van schoolonderzoek en centraal schriftelijk kunnen elkaar niet meer compenseren, 2) om te slagen voor het centraal schriftelijk worden de eisen voor enkele kernvakken aangescherpt. Hiermee dreigt het wantrouwen in de media geventileerd over mogelijk gesjoemel van bepaalde scholen met hun schoolonderzoeken, uit te lopen op wet- en regelgeving die bepaald tot aanzienlijke schade zal leiden. Die schade is bij benadering kwantificeerbaar, zoals ik eerder in 1980 heb laten zien voor de effecten van een ontwerp-wetsvoorstel voor selectie bij numerusfixus-studierichtingen (html). Het probleem zit hem als vanouds in het misplaatste idee dat het cijfer voor een enkel examenvak een betrouwbaar gegeven zou zijn, zodat je vanzelfsprekend van iedereen mag eisen dat het vak Nederlands tenminste een '5' moet zijn om te kunnen slagen, en idem dito ook voor nog een aantal andere vakken. Welnu, het enige examenresultaat waarvan verdedigbaar is dat het een redelijk betrouwbaar beeld geeft van het kennen en kunnen van de kandidaat, is het totaal behaalde resultaat, bijvoorbeeld het gesommeerde cijfer, het gemiddelde cijfer of een gewogen gemiddelde als juridische definitie. De staatssecretaris wil de bijl zetten aan de wortel van dat enige redelijk betrouwbare eindexamenresultaat waarop zak-slaagbeslissingen zijn te baseren. Van Bijsterveldt wil de leerlingen uitdagen en verzekeren van een goede aansluiting op het vervolgonderwijs (zie het persbericht); ik heb met zo'n beleidsdoel geen moeite (behalve de suggestie die erin ligt dat het nu een zootje zou zijn), en ben ook een fervent pleitbezorger van het stellen van stevige eisen aan leerlingen, maar knoeien met het oprichten van hordes voor afzonderlijke vakken werkt contra-productief en kan leerlingen vooral meer angst voor hun examen aanjagen.

Voor het doorrekenen van te verwachten effecten van veranderingen in examenregelingen is een tentamenmodel nodig, zoals in 1970 door Van Naerssen voorgesteld (html), en door mij verder is uitgewerkt en in rekenmodules beschikbaar is gemaakt hier.

Startdatum van deze pagina: zondag 26 oktober.

Wat ik wil doen is, om te beginnen, voor een aantal eenvoudige situaties doorrekenen wat de kansen voor een individuele leerling zijn om te slagen voor een bepaald vak in dit eindexamen.

De crux zit hem in de beperkte omvang van de toets voor dat vak. Het aantal op het eindexamen te beantwoorden vragen is maar klein, en met deze kleine steekproeven is het zelfs voor goed voorbereide leerlingen al snel tamelijk riskant als er per se een '6' voor dat vak moet worden behaald. Het probleem is niet alleen, zoals in de openingsparagraaf al aangegeven, dat beleidsmakers geen flauwe notie hebben van hoe groot de risico's in feite (=aantoonbaar) zijn, maar eigenlijk veel belangrijker is dat leerlingen die flauwe notie ook niet hebben, en zich mogelijk veel te optimistisch op dit Van Bijsterveldt-examen gaan voorbereiden.

Het is een fluitje van een cent om de kans om te slagen, of het complement daarvan: de kans om te zakken, voor die ene leerling en dat ene vak te berekenen. Zelfs vwo-ers zouden kunnen weten dat je daar om te beginnen een binomiaalmodel voor kunt gebruiken, gewoon een statistisch model voor het trekken van vragen uit een domein van vragen, waarbij iedere vraag ofwel een geweten vraag is, of een niet geweten vraag. NB. Ik spreek hier meteen af dat er op keuzevragen niet wordt geraden.

Wat voor een enkel vak en een enkele leerling valt te brekenen, is meteen te veralgemeniseren naar de hele groep eindexamenkandidaten, en alle vakken voor het examen. Daar zitten niet zulke geweldige problemen, al is een heel verraderlijk fenomeen toch het door Van Bijsterveldt aangescherpte karakter van hordenloop (waarbij de horden niet om mogen vallen, of maar een horde mag vallen, etcetera): de de slaagkans voor het examen in zijn geheel nadert dan al snel het product van de slaagkansen voor de afzonderlijke vakken. Reken dat maar eens uit wanneer de kans voor een enkel vak te slagen 0,95 is, wat op het eerste gezicht nog een aanvaardbaar risico lijkt in te houden .... . Neem er een tweede vak bij, en alleen op die twee vakken bezien is de slaagkans voor het examen nauwijls hoger dan 0,9! Etcetera.

Zolang deze eenvoudige berekeningen hier nog niet beschikbaar zijn, verwijs ik naar de eerste modulen van het SPA-project (zie menu bovenaan deze pagina), waarin voor een enkel vak de slaagkansen zijn door te rekenen, voor verschillende omvang van het aantal vragen in de toets, verschillende zak-slaaggrenzen, verschillende inzichten die de leerling heeft over de eigen beheersing van deze stof, etectera.

wiskunde eindexamen vwo

Voor informatie over het eindexamen wiskunde: http://www.eindexamen.nl/9336000/1/j9vvhinitagymgn_m7mvh57glijc7x5/vg41h1hf76wy.

18 juni 2008 opgaven wiskunde B1, vwo pdf. "Dit examen bestaat uit 18 vragen. Voor dit examen zijn maximaal 84 punten te behalen."

De puntenverdeling is als volgt:

1. 4 punten
2. 5
3. 6
4. 5
5. 5
6. 6
7. 4
8. 4
9. 4
10. 3
11. 4
12. 6
13. 6
14. 3
15. 5
16. 4
17. 6
18. 7

Deze vragen zijn niet altijd onafhankelijk van elkaar, bijvoorbeeld vraag 16 en 17 horen bij elkaar, gaan over een uitvoerig beschreven file-situatie.

Binnen iedere vraag zijn de te verdienen punten evenmin onafhankelijk, omdat het mogelijk is met een enkele onachtzaamheid alle punten te verspelen.

Voor het modelleren van deze toets zijn die afhankelijkheden lastig.

aannamen

Om snel een analyse te kunnen opzetten, is het handig om de 84 te verdienen punten te beschouwen als 84 afzonderlijke vragen waarop telkens een punt valt te verdienen. Met andere woorden: beschouw deze wiskundetoets als een toets bestaande uit 84 vragen.

Neem aan, tegen beter weten in, dat de vragen onafhankelijk van elkaar zijn. Dat betekent dat het antwoord op een vraag niet afhankelijk is van het op een andere vraag gegeven antwoord, etcetera. Dat deze aanname in flagrante strijd is met de werkelijkheid nemen we voorlopig voor lief, maar het betekent wel dat de toevalligheden voor de 'echte' toets grilliger zijn, en dus ook een bredere spreiding hebben, dan die voor de toets onder de aanname van onafhankelijkheid over 84 vragen.

Neem aan dat de vragen in de toets wiskunde er voor de individuele kandidaat uitzien alsof ze willekeurig zijn getrokken uit een heel grote verzameling van mogelijke vragen over de opgegeven wiskundestof.

Neem aan dat er zoiets is als 'beheersing van deze wiskundestof', en wel geoperationaliseerd als het percentage vragen uit die heel grote (denkbare) verzameling dat deze kandidaat goed zou beantwoorden, mits daartoe in de gelegenheid gesteld. Zeker, dit is een nogal metafysische aanname, maar dat hoeft helemaal geen belemmering te zijn omdat zal blijken dat deze aanname in de modelanalyses alleen als een soort katalysator functioneert. Aan het eind van de rit gooien we de aanname weer weg.

Wie meent dat de aanname van 84 onafhankelijke vragen voor deze wiskundetoets te mooi is om waar te zijn, kan op subjectieve gronden gewoon dat aantal verminderen, zeg tot 50 of 60 vragen, en de analyse doen (of herhalen) op dat aantal toetsvragen.

kandidaat met beheersing 0.6 (60%)

Gebruik nu applet 1 om te zien wat de kansen zijn voor een kandidaat met een beheersing van 0,6.

De afbeelding laat de resultaten zien van een simulatie van 100.000 toetsen. Daar is niets geheimzinnigs aan: voor iedere te simuleren toets wordt voor iedere vraag gesimuleerd of het antwoord goed is of niet door een willekeurig getrokken getal tussen 0 en 1 te vergelijken met de 0,6 van de gegeven beheersing: als het willekeurige getal kleiner is, dan is dit een vraag met een goed antwoord. De statistische verdeling die zo ontstaat is een binomiaalverdeling met parameter 0,6 en 100.000 waarnemingen.

Stel dat het voor deze kandidaat van belang is om tenminste 42 van de 84 vragen goed te hebben om te slagen voor niet alleen deze toets maar ook het examen in zijn geheel (de Van Bijsterveldt-variant), dan is de kans om te zakken 0,025, ofwel 2,5%.

Natuurlijk, de kandidaat met beheersing 0,5 heeft een zakkans van 50% als de grens 42 punten is (in feite 55%, met voordeel van de twijfel als het ware; als de grens 43 is: 45%). Enzovoort. Het applet maakt het mogelijk tal van varianten te simuleren.

Hier is het applet (dus niet een afbeelding ervan, maar het applet zelf), experimenteer er eens iets mee, begin met op de knop 'Go' te klikken:

Omdat JAVA nogal ingrijpend is veranderd (om veiligheidslekken te dichten), werken mijn oude applets niet meer onder de huidige versies van JAVA. Ik heb het applet hier dus verwijderd. [januari 2015]

kandidaat heeft 60% goed op een proefexamen

Gebruik nu applet 2 (klik op deze link, niet op bovenstaande afbeelding van het applet) om te zien wat de waarschijnlijke beheersing van de wiskundestof is voor iemand die bijvoorbeeld 60% van de vragen op een proeftoets van 84 goed heeft beantwoord.

Niemand weet van wie dan ook de 'ware' beheersing van de stof, ook de kandidaat zelf niet. Bij benadering valt er wel iets over de beheersing te zeggen, bijvoorbeeld op basis van een proefexamen. Veronderstel dat de proeftoets wiskunde eveneens 84 vragen heeft, en dat onze kandidaat er 50 goed heeft beantwoord (dicht in de buurt van die 60%), zodat zij zou kunnen denken: mijn beheersing moet 0,6 zijn (60%). Nou ja, het zal daar niet veel van afwijken. Hoeveel kan het afwijken? De afbeelding laat zien dat het veel kan afwijken, heel veel zelfs. Wie nog niet was geschrokken van de vrede spreding van mogelijke toetsscores bij een bekend veronderstelde beheersing, zal dat zeker doen bij deze kwantificering van de o(on)zekerheid over de eigen beheersing, gegeven een prestatie op een in alle opzichten met de examentoets vergelijkbare proeftoets.

De figuur laat niet een statistische verdeling zien, maar een aannemelijkheidsfunctie, of kortweg een aannemelijkheid. De functie is overigens nauw verwant, identiek aan of afgeleid van de statistische betaverdeling.

De techniek voor de simulatie is bepaald iets ingewikkelder dan bij de gegeven beheersing in de voorgaande paragraaf, maar laat zich wel kort schetsen zonder daarbij statistiek nodig te hebben. Dat is juist de charme van de simulatie: die maakt geen gebruik van statistische theorie; de mogelijkheid om een analytische aannemelijkheid te evalueren en te plotten doet dat wel. Het gaat wel een beetje met hulp van domme kracht: voor een aantal mogelijke waarden die de beheersing zou kunnen hebben, wordt een groot aantal bijbehorende toetsscores gesimuleerd, en daarvan wordt de proportie bepaald die gelijk is aan de proeftoetsscore. Op basis van die proporties wordt de aannemelijkheid geplot, met een vertaling van zijn maximum naar de waarde 1. Voor alle details verwijs ik naar het bij module 2 behorende hoofdstuk likelihood van het SPA-model.

kandidaat voorspelt nu de (verdeling voor de) examentoetsscore

Gebruik nu applet 3 (klik op deze link, niet op bovenstaande afbeelding van het applet) om te zien wat de voorspellende scoreverdeling voor de examentoets is voor iemand die bijvoorbeeld 60% van de vragen op een proeftoets van 84 goed heeft beantwoord. Dit applet geeft niet zonder meer ook de slaagkans, maar het verwachte nut ExpU. De nutsfunctie heeft waarde 1 voor scores groter of gelijk 42, en overigens nul. Dat betekent dat verwacht nut met deze functie van drempelnut eenvoudig gelijk is aan de slaagkans. Net iets beter dan 0,9, of 90%. Had u dat verwacht?

De techniek voor het simuleren van een voorspellende toetsscoreverdeling is simpel, gegeven dat een aannemelijkheid voor de beheersing beschikbaar is, dus gegeven dat de simulatie zoals met applet 2 beschikbaar is. In feite wordt die simulatie in applet 3 natuurlijk gewoon overgedaan, het ophalen van bestanden etcetera zou waanzinnig complex worden. Het simuleren bestaat dan uit het een groot aantal keren willekeurig trekken van een waarde uit de oppervlakte onder de aannemelijkheid, en op basis van de zo getrokken beheersing een toetsscore simuleren. That's all there is to it.

Voor de liefhebbers: de analytische statistische verdeling staat bekend als de betabinomiaalverdeling, ook wel de Polya-verdeling, of de negatief-hypergeometrische verdeling geheten.

Voor een enkele kandidaat, jazeker. Maar voor de subgroep van alle kandidaten met dezelfde proeftoetsscore is dus de voorspelling dat tien procent van deze groep kandidaten ondanks een score van 50 uit 84 op de proeftoets wiskunde, voor de examentoets wiskunde een score lager dan 42 gaat halen! Dat is ernstig. En dan hebben we het nog alleen over de toets wiskunde. Dan is er ook nog zoiets voor Engels, en Nederlands. En denk eraan dat deze analyses zijn gedaan onder vereenvoudigende vooronderstellingen die een rooskleuriger beeld geven dan de werkelijkheid rechtvaardigt.

Merk op dat deze analyse stilzwijgend uitgaat van de vooronderstelling dat deze kandidaat zakt voor het examen als het resultaat op de wiskundetoets beneden de 42 uitkomt. Er zijn tenminste twee situaties waarin deze vooronderstelling terecht kan zijn:

1. het is al bekend dat voor wiskunde een '5' nog juist doet slagen voor het examen, omdat de cijfers voor Engels en Nederlands al bekend zijn en beide voldoende, terwijl ook het CE in zijn geheel met een '5' voor wiskunde toch gemiddeld voldoende zal zijn. De score 42 levert dan, zeg, een 4,5+ op.
2. het is al bekend dat voor wiskunde tenminste een '6' moet worden behaald, omdat een van de vakken Nederlands of Engels al met een '5' is gehonoreerd (en de andere voldoende is). De score 42 staat dan voor een waardering 5,5+, af te ronden op examencijfer '6'

Geen van beide stilzwijgende vooronderstellingen zijn realistisch, want al veel eerder moet de kandidaat zien in te schatten of de kansen om voor het examen te zakken zo groot zijn, dat nog een paar weken/dagen/uren alles op alles moet worden gezet om de beheersing te verbeteren.

Het is waarschijnlijk nodig om de voorspelling twee keer te doen: een keer op de grens die nog net een '5' oplevert, en nog een keer op de grens die nog net een '6' oplevert. Het verschil tussen beide kansen, tenminste een '5' min tenminste een '6', is de kans om een '5' te scoren. Laten we zeggen dat voor een '6' een score van 42 goed nodig is, voor een '5' een score 36.

De kans om minder dan 36 vragen goed te scoren is 0,0124.

Het verschil is 0,0896 - 0,0124 = 0,0772 is de kans om een '5' te scoren.

wiskunde, Nederlands, Engels

Als het gemiddelde (in de definitie van de staatssecretaris) voldoende blijft, mag een van de drie vakken wiskunde, Nederlands of Engels met een '5' gehonoreerd zijn (op het centraal examen (CE)). Hoe riskant is dat voor kandidaten?

Voor wiskunde, verdergaand met het casus in de voorgaande paragraaf, is voor de betreffende kandidaat de kans een '5' voor wiskunde te scoren 0,08 (afgerond). De kans een onvoldoende te scoren is 0,01, dan is de kandidaat in alle mogelijke varianten gezakt voor het examen.

Veronderstel nu dat voor Nederlands en Engels de kans om een '5' te scoren eveneens 0,08 is.

De mogelijke 'winnende' combinaties zijn dan als volgt, veronderstellend dat een enkele vijf het gemiddelde voor het CE nog voldoende laat zijn:

1. alle drie vakken voldoende, de kans daarop is: 0,91 . 0,91 . 0,91 = 0,7536
2. een vak een vijf, de beide andere voldoende, dat kan dus op drie manieren: 3 ( 0,08 . 0,91 . 0,91 ) = 0,19875

Dan leert een eenvoudige berekening, omdat alle andere mogelijkheden tot direct zakken voor het examen leiden: 1 - 0,7536 - 0,19875, dat de kans om op deze drie vakken voor het examen te zakken 0,048 is, zeg maar 5%. [NB Hier zit een afwijking in die door het discrete karakter van de uitgangsaantallen is ontstaan. Een doorrekening op n=80 komt op 3,3% uit] Ofwel: een op de twintig tot dertig kandidaten met dezelfde voorspellende toetsscoreverdelingen zal voor het examen zakken. Let op: het casus is dat op de proeftoetsen voor deze vakken de score 50 uit 84 is geweest, terwijl voor een '6' tenminste een score van 42 nodig is. Ongeacht de resultaten van het schoolonderzoek. Ongeacht of kandidaten het schoolprogramma in de kortst mogelijk tijd (jaren) en met goede resultaten hebben afgelegd. Wil Van Bijsterveldt dit echt? Of heb ik ergens een foutje gemaakt? Natuurlijk, ook bij volledige compensatie van van alles en nog wat blijft het zo dat kandidaten een zeker risico om verschrikkelijke pecht te hebben, zelf zullen moeten dragen. Maar is wat Van Bijsterveldt, de Onderwijsraad, Jaap Dronkers, en BON willen redelijk (gezien de ervoor te betalen prijs)? Welk doel is ermee gediend? Want bedenk wel dat degenen die de prijs gaan betalen, door het lot worden aangewezen. Ik heb daar enige ervaring mee, en er zijn situaties waarin loten het kleinere kwaad kan zijn, maar zo'n situatie hebben we hier toch niet bij de hand.

NB. Het bovenstaande is vers van de pers, maandag 27 oktober uitgevoerd, ik houd een slagje om de arm voor de juistheid van de analyse zoals tot hier uitgevoerd, maar veel ruimte voor echt andere uitkomsten is er bepaald niet. De crux zit hem in het moeten vermenigvuldigen van conjunctieve slaagkansen voor de drie vakken wiskunde, Nederlands en Engels. Dat is een mokerslag.

Gevoeligheid van de aanname van de sterkte van de toets: doorrekening op 25 - 30 - 35 - 40 - 50 -55 - 60 - 65 - 70 - 75 - 80 vragen

Ik heb een reeks doorrekeningen gemaakt, voor aantal vragen in de toets van 20, 30, 40, 50, 60 en 70, telkens ook een proeftoets met even grote omvang. Verder dezelfde vooronderstellingen: 60% goed op die proeftoets, bij 50% goed een '6', bij 40% goed een '5'. De zakkansen, op dezelfde wijze berekend als hierboven onder de vooronderstelling van 84 vragen in de toets, zijn dan respectievelijk:

0,256 — 0,185 — 0,130 — 0,092 — 0,065 — 0,047 — 0,033.

zakkans op de vakken wiskunde, Nederlands en Engels, gegeven 60% goed op een proeftoets van dezelfde veronderstelde lengte als de examentoets voor dat vak

----------------------------------------------------------------
 n ref  p6+ ref p5+  p5  p6^3 3p5p6^2 zakkans
----------------------------------------------------------------
 20 10 .780  8 .921 .141 .475 .269   .256
 30 15 .813 12 .953 .140 .537 .278   .185
 40 20 .840 16 .971 .131 .593 .277   .130
 50 25 .862 20 .982 .120 .641 .267   .092
 60 30 .881 24 .989 .108 .684 .251   .065
 70 35 .896 28 .993 .097 .719 .234   .047
 80 40 .910 32 .996 .086 .754 .213   .033
----------------------------------------------------------------
n = aantal vragen in de toets = aantal vragen in proeftoets
aantal vragen goed in proeftoets is verondersteld: 0,6n
ref = grens tenminste voldoende, resp tenminste '5'
p6+ = kans op tenminste een '6'
p5+ = kans op tenminste een '5'
p5 = kans op precies een '5'
p6^3 = p6+ tot de 3e macht
3p5p6^2 = 3 (p5 . p6+ . p6+)
zakkans = kans te zakken op wiskunde, Nederlands en Engels = 1 - p6^3 - 3p5p6^2

Deze reeks leert dat de aanname over het aantal vragen in de toets heel kritisch is. De werkelijkheid ligt ergens tussen de letterlijk 18 vragen in de wiskundetoets, en de 84 punten die deze vragen waard zijn. De zakkans voor wiskunde, Engels en Nederlands heeft dan ook een enorm bereik van 0,25 tot 0,03. Neem toetslengte 50 als mogelijk representatief, dan is volgens deze specifieke modelberekening—andere berekeningen zijn mogelijk!—de kans om te zakken op de kernvakken wiskunde, Nederlands en Engels als op proeftoetsen voor deze vakken 30 uit 50 goed is gemaakt: 9%. Ofwel: ongeveer negen van de 100 kandidaten die een vergelijkbare proeftoetsprestatie leveren, zullen zakken. Goeddeels is dat voor de betrokkenen een loterij (als zij niet echt meer informatie hebben dan de score op de proeftoets oplevert), maar dat is voor examens met harde zak/slaaggrenzen altijd het geval (door Edgeworth, 1888, al goed uitgelegd). Dat neemt niet weg dat een eis van transparantie (A. D. de Groot, 1970, zie hier) is dat zo mogelijk dit soort willekeurigheid in examens zo klein mogelijk moet worden gehouden.

Ik zal nog een variant doorrekenen: die met als aanname 50 vragen in de toets, en het dubbele in de proeftoets. Dat laatste is nog helemaal niet zo'n gek idee. Het is namelijk mogelijk om de informatie die de leerling over het eigen presteren in het laatste jaar heeft opgedaan, ook in termen van een proeftoetsresultaat te vertalen. Een beetje Bayesiaanse benadering, voor wie dat wat zegt. De voorspellende toetsscoreverdeling geeft dan voor alleen wiskunde aan dat de kans 0,898 is om tenminste een '6' te scoren, 0,992 om tenminste een '5' te scoren, dus 0,094 om precies een '5' te scoren. Dan: 1 - 0,724 - 0,227 = 0,049. Een verdubbeling van de beschikbare informatie over de eigen stofbeheersing resulteert in een veel betere voorspelling: de zakkans is nu 5%, in plaats van de eerdere 9%.

CE op zich gemiddeld voldoende

Het effect van de maatregel dat het CE op zich gemiddeld voldoende moet zijn, is dan eenvoudig door te rekenen. Daar zijn natuurlijk weer geschikte aannamen voor nodig, als u denkt dat andere aannamen beter zijn dan rekent u alles door onder uw eigen aannamen.

Het Cito heeft deze variant toegepast op historische examengegevens voor het vwo. Het percentage gezakten stijgt dan van 6,4 naar 12,6%. Het Cito geeft geen details voor deze berekening, er valt dus niets aan na te rekenen of te variëren. Over welke vakken dat allemaal gaat is mij onbekend. Maar let op: waarschijnlijk is op basis van deze berekeningen een publicatie in Pedagogische Studiën verschenen, met een klassieke beschouwing die uitgaat van de fictie van examenkandidaten die terecht of ten onrechte zijn geslaagd danwel gezakt:

P. van Rijn, A. Béguin & H. Verstralen (2009). Zakken of slagen? De nauwkeurigheid van examenuitslagen in het voortgezet onderwijs. Pedagische Studiën, 86, 185-195. abstract .doc

• Als maat voor de 'nauwkeurigheid' van de examenuitslagen gebruiken de auteurs de fictie dat zak-slaagbeslissingen 'terecht' of 'ten onrechte' kunnen zijn. Zij wijden er een korte beschouwing aan, waarin ze dicht komen bij de constatering dat het natuurlijk een onzinnig idee is omdat examenkandidaten met een 'ware' beheersing precies op de grens zakken-slagen een kans hebben van 50% om te zakken. Wat is daar 'terecht' aan? Of juist 'niet terecht'? Laat de flauwekul dus achterwege, en analyseer in termen van alleen die slaagkansen: die worden beter naarmate de 'ware beheersing' hoger is, dus ook naarmate de voorbereiding op het examen beter is. Ik maak er deze wat venijnige opmerkingen over omdat al sinds het begin van de mathematische statistiek perfect duidelijk is dat een discours over 'terecht' of 'onterecht' zakken of slagen onzinnig is (Edgeworth, eind 19e eeuw). De analyse die ik zelf geef op deze webpagina is dan ook bepaald anders.

Peter van Rijn (2009). Mogelijke effecten van verschillende uitslagregels. Wat betekent een andere weging van de prestaties op het centraal eindexamen. Examens. Tijdschrift voor de Toetspraktijk, 6 #3, 5-8. pdf

Neem aan dat er zowel in het SE als in het CE acht examenvakken zijn, en dat deze vakken even zwaar meewegen in het totaalresultaat. Maak gebruik van de voorgaande simulaties door dat gesimuleerde vak wiskunde als model te nemen voor alle vakken; neem aan dat de sterkte van de wiskundetoets 50 vragen is. Neem aan dat de kandidaat waarvoor we de slaagkansen gaan bepalen, voor alle vakken een proeftoets heeft afgelegd die vergelijkbaar is met de examentoets, dus ook 50 vragen sterk is, en daarop mirabele dictu overal ca 27 goed heeft gescoord.

NB: omdat in feite het examen een gestratificeerde trekking van vragen is uit de diverse vakken, is de daaruit volgende complicatie te vermijden door aan te nemen dat de student over alle vakken over dezelfde proeftoets-informatie beschikt: waar de volgende examenvraag ook uit getrokken wordt, de verwachting dat de vraag goed kan worden beantwoord is dan altijd dezelfde.

De voorspellende toetsscoreverdeling die we zoeken is die voor een toets van 800, respectievelijk 400 vragen, met als zak-slaaggrens respectievelijk 400 en 200 goed. De aannemelijkheid voor de beheersing van de gezamenlijke stof is gelijkwaardig aan respectievelijk 430 goed uit 800 proeftoetsvragen, en 215 goed uit 400 proeftoetsvragen. Deze aantallen goed zijn zo gekozen dat er een interessante kans om te zakken is (bij 200 uit 400 zijn slaagkansen altijd rond 50%, wat verder boven 215 dan is het al gauw zo dat de kandidaat vrijwel zeker is te slagen). Wie daar nog allerlei verfijningen op aan wil brengen, kan dat vrijelijk doen, maar het gaat hier om een goede eerste indruk van het effect van opknippen van de exameneis van een minimum totaalscore naar een minimum deeltotaalscore.

Zowel een simulatie op 1000 gevallen (groen ingevuld), als de analytische voorspellende examenscoreverdeling (zwarte lijnplot) zijn hier geplot. De zakkans voor deze kandidaat is 0.064, ofwel 6,4%, vergelijkbaar met het percentage gezakten voor de totale groep zoals in het Cito-rapport gegeven.

Dezelfde analyse, maar nu alleen voor het CE, komt uit op een zakkans van 0,137, ofwel bijna 14%. In feite is de zakkans voor het examen in zijn geheel nog een fractie groter, omdat het SE het totaal nog naar beneden kan trekken beneden de huidige aftestgrens. De grootte van het effect is vergelijkbaar met de post-hoc analyse van het Cito op de totale groep studenten, waarvan onder de huidige regeling 6,4% zou zijn gezakt, onder de nieuwe regeling 12,6%.

De horizontale schaal van de laatste figuur is een factor twee groter dan die van de voorlaatste, om beide beter vergelijkbaar te maken. Het blijft met dit soort zaken evenwel behelpen, want daarmee zijn de figuren in andere opzichten juist weer minder goed vergelijkbaar. De applet maakt de ingreep in de horizontale schaal mogelijk, maar met de beperking dat deze tenminste 1 pixel per 'vraag' is. Daarmee komt een examen van 800 vragen net niet uit binnen de voor het applet gedeclareerde ruimte. Enzovoort enzoverder.

Voor de hele groep examenkandidaten

Ik moet hier nog even goed over nadenken. Het probleem met zo'n groepsanalyse is een heel andere dan die waarvoor het Cito zich stelde: de strategische situatie voor de groep kandidaten voorafgaand aan de examens is een bijzondere optelsom van de strategische positie van ieder van die kandidaten afzonderlijk, terwijl voor een post-hoc analyse zoals door Het Cito uitgevoerd het volstaat eenvoudig alle cijfers te sommeren en de resultaten te vergelijken met huidige, reps. voorgestelde aftestgrenzen.

Het probleem heeft mogelijk ook te maken met gestratificeerd trekken van vragen, een verfijning die op de analyse in de voorgaande paragraaf aangebracht zou kunnen worden, en voor de groepsanalyse mogelijk noodzakelijk is. Voor het gestratificeerd trekken van toetsvragen is in module 1 van het SPA-model wel een voorziening getroffen, maar mogelijk nog niet in de erop volgende modulen doorgevoerd. De technische problemen daarbij zijn in ieder geval als volgt: het casus van gestratificeerd trekken uit 8 of 9, laat staan uit 18 subdomeinen is met deze programmatuur niet (zonder meer) mogelijk; de analytische situaties is lastig omdat de som van twee of meer biomiale verdelingen zelf geen binomiale verdeling is; daar staat tegenover dat het simuleren van gestratificeerd trekken van examenvragen tamelijk probleemloos is uit te voeren.

Een eerste gedachte, in statistische termen, is de volgende. De verdeling van eindexamencijfers (of punten, voor wie daar makkelijker in denkt; strikt genomen gata het natuurlijk om de ruwe scores) kan worden benaderd met een betabinomiaalverdeling. Als een goede benadering kan worden gevonden, geven de parameters van deze betabinomiaal de betaverdeling van vaardigheden waaruit de waargenomen frequentieverdeling zou kunnen zijn ontstaan. Je zou daar nog wat ingewikkelder over kunnen redeneren: er zijn meerdere betaverdelingen denkbaar, sommige overlappen 'beter' met de gegeven frequentieverdeling dan andere, er is dus een aannemelijkheid over die verschillende betaverdelingen te construeren. Welnu, de meest aannemelijke betaverdeling is die met dezelde parameters a en b als van de best op de frequentieverdeling passende betabinomiaalverdeling. Stel nu die betaverdeling is voor het examen in huidige stijl gevonden, de vaardigheden van de landelijke groep geëxamineerden zijn dan bekend, voor de combinatie van SE en CE vakken. Wat kunnen we dan zeggen over de vaardigheden voor alleen de CE-vakken? Is dat dezelfde verdeling, of is het dezelfde verdeling maar mogelijk een fractie verschoven naar een lager niveau, of is het een verdeling die een iets grotere spreiding heeft dan de totale verdeling? Het valt uit te proberen met het applet 'De predictor.' Een verrassende eerste poging laat zien dat de eis van voldoende voor het CE maar een heel kleine vergroting van de zakkans oplevert wanneer dezelfde verdeling voor de vaardigheid wordt verondersteld. Dat laatste is natuurlijk niet realistisch, want het is bekend dat er een gemiddeld verschil is tussen SE en CE van, laten we zeggen, 0,2 cijferpunt. Voor een toets van 50 vragen zou dat 1 vraag minder goed op het CE kunnen zijn, vergeleken met het SE. Voor 8 examenonderdelen zijn dat 8 vragen minder goed. Afgezet tegen het totaalgemiddelde zijn dat 4 vragen minder goed.

Dit zou een analyse op groepsniveau kunnen zijn, niet uitgaande van de strategische situaties waar de kandidaten zich voor bevinden, maar een post-hoc institutionele analyse. De huidige regeling, aangenomen dat CE + SE het equivalent is van 800 examenvragen, dat de zak-slaaggrens ligt op 396 punten, dat het percentage gezakten 6,4 is, en de spreiding van de scoreverdeling behoorlijk groot is. Een beetje proberen met de parameters in het applet komt dan uit op de parameters a=19 en b=11 voor de betabinomiaalverdeling die 7% gezakten oplevert bij een zak-slaaggrens van 396 op 800 vragen. Waarom 396? Uitgaande van de overweging dat CE-vakken hogere cijfers opleveren dan SE-vakken, om welke mogelijk complexe redenen dan ook, en dat de zak-slaaggrens voor het SE op 50% goed ligt, ligt die voor de combinatie van SE en CE, volgens de redenering in de voorgaande alinea, daar de helft van in dit geval 8 vragen onder. Dit is allemaal voorbereiding op de crux van deze kortte analyse: wat is de scoreverdeling dan voor alleen de CE-vakken?

Voor alleen de CE-vakken is het totale aantal vragen de helft, dus 400, en de zak-slaaggrens ligt op 200. Met andere woroden: voor alleen het CE ligt de lat iets hoger. En daar komt bij dat voor het CE het gemiddelde vaardigheidsniveau juist wat lager is dan het overall vaardigheidsniveau: in plaats van parameters 19 en 11, nu parameters 18 en 12 (samen nog steeds dertig, de spreiding van de vaardigheden binnen de groep is voor de CE vakken ongeveer even groot als met de SE vakken erbij). Het zakpercentage komt dan op bijna 15%. Daar moet onmiddellijk bij worden opgemerkt dat deze uitkomst heel gevoelig is voor de gemaakte aannamen, het zegt dus niet zo gek veel. Wel is het zo dat de stijging van het zakpercentage in deze post-hoc groepsanalyse vooral is te danken aan het niveauverschil tussen SE en CE, waarvoor is uitgegaan van een getal dat ook in het Cito-rapport voorkomt: 0,2 cijferpunt verschil tussen SE (hoger) en CE (lager).

Opmerkelijk is dat bij de grote aantallen examenvragen waarvan ook nog steeds sprake is bij alleen het CE, het uitsluiten van compensatie tussen SE en CE op zich niet tot een echt merkbaar grotere zakkans leidt. Het is het verdisconteren van het systematische verschil tussen SE en CE dat tot verhoging van het zakpercentage leidt.

Ik moet eerlijk zeggen dat ik een merkbaar effect had verwacht van het opknippen van het examen in twee delen die ieder op zich voldoende moeten zijn. De grote omvang van het CE op zich is kennelijk in staat het effect goeddeels te dempen. Het nut van doorrekenen van zo'n variant is dat onjuiste verwachtingen gecorrigeerd kunnen worden, dat blijkt maar weer eens.

Houd wel in de gaten dat deze analyse van de voldoende eis op het CE niets heeft te maken met de eerdere analyse van de specifieke eisen voor wiskunde, Nederlands en Engels. Daar werd wel een groot effect gevonden, omdat het over een of twee toetsen gaat, niet over een combinatie van acht toetsen.

Deze hele analyse is erg ad hoc, en vooral post hoc. Ik zou graag voor een individuele kandidaat die nog in de voorbereiding op het examen zit de strategische positie willen bepalen met betrekking tot de nieuwe eis dat het CE op zich ook voldoende moet zijn. Als de resultaten van die oefening geen open deur zijn, wil ik vervolgens ook nog bestuderen of er een mogelijkheid is om combinaties te maken van strategische posities van kandidaten, voorafgaand aan het examen. Als dat probleem is op te lossen voor twee kandidaten, bijvoorbeeld met een tweede kandidaat die zich ongeveer qua beheersing op de zak-slaaggrens bevindt, dan is een combinatie van meer dan twee kandidaten waarschijnlijk ook te maken. Dat zal dan in de programmatuur moeten worden ingewerkt, dus het ziet er net naar uit dat ik op korte termijn deze analyse kan leveren.

Er zijn natuurlijk meer verkenningen mogelijk. Ik som er een aantal op, en zal nog bekijken welke zich lenen voor een kwantitatieve studie.

Het is mogelijk de strategische voorbereiding diepgaander te analyseren, door daar ook een leermodel op te zetten, nutsfucnties die rekening houden met mogelijk voor compensatie te gebruiken extra punten, nutsfuncties die rekening houden met de persoonlijke consequenties van zakken voor het examen (en eventuele herkansingsregelingen die er dan nog zijn). Al deze onderwerpen zijn uitgewerkt in de volgende modulen van het SPA-model, waarvoor ook telkens weer applets beschikbaar zijn waarin tal van strategische mogelijkheden onder tal van examenreglingsvarianten zijn door te rekenen/simuleren. Ik vermoed dat hier niet de essentiële punten liggen waarop het voorstel van Van Bijsterveldt doorgerekend zou moeten worden, maar ik noem het toch maar.

Heel iets anders is dat het spel tussen leerlingen en docenten zich eveneens laat kwantificeren. Dat spel bestaat uit enerzijds studenten die meer danwel minder tijd aan de studie voor dit vak respectievelijk andere vakken willen besteden, en anderzijds docenten die prestaties met hogere dan wel lagere cijfers willen honoreren dan andere docenten doen, etcetera. Adriaan de Groot heeft dit spel in zijn 'Vijven en zessen' (1966) in de bekende termen van de lerarenvergadering etcetera beschreven. Maar er is door James Coleman een toepasselijk model ontwikkeld waarin deze heel complexe dynamische wederkerigheden toch kwantificeerbaar blijken te zijn (ik heb er in 1992 een paar papers over geschreven, gebruik makend van een geschikte dataset van een Amsterdamse faculteit). Het is in zoverre direct relevant voor wat Van Bijsterveldt probeert te veranderen, omdat het laat zien dat de ingreep van Van Bijsterveldt heel eenzijdig is, en dus voorspelbaar effectloos zal blijken te zijn, zodra zich een nieuw evenwicht heeft ingesteld tussen de partijen die in het examenspel zijn betrokken. Ik geef toe, dit gaat ver, en ik kan dit niet makkelijk kwantificeren. Maar het is belangrijk genoeg om het te noemen. Het is een wat ingewikkelde variant op een overigens in de literatuur bekend fenomeen dat aangescherpte selectie van wat dan ook, na razend korte tijd effectloos blijkt te zijn gemaakt doordat betrokkenen tesamen het oude evenwicht weer hebben gevonden. Dat is trouwens niet helemaal waar: aangescherpte selectie betekent weliswaar niet dat uitval in het eerste jaar op den duur vermindert, maar ondertussen wordt wel meer kandidaten de toegang geweigerd, en is er dus een maatschappelijk verlies. Deze variant is wel herkenbaar in het voorstel van Van Bijsterveldt: het belooft een betere overgang naar het HO, maar juist dat is voorspelbaar een fata Bijsterveldiana. Ondertussen zijn er wel hogere faalpercentages voor de eindexamens. Maatschappelijk verlies, dus.

Van Bijsterveldt wil compensatie tussen schoolonderzoek en CE beperken. Dat leent zich ongetwijfeld eveneens tot eenvoudige kwantitatieve analyse.

Vergelijk de marginale kandidaat onder de huidige regeling met de marginale kandidaat onder die van Van Bijsterveldt: hoe verschillen zij? Niet in de slaagkans zelf, een marginale student heeft slaagkans 0,5 (50%), maar mogelijk wel in de spreiding voor die slaagkans, in het beheersingsniveau dat impliciet door de Van Bijsterveldt regeling wordt gedefinieerd.

De kwestie van norm versus aftestgrens: de norm is een ideaal, en levert als zodanig nog geen houvast voor cijfergeven en zakgrenzen op. Voor aftestgrenzen (zakgrenzen) moet een afweging worden gemaakt tussen heel veel dingen, maar in ieder geval de kans ten onrechte een juist aan de norm voldoende kandidaat af te wijzen, versus de kans een kandidaat toe te laten met een beheersing die een bepaalde afstand beneden die norm ligt. Maar zelfs zo'n berekening is gewoon natte-vinger-werk, want uiteindelijk gaat het erom winst en verlies zelf te kwantificeren, zo mogelijk in de vorm van nutsfuncties. En wat zijn dan de ultieme criteria om winst en verlies aan af te meten? Is dat studiesucces in hoger onderwijs? Is het gewoon tijdverlies? Or what?

Normen: elastiek? Posthumus (1940, in De Gids) heeft de permanente schifting in de HBS aangeklaagd aan de hand van driekwart eeuw overgangscijfers. Wat er in de wereld ook gebeurde, de HBS-docenten lieten altijd rond de 25% van de leerlingen zitten. En dat is het eeuwige probleem met het zetten van zak-slaaggrenzen: hoe kun je dat anders doen dan op zo'n relatieve manier? Als voor een of ander examenvak er onverwacht veel kandidaten onvoldoende scoren, is de Cevo er als de kippen bij om de norm aan te passen. Hoe moet je dat dan anders doen? En wat is de relatie tot het gesleutel van Van Bijsterveldt en andere protagonisten aan de examenregeling? Kijk, er is een koninklijke oplossing voorhanden: die groep kandidaten die gekwalificeerd zijn om eindexamen af te leggen, omdat zij voldoende tijd hebben besteed om op het norm-niveau van beheersing gekomen te zijn, die hoort in zijn geheel te slagen. Vreemd? Helemaal niet, zo deden de meesters van de Universiteit van Parijs dat in de late middeleeuwen. De meester bepaalde of je gereed was voor het examen, vervolgens werd dat examen door andere meesters afgenomen. Vreemd? Helemaal niet, dat is precies zoals vandaag de dag promoties nog steeds in hun werk gaan. Het kan dus best. Als Van Bijsterveldt iets aan de motivatie en het niveau wil doen, kan ze beter wegkijken van de huidige examens, en de blik op het onderwijs richten, hoe docenten dat geven, hoe docenten de leerlingen naar dat eindniveau begeleiden. Klinkt een beetje ouderwets, want de volgende stap lijkt te zijn dat er een mondelinge toets komt met een gecommitteerde van buiten erbij. Dat leidt dan tot de vraag of het gestandaardiseerde deel van het examen niet teveel in belang is opgeklopt, en een probleem voor de kwaliteit van het onderwijs is geworden. Jazeker, want het heeft de positie van de leraren mogelijk uitgehold, zoals de regeling van Van Bijsterveldt die positie ook weer aantast. Laat leraren doen waar zij voor zijn aangesteld: leerlingen onderwijzen en beoordelen, want die leerlingen moeten inhoudelijke feedback krijgen. Tot en met het eindexamen, dat weinig meer dan een formaliteit hoort te zijn. Toch?

Gooi geen informatie (=resultaten SO) weg!

Het is niet voor het eerst dat er aan de strengheid van de beoordeling van het SO wordt getwijfeld: bij de regeling van de toelating voor numerusfixusstudies spelen eindexamenresultaten een rol, dus ook de gedachte alleen het CSE daarvoor te gebruiken. Hofstee (pers. meded.) wijst mij erop dat de 'Werkgroep Wiegersma' zoiets had voorgesteld, en dat bewijsbaar is dat buiten beschouwing laten van het SO betekent dat een mogelijkheid onbenut blijft om de door het CSE gemeten beheersing beter te schatten. Lees de laatste zin nogmaals. Het gestelde blijft waar, ook als er verschillen in strengheid zijn. Ik geef hier de persoonlijke mededeling van Hofstee over het methodologische punt.
Hofstee (pers. meded): "Eind jaren 70 heb ik met medewerking van Ivo [Molenaar], Jos [ten Berge] en Charley Lewis het jou dacht ik bekende true-scores modelletje voor de onderlinge verdiscontering van CSE en SO gepresenteerd (zie o.a. Tijdschrift voor Onderwijsresearch 1979). Dat model speelde op het niveau van de individuele leerling. Als je dat langs de lijnen van de multilevel-analyse opleukt naar het niveau van de klas of de school, krijg je de volgende parallelredenering:

1. het CSE-cijfer op dat aggregatieniveau is nog steeds een imperfect betrouwbare variabele (over scholen etc.);
2. je kunt dus de voorspelling van de betreffende true score verbeteren door naast de geobserveerde CSE-score de SO-score op te nemen in de multipele predictie van die true score;
3. waarschijnlijk zal ook op dit aggregatieniveau gelden dat zelfs een ongewogen (in plaats van optimaal gewogen) gemiddelde van CSE en SO een betere predictie geeft van de CSE-true score dan de geobserveerde CSE-score levert.

Het buitengewoon geinige -- als dit allemaal blijkt te kloppen -- is dat je aldus de CSE-fanaten met hun eigen argumenten om de oren slaat. Immers, je gaat (al is het maar bij wijze van concessie) uit van het primaat van het CSE, en gebruikt het SO louter als een 'booster' om de ware CSE-score beter te schatten; vervolgens toon je aan dat beoordeling van scholen (of leerlingen) louter op basis van CSE irrationeel en contraproductief is."

W. K. B. Hofstee (1979). Schatting van de true score met inachtneming van andere variabelen. Tijdschrift voor Onderwijsresearch, 4, 38-40.

Roept u maar

Alsof de toegeschreven positieve effecten ook werkelijk zullen gaan optreden, alsof er geen nadelen en kosten zullen zijn. Ah, Pechtold voelt wel nattigheid: "Pechtold zegt erop te gaan toezien dat scholen voldoende geld krijgen." Pechtold zegt niet waar dat extra geld dan weggehaald kan worden, dat valt me van deze eerlijke politicus toch wat tegen. Hij heeft waarschijnlijk ook geen flauw idee van de mogelijke kosten, en welke partijen die op moeten brengen. Het departement lijkt geen schattingen van kosten te hebben gemaakt. Ik geef een idee: de maatregel leidt tot studieduurverlenging voor een bepaald niet verwaarloosbare groep, leerlingen die de dupe worden zouden een claim op de staat in kunnen dienen gebaseerd op laten we zeggen een half jaarsalaris van een 25-jarige hoogopgeleide werknemer (gederfd inkomen) plus onderhoudskosten van een half jaar.

De uitspraken van Onderwijsraad en Van Bijsterveldt staan in het artikel in de andere volgorde. Ik vind mijn volgorde onthullender: Van Bijsterveldt lijkt hier het tertiair onderwijs (ook het mbo) via een omweg toch zijn extra selectie-aan-de-poort te geven.

Natuurlijk, steviger eisen stellen gaat leiden tot ander gedrag van scholieren. Ik ben een heftig voorstander van steviger eisen, heb daar ook een strak model voor uitgewerkt (hier), een model dat in hoofdlijnen al in 1970 door Robert van Naerssen werd aangegeven (html). Maar de extra eisen van Van Bijsterveldt houden extra risico's in voor de scholieren, en zullen dus niet vanzelf tot betere inspanningen, maar mogelijk juist tot ontwijkend gedrag leiden. Als politicus moet je toch wel een beetje een idee hebben van de balans tussen die twee: winnen de extra inspanningen het van ontwijkend gedrag? Of zou het ook heel anders uit kunnen pakken? Hoe komen we daar tijdig achter?

Inspectie Onderwijs (8 januari 2009). Elsevier publiceert 'de beste scholen.' html

Arthur van Leeuwen en Ruud Deijkers (8 januari 2009). Beste scholen 2009: opnieuw te hoge cijfers bij examens. Elsevier. html. Op deze webpagina ook links naar een aantal pdf-documenten van Elsevier, o.a. een overzicht van scholen met de grootste en de kleinste verschillen tussen eindexamencijfers (schoolonderzoek en centraal schriftelijk) pdf.

Elsevier is toch weer knap suggestief over de verschillen in gemiddelde cijfers voor schoolonderzoek en centraal schriftelijk: docenten geven bij schoolonderzoek cadeautjes. Hoe dat ook zij, Elsevier publiceert die gemiddelden in ieder geval. De lezer kan zo zelf zien wat die verschillen zijn, en daar hoeft die lezer echt niet bij van de stoel te vallen, ook al blijft een analyse achterwege van wat de aard en de oorzaken van die verschillen kunnen zijn. Nee, dat is niet helemaal waar: meer achterstandsleerlingen, dan is een groter verschil waarschijnlijk. Zoiets doet toch vermoeden dat er meer aan de hand is, bijvoorbeeld zou het kunnen zijn dat het centraal schriftelijk niet helemaal fair is voor achterstandsleerlingen. Op voorhand roepen dat er cijfers 'cadeau' worden gedaan, is een journalistieke leugen. Regeert die bij Elsevier?

Literatuur

Onderwijsraad (april 2009). Examens in het VMBO. pdf

• "De Onderwijsraad beantwoordt in dit advies de vraag van de staatssecretaris of en in hoeverre ook in het vmbo (voorbereidend middelbaar beroepsonderwijs) de eis van maximaal één 5 gesteld moet worden."
• "De Onderwijsraad heeft het GION gevraagd om de ervaren deficiënties door havo- en mbo-opleidingen in de basisbagage van vmbo-ers te inventariseren. Uit de resultaten blijkt dat door 81% van de mbo-instellingen tekorten in de basisbagage worden geconstateerd bij leerlingen die vanuit de vier verschillende leerwegen instromen." Ik ben toch benieuwd of het Gion inderdaad zo naief is geweest om de uitspraken van scholen op dit punt voor 100% te geloven. Het is het universele fenomeen dat docenten altijd menen dat een betere selectie nodig is om beter onderwijs te kunnen geven. Op die manier heeft anderhalve eeuw geleden Thorbecke de vrije toegang tot de H.B.S. uiteindelijk verloren tegen de lobby van de kersverse docenten in deze nieuwe tak van sport. Er is, met andere woorden, toch echt hard bewijs nodig, niet een stemming onder maar een enkele groep belanghebbenden.
• "De raad doet daarom de aanbeveling om in ieder geval het diplomasupplement in te voeren waarop de prestaties voor rekenen/wiskunde inzichtelijk kunnen worden gemaakt, Op termijn kan dan de eis van een 5 en een 6 voor Nederlands en Engels of het beroepsgericht programma als minimumresultaat worden ingevoerd. Voorwaarde is dat door het Cito berekende consequenties voor het percentage gezakte kandidaten en voor de nauwkeurigheid van de beslissing of iemand een voldoende of onvoldoende dient te krijgen, nog steeds aanvaardbaar blijken te zijn." Die zichtbaar te maken prestaties voor rekenen of wiskunde betreffen alleen leerlingen die geen wiskunde op hun eindexamen hebben. De aanscherping van exameneisen door het oprichten van een extra horde is in lijn met wat Van Bijsterveldt (en de Onderwijsraad) voor het AVO voorstellen. En ja hoor: de Onderwijsraad vindt het belangrijk dat in het hele VO dezelfde lijn wordt gevolgd. Springt het AVO in de sloot, dan ook het VMBO. De becijferingen van het Cito staan in dit rapport, als bijlage. Interessant materiaal, maar het is een louter theoretische oefening die niet raakt aan hoe betrokkenen in een veranderde examensituatie zich kunnen gaan gedragen. De Onderwijsraad wil dit soort berekeningen als een soort veiligheidsklep hanteren, en daar zit wel een zekere logica in: de zogenaamde effecten zoals door het Cito berekend, vormen ongetwijfeld een bovengrens waar het gaat om te verwachten stijging in percentages voor het examen gezakten (als er al een stijging optreeedt, of na het eerste jaar blijft optreden).

Cito? (anoniem en ongedateerd beschikbaar op de OCW-site [oktober 2008]). De verhouding tussen het schoolexamen en het centraal examen. http://www.minocw.nl/documenten/20977c.pdf

• "Aan een onderzoeksteam van Cito is gevraagd een aantal voorgestelde wijzigingen in het examensysteem nader te bestuderen met behulp van beschikbare examenresultaten van de afgelopen jaren. Deze wijzigingen hebben tot doel de positie van het CE ten opzichte van het SE te versterken en excessieve verschillen, zowel positief als negatief, tussen de uitkomsten van beide examens terug te dringen.

  In het Cito-onderzoek zijn twee benaderingen bestudeerd. In de eerste benadering zijn verschillende mogelijkheden bestudeerd om cijfers op het SE aan te passen door ze op schoolniveau te ijken aan cijfers op het CE. De tweede benadering behelst het leggen van een bodem in het CE door aanvullende eisen te stellen aan de cijfers op het CE. Met andere woorden: de bestudeerde benaderingen hebben betrekking op het aanpassen van het cijfer op het SE of op het wijzigen van de zak-/slaagbeslissing.

  In het onderzoek is vooral aandacht besteed aan het in kaart brengen van de effecten van de mogelijke wijzigingen op enerzijds slagingspercentages en anderzijds de kwaliteit van de zak-/slaagbeslissing. Dit rapport biedt een samenvatting van de opzet en uitkomsten van het onderzoek."

• NB: Dit is dus een departementaal stuk, niet het Cito-rapport zelf. Nee, excuus, ik heb informatie dat dit de rapportage van het Cito is, en dat er geen onderliggend Cito-rapport is waar dit een samenvatting van is. De hierboven geciteerde tekst is dubbelzinnig.
• "Als maat voor de onnauwkeurigheid van de zak/slaagbeslissing is eenvoudigweg gekozen voor het percentage misclassificaties. Dit betreft dus leerlingen die op basis van hun cijfers met meetfouten worden geclassificeerd als gezakt terwijl ze op basis van hun vaardigheidsniveau zouden moeten slagen, en vice versa. "
  • Ach, een analyse moet ergens mee beginnen, en dan is de geciteerde benadering in ieder geval een start. Het probleem is dat niemand weet wat het vaardigheidsniveau van individuele kandidaten is. In de typisch psychometrische benadering is dat geen bezwaar, omdat die niet naar individuen, maar naar de groep kandidaten kijkt. Maar dat is een typisch institutionele benadering, door Cronbach en Gleser (1957) zo genoemd. Dat gaat helemaal voorbij aan een alternatieve benadering: de individuele benadering, die ziet op het belang van de individuele leerling, op de strategische mogelijkheden die de individuele kandidaat heeft in de voorbereiding op het examen. En inderdaad, die individuele kandidaat weet natuurlijk ook niet precies wat dat eigen vaardigheidsniveau is (zie in de Van Bijsterveldt analyse hierboven de analyse met hulp van SPA-module 2, de aannemelijkheid van dat vaardigheidsniveau gegeven beschikbare informatie zoals een proeftoetsresultaat).
  • De 'misclassificaties' in de Cito-analyse geven een heel vreemd beeld, om de eenvoudige reden dat er rond de norm, of rond de zak-slaaggrens, per definitie ongeveer 50% misklassificaties zijn, gedefinieerd aan dat platonische 'ware' vaardigheidsniveau van de kandidaten. Dat deze manier van analyseren van beslissingen gemeengoed is in het land van de psychometrici, maakt het nog niet vanzelfsprekend tot een correcte analyse. Als een examen dan al een zak-slaaggrens moet hebben, wat op zich niet onontkoombaar is (denk aan de promotie als examen: een plechtigheid. Het niveau van het proefschrift is anders gewaarborgd dan door de feitelijke verdediging tijdens de promotie), dan zullen kandidaten in de buurt van de zak-slaaggrens nooit weten of zij 'terecht' danwel 'ten onrechte' zijn geslaagd of gezakt. Wat alle kandidaten wel degelijk tevoren weten, zouden moeten weten: er is sprake van relatief grote toevalligheden in het examen, hoe beter de eigen voorbereiding, des te minder kans door deze toevalligheden te zakken. Edgeworth (1988) heeft dat heel mooi uitgelegd, leest u dat nog eens na. [Maar pas op: als de aftestgrens RELATIEF is, kunnen de kandidaten ALS GROEP hun zakrisico dus NIET beheersen. Dit is HET argument tegen relatief beoordelen, natuurlijk.]
• Het Cito heeft een databestand over de jaren 2004-2006 gebruikt. Let op:
  "In de gegevens zijn herkansingen reeds opgenomen."

  Ik weet niet wat dat voor consequenties heeft, ik heb geen idee hoeveel herkansingen er zijn gegeven, en of die allemaal voor de betreffende kandidaten 'goed' zijn afgelopen, of hoe dan anders.

• "Daarnaast kunnen verschillen op individueel niveau ontstaan als gevolg van het calculerende gedrag van leerlingen. Studie-inspanningen voor het CE zijn doorgaans gebaseerd op de resultaten van het SE. "

  Dat is een interessante opmerking. De leerling die een mooi resultaat op het SE heeft behaald, kan voor het CE daarop incasseren door zich er wat ontspannener op voor te bereiden. De leerling die op het SE lage cijfers haalt, is mogelijk niet in de poisitie door nog veel harder te werken op het CE compenserende cijfers te halen, want liep voor het SE al een beetje op zijn/haar tenen. Wat is hier eigenlijk kwantitatief over bekend? Dat zou je toch moeten weten, als staatssecretaris, voordat je gaat ingrijpen in de eindexamens op basis van vooronderteld uit elkaar lopen van SE en CE?

• Dit Cito-rapport geeft een heel eigen betekenis aan het goede Nederlandse woord 'ijken.' In de gangbare betekenis is dat toch het afstemmen aan de hand van een gegeven standaard, de korenmaat aan de gevel van het stadhuis, de standaard-meter zoals bewaard in Parijs, etcetera. Zoniet het Cito, die de woorden 'aanpassen' en 'ijken' door elkaar geberuikt, en doodleuk spreekt van 'ijken' wanneer voor een bepaalde school het verschil (gemiddeld) tussen SE en CE wordt gelijkgetrokken met wat het landelijk gemiddelde is. Dat is werkelijk een aanfluiting. Wat hier gebeurt is het volgende: niet de meetlat wordt 'geijkt', maar veeleer datgene wat ermee is gemeten! Afijn, slordig taalgebruik zullen we maar zeggen, maar dit slordige taalgebruik is bepaald niet onschuldig.
• Het rapport gaat dan een groot aantal mogelijkheden langs om te sleutelen aan examencijfers, vooral die uit het schoolonderzoek, nadat er landelijke cijfers bekend zijn. Een goede oefening, zeker, maar het laat ook zien hoe zo'n institutionele benadering grote draagvlakproblemen kan creëren, waarvan de auteurs zich overigens ook wel bewust zijn. Neemt niet weg dat voor een reeks mogelijkheden ook nog wordt doorgerekend hoe dat over de examens 2004-2006 uitgewerkt zou hebben. Dat gaat mij toch echt te ver: maatregelen die op voorhand al niet serieus zijn te nemen, omdat ze bijvoorbeeld al gegeven cijfers achteraf nog negatief corrigeren, die moet je niet nog verder in onderzoek nemen. Achteraf negatief corrigeren strijkt echt iedere burger en dus ook iedere scholier in tegen de haren van het rechtsgevoel. Zeker wanneer het zulke ongelooflijk grove maatregelen zijn die op geen enkele manier rekening houden met speciale omstandigheden van vakken, scholen, leraren, scholieren, gestelde vragen, gebruikte methoden, het weer, en ga zo maar door. In juridische termen is hier mogelijk sprake van het ten onrechte beoordelen van individuele kandidaten naar de groep waar zij deel van uit maken, in plaats van alleen op de eigen prestaties. Ik heb een duister vermoeden dat praktijken zoals hier door het Cito beschreven en geanalyseeerd, bij de rechter zullen sneuvelen. Maar ja, dan zijn we weer jaren verder, beter is om dat te voorkomen. Wie nog mocht geloven aan juridische haalbaarheid: deze mogelijkheden komen er op neer dat examenkandidaten veroordeeld (benadeeld, negatief gecorrigeerd) worden op basis van zwak statistisch bewijs dat, landelijk gezien, er mogelijk sprake is van te tegemoetkomende beoordeling in het SE, en dat zal dan op jouw school ook wel het geval zijn geweest. Zo'n beleid zou ongehoord zijn.
• In paragraaf 4.3 volgt dan een modelmatige simulatie van al die wonderlijke varianten van correcties op SE-cijfers, waarbij naar de nauwkeurigheid wordt gekeken; nawkeurigheid is dan het aantal misklassificaties (terecht/ten onrechte etctera). Onbegrijpelijk, levert ook weinig of niets op in de ogen van de auteurs. Ik heb ik geen flauw idee waarom dat een zinvolle simulatie zou zijn. Wonderlijk. Niet goed over nagedacht?
• Paragraaf 4.4 ziet op varianten van eisen in termen van gemiddeld voldoende voor CE, of voor zowel CE als SE, voor kernvakken wiskunde, Engels, Nederlands, e.d. De auteurs waarschuwen dat het eisen van voldoendes op onderdelen in plaats van het geheel, de uitslag gevoeliger maakt voor toevalligheden die zich immers dan niet meer, of minder, kunnen uitmiddelen. Op zich prima, natuurlijk, maar het miskent wel de ongelooflijk moeizame discussie in de laatste halve eeuw, en dus de grote moeite die bijna iedereen heeft met rationele analyse van de voordelen van compenseren boven meerdere aftestgrenzen binnen hetzelfde examen.
• Paragraaf 4.5 geeft de kwantitatieve analyse: wat vijf varianten van eisen zouden betekenen, waren ze (achteraf) toegepast op de cijfers van 2004 tot 2006. De grote klapper zou zijn voor wiskunde, Nederlands en Engels een voldoende CE-cijfer te eisen: dan zou 46% gezakt zijn, in plaats van 6,4% (deze cijfers waarschijnlijk voor alleen havo/vwo).
• Paragraaf 4.6 geeft dan de 'misklassificaties' die deze regels op zouden leveren. Zonder verder enige zinvolle duiding. Het haalt je de koekoek dat bij 46% zakken het aantal 'misklassificaties' het grootst is: het hakmes valt immers middenin de groep, niet in een uiteinde. Zo'n analyse zegt niets over nut en noodzaak; immers, als het noodzakelijk is de helft af te wijzen, om goede redenen, dan heb je dat aantal misklassificaties maar voor lief te nemen, tenzij je de examens in omvang wilt verdubbelen of nog erger.
• Ten onrechte concludeert het hoofdstuk dat SE-cijfers achteraf aangepast zouden kunnen worden. Terecht concludert het dat alle gesleutel aan onderdelen die voldoende moeten zijn, de onnauwkeurigheid van het examen verergert. Maar dat wisten we veertig jaar geleden ook al (voordracht van Van Naerssen en Mellenergh, op het Nationale Congres Onderzoek van het Wetenschappelijk Onderwijs, Utrecht, in 1968).
• Het stuk sluit af met de volgende tabel, waar geen verdere toelichting bij is gegeven. Het is dus niet duidelijk over welke gegevens dit is berekend, waarschijnlijk over het eerder ook gebruikte databestand over de jaren 2004-2006.

  
  

Peter Teitelbaum (2004). The intended and unintended consequences of high school graduation requirement policy. In Susan J. Paik: Advancing educational productivity. Policy implications from national databases (pp. 45-67). Information Age Publishing. [books.google, gedeeltelijk] Almost identical to Peter Teitelbaum (2003) The Influence of High School Graduation Requirement Policies in Mathematics and Science on Student Course-Taking Patterns and Achievement. Educational Evaluation and Policy Analysis, 25, 31-57 (2003)

• abstract One of the most widely implementen educational reform efforts of the last two decades has been the adoption of increased high school graduation requirements, especially in mathematics and science. This study examines the effect of that reform. More particularly, this chapter examines the relationship between a commonly adopted requirement that students complete three credits in mathematics and science and three expected oucomes: increases in the number of credits students earned in mathematics and science, increases in the level of mathematics and science classes completed by students, and increased student achievement in math and science, as measured by 8th and 12th-grade test score gains. In order to test this relationship, I drew a national representative sample of 1992 public high school graduates from the National Educational Longitudinal Study conducted in 1988. Analysis of these data indicates that while three-course requirements influenced students to earn more credits in mathematics and science, few completed this additional coursework in advanced classes. Moreover, student test score gains did not vary by high school graduation requirement policy. These findings suggest that increasing the number of credits students have to earn in mathematics and science to graduate from high school by itself may not be sufficient to improve student proficiency in these subjects. (mijn nadruk, b.w.)

William H. Clune and others (1989). The Implementation and Effects of High School Graduation Requirements: First Steps toward Curricular Reform. CPRE Research Report Series. pdf

Joseph D. Creech (1996). High School Graduation Standards: What We Expect and What We Get. Goals for Education: Educational Benchmarks. Atlanta, GA: Southern Regional Education Board. pdf

Ben Wilbrink (1998). Inzicht doorzichtig toetsen. In Theo H. Joostens en Gerard W. H. Heijnen (Red.). Beoordelen, toetsen en studeergedrag (13-29). Groningen: Rijksuniversiteit, GION - Afdeling COWOG Centrum voor Onderzoek en Ontwikkeling van Hoger Onderwijs. html

• Een samenvattende presentatie van het SPA-model op een Gronings symposium.

Jaap Dronkers (1999). Is het eindexamen gelijkwaardig tussen scholen? Discrepanties tussen de cijfers voor hetschoolonderzoek en het centraal examen in het voortgezet onderwijs. [Afscheidsrede Amsterdam 25-11-1999] pdf

• Dit is de afscheidsrede van Jaap Dronkers als hoogleraar aan de UvA.
• Voor de discussie over het examenvoorstel van Van Bijsterveldt is relevant wat Dronkers hier concludeert op basis van zijn analyse van gemiddelde cijfers voor respectievelijk schoolonderzoek en centraal schriftelijk, zoals beschikbaar per vak en vestiging voor vrijwel alle VO in Nederland, in het databestand dat Trouw van de Inspectie van het Onderwijs had gekregen. Het idee dat docenten schoolonderzoeken mild zouden beoordelen, is hier aanwezig. De verschillen tussen SE en CE zijn overigens klein. Dronkers komt op het onderwerp in 2006 terug in een artikel samen met De Lange (pdf) (zie hierbeneden), waarin de nadruk valt op de ontwikkelingen sinds 1999 waarin gemiddelde eindexamencijfers lager zijn geworden (en discrepanties dus groter, bij ongeveer gelijkblijvende SE-gemiddelden).
• Haal de tekst van dit stuk in ieder geval op, en kijk naar de gegevens in Tabel 1: gemiddelden gesommeerd per vak. Razend interessant is dat voor wiskunde in de examenjaren 1996 en 1997 de cijfers voor het centraal schriftelijk hoger zijn dan voor het schoolonderzoek! Vertel het Van Bijsterveldt, lijkt me. Kijk ook naar de andere discrepanties, zoals Dronkers de verschillen noemt tussen gemiddelden bij schoolonderzoek en centraal schriftelijk.
• Let op: de gemiddelde examencijfers zijn van tenminste hele klassen per vak, niet van individuele kandidaten over alle vakken. Voor sociologische analyse is dit geen probleem: sociologen zijn gewend data op geaggregeerd niveau te bestuderen (groepsgegevens dus, in tegenstelling tot individuele gegevens), maar het bijzondere voor dit databestand is toch wel dat de onderliggende individuele gegevens in dit databestand NIET beschikbaar zijn (de Inspectie heeft Trouw de gemiddelden van groepen gegeven, geen cijfers van individuele leerlingen). Dan blijft onbekend of extra hoge of extra lage cijfers misschien een vertekenende invloed op gemiddelden kunnen hebben gehad. Evenmin valt dan onderscheid te maken tussen lager en hoger presterende kandidaten binnen klassen, of tussen kandidaten die zijn gezakt, en de overigen. Kortom, veel samenhangen die relevant zijn voor analyse van het examenvoorstel Van Bijsterveldt, moeten daarom in de analyse van Dronkers onvermeld blijven.
• Een ander kenmerk van de data van Dronkers is dat analyse van de data geen conclusies over oorzakelijke relaties toelaat. Evenals veel andere sociologen, en economen, concludeert Dronkers tot oorzakelijke samenhangen, ondanks het feit dat de methodologische beperktheid van de dataset dergelijke conclusies niet toestaan. Is dit een probleem dan? Ja, het is een probleem, omdat een staatssecretaris nu van mening is dat haar voorstel een verbetering in de examenresultaten zal bewerkstelligen: een oorzakelijk verband dus. De redenering van Van Bijsterveldt lijkt te zijn dat schoolonderzoeken te hoge cijfers krijgen, waardoor kandidaten te makkelijk voor de combinatie van schoolonderzoek en centraal schriftelijk kunnen slagen: welnu, dan zetten we wat extra horden neer, probleem opgelost.
• Tot de concrete oorzakelijke relaties die Dronkers in de data ziet behoort inderdaad dat schoolonderzoeken te hoog worden becijferd, en dat de aanwezigheid van allochtone leerlingen leidt tot lagere eindexamencijfers. Beide conclusies kunnen niet uit de beschikbare data volgen. Het interessante wat de aanwezigheid van allochtone leerlingen is dat er een samenhang is met lagere eindexamencijfers, omdat de cijfers voor schoolonderzoeken ongeveer gelijk zijn. Twee opmerkingen hierbij: Dronkers kan op basis van deze data (cijfergemiddelden over groepen kandidaten) niet weten wat de oorzaken van de betreffende samenhang zijn. Er valt over te speculeren, natuurlijk, maar dat is op zich niet geweldig zinvol behalve als vertrekpunt voor een nieuw onderzoek. Tweede opmerking: het is bepaald voorbarig om uit de samenhang te concluderen dat allochtone kandidaten een te hoge waardering bij het schoolonderzoek krijgen. Een te lage waardering van hun centraal schriftelijk werk is immers een op voorhand even legitieme hypothese voor vervolgonderzoek. Toch nog een derde opmerking: een wat groter verschil tussen SO en CSE hoeft helemaal geen vertekening te zijn: er zijn talrijke mogelijke mechanismen die tot een dergelijk valide resultaat kunnen leiden. Dronkers denkt daar anders over, maar zijn persoonlijke opvatting is dat de cijfers voor SO en CSE in beginsel gelijk uit moeten komen, een persoonlijk uitgangspunt (de wet zegt er niets over) waar in feite heel zijn analyse op scharniert.
• Een belangrijke nuance die Dronkers in zijn analyse aanbrengt is, dat een landelijk verschil tussen SO en SCE geen probleem is, want niet oneerlijk tegenover deelgroepen kandidaten, maar dat grotere verschillen voor bijvoorbeeld privaat onderwijs vergeleken met publiek onderwijs wel oneerlijk kunnen zijn. En daar gaat deze afscheidsrede vooral over: over mogelijke oneerlijkheid, niet over het niveau van het eindexamen als zodanig (waar Van Bijsterveldt zich vooral zorgen over maakt).
• Wie het stuk leest, kan opmerken dat in de analyse van Dronkers geen plaats is voor strategisch gedrag van examenkandidaten, of zelfs maar studiegedrag. Dronkers spreekt bij herhaling over docenten die het schoolonderzoek hoger becijferen dan het centraal schriftelijk. Dat is zeker ook slordig taalgebruik, want op basis van de data kan Dronkers dit weten. Maar het gaat ook voorbij aan de verklaring die volgens Occam's mes eenvoudiger is en niet meteen uitgaat van twijfel aan de professionaliteit van docenten: docenten geven door de bank genomen terechte cijfers voor het schoolonderzoek; dat deze cijfers iets hoger zijn dan voor het centraal schriftelijk heeft waarschijnlijk oorzaken in kenmerken van de beide examenonderdelen en van strategisch studiegedrag van scholieren. Dat vergt eigen onderzoek, daar geven inspectiegegevens niet zomaar uitsluitsel over.

Marloes de Lange en Jaap Dronkers (2006). Hoe gelijkwaardig blijft het eindexamen tussen scholen? Discrepanties tussen de cijfers voor het schoolonderzoek en het centraal examen in het voortgezet onderwijs tussen 1998 en 2005. pdf

• Zie hier voor andere studies over examenresultaten, en mijn annotaties bij het stuk van De Lange en Dronkers.

Deven Carlson & Michael Planty (). The Ineffectiveness of High School Graduation Credit Requirement Reforms: A Story of Implementation and Enforcement? Educational Policy, online 25 August 2011 abstract

Noodklok

Ferry Haan (28-12-2012). Je zou wel gek zijn als je nog wiskunde B koos. De Volkskrant, p. 29 pdf

Trends in eindexamencijfers

Gerard Koolstra (7 januari 2015) https://twitter.com/ggerardk/status/552771703747928064

      http://www.benwilbrink.nl/projecten/examen.vanbijsterveldt.2008.htm http://goo.gl/NyFfQ