Wilbrink & Hulshof, rekentoets? in Examens

[Redactie: in deze tekst twee cursieven: 'de scholen' en 'practice'. In het citaat uit de brief van Schmidt komen twee tekstfouten voor]

Ben Wilbrink is freelancer onderwijsonderzoek. benwilbrink.nl Joost Hulshof is hoogleraar Wiskundige Analyse aan de Vrije Universiteit, en bestuurslid van Beter Onderwijs Nederland.

De inhoudelijke validiteit is zoek omdat deze rekentoets voorbijgaat aan de basale rekenvaardigheden waarvan de PPON 2004 laat zien dat deze ernstig zijn teruggevallen, terwijl de voorspellende validiteit zoek is omdat het ho vraagt om basale rekenvaardigheden die niet in deze rekentoets aan de orde zijn.

Dezelfde toets, maar dan evaluatief gebruikt, geeft een uitstekende schatting van de rekenvaardigheid die de groep heeft bereikt, dus ook van de prestatie van de school. De schoonheid van eenvoud.

De wet is de ‘Wet op de referentieniveaus Nederlandse taal en rekenen’ met daaraan gekoppeld de nodige regelgeving om rekentoetsen op te nemen in de eindexamens bo (verplichte toetsing), vmbo en mbo, en havo/vwo. Iedere sector kent specifieke eigen situaties, dit artikel beperkt zich tot havo/vwo omdat zich daar de meest krasse examenproblematiek voordoet: de rekentoets in het eindexamen is op meerdere manieren een novum in havo/vwo. Het rekenen is het rekenen van de kerndoelen bo, referentieniveaus rekenen van de werkgroep-Van Streun van de commissie-Meijerink, onwrikbaar in de genoemde wet vastgelegd, en het rekenen zoals de departementale commissie-Schmidt dat op bijzondere wijze uitlegt uit in ‘toetswijzers’ en voorbeeld-rekentoetsen: handig rekenen en contextrekenen met de rekenmachine.

Er is een lange aanloop nodig, maar de pointe is dat de voorbeeld-rekentoetsen weinig van doen hebben met het rekenen dat vrijwel iedereen voor ogen staat, dat het ho verlangt, en dat bewindslieden en Tweede Kamer (TK) voorstaan (Handelingen, 31 maart 2010: zonder rekenmachine, natuurlijk). Minister Van Bijsterveldt brengt op 7 juni de TK op de hoogte van de voortgang, waaronder het voornemen om voor havo/vwo de rekentoets in 2014 een nieuw onderdeel van het eindexamen te laten zijn — naast schoolonderzoek en centraal schriftelijk — en trapsgewijs onderdeel van de bestaande kernvakkenregel (voldoende voor rekentoets, Nederlands, Engels en wiskunde). Er doemen zo ernstige problemen op rond deze rekentoets. De inhoudelijke validiteit is zoek omdat deze rekentoets voorbijgaat aan de basale rekenvaardigheden waarvan de PPON 2004 laat zien dat deze ernstig zijn teruggevallen, terwijl de voorspellende validiteit zoek is omdat het ho vraagt om basale rekenvaardigheden die niet in deze rekentoets aan de orde zijn. Zowel het onderwijs als de toetsmakers komen klem tussen de voorschriften die volgens OCW voortvloeien uit de wet, en de noodzaak om juist de uit het onderwijs bijkans verdwenen basale rekenvaardigheden — vermenigvuldigen, delen en breukbewerkingen — in ere te herstellen. Volgens het Centraal Planbureau (CPB, Van der Steeg, Vermeer & Lanser, 2011) is de inzet hoog, en verzaken zal op termijn bijzonder kostbaar blijken.

De achtergrond van de wet is de beeldvorming dat onderwijs tekortschiet in het bijbrengen van basale reken- en taalvaardigheden. Voor de taalvaardigheden hebben Jan Jacob van Dijk (CDA) en Jasper van Dijk (SP) de zaken op scherp te gezet door in een motie te vragen om onderzoek naar de mogelijkheden om taalverzorging mee te beoordelen in alle examenwerk. Zie Wilbrink, Borsboom en Couzijn (2010) voor een analyse die door dat onderzoek op het hoofdpunt bevestigd blijkt: integraal taalbeleid is nodig. De minister doet in haar brief van 7 juni verslag aan de TK van dat onderzoek; de conclusie is: taalverzorging niet meebeoordelen, integraal taalbeleid is nodig. Voor rekenen liggen de zaken anders, complexer ook. De PPON 2004 laat ondubbelzinnig zien dat het met de basale rekenvaardigheden van 12-jarigen hollend achteruitgaat. Door Kees van Putten (2005) is dat in detail aangetoond voor het delen, mede aan de hand van het beschikbare kladpapier van de leerlingen.

Anders dan bij klachten over slordig taalgebruik, die niet van vandaag of gisteren zijn maar er altijd al waren, gaat het bij het niet meer beheersen van basale rekenvaardigheden — vermenigvuldigen, delen, breuken — om een scherpe breuk met het verleden. Daar zijn tal van verklaringen voor te opperen, maar de belangrijkste verklaring is de heersende rekendidactiek waarin juist die basale rekenvaardigheden expliciet zijn verwaarloosd (bijvoorbeeld Treffers, De Moor & Feijs, 1989): die zouden niet belangrijk zijn omdat het allereerst om het begrijpen gaat, niet om het beheersen, en omdat deze leerlingen in hun toekomst altijd de rekenmachine onder handbereik zullen hebben. De analogie met autorijden ligt voor de hand: het gaat er niet om dat te kunnen, maar om het te begrijpen; de techniek brengt je wel op de bestemming. Quod non.

Het probleem is nu onderkend door uitgevers die in de nieuwe edities van hun rekenmethoden en leerlingvolgsystemen meer — weer — aandacht aan de basale rekenvaardigheden schenken. Ook veel scholen vullen hun rekenmethode aan met materiaal voor oefening van basale vaardigheden (Inspectie maart 2011). Des te opvallender is het dan dat in de referentieniveaus voor rekenen dit probleem niet is erkend en opgepakt — hoewel het nadrukkelijk is ingebracht door enkele leden van de werkgroep-Van Streun en er een onderzoekopdracht aan Egbert Harskamp (zijn rapportage in bijlage bij het rekenrapport van de werkgroep-Van Streun) is gegeven. Ook de wet maakt er geen melding van. Bij de behandeling in de TK (Handelingen, 31 maart 2010) vragen leden naar oorzaken van de taal- en rekenproblemen, maar krijgen daarop geen antwoord: de minister komt eveneens niet verder dan giswerk. In de nu beschikbare voorbeeld-rekentoets havo/vwo komen eigenlijk geen opgaven voor die basale rekenvaardigheden toetsen. Met andere woorden: deze wettelijke rekentoets havo/vwo dwingt in feite het onderwijs om in het vo precies dat rekenonderwijs te gaan verzorgen dat juist in het bo voor wegzakkende basale rekenvaardigheden zorgt. Hier liggen ernstige validiteitsproblemen open en bloot. Immers, een rekentoets die niet bijdraagt aan reparatie van de gesignaleerde rekenproblematiek kan geen validiteit hebben.

De commissie-Schmidt heeft voorbeeld-rekentoetsen opgesteld, ook voor havo/vwo. Het volgende is uit de beschrijving die de commissie geeft van de rekentoets 3F havo/vwo (uitnodiging expertmeeting 12 april 2011), de vragen zijn uit de concept-voorbeeld-rekentoets.

‘De rekentoets bevat contextloze rekenopgaven die zonder 
  rekenmachine gemaakt moeten worden en die overeenstemmen met de 
  beschrijving uit referentieniveaus 1F en 1S. Overige opgaven 
  zijn contextopgaven.’
‘Het aandeel van contextloze opgaven in de score is ongeveer 20%.’ 
‘Beantwoorden van een contextloze vraag kan naar keuze van de kandidaat 
  met of zonder toepassing van een standaardcijferprocedure.’
‘Er zijn geen toetsopgaven die betrekking hebben op een specifieke rekenprocedure.’
‘Bij contextopgaven is in alle gevallen een digitale rekenmachine
  met de standaardrekenfuncties plus worteltrekken beschikbaar,  
  ook als gebruik van de rekenmachine niet zinvol is.’
‘Alle vragen zijn computerscoorbaar.’


Vraag  ‘6. 48 : 0,12 =  . . . . ’
Vraag  ‘9. 286 + 1034 =  . . . . ’
Vraag ‘10. 25 × 128 =   . . . . ’
Vraag ‘29. Mieke heeft met ingang van 1 januari 2010 
  een loonsverhoging van 4% gekregen.
  Op 1 januari 2011 kreeg ze opnieuw een loonsverhoging, 
  maar nu van 2%.
  Met hoeveel procent is haar loon na deze twee verhogingen
  in totaal gestegen?
   A. Met 6%
   B. Met iets meer dan 6%
   C. Met iets minder dan 6%
   D. Dat kun je niet weten want je weet niet hoeveel Mieke 
         voor de loonsverhoging verdiende.’

De commissie schrijft dat er geen vragen zullen zijn naar een specifieke rekenprocedure. Dus geen opgaven als: bereken met een staartdeling 74983 : 432. Of bereken met behulp van vermenigvuldigen onder elkaar 74983 x 432. De impliciete boodschap aan het onderwijsveld is: dit rekenen is niet van belang, er zal niet op worden getoetst.

In een uitvoerige brief aan de eerste auteur, in reactie op een rekenblog op de website van BON, licht Victor Schmidt een en ander nader toe. Deze brief is in afschrift aan het ministerie van OCW gestuurd. Wij voelen ons vrij om uit deze toelichting te citeren. Wij lezen het citaat zo dat de voorzitter hier aangeeft dat de commissie zich niet in de positie bevindt om de best mogelijke rekentoets te ontwerpen, en zich daar zelf ook ongemakkelijk bij voelt.

“De rekentoetswijzercommissie heeft als opdracht gekregen een toetswijzer te ontwikkelen voor havo en vwo op basis van referentieniveau 3F. Als randvoorwaarde gold dat de toetswijzers alleen beredeneerd mochten afwijken van de examensyllabus rekenen/wiskunde mbo-4. Op basis van deze opdracht is de commissie samengesteld en aan het werk gegaan met als resultaat een rekentoets dat grotendeels uit contextopgaven bestaat. De vrijheid van de commissie was en is zeer beperkt. De rekendoelen van referentieniveau 3F zijn beschreven in het desbetreffende besluit. De commissie zou het referentiekader geen recht doen als ze een groot deel van deze rekendoelen niet in de rekentoetsen zou opnemen of zelf rekendoelen zou hebben toegevoegd. Bovendien, de commissie is er van uit gegaan dat het referentiekader rekenen door een groep met uitstekende expertise en van voldoende variatie is opgesteld. Had de commissie te zeer een eigen plan getrokken, dan zou ze het werk van de expertgroep overgedaan hebben en daarvoor achtte zich niet bevoegd en evenmin juist samengesteld.“

Een rekentoets aan het eind van havo/vwo moet valide zijn naar inhoud. Is het rekenen dat ermee wordt getoetst, inderdaad het rekenen waarover na de PPON 2004 zo grote bezorgheid is ontstaan? Voor havo/vwo ligt het voor de hand dat de criterium-validiteit is gelegen in de mate waarin het rekenen in de rekentoets aansluit bij de rekenvaardigheden die het ontvangende ho eist.

Vanuit beide invalshoeken bezien — inhoud en criterium — gaat het om de basale rekenvaardigheden, die daarom de inhoud van de rekentoets havo/vwo moeten vormen. Dat het ho ernstige problemen ondervindt met tekortschietende basale rekenvaardigheden mag voldoende bekend heten, zie de site van de Nationale Kennisbank Basisvaardigheden Wiskunde. Op tal van plaatsen zijn er bijspijkercursussen en intreetoetsen.

Om welk rekenen het dan gaat, laat zich illustreren aan de hand van beschikbare oefenboeken, zoals Henk Pfaltzgraff (2009) en Van de Craats en Bosch (2009). Voor het vo behandelen de nieuwe rekenboeken van Getal & Ruimte de door het ho gevraagde rekenvaardigheid, zonder rekenmachine (Reichard en anderen, 2009). Inhoudelijke overeenkomst tussen de voorbeeld-rekentoets en deze oefenboeken is nauwelijks zichtbaar.

Een fase verder in de keten is er het rekenen dat in diverse beroepen gewoon foutloos, vlot, en zonder rekenmachine moet kunnen: leraren bo, verpleegkundigen, timmerlieden, ingenieurs, psychologen.

Wie de beschikbare stukken leest, krijgt de indruk dat de rekentoetsen bedoeld zijn om er leerlingen individueel op af te rekenen. Dat beeld lijkt bevestigd door de uitwerking die de minister op 7 juni geeft: de rekentoets is onderdeel van de kernvakkenregel. De Handelingen van 31 maart 2010 geven echter een ander beeld: fracties spreken ernstige zorgen uit over de situatie die kan ontstaan wanneer leerlingen individueel worden beoordeeld op hun rekenprestaties. Dat treft in het bijzonder natuurlijk basisscholieren. De bewindslieden delen die zorgen. De gedachte ligt dus voor dat rekentoetsen nodig zijn om vast te stellen of de scholen voldoende voortgang maken met het op peil brengen van de (basale) rekenprestaties: het zijn evaluatieve instrumenten. De beslissing daarover werd in het kamerdebat nadrukkelijk open gelaten. Wellicht ten overvloede: hetgeen tussen parlement en bewindslieden is gewisseld en in de Handelingen vastgelegd, bepaalt mede de betekenis van de wet — de bedoeling van de wetgever. Dat kan pikant zijn, wanneer blijkt dat de TK over onvolledige informatie beschikte.

Een heel andere benadering van dezelfde kwestie — evalueren of beoordelen — is een psychometrische. De wetgever kan wel willen dat de rekentoets onderdeel wordt van de kernvakkenregel, maar dan gaan er wel slachtoffers vallen onder de leerlingen, op een vak dat niet eens een volstandig eindexamenonderdeel is. Weten we zeker dat we daar leerlingen het risico willen laten lopen om te zakken, terwijl ze wel rekenvaardig zijn? En hun andere examenvakken prima op orde hebben?

Iedere toets is een steekproef uit de leerstof, of een steekproef uit de wat de leerling kent. Al naar gelang de steekproef, kan de score voor dezelfde leerling hoger of lager uitvallen. Hoeveel hoger of lager? Veronderstel eens dat we zouden weten dat de stofbeheersing 0,6 is. Dat betekent dat de kans 0,6 is dat de leerling de eerste vraag goed beantwoordt. Idem voor de tweede vraag. De kansverdeling voor zijn score is de binomiaalverdeling, waarmee is te berekenen wat de kans is om onvoldoende te scoren, zeg minder dan 55% van de vragen goed. Zo laat zich prima kwantificeren hoeveel ongelukken er kunnen gebeuren — verkeerde beslissingen — op een rekentoets die meedoet in het kernvakkenregel. Het te simple model laat zich natuurlijk verfijnen, voor de techniek zie Wilbrink (1980). Laat OCW opdracht geven om deze situatie zorgvuldig in beeld te brengen, zoals het eerder door het Cito een inventarisatie heeft laten maken van de mogelijke gevolgen van de kernvakkenregel (Van Rijn, Béguin & Verstralen, 2009). Waar het Cito rekende aan de hand van historische empirische gegevens, zal dat voor de rekentoets aan de hand van modelberekeningen moeten; zie voor een vergelijkbare oefening Wilbrink (1980), de sectie Techniek voor het voorspellen van de te behalen toetsscore.

Dezelfde toets, maar dan evaluatief gebruikt, geeft een uitstekende schatting van de rekenvaardigheid die de groep heeft bereikt, dus ook van de prestatie van de school. De schoonheid van eenvoud.

Voor taalverzorging blijkt het geen goed idee om de eindexamens te gebruiken om iedereen er scherp op te krijgen (College voor Examens (CvE), 2010). De koninklijke weg is hier die van integraal taalbeleid: in het hele onderwijstraject bij alle vakken zorg voor taalverzorging. Is dat ook voor de gesignaleerde rekenproblemen de beste benadering: integraal rekenbeleid? Hoe hoort het te zijn: de leerlingen komen het havo/vwo binnen met behoorlijke rekenvaardigheden, die vervolgens worden onderhouden. Voor taalverzorging lijkt het erop dat die bij twaalfjarigen op orde is — zij kennen hun werkwoordvormen — maar in het vo niet wordt onderhouden (Jannemieke van de Gein, 2010). Integraal taalbeleid kan die erosie van taalverzorging voorkomen.

Bij rekenen is er voorlopig nog een ernstig tekort in basale rekenvaardigheid van veel twaalfjarigen, dan is er linksom of rechtsom eerst bijspijkeronderwijs nodig. Daarna moet die rekenvaardigheid wel op peil blijven, en daar is integraal rekenbeleid voor nodig: iedere gelegenheid voor practice is belangrijk, bij ieder vak. Het gebruik van de rekenmachine berooft de leerlingen van die noodzakelijke oefening. Wij hebben op dit punt geen empirisch onderzoek gevonden, maar afgaande op leerpsychologische inzichten lijkt de stelling moeilijk te weerleggen. We kunnen ons het risico van verkeerd beleid op dit punt niet veroorloven, alle mooie en soms gesponsorde praat over de rekenmachine als rekenslaafje ten spijt.

Er is geen goed alternatief voor integraal rekenbeleid. Immers, een afzonderlijk vak rekenen in de bovenbouw van havo/vwo, terwijl elders het gebruik van de rekenmachine blijft toegestaan, komt neer op dweilen met de kraan open. De rekentoets in het eindexamen gebruiken om er de leerlingen op af te rekenen, zal zonder integraal rekenbeleid uitlopen op ongelukken en juridische procedures. Draai het dan om: houd scholen verantwoordelijk voor integraal rekenbeleid en gebruik desnoods een rekentoets in het laatste jaar als evaluatief instrument voor het succes van dat beleid.

Een rekentoets als nieuw soort onderdeel van eindexamens havo/vwo in 2014 roept tal van dringende vragen op. Niet de minste daarvan gaat over de beperkte aard van de rekenvragen, zoals de commissie-Schmidt die met zijn voorbeeld-rekentoets havo/vwo bekend maakt. Het rekenen zoals hier getoetst, is niet het basale rekenen waarvan de PPON 2004 juist laat zien dat het extra aandacht behoeft, en is niet het rekenen dat het ho mag verwachten.

Een rekentoets in de bovenbouw zou prima zijn als evaluatieve toets. Maar een rekentoets waar havo/vwo-leerlingen op kunnen struikelen voor hun eindexamen gaat zorgen voor een hoop gedoe, al was het maar omdat dit als onrechtvaardig zal worden ervaren.

Evenals voor taalverzorging de juiste aanpak ligt in integraal taalbeleid, ligt het in de rede om van scholen een goed integraal rekenbeleid te verlangen. Daar is het instrument van een rekentoets als examenonderdeel — als stok achter de deur — niet voor nodig. Het gaat hier in principe om een basisvaardigheid die het havo/vwo vooral goed moet onderhouden — zonder rekenmachine — aangenomen dat het rekenvaardige leerlingen van het bo mag ontvangen.

Schmidt, V. (22 juni 2011). ‘Uw blog van 16 juni j.l.’ Brief per email aan Ben Wilbrink, brief cc ministerie van OCW. Met toestemming van Schmidt hier beschikbaar:

Handelingen 2009-2010, nr. 70, pag. 6004-6019 datum vergadering: 31-03-2010 | Tweede Kamer

Wet van 29 april 2010 tot vaststelling van regels over referentieniveaus voor de taal- en rekenvaardigheden van leerlingen (Wet referentieniveaus Nederlandse taal en rekenen). Staatsblad. https://zoek.officielebekendmakingen.nl/stb-2010-194.pdf

Commissie-Meijerink / werkgroep-Rijlaarsdam-van den Berg / werkgroep-Van Streun (2008). Referentiekader taal en rekenen. De referentieniveaus. Taal. Rekenen. Doorlopende Leerlijnen Taal en Rekenen.

Werkgroep-Van Streun (2008). Over de drempels met rekenen. Consolideren, onderhouden, gebruiken en verdiepen. Onderdeel van de eindrapportage van de Expertgroep Doorlopende Leerlijnen Taal en Rekenen.

College voor Examens (14 december 2010). Onderzoek naar aanleiding van de motie Van Dijk/Van Dijk.

Inspectie (18 maart 2011). Automatiseren bij Rekenen-Wiskunde. http://goo.gl/A55HX

Craats, J. van de, & en Bosch, R (2007/2009). Basisboek rekenen. Pearson Education Benelux.

Gein, J. van de (2010). Komd een kind van de basisschool. Onderwijscommissie onderschat spelvaardigheden basisscholieren. Onze Taal. Maandblad van het Genootschap Onze Taal, 79, 228-230. http://goo.gl/9jp27

Putten, C. M. van (2005). Strategiegebruik bij het oplossen van deelsommen. In J. Janssen, F. van der Schoot en B. Hemker: Balans [32] van het reken-wiskundeonderwijs aan het einde van de basisschool. 4. Uitkomsten van de vierde peiling in 2004. (125-131).

Reichard, L. A., en anderen (2009). Getal en ruimte havo/vwo. Rekenboek. wi 1, wi 2, wi 3. EPN, Noordhoff Uitgevers. Zie bv. http://goo.gl/S9nbs

Steeg, M. van der, Vermeer N., & Lanser, D. (5-2011). Niveau onderwijs daalt. Vooral beste leerlingen blijven achter. Nederlandse onderwijsprestaties in perspectief. CPB Policy Brief. http://goo.gl/KnGfK

Treffers, A., de Moor, E., & Feijs, E. (1989). Proeve van een nationaal programma voor het reken-wiskundeonderwijs op de basisschool. Deel I. Overzicht einddoelen. Zwijsen. [Niet online beschikbaar. Wel:]

Wilbrink, B. (1980). Kansberekening bij Pais’ voorontwerp van wet toelating tot numerus fixus studies in het w.o. Universiteit van Amsterdam: Centrum voor Onderzoek van het Wetenschappelijk Onderwijs. http://www.benwilbrink.nl/publicaties/80KansberekeningenCOWO.htm

Wilbrink, B., Borsboom, D., & en Couzijn, M. (2010). Spelling, grammatica en interpunctie meebeoordelen op eindexamens? Examens, Tijdschrift voor de Toetspraktijk, september, 5-9. http://www.e-xamens.nl/archief/2010/3/tijdschrift.pdf

recente of anderszins relevante maar niet in het artikel opgenomen literatuur

D. T. Tempelaar, B. Rienties, W. Kaper, B. Giesbers, L. van Gastel, E. van de Vrie, H. van der Kooij, en H. Cuypers (2011). Effectiviteit van facultatief aansluitonderwijs wiskunde in de transitie van voortgezet naar hoger onderwijs. Pedagogische Studiën, 88, 231-248. vermelding [nog niet bestudeerd] =============================================================

Gepubliceerd als: Opmerking bij het artikel Gaat meetfout slachtoffers maken? Examens, Tijdschrift voor de Toetspraktijk, 8 #3, 2011, 26. pdf van hele nummer 4. Het is een dupliek op het artikel Zwitser en Béguin onder de genoemde titel, een reactie op Wilbrink & Hulshof in het septembernummer. Het concept van het Wilbrink-Hulshof artikel is eveneens aan het eind van deze webpagina opgenomen.

Opmerking bij Zwitser & Béguin

Ben Wilbrink en Joost Hulshof

Concept-reactie. Voor citeren: gebruik de gepubliceerde tekst.

De toets gaat per computer afgenomen worden, zodat er technisch geen extra problemen zijn. Het is natuurlijk mogelijk om voor herkansingen een strengere eis te stellen, om gokken tegen te gaan, maar dat maakt de regeling weer ingewikkelder. Een andere mogelijkheid om gokgedrag tegen te gaan is om herkansingstoetsen veel langer te maken dan de toets bij eerste gelegenheid. Blijk geven te kunnen rekenen, daar gaat het uiteindelijk om bij eindexamenkandidaten.

Hierbeneden een uitgebreider concept-reactie, die willens en wetens de ruimte die de redactie van Examens gaf vijfvoudig overschreed, en daarom ook niet is geaccepteerd.

Ter toelichting nog het volgende: de titel van de repliek van Zwitsern en Béguin was oorspronkelijk ‘Gaat de rekentoets slachtoffers maken?’ Deze titel is voor de definitieve versie gewijzigd in ‘Gaat de meetfout van de rekentoets slachtoffers maken?’ De auteurs kiezen hiermee een voorzichtiger stellingname, met dat is niet de stelling die ik met Joost Hulshof in het september-artikel heb betrokken. Er is een uitvoerige gedachtenwisseling geweest met Zwitser en Béguin, die werd gekenmerkt door de moeilijkheid om vanuit heel verschillende posities het eens te worden over in wezen toch niet zo ingewikkelde zaken. Het Cito kiest ervoor om niet van het eigen psychometrische voetstuk af te komen, terwijl in het betoog van Joost en mij de psychometrische aspecten van de problematiek van de rekentoets geen of een ondergeschikte rol spelen. Dit verschil van benadering is overigens interessant en van belang voor een bredere publieke discussie over al dat getoets en de nieuwe strengheid bij examens, een politiek beleid dat kennelijk door het Cito wordt onderschreven en onderbouwd, maar waarvan het toch evident is voor de meeste betrokken groepen dat voor de maatschappelijke gevolgen ervan de psychometrische bril van het Cito maar een beperkt deel van de problematiek uitlicht, een deel van ondergeschikt want slechts technisch belang.

Zwitser en Béguin reageren prompt op onze oproep (aan OCW) om de mogelijke gevolgen van toevoegen van een rekentoets aan de eindexamen havo/vwo te kwantificeren. Die rekentoetsen bestaan nog niet, dus er zijn aannamen en keuzen nodig om tot een inschatting van een en ander te kunnen komen. De auteurs maken een bijzondere keuze, met als resultaat tabellen die zouden laten zien dat toevoegen van de rekentoets het aantal ‘ten onrechte’ gezakte examenkandidaten zou doen afnemen. Ben Wilbrink ziet dan water branden. Navraag heeft geleerd dat cruciaal is dat in de redenering van de auteurs voor ‘terecht slagen’ de rekenbeheersing op het niveau van het cijfer ‘6’ moet liggen, terwijl in 2014 en 2015 een behaald cijfer ‘5’ voor de rekentoets geen beletsel is om voor het eindexamen te slagen. Maar is dit een zinvolle benadering? Het probleem is dat de wetgever geen ‘ware’ minimumeis voor de rekentoets kent, en alleen een minimaal te behalen cijfer heeft vastgelegd (vooralsnog alleen in het voornemen van de minister, in de brief van 7 juni 2011): de aanname van de auteurs is geen Haagse werkelijkheid. Deze werkwijze geeft wonderlijke resultaten in de tabellen 1 en 2 op de regel voor 2013-2014. Maar die resultaten krijgen de niet neutrale labels ‘ten onrechte gezakt’ en ‘ten onrechte geslaagd’ mee, als het ware uit een platonische wereld. Deze uitkomsten zijn niet informatief, maar leiden mogelijk wel tot misverstanden, waaronder de verkeerde gevolgtrekking dat toevoegen van de rekentoets een weldaad voor de kandidaten zou zijn: het aantal ‘ten onrechte’ gezakten daalt immers. Dit is niet uit te leggen.

Wie een analyse (simulatie) in termen van ‘misclassificaties’ wil maken, kan dat eenvoudig doen met een test-hertest ontwerp. Of nog eenvoudiger: verdeel de opgaven van een afgenomen examen in tweeën, bepaald op iedere helft wat daar de examenuitslag zou zijn, en turf de aantallen studenten voor wie de uitslag gelijk, respectievelijk ongelijk uitvalt. Daar is geen aanname over platonische zaken voor nodig. Voeg de rekentoets toe, doe daar hetzelfde mee, en turf opnieuw de uitslagen. Waarom hebben Zwitser en Béguin deze koninklijke weg niet gekozen? Het is een (te) eenvoudig en gangbaar model (Occam’s mes), waarin het ook niet nodig is om net te doen alsof een eindexamen kandidaten zou sorteren in nominale ‘ware’ categorieën (zoals mannen-vrouwen er een is, maar ‘terecht geslaagd/gezakt’ niet). Het model is te eenvoudig omdat uit de aard van de zaak rond de grens zakken-slagen de uitslag een toevalsresultaat is: een deel van de verschillende uitslagen in een test-hertestanalyse heeft geen andere betekenis dan dat het gaat om kandidaten die zich vol in de gevarenzone bevinden. Vervang de simpele oefening dan door een besliskundige analyse. Die gaat in essentie op dezelfde manier als een besliskundige analyse voor beslissingen op een enkele toets, en hoe dat gaat is uitgewerkt in Wilbrink (1980), in Wilbrink (1990) voor een toelatingsselectie. Maar let op: dit zijn institutionele modellen die de situatie analyseren vanuit het standpunt van in dit geval de overheid. Voor het standpunt van de individuele examenkandidaten zijn tentamenmodellen nodig (Van Naerssen, 1970): onze oproep voor kwantificeren van de gevolgen van de rekentoets in het examen is op inzet van deze modellen gericht. Het onderscheid institutioneel-individueel gaat terug op Cronbach en Gleser, 1957, waarin tevens de eerste volledige uitwerking van de besliskundige benadering in de testpsychologie is gegeven.

Het is prachtig wanneer er goede analyses gemaakt worden, maar het risico is dat de details van techniek en uitkomstentabellen de onderliggende problematiek versluiert: de rekentoets is een wezensvreemde toets in het eindexamen havo/vwo. De minister is zich daarvan bewust en heeft de rekentoets een status aparte gegeven: het is een derde soort examenonderdeel, naast schoolonderzoek en centraal schriftelijk, en kan al in de vijfde klas vwo worden afgelegd. Desondanks is het voornemen om de rekentoets mee te nemen in de kernvakkenregel: Nederlands, Engels, wiskunde en rekenen moeten in 2016 voldoende zijn met ten hoogste één vijf. Al deze zaken zijn van belang voor individuele leerlingen, en zijn mogelijk in een besliskundige uitwerking mee te nemen.

Zwitser en Béguin doen een bepaalde aanname over de kenmerken van de rekentoets, om hun simulatie te kunnen uitvoeren. Het probleem is evenwel dat er nog maar weinig bekend is over die rekentoets: hoe moeilijk gaat die worden (niet zozeer wat de vragen betreft, maar wel voor de hoogte van de lat), hoe goed kunnen leerlingen zich erop voorbereiden, hoe lang is de toets (hoe langer, des te kleiner de kans om door pech te zakken), is straks de herkansingsregeling conform het voorstel nu (één keer herkansen voorafgaand aan het CSE, plus normale herkansing na het CSE), hoe gaat de Tweede Kamer met de voorstellen om. Op dat laatste punt: het is te verwachten dat de Tweede Kamer vragen zal stellen over het niveau 3F voor havo/vwo, en waarom dat niet 3S is. Houdt de minister vast aan 3F?

De overweldigende indruk is dat er in ieder geval heel veel gedoe komt. De kosten van die rekentoets zijn op voorhand dus al hoog. Ook dat aspect hoort in doorrekeningen te worden meegenomen. Om een kwantificering goed te kunnen interpreteren, ook die van Zwitser en Béguin, is het gewenst ook in de doorrekening ook mogelijke alternatieven mee te nemen, andere scenario’s.

Er is voor de rekentoets een interessant alternatief scenario mogelijk, zonder te tornen aan de wens van de minister om de rekentoets in de kernvakkenregel mee te nemen. Dat scenario is super eenvoudig, en verdient dus aandacht voordat allerlei ingewikkelde scenario’s doorgerekend gaan worden. Geef voor de rekentoets een onbeperkte herkansingsmogelijkheid. De toets gaat per computer afgenomen worden, zodat er technisch geen extra problemen zijn. Het is natuurlijk mogelijk om voor herkansingen een strengere eis te stellen, om gokken tegen te gaan, maar dat maakt de regeling weer ingewikkelder. Een andere mogelijkheid om gokgedrag tegen te gaan is om herkansingstoetsen veel langer te maken dan de toets bij eerste gelegenheid.

Cronbach, L. J., en G. C. Gleser (1957). Psychological tests and personnel decisions. University of Illinois Press.

Naerssen, R. F. van (1970). Over optimaal studeren en tentamens combineren. Openbare les. Universiteit van Amsterdam. htm

Wilbrink, B. (1980). Enkele radicale oplossingen voor criterium-gerefereerde grensscores. Tijdschrift voor Onderwijsresearch, 5, 112-125. htm

Wilbrink, B. (1990). Complexe seelctieprocedures simuleren op de computer. Stichting Centrum voor Onderwijsonderzoek van de Universiteit van Amsterdam. Rapport 246. pdf

Dit artikel is ingediend bij de redactie van ‘Examens, Tijdschrift voor de Toetspraktijk’, en in gewijzigde vorm gepubliceerd in het augustusnummer: jaargang 8, nr 3, 18-22. Voor wie uit het artikel wil citeren: gebruik de gepubliceerde versie.

‘Examens, Tijdschrift voor de Toetspraktijk’ is het tijdschrift van de Vereniging voor Examens. De website van de Vereniging en van Examens is http://www.nvexamens.nl

Het is zeker de moeite waard om deze website te bezoeken: de inhoud van het tijdschrift, behalve de laatste drie of vier nummers, is publiekelijk toegankelijk.

De algemene lijn van het stuk is voorbereid in rekenblog 16 op het forum van BON:

De wet, het rekenen, en de rekentoets in de eindexamens havo/vwo. Invoering van de rekentoets havo/vwo in 2014

Ben Wilbrink en Joost Hulshof

recente of anderszins relevante maar niet in het artikel opgenomen literatuur

Opmerking bij Zwitser & Béguin

Ben Wilbrink en Joost Hulshof

Concept-reactie. Voor citeren: gebruik de gepubliceerde tekst.