Rekenproject: Richtlijnen voor rekenopgaven

Ben Wilbrink

rekenproject thuis
hypothese 1: reform-rekendidactiek draait psychologische oorzaken en gevolgen om.
hypothese 2: kernpunten van een goede rekendidactiek zijn bekend
hypothese 3: een onwetenschappelijke groep + hoop geld => promotie van pseudo-wetenschap
Richtlijnen voor rekenopgaven




Het onderzoek van Marian Hickendorff heeft ook aangetoond dat het de hoogste tijd is om Richtlijnen voor rekenopgaven vast te stellen en te gebruiken, naar analogie met de Richtlijnen voor ontwikkeling en gebruik van psychologische tests en studietoetsen van het Nederlands Instituut voor Psychologie (NIP), of The Standards for Educational and Psychological Testing van drie Amerikaanse organisaties: de American Educational Research Association (AERA), de American Psychological Association (APA) en de National Council on Measurement in Education (NCME). Ik heb daarom deze webpagina opgezet waarin ik een eerste globaal voorstel zal ontwikkelen.

De relatie met het onderzoek van Hickendorff is als volgt. Het startpunt is hier de PPON, en daarvan de rekenopgaven zoals afgenomen in 1997 en 2004. Deze rekenopgaven schieten op meerdere punten tekort om als adequate rekenopgaven te kunnen gelden. Bijvoorbeeld omdat de getallen in de meeste opgaven niet representatief zijn voor de getallen waar de wereld buiten de school ons mee confronteert; omdat het meest om kleine en heel kleine getallen gaat; omdat leelingen door de keuze van de getallen verleid worden om opgaven ‘handig’ uit te rekenen, wat meest neerkomt op uit het hoofd; enzovoort. Dat neemt niet weg dat het heel goed is dat we nu, juist op basis van het onderzoek van Hickendorff, veel beter weten hoe leerlingen in groep 8 met deze onvolwaardige rekenopgaven omgaan.

De PPON is niet de enige toets die tekortschietende rekenopgaven gebruikt: de Cito Eindtoets Basisonderwijs is zo’n toets, terwijl ook de voorstellen van de rekentoetswijzercommissie-Schmidt ernstige kwaliteitsgebreken laten zien, zoals eerder al de referentieniveaus rekenen van Meijerink (de werkgroep-Van Streun; de Wet ofp de referentieniveaus taal en rekenen van 2010). Om voortdurende welles-nietes-discussies te voorkomen, moet er een beoordelingskader komen dat een bindende rol kan spelen, nadat het door belangrijke spelers in het onderwijsveld is geaccepteerd. Daarom heb ik hierboven ook uitgeschreven welke organisaties achter de Amerikaanse Richtlijnen voor toetsgebruik staan.

Zijn die NIP-Richtlijnen dan niet gecshikt om rekenopgaven te evalueren? Nee, de Richtlijnen zijn algemeen geformuleerd, en dat brengt dus met zich mee dat voor een specifiek inhoudelijk domein de richtlijnen verbijzonderd moeten worden. Dat is precies wat ik op deze bladzijde wil doen, en dat dan meteen in een set Richtlijnen die op enige afstand staat van andere meer algemene richtlijnen op toetsgebied — zoals bijvoorbeeld ook het Cito een eigen richtlijn voor de kwaliteit van toetsvragen heeft, specifiek gericht op voorkomen van partijdigheid in toetsvragen: Bügel en Sanders (1998 pdf).


Natuurlijk is het mogelijk om een doorwrochte studie te doen naar wat het is dat een rekenopgave tot een adequate rekenopgave maakt, maar dat is een klus van langere adem. De hoofdvraag is: hoe til je de discussie over rekenopgaven uit boven het welles-nietes over wat bijvoorbeeld in de PPON rekenopgaven heten te zijn, versus de ouderwets lijkende rekenopgaven die het hart van het reken- en wiskundeonderwijs vormen.


Een kortere weg kan de volgende zijn:


Het is mogelijk om al in een paar uurtjes een afstreeplijst op te stellen met daarin positieve redenen dat een specifieke vraag een adequate rekenopgave kan zijn, en negatieve redenen waarom een specifieke vraag geen adequate rekenopgave kan zijn.

Het gaat iets meer tijd kosten om de voor ons vanzelfsprekende punten te onderbouwen met dwingende argumenten van analytische en empirische aard, maar daar kan ik gewoon vast mee beginnen.


In de loop van de tijd breid ik de afstreeplijst uit met de verdere problemen en mogelijkheden die ik tegenkom of die onder mijn aandacht worden gebracht (mail mij).


De negatieve punten zijn het eenvoudigst op te sommen. In zekere zin is het ook voldoende om met negatieve punten te werken, zoals ook bij de APK-keuring in feite gebeurt: opgaven die niet worden afgekeurd, zijn kennelijk adequaat.


In volgorde van bedenken vooralsnog 7 hoofdpunten, een aantal dat op termijn uitgroeit tot misschien twaalf. Ondergeschikte punten zijn er natuurlijk bij bosjes, te rangschikken onder de hoofdpunten.


1. De opgave is wiskundig correct.


Dus: geen grappen met 2/3 = 0,66. Milgram (2007 pdf ) geeft voorbeelden uit Amerikaanse tests van opgaven die niet kunnen gelden als adequate wiskundeopgaven (rekenopgaven). Milgram zegt dat er empirisch bewijs is dat ca. 25% van de rekenopgaven in belangrijke Amerikaanse toetsen niet door deze beugel kunnen.


2. De getallen in de rekenopgave zijn niet gekozen op basis van hun bijzondere kenmerken.


Natuurlijk is dit een eis waarvan beredeneerd kan worden afgeweken. De bedoeling is om opgaven als 99 × 99 = .. te weren.


3. Rekenopgaven die op een voor de hand liggende manier ‘handig’ kunnen worden uitgerekend, horen niet in toetsen thuis.


‘Handig’ rekenen kan geen doel van rekenonderwijs zijn, wat de wetgever daar in zijn wijsheid ook over mag hebben vastgelegd. Het gaat in het rekenonderwijs om het bereiken van een zekere mate van expertise in het rekenen; die expertise zal zeker met zich meebrengen dat leerlingen verkorte algoritmen en gebruiken, en bochten weten af te snijden. Dat laatste zou ‘handig’ rekenen genoemd kunnen worden, maar is een vaardigheid in een andere liga dat het ‘handig’ rekenen dat in de realistische rekendidactiek als eigenstandig doel wordt beschouwd.

Over handig rekenen zie deze pagina in het rekenproject (op dit moment bevat deze rekenblog nog de meest uitvoerige informatie).


4. Rekenopgaven die niet analytische en/of empirisch zijn te onderscheiden van opgaven in een intelligentietest, horen in een rekentoets niet thuis.


De toelichting bij 4.) is wat complexer, maar intuïtief zal ieder weldenkend mens dit onmiddellijk onderschrijven.


Enzovoort.


Een lijst zoals dit is in korte tijd wel uit te werken tot een goed prototype, inclusief een eerste aanduiding bij ieder item wat er de theoretische en empirische basis voor is.


5. Onverlet wat specifiek is voor rekenen, moeten rekenopgaven gewoon voldoen aan algemene richtlijnen voor tests en toetsen.


De Standards van de American Psychological Association samen met enkele grote organisaties uit het onderwijsveld zijn het meest grondig, de Richtlijnen van het NIP zijn daarmee vergeleken nogal summier; het Cito heeft een eigen publicatie door o.a. Piet Sanders geschreven. Vergis je niet, deze Standards spelen ook in juridische kwesties een belangrijke rol., Ik noem als eenvoudig voorbeeld het gebruik van illustraties bij rekenopgaven: dat kan makkelijk leiden tot mentale overbelasting. Hetzelfde geldt voor meerkeuzevragen waar veel informatie in de alternatieven is gestopt. Dit zijn problemen die niet specifiek zijn voor rekenopgaven.


6. Een rekentoets is geen rekentest.


Een rekentoets gaat over wat leerlingen hebben kunnen leren, niet over hun intellectuele capaciteiten. , Een goed voorbeeld zijn de opgaven ruimtelijk inzicht die het Cito altijd in zijn rekentoets van de Eindtoets Basisonderwijs doet: daar valt best iets op te oefenen, maar het gaat hier om opgaven die vooral verschillen in ruimtelijk inzicht meten. Als dat niet zo is, dan moet het Cito daar het empirisch bewijs voor presenteren., In algemene zin over het onderscheid toets - test:, http://benwilbrink.nl/publicaties/86ToetsenEnTestenSVO.htm


7. Het gaat bij rekenopgaven niet om het goede antwoord, maar om de goede berekening, dummy!


Ik zal Marian Hickendorff vragen of er foutenanalyses zijn gedaan op de staartdelingen. In haar onderzoek gaat het telkens alleen om de juistheid van het antwoord, en de gebruikte methode. We weten uit het proefschrift dus niet of de vele fouten bij de staartdeling te maken hebben met gebrekkige beheersing van het algoritme, of van elementaire rekenfeiten., Het mag duidelijk zijn dat rekenopgaven waarin niet om de berekening wordt gevraagd, ondeugdelijk zijn. En dat geldt niet alleen voor keuzevragen.

De berekening is wat op papier staat of wat de leerling zegt, niet wat zich mogelijk in de hersens afspeelt. Dat onderscheid is van belang: een goed antwoord zonder expliciete berekening, is wel een aanwijzing dat de berekening goed is gedaan, maar geen bewijs daarvoor: er zijn tal van verkeerde wegen die tot een goed antwood geleid kunnen hebben.


Dit punt hakt er dus stevig in, zal ik maar zeggen.


8. Redactieopgaven zijn problemen die om een plan van aanpak en een rekenmodel vragen, niet noodzakelijk ook de berekening zelf.


Redactieopgaven zijn bijna zo oud als de menselijke beschaving zelf. De categorie valt onder de bredere categorie van problemen stellen en problemen oplossen. Dat geeft al aan dat er redactieopgaven makkelijk hun doel voorbij zouden kunnen schieten, en meer de intellectuele capaciteiten op de proef stellen dan de rekenvaardigheid die nodig is om situatie en opgave te herkennen als een bekend type opgave, en er een adequaat rekenmodel voor op te stellen. Zie de laatste hoofdstukken in Verschaffel, Greer en De Korte (2000).

Informatie over word problems zie mijn webpagina.


9. Hoofdrekenen is expliciet aan de orde in een didactische fase in het rekenonderwijs; daarna hoort het een automatisme te zijn, dat wel moet worden onderhouden.


Hoofdrekenen kan dus het onderwerp zijn van toetsen in de lagere groepen van het basisonderwijs, maar niet meer in de hogere groepen, laat staan in groep 8.

Natuurlijk is het nodig bij het uitwerken van complexe schriftelijke opgaven voortdurend te hoofdrekenen (de elementaire rekenfeiten), maar dat hoort een automatisme te zijn. Bij dat geautomatiseerde hoofdrekenen kunnen natuurlijk fouten worden gemaakt, omdat onze hersenen anders werken dan een computer. Maar om die fouten draait het rekenonderwijs niet meer, wel om het onderhoud van deze automatismen.


10. Het gebruik van rekenopgaven en -toetsen: het gaat om de aansluiting op vervolgonderwijs, respectievelijk wat in het maatschappelijk verkeer gewenst en vereist is aan rekenvaardigheid


De vanzelfsprekende neiging bij vele belanghebbenden is om rekentoetsen te zien als toetsen die de afsluiting vormen van een gegeven cursus. Vandaar ook benamingen als afsluitende en summatieve toetsen. Dat is jammer, want het uiteindelijke doel van onderwijs is toch anders: het toerusten van de leerlingen op vervolgonderwijs en op wat de samenleving van hen vraagt aan rekenvaardigheid. Dit is dus de vraag naar de validiteit van rekentoetsen, ipso facto ook die van de rekenopgaven. Ben Wilbrink (in bewerking). Validiteit: een goed antwoord bewijst kennis. Paragraaf 2.6 van Toetsvragen ontwerpen.

Het gaat hier om een bijzonder belangrijke zaak, gezien de ontwikkelingen in Nederland waarbij het rekenonderwijs steeds meer als in zichzelf besloten is beschouwd door de Freudenthal-groep, die doorlopende leerlijnen in feite niet laat doorlopen naar wat vervolgonderwijs vraagt. Wilbrink en Hulshof (2011) wijzen op een ernstig probleem bij de voor havo/vwo voorziene rekentoetsen bij de eindexamens: deze gaan in de voorstellen van de commissie-Schmidt over een soort rekenen dat in het hoger onderwijs niet relevant is, en niet over het rekenen dat een voorwaarde is voor zinvolle deelname aan vrijwel alle hoger onderwijs.

11. Contextopgaven horen bij een specifieke didactische opvatting over rekenen, en horen daarom niet vanzelfsprekend thuis in landelijke rekentoetsen.


Hte begrip ‘contextopgave’ hoort thuis bij de opvatting dat rekenonderwijs &realistisch’ hoort te zijn (reformdidactiek van het rekenen). Contextopgaven zijn dus iets anders dan de eerder genoemde redactieopgaven. Zie Depaepe, De Corte & Verschaffel (2007) voor een onderzoek dat een aantal punten van discussie kan verhelderen [ik moet dit artikel nog bestuderen, maar het lijkt me van belang omdat de auteurs wel sympathiek staan tegenover het idee van contextopgaven, en ook grondig inzicht hebben in de problematieken van redactieopgaven]

Voorzover het werken met contextopgaven de bedoeling heeft dat het leerlingen motiveert voor het rekenen, zijn ze om diezelfde reden niet van belang in afsluitende rekentoetsen.

De gedachte dat transfer van rekenvaardigheid van school naar situaties in de samenleving zou worden bevorderd door contextopgaven in het rekenonderwijs, berust niet op enige empirische evidentie. Los daarvan is het de vraag wat de plaats van contextopgaven zou moeten of kunnen zijn in afsluitende rekentoetsen: is dat dan de manier om na te gaan of voor individuele leerlingen de transfer-didactiek succes heeft gehad? Maar daarvoor moet nu juist buiten de schoolse situatie worden getoetst (als zoiets mogelijk is; een slimme experimenteel-psycholoog bedenkt er wel iets op).




Ik vermoed dat op deze wijze er tot een dozijn hoofdcriteria zijn te formuleren; aan dat aantal ben ik nu al bijna, misschien 15 dan? Allerlei kleinere kwesties zijn daaraan ondergeschikte punten. In de Standards, bijvoorbeeld, wordt een onderscheid gemaakt tussen essentiële eisen, en wenselijkheden.


=================================================================


Voorbeelden van toetsen met inadequate rekenopgaven


Zie hieronder voor opgavencollecties die op meerdere punten niet voldoen aan de bovenstaande Richtlijnen {ik wil t.z.t. meerdere opgaven in detail analyseren, in relatie tot de Richtlijnen) :


Cito Eindtoets Basisonderwijs


PPON


NAEP (Amerikaanse periodieke toetsing)


TIMSS


PISA


Het promotieonderzoek van Marian Hickendorff (2011) gaat uit van de opgaven in de PPON 1997 en 2004, zodat ook in de vervolgonderzoeken vergelijkbare rekenopgaven worden gebruikt die tekortschieten op een of meer van de specifieke kwaliteitscriteria voor rekenopgaven. Een en ander neemt natuurlijk niet weg dat het onderzoek van Hickendorff belangrijke empirische resultaten oplevert, juist ook met betrekking tot het tekortschieten van de betreffende rekenopgaven.


=================================================================


Voorbeelden van toetsen met adequate rekenopgaven



Zie hieronder voor opgavencollecties die er waarschijnlijk aan voldoen {ik wil t.z.t. meerdere opgaven in detail analyseren) :


1. De voorbeelden in hoofdstuk 5 van het zwartboek rekenonderwijs van Jan van de Craats.


2. De opgaven op de BON-rekenhulpsite (http://rekenhulp-basisschool-pabo.nl/)


3. De voorbeeldopgaven en voorbeeldtoetsopgaven in de alternatieve kennisbasis rekenen voor de pabo

(http://staff.science.uva.nl/~craats/SGR_KennisbasisRekenenPabo.pdf) van de Stichting Goed Rekenonderwijs.


4. De havo/vwo rekenboeken van Getal & Ruimte: HIER

De boekjes zijn in hun geheel in te zien op de site.


5. De rekenboeken van Netwerk voor het vmbo: HIER

(De site bevat geen voorbeeldpagina's. )


=================================================================


Een contrast tussen deugdelijke en ondeugdelijke toetsen (toetsvragen) kan veel verduidelijken.


Het moet mogelijk zijn om een en ander zó uit te werken dat de vrijblijvendheid er meteen vanaf is. Dat kan bijvoorbeeld wanneer de Cotan (die de kwaliteit van tests en toetsen beoordeelt, o.a. ook die van de Cito Eindtoets Basisonderwijs) een dergelijke lijst zou willen hanteren bij het beoordelen van de validiteit van landelijke toetsen (zoals de rekentoetsen, de ‘nieuwe Citotoets’). Maar ook veel directer: dat belangenverenigingen zoals het LAKS, en (ouders van)leerlingen met een degelijke lijst van kwaliteitseisen in de hand, gebrek aan kwaliteit kunnen aanvechten bij instanties van beroep of bij de burgerlijke rechter.


In concreto gaat het eigenlijk om een verbijzondering — voor rekentoetsen — van Richtlijnen die al bestaan (voor tests en toetsen, in Nederland door het Nederlands Instituut voor Psychologie NIP uitgegeven, in de VS door onder andere de American Psychological Association APA).

Bladerend in de verbouwing van mijn boekje uit 1983 over het ontwerpen van toetsvragen, is te zien dat hoofdstuk 8 over dit soort kwaliteitszaken gaat, maar ook de heel uitvoerige paragraaf 2.6 over validiteit van toetsvragen en toetsen. Die teksten zijn algemeen van aard, en niet concreet uitgewerkt naar rekentoetsen, maar dat zou natuurlijk goed kunnen.


Het boekje van 1983 (Aula 809 pdf) is juist vanwege dat hoofdstuk 8 van invloed geweest op de herziening van de Richtlijnen van het NIP van 1986.


Ik heb hierboven aangegeven dat er aan een en ander bepaald handen en voeten valt te geven. Uiteindelijk zullen serieuze voorstellen via een speciale commissie door bijvoorbeeld verenigingen als de NVvM geadopteerd moeten worden of misschien beter: door het Platform Wiskunde Nederland (overkoepeing van NVvW en KWG, Koninklijk Wiskundig Genootschap). En/of door de al genoemde Cotan.




De wet: kerndoelen en referentieniveaus

Drie samenhangende kerndoelen in de huidige wet op het basisonderwijs die in ieder geval zorgelijk zijn in het licht van de hierboven vermelde richtlijnen.



SLO: De kerndoelen basisonderwijs, rekenen/wiskunde webpagina



SLO: Kerndoel 29, handig rekenen, leerlijn webpagina

De leerlingen leren handig optellen, aftrekken, vermenigvuldigen en delen.

Dit ‘handig’ rekenen is een uitwas van het hoofdrekenen, dat op zich al een veel centraler plaats in de realistische rekendidactiek heeft gekregen dan het in de conventionele rekendidactiek hefet. Bij die laatste is het hoofdrekenen een tussenfase in de lagere groepen, in de realistische rekendidactiek is het een einddoel van het rekenonderwijs, zoals het helaas ook in de kerndoelen basisonderwijs is terechtgekomen.



SLO: Kerndoel 27, hoofdrekenen, leerlijn webpagina

De leerlingen leren de basisbewerkingen met gehele getallen in elk geval tot 100 snel uit het hoofd uitvoeren, waarbij optellen en aftrekken tot 20 en de tafels van buiten gekend zijn..

Maar dat is nog niet het hele verhaal: iemand heeft bedacht dat ‘schattend’ rekenen eveneens belangrijk genoeg is om als kerndoel voor het basisonderwijs te kunnen gelden, een idee dat nationaal en internationaal opgang heeft gemaakt. Natuurlijk, schattend rekenen is niet onbelangrijk: leerlingen doen er verstandig aan om het te gebruiken om de uitkomsten van hun rekenwerk van een eerste toets te voorzien. Maar waarom een zelfstandig kerndoel?



SLO: Kerndoel 28, leerlijn webpagina

De leerlingen leren schattend tellen en rekenen.


De Wet op de referentieniveaus taal en rekenen heeft de werkstukken van de commissie-Meijerink op in ieder geval niet door de commissie-Meijerink voorziene wijze tot wet gebombaardeerd, met alle details en trivialiteiten. Destijds minister van onderwijs Rouvoet heeft in de Tweede Kamer vastgelegd dat deze referentieniveaus opgevat moeten wworden als een nadere uitwerking van de kerndoelen basisonderwijs, niet als iets dat naast die kerndoelen een eigenstandige betekenis heeft.


Literatuur



AERA, APA & NCME (1999). The Standards for Educational and Psychological Testing. zie hier



Karin Bügel en Piet F. Sanders (1998). Richtlijnen voor de ontwikkeling van onpartijdige toetsen. Arnhem: Cito. pdf



Fien Depaepe, Erik De Corte & Lieven Verschaffel (2007). Unraveling the culture of the mathematics classroom: a video-based study in sixth grade. International Journal of Educational Research 46, 266-279. abstract



Marian Hickendorff (2011). Explanatory latent variable modeling of mathematical ability in primary school. Crossing the border between psychometrics and psychology. Proefschrift Universiteit Leiden, eigen uitgave.



R. James Milgram (2007). What Is Mathematical Proficiency? In Alan H. Schoenfeld (Ed.) (2007). Assessing mathematical proficiency (31-58). Cambridge University Press. pdf



NIP (1986). Richtlijnen voor ontwikkeling en gebruik van psychologische tests en studietoetsen. Amsterdam: Nederlands Instituut voor Psychologie. Tweede editie.



Lieven Verschaffel, Brian Greer and Erik de Corte (2000). Making sense of word problems. Swets & Zeitlinger.



Ben Wilbrink (1983). Toetsvragen schrijven. Aula 809. pdf



Ben Wilbrink (1986). Toetsen en testen in het onderwijs. In SVO Jaarverslag / Jaarboek 1985. Den Haag: Stichting voor Onderwijsonderzoek SVO, 275-288. html



Ben Wilbrink & Joost Hulshof (2011). De wet, het rekenen, en de rekentoets in de eindexamens havo/vwo. Examens. Tijdschrift voor de toetspraktijk, 8 nr 3, 18-22. ingediend concept



National Mathematics Advisory Panel (Larry R. Faulkner, Chair) (2008). Foundations for Success. The Final Report of the National Mathematics Advisory Panel. .S. Department of Education. pdf

Het vertrekpunt van deze commissie is niet gelegen in controverse over wat het beste rekenonderwijs is, maar in de internationale achterstand die Amerika op het punt van wiskunde blijkt te hebben.

[Wordt vervolgd. Het belang van dit rapport is gelegen in de onderbouwing met wetenschappelijk onderzoek. Van dit voorwerk moet profijt worden getrokken.]



Jeremy Kilpatrick, Jane Swafford, Bradford Findell (Eds) (2001). Adding It Up: Helping Children Learn Mathematics. Mathematics Learning Study Committee, National Research Council. NAP online, daar is ook een pdf van het omvangrijk boek op te halen.

Ik zie aankomen dat het probleem met het ‘Adding it up’ rapport is dat het vooral een verhaal is dat moet steunen op het gezag van de mensen in de commissie.  Mijn eigen manier van werken is volkomen anders: uitspraken moeten op zichzelf overtuigend zijn, berusten op wat het algemene inzicht binnen discipline A of B is, of direct onderbouwd zijn door empirisch onderzoek X en Y. Hoofdstuk 3 van ‘Adding it up’ maakt hier nu juist een hutspot van waarin niet zonder meer is te achterhalen op welke overwegingen de diverse uitspraken precies berusten.  En we weten hoe commissies werken: individuele commissieleden zullen ongetwijfeld hun problemen hebben met bepaalde opstellingen van het rapport, maar de buitenwacht weet niet waar het voor wie wringt en om welke redenen dan. Dit soort rapporten zijn dus een ongelukkige mix van democratie en wetenschap. [Wordt vervolgd. Het belang van dit rapport is gelegen in de onderbouwing met wetenschappelijk onderzoek. Van dit voorwerk moet profijt worden getrokken, wat helaas bij hoofdstuk 3 niet echt iets gaat opleveren. ]




24 april 2012 \ contact ben at at at benwilbrink.nl    

Valid HTML 4.01!   http://www.benwilbrink.nl/projecten/richtlijnen_rekenopgaven.htm