Constructivist arithmetics horror in the Low Countries — in exit exams!

De rekentoets in 2015—bestaat die dan nog?

Ben Wilbrink

“De #rekentoets is intussen de #fyra van het Nederlandse onderwijs aan het worden. Oplappen helpt echt niet meer.”

geciteerd uit een tweet van Ronald Buitelaar

“Als dat rekenen is, dan is Nederland aan het eind van de 21e eeuw een intellectuele bananenrepubliek geworden.”
If this is arithmetics, then the Netherlands will at the end of the 21st century be an undeveloped country.

Jan Karel Lenstra, in Brandpunt, 17 maart 2015 ‘Een dure misrekening’


The characteristics of Dutch math education and especially testing of arithmetics added to exit exams of secondary education are very local. Yet the general problem is that of constructivist math teaching. Because of the local specificity, Google Translate will not be able to produce satisfactory translations of Dutch texts. I have tried therefore to render some crucial information in English.




Is de slotakte nu ingegaan?


Besluit van 11 november 2015 tot wijziging van onder meer het Eindexamenbesluit VO en het Examen- en kwalificatiebesluit beroepsopleidingen WEB in verband met de invoering van een aangepast rekenexamen bij ernstige rekenproblemen en enkele tijdelijke aanpassingen in de uitslagregeling van het centraal examen rekenen mede naar aanleiding van de adviescommissies Bosker en Steur. Staatsblad https://www.officielebekendmakingen.nl/stb-2015-424.html


WiskundE-brief 6 december 2015 over o.a. de rekentoets webpagina.



Wat is dat toch, met die rekentoetsen?

De eerste serieuze correctie op het beleid — uitstel van meetellen van de rekentoets in de examenuitslag voor vmbo, mbo en havo — is een goede gelegenheid om een tussenbalans op te maken: wat is eigenlijk het probleem, hoe is Nederland hierin verzeild geraakt, en wat is een goede oplossing? Mijn insteek is psychologie, en hoe hierin als psycholoog maatschappelijke verantwoordelijkheid te nemen. Het is de bedoeling op basis van deze tekst een artikel te publiceren, hopelijk in Examens, Tijdschrift voor de Toetspraktijk. Maar eerst een kladversie met de thema’s die aan de orde zijn. Het gaat niet om toetstechnische zaken, maar om het krachtenveld in en rond het rekenonderwijs dat bepalend is geweest voor de situatie eind 2015 met de rekentoets in eindexamens.


druk op de ketel tw

In het kamerdebat van 7 oktober is het ultieme argument van de VVD om de rekentoets in het vo te laten meetellen voor de examenuitslag: om druk op de ketel te houden, dat het onderwijs het rekenen op peil brengt. Hier is geen sprake van onschuldige beeldspraak: de cijfers van het CvTE laten zien dat ook in het vo zeer veel onvoldoendes gaan vallen voor de rekentoets, het derde examenonderdeel dat naast Nederlands, Engels en wiskunde deel gaat uitmaken van de kernvakkenregel. Er zijn twee zeer ernstige problemen met dit druk-op-de-ketel-argument.

Allereerst is het zo dat bij de behandeling van de Wet op de referentieniveaus Nederlandse taal en rekenen nadrukkelijk is vastgesteld, en daarmee dus ook vastgelegd, dat een eventuele rekentoets geen afrekentoets voor leerlingen mag worden (Handelingen, 31 maart 2010). De VVD neemt met het druk-argument een loopje met de Wet. Toelichting: de parlementaire behandeling van een wet maakt deel uit van de wet, zoals dat ook met jurisprudentie het geval is.

Het tweede ernstige probleem is dat deze rekentoets onderwijsbeleid van scholen afdwingt ten koste van leerlingen. Dat klinkt niet prettig, en dat is het ook niet. Leerlingen en studenten worden beschermd door internationale verdragen over recht op onderwijs en rechten van het kind. Toelichting: anders dan velen menen, gaat internationaal recht boven nationaal recht. Tenzij internationale verdragen niet zijn ondertekend: zo is de VS nog het enige land dat het internationale verdrag voor de rechten van het kind niet heeft getekend.

Het ziet er hiermee naar uit dat de bewindslieden van OCW en onder andere kamerleden van de VVD handelen in strijd met het recht. Maar waar het mij om gaat is de beroeps-ethische kwestie: kan onder deze omstandigheden meewerken aan rekentoetsen door de ethische beugel?

Het hierboven gestelde probleem is veel scherper te formuleren, waardoor een antwoord op de ethische vraag ook duidelijker wordt. Stel nu eens dat die rekentoets niet allereerst rekenen toetst, maar in feite test op verschillen in intellectuele capaciteiten. Neem dat aan, for the sake of argument. Gemiddeld scoren havisten veel lager dan vwo-ers, dus het zou zomaar kunnen dat het inderdaad vooral een intelligentietest is. We weten dat onderwijs best wel enig effect op intelligentie kan hebben, maar ook dat het bepaald niet zo is dat leraren gericht kunnen werken aan het het verhogen van intelligentie (IQ). Scholen onder druk zetten om hogere resultaten op deze intelligentietest, pardon: rekentoets te realiseren zou dan een idiote actie zijn. Aanwijzingen dat de rekentoets inderdaad werkt als intelligentietest zijn ruim voorhanden: perfecte gradiënt van resultaten over opleidingen die verschillen in intellectuele eisen. Tegenvoorbeelden dat leraren er, bijvoorbeeld, in slagen om hun havo-leerlingen op gelijk niveau te brengen als dat van vwo-leerlingen heb ik nog niet gezien. Het Cito is tot op heden in gebreke gebleven om aannemelijk te maken dat de rekentoets alleen rekenvaardigheid toetst, niets meer, niets minder. Kan onder deze omstandigheden meewerken aan rekentoetsen door de ethische beugel?


Veel ongerechtigheden in de rekentoets zijn en worden nog weggewerkt, nu ook het gebruik van de rekenmachine (aangenomen motie-Bisschop, 7 oktober). Het voorspelbare effect daarvan is dat de resultaten er beter gaan uitzien (CvTE 1 september 2015) — maar dat betekent dus niet dat rekenvaardigheid dan ook verbeterd zou zijn, zoals de bewindslieden ons willen doen geloven (kamerbrief 6 oktober). Kamerbreed wil ieder beter rekenonderwijs, de druk op het onderwijsveld en op de leerlingen is enorm opgevoerd, en toch blijkt nergens uit dat de rekenvaardigheid ook echt aan het verbeteren is. Dan is het toch de hoogste tijd om eens kritische vragen te stellen over dat rekenonderwijs zelf? En over de expertise-centra die de bewindslieden kennelijk valse verwachtingen hebben voorgespiegeld? Ik geef een paar evidente voorbeelden.


Tja, wat kunnen we er van zeggen, nu er heel veel gegevens bekend zijn, er vele commissies druk in de weer zijn geweest, de rekentoets op veel punten is aangepast, er geprobeerd is (Steur) de grootste ongelukken te voorkomen, en er toch zoveel problemen overblijven dat het in een politieke crisis uitmondt? Wie wisten al heel vroeg hoe dit zou gaan aflopen, en wat is er met die kennis gedaan? Wat valt er nog meer te leren uit heel deze affaire: wat is de voedingsbodem geweest, doet iedereen maar zijn ideologische ding, of is er ook sprake van wetenschappelijke onderbouwing van de ontwikkelingen in het rekenonderwijs van de laatste decennia? [Ik ben dus jarenlang op deze manier in de weer geweest, doorvragen, verklaringen zoeken, relevante kennis bijeensprokkelen — allemaal zaken die door OCW stelselmatig verboden worden aan commissies (en zijn instituties?)].


PISA en de rekentoets, en vragen van Bosker daarover (brief aan Roel Endert).


De problematiek rond de rekentoets wordt beheerst, en mede veroorzaakt, door de verpolitiekte situatie: OCW staat niet toe dat partijen ook nog eigen professionele expertise inbrengen buiten de nauwe kaders van OCW. Zo worden de referentieniveaus beschouwd als in rots gebeiteld: wee de commissie die eraan twijfelt.


contexten - woordproblemen - situationisme


onderwijsverzorgingsstructuur


wetenschap?




Handelingen Tweede Kamer 7 oktober 2015


Government documents October 6, 2015 here.



As will have happened in many countries, also in the Netherlands basic math skills of our young have declined in recent decennia, even to the point that it may be said that many 18 year old youngsters lack these skills: they are helpless without a calculator.


Politicians have tried to repair this problem by adding a special section to the exit exams in secondary and even some tertiary education: a math test or rekentoets, see Twitter #rekentoets. Huge problems surfaced after the first trial tests in 2012.


Major causes: pseudoscientific (constructivist) convictions, unprofessional development of the tests, reckless politics (making these math tests a very high-stakes part in exit exams for all, yes all, Dutch youth), undemocratic procedures (making these tests digital instead of paper tests; keeping test items secret after being used in an exam; using test features explicitly prohibited by parliament such as admitting use of a calculator). Well, the list in fact is much longer.

What is happening now in the Netherlands should be of interest to the world at large (OECD countries having to endure the PISA-ordeal). PISA-math, after all, is ‘made in Holland’ (Jan de Lange, Freudenthal Institute, Utrecht, see this OECD-document: pdf) and very much alike the rekentoets that now threatens the position of the ministers of education Bussemaker and Dekker. Therefore it might be useful to discuss some issues in English. (Google, after all, is not very good in translating technical language in political documents)



College voor Toetsen en Examens CvTE [Examinations Board] (March 2015). Raadpleging conceptsyllabus rekenen voor VO en mbo. get documents here

2 Mb vastgestelde syllabus

CvTE is the Board that is responsible for all examinations in publicly funded education in the Netherlands. The Board does not have the support of staff that is knowledgeable in the field of psychological testing. The presumption is that the board will buy the necessary assistance from Cito (Dutch edcational testing service) that in fact produces the examinations and handles the logistics.


Dutch paradox: a high position on PISA Math lists yet poor mastery of basic arithmetics skills confuses politicians. The Dutch Educational Testing Serice (Cito) and others have made big mistakes in designing high stakes arithmetics exit tests modelled on the constructivist PISA Math test (itself is ‘Made in Holland&rsquo). The difference between low stakes (PISA) and high stakes (exam, #rekentoets) is that now certain groups of students effectively will be barred from obtaining their diplomas. A lot of repair legislation is now in the pipeline, to prevent disaster. Politicians are becoming aware of the possibility that 40 years of constructivism might be the culprit.



Zakken op de rekentoets?
Met allerlei maatregelen is het aantal gezakten mogelijk wel een beetje binnen de perken te krijgen, maar dan hebben we uiteindelijk

  1. een zinloze rekentoets over,
  2. waar veel teaching to the test voor wordt gedaan,
  3. met een idiote bureaucratische rompslomp
  4. en buitengewoon hoge toetskosten,
  5. terwijl er aan de ondeugdelijkheid van het rekenonderwijs nog niets is gedaan, helemaal niets.


De wereld waarin wij rekenen


tweetEen school bouwen terwijl je als aannemer weet dat het onderwijs op de ideologie van het constructivisme berust? Geen probleem, toch?


Een #rekentoets bouwen en weten dat de blauwdruk daarvoor berust op de ideologie van het constructivisme? Een probleem, toch? #integriteit

Wat is integriteit hier?
http://www.vsnu.nl/wetenschappelijke_integriteit.html
Is het Cito daaraan gebonden? Nee. Maar waarom zou dat verschil maken?

De uitdaging is dan voor de Stichting Cito om te erkennen dat hier een probleem ligt, en er de maatschappelijke discussie over aan te gaan.

In een moeite door dan ook maar het onderwerp ‘belangenverstrengeling’ op de agenda zetten. Zie bv. : KNAW Code

In het hele traject van de #rekentoets, zeg te beginnen met de Commissie-Meijerink, is er sprake van intense belangenverstrengeling. Wie kan dat eens in beeld brengen? OCW?

Een pakkende titel voor dit hele complex van zompigheid: ‘The Great Dutch Math Robbery’ [zie hierbeneden] In court: 2015 woensdag 1 juli 10:00 uur. AO

NB: er was een plenair debat over de rekentoets gepland, kennelijk is het zo druk in de laatste week voor het kamerreces dat alsnog is afgezien van dat plenaire debat, nu dus een algemeen overleg. Jammer is dat dat er dus geen uitzending is op NOS Politiek, en dat er evenmin een permanent raadpleegbare video van het overleg beschikbaar komt


Kamervraag: waarom gaat OCW altijd weer in zee met clubs die niet door een academische integriteitscode zijn gebonden (of dat niet weten)?

Vervolgvraag: waarom houdt OCW, de TK, de onderwijsinstituties niet actief aan die integriteitscode (ieder zweem van beunhazerij wegblazen)?

Een simpel voorbeeld: manifest ‘Realistisch rekenen niet goed? Kinderen presteren juist beter’ vorige.nrc.nl/opinie/ . . . 18 hoogleraren — wie ook alweer? Deze 18 vormen al een aardig begin van een inventarisatie ‘belangenverstrengeling’. Over realistisch rekenen zie eens het hilarische http://knaw.nl/shared/resources/actueel/ . . .


tweet Korte inventarisatie. De PPON 1997. Bijna alle rekenonderwijs nu ‘realistisch’; delen vermenigvuldigen achteruit. Daar is dan in de media even heel veel over te doen (wie schrijft eens die geschiedenis?). Er gebeurt niets. Wachten op de volgende klap: De PPON 2004 laat dramatische (verdere) terugval basaal rekenen zien, en winst voor slordigheidsrekenen: schatten. Zie vooral blz 125 ev Kees van Putten: ‘Strategiegebruik bij het oplossen van deelsommen.’ Dat laat de aard van de rekenramp aardig zien. Adri Treffers, directeur van het Freudenthal Instituut, probeert het weg te wuiven, maar geeft toe: dat is lastig Van Zanten & Buijs 2009.

De overheid komt niet in actie — de Cie-Meijerink .steunpunttaalenrekenenvo.nl/ . . . moet iets aan aansluitingen doen, niet aan mankerend rekenonderwijs. Pas ergens na 2007 beginnen politici te beseffen dat er iets moet gebeuren aan dat rekenen, en dat raakt verknoopt met de referentieniveaus.


tweet Wat ook speelt: de spagaat van het ‘hoe’ en het ‘wat’ na ‘Dijsselbloem’ en hoge verwachtingen van toetsen: ‘de basis op orde, de lat omhoog’. Eea culmineert in een schimmenspel bij de behandeling van de Wet op de referentieniveaus (Handelingen). Bewindslieden kunnen geen antwoord geven op de vraag wat nu het rekenprobleem is dat hier opgelost wordt. Bizar. Een eventuele rekentoets zweeft vormloos door het debat. De Eerste Kamer denkt dat de Tweede het allemaal wel goed heeft de behandeld: daar is deze bizarre wet een hamerstuk. En dan begint het gedoe. De referentieniveaus, ooit bedoeld als houvast voor aansluitend onderwijs, blijken plotsklaps de basis voor een nieuw soort extra eindexamen.Wie vertrouwd is met bestuursrecht, herkent hierin het onterecht gebruiken van een instrument voor een doel waarvoor het nooit is ontwikkeld. Dat maakt toch nieuwsgierig naar die Cie-Mijerink en zijn rekenwerkgroep-Van Streun. Jan vd Craats was lid, zie stuk hier. Er is in die werkgroep iets wonderlijks gebeurd, want van dat discussiestuk-van de Craats is in de referentieniveaus weinig terug te vinden! Een bijzonder soort functioneel (F) rekenen blijkt uit die referentieniveaus. OCW heeft sindsdien iedere discussie erover verhinderd. Mag ik speculeren over wie bepalende invloed op de formulering van die rekenreferentieniveaus hadden? Zie de top van pic.twitter.com/GmdsLeCM8i.


tweet Zullen we even doorpakken? De KNAW-cie onder voorzitterschap van Jan Karel Lenstra [rapport bestond niet alleen uit KNAW-leden:


Van Putten en Verschaffel zijn psychologen met een lange staat van dienst op het gebied van onderzoek van rekenen. Van Putten is in het bijzonder op de hoogte van de PPON-resultaten rekenen. Verschaffel is overtuigd constructivist, en weet dat te combineren met uitstekend psychologisch onderzoek naar, vooral, woordproblemen. Het is voor mij de vraag of de overige hoogleraren in deze commissie weten wat constructivisme in rekenonderwijs inhoudt, ik vermoed dat zij niet weten dat zij dat niet weten. Ook Jan Karel Lenstra niet, anders zou hij niet met droge ogen kunnen vertellen dat de rekenoorlog in Nederland toch echt voorbij is. Dat er vertegenwoordigers van het FI en van SLO in deze commissie zitten is ook wel bijzonder, verder geen commentaar. Marian Hickendorff, geen lid van de commissie, is een uitstekende jonge onderzoeker, voor haar promotieonderzoek mede afhankelijk van het Cito.


Deze KNAW-commissie bleek niet in staat onderscheiden invloeden op rekendidactiek te benoemen, zie bv Anderson, Reder, Simon 2000. Dat een commissie van deze statuur de kernpublicaties van Anderson/Reder/Simon mist, is niet echt verbazingwekkend gezien de samenstelling. Het is niet niks, dat deze KNAW-cie geen probleem wenste te zien in realistische didactiek. Voor mij, bijvoorbeeld, betekent het dat ik bergopwaarts moet vechten tegen de bierkaai die constructivisme heet.


tweet Gebruik vd rekenmachine RM is een belangrijke factor bij (het ontstaan van) de gebrekkige rekenvaardigheden van Nederlandse adolescenten. En in de rekenoorlog met constructivisten (‘realistisch’ reken- en wiskundeonderwijs). Het verhaal van de RM en de rekentoets is ongelooflijk, maar gelukkig zijn er de nodige stukken die aantonen dat het ongelooflijke kan in NL. En weer gaan 2 dossiers door elkaar lopen. Motie Dijkgraaf - vd Ham vraagt om de RM (GRM) uit eindexamens te halen: dossier motie D-vdH. De staatssecretaris beslist niet zelf, maar laat dat aan oa het CvE dat komt met het novum dat zonder RM er geen examenvragen meer zijn te ontwerpen. Huh? Jazeker. Karbonade kost immers € 13,96. Sorry, gekker kan ik het ook niet maken. Van der Zwaart legt het uit: scan van artikel 'De rekentoets 2 vmbo toegelicht' in Euclides 89/2. Ik ga nu te snel. Overigens is dit de enige keer, voorzover mij bekend, dat het CvTE bij monde van een voorzitter van een CvTE-vaststellingscommissie (Van der Zwaart) openlijk het ideologische achterste van z’n tong heeft laten zien. Behalve dan die uitglijer in het rekenmachine-advies aan de minister, een door-en-door ieologische opstelling op basis van ‘realistisch’ rekenen.

De rekenmachine-motie Dijkgraaf - Van der Ham staat helemaal los van de rekentoets. Maar er is juist gekozen voor een afzonderlijke rekentoets omdat bij de eindexamens wiskunde een RM aanwezig is.

Volgt u het nog? Nadrukkelijk in de kamer 31-3-2010, behandeling van het voorstel van Wet op de referentieniveaus Nederlandse taal en rekenen: ‘rekenen moet met het koppie’. Geen enkel misverstand mogelijk. Lees de Handelingen. Het is mij een raadsel hoe het wel mogelijk blijkt dat OCW vanaf 31-3-2010 werkt aan een rekentoets met RM. Hebben kamerleden zitten slapen? De rekentoets met RM geeft het signaal af aan Nederland dat geautomatiseerde rekenvaardigheid — 7 x 8 weten — iets middeleeuws is. Wat bizar is.


tweet OCW stelt cie (vz Victor Schmidt) in die de rekentoets vorm moet geven: http://www.slo.nl/voortgezet/tweedefase/nieuws/00039/ Wie zijn er lid van:

De rekentoetswijzercommissie is samengesteld uit deskundigen van SLO, Freudenthal Instituut, Cito en het College voor Examens. Ook hebben de vakverenigingen NVvW (Wiskunde) en Vecon (Economie en Management &Organisatie) twee leden afgevaardigd in de commissie, waaronder een rekencoördinator.

tweetEigengereide keuzen (oa in strijd met de besluitvorming in de Tweede Kamer 31-3-2010) van de Commissie-Schmidt leiden tot scherpe kritiek Wilbrink & Hulshof, 2011. OCW had 4 jaar geleden kunnen doorpakken en de 2F-3F-trein stoppen. Niet dus. Wel krijgt Jan van de Craats nu opdracht om een rekentoets-3S voor te bereiden, zie hier

tweet Vd Craats is vz van een compromiscie. Glashelder deel 1. In deel 3 toch de RM. Samenstelling, uit www.steunpunttaalenrekenenvo.nl:

Leden

De commissie 3S bestaat uit de volgende leden:

Voorzitter: Jan van de Craats
Secretaris: Jos Tolboom (SLO)

CvE vertegenwoordiger: Jaap Vedder

Cito vertegenwoordiger: Ernie Schouten

Overige leden:

Henk van der Kooij (FIsme)

Wim Caspers (Adelbert College, Wassenaar en TU Delft)

Peter Kop (GSG Leo Vroman, Gouda en ICLON, Leiden)

Jan Karel Lenstra (Centrum voor Wiskunde en Informatica)

Henk Rozenhart (Berger Scholengemeenschap, Bergen)


In deze Commissie-vdCraats: Henk van der Kooij (prominent vormgever van constructivistische wiskunde), eerder ook lid van de Commissie-Schmidt. In die laatste Cie treffen we Truus Dekker (SLO) en Monica Wijers (FI), eerder ook lid van de werkgroep-Van Streun voor referentieniveaus rekenen. Mooie doorlopende leerlijnen, zou je kunnen zeggen. In een wereld van sterk strijdige inzichten in rekenonderwijs toch wel heel opmerkelijk.

Is hier sprake van het door ideologen buiten de deur houden van de wetenschap? Lees dan eens vd Linden & Zwarts 1996.

Complotdenken? De RMO wees er in 2012 op dat monopolistische instituties in het onderwijsveld tegenspraak behoeven: adviesorgaan-rmo.nl/. Is de situatie sindsdien verbeterd? Als dat zo is, dan niet dankzij de politiek, maar door onderzoeksjournalistiek didactiefonline.nl/. O ja, enees nog eens een stuk op de site van Didactief terug, eind 2013. Het wil maar niet opschieten met die rekentoets didactiefonline.nl/. Want wees eens eerlijk: de daar geuite bezwaren tegen de rekentoets zijn niet weggenomen door de commissies Bosker en Steur. Nog steeds is de rekentoets die volgend jaar onderdeel van de eindexamens dreigt te worden, onderdeel van het probleem van het rekenonderwijs, en niet onderdeel van de oplossing.


Waarom die nadruk op historie & Handelingen? Omdat ‘de wet’ bestaat uit: de tekst van de wet, zijn parlementaire behandeling (zeker de Handeling van de uiteindelijke plenaire behandeling van het betreffende wetsontwerp) & jurisprudentie. Of volgend jaar de rekentoets een rechtmatig examenonderdeel is, wat aan te vechten valt, dan is de wijze van tot stand komen van belang.


tweet Vanaf de Cie-Schmidt is het Cito ongeveer overal bij/in/over betrokken. Cito blijkt niet echt rolvast, en dat kan zo natuurlijk ook niet.

Vraagt de staats eind 2013 zijn toetsenbakkers: hebben jullie hoogwaardige toetsen gebakken?

Uw Kamer heeft mij verzocht om — samen met het CvE en CITO — na te gaan of de rekentoetsen in balans zijn. Het gaat daarbij om toetsen die inzichtelijk moeten maken of een leerling het vereiste referentieniveau beheerst. CvE en CITO hebben aangegeven dat de toets valide en betrouwbaar meet wat in de referentieniveaus beschreven staat. De referentieniveaus vereisen zowel toetsing van parate kennis als toetsing van de toepassing van die kennis in een zinvolle context. Hoe de school de leerlingen voorbereidt is een didactische kwestie en het is niet aan de overheid om daarover te beslissen. rijksoverheid.nl/documenten-en- . .

In 2014 komen commissies Bosker en Steur, ook al analyseren zij slechts oppervlakkig, met vernietigende oordelen over diezelfde toetsen. Je zou denken: andere bakkers nemen. Niks hoor. Dezelfde bakkers krijgen de (betaalde) opdracht het onverwachte meerwerk ook uit te voeren. Wat moet een onbezoldigd tegenspreker daar verder nog tegen spreken? Die Cito-rapporten, bijlagen bij de recente brief. Waarom nog lezen? tweet Cito en ook CvTE gaven TK-leden een briefing over hun kunnen en kennen: hoe betrouwbaar en valide. TK-leden hadden daar niet van terug ;-) Ik was erbij, op de publieke tribune, met de tenen krom in de schoenen. Er zijn gelukkig enkele publicaties die het probleem inhoudelijk uitdiepen, zodat mijn tenen niet het enige getuigenis zijn:


Het Cito berekent dat de rekentoets betrouwbaar is (geen slachtoffers door meetfouten): Zwitser & Béguin 2011. In scherp contrast daarmee staat dat de Commissie-Steur en de bewindslieden het acceptabel vinden dat door de #rekentoets vijf procentpunt leerlingen extra zakt voor hun examen.

Oké, Cito reageerde op Wilbrink & Hulshof 2011 zoals het CvTE reageerde op het artikel ‘rekentoets niet valide’’ Wilbrink, Hulshof & Pfaltzgraff 2012. Door CvTE beschouwd als officieel antwoord op de validiteitskwestie gesteld door Wilbrink c.s.: Kastelein 2012. Pikant: het artikel straalt uit dat het testpsychologische begrip ‘validiteit’ bij het CvTE onbekend is. (De redactie van Examens plaatst het als ingezonden brief).


Toetsenbakkersgrappen, prima, maar dit is dus echt wel serieus. De toch al weinige tegenspraak tegen Cito en CvTE blijkt echt niet serieus te worden genomen. Zo blijft Cito zwijgen op de aanklachten dat deze rekentoetsen testen op verschillen in intellectuele capaciteiten in plaats van op rekenvaardigheid. De bestuursvoorzitter van het Cito twittert dat de bakkerij blindelings werkt met CvTE-receptuur. Geloof het of niet. In dat laatste geval: twitter.com/MartenRoorda/s . . . . Ons brood is brood omdat er brood op staat (met dank aan Ronald Buitelaar). Dat is ook het probleem in het publieke debat: de spin is dat iets dat rekentoets heet, het ook is.


De agenda voor het Algemeen Overleg van woensdag 1 juli laten bepalen door de kamerbrief met opgeloste en nog niet opgeloste #rekentoets-problemen is de ogen sluiten voor falend rekenonderwijs.


Mijn zoektocht, de laatste dagen, naar de essentie van de rekentoetscrisis geeft mij het sterke gevoel dat ik er wel mee klaar ben. Een overheid die niet de noodzaak ziet van het organiseren van het meedogenloze soort tegenspraak dat we ‘wetenschap’ noemen, is geen knip voor de neus waard. Gesubsidieerde pseudowetenschappelijke ideologie in het onderwijsveld en zijn verzorgingsstructuur — kappen ermee. Ik merk dat ik telkens moet terugvallen op oudere publicaties: niemand trekt er consequenties uit, iedereen vindt het wel goed zo. Strijd tegen de bierkaai.

Oké, niet iedereen. Ik ga gezellig het Algemeen Overleg woensdag a.s. bijwonen. Daarna verder met de omgekeerde wereld van contextopgaven : ekenen_in_alledaagse_situaties.htm ~~



wetgeving, kamerbrieven, voortgangsrapportages


The Great Dutch Math Robbery



Daar zijn die referentieniveaus niet voor opgesteld! Niemand in de commissie-Meijerink kon bevroeden dat hun werk zou worden misbruikt voor een heel ander doel: eindexamentoetsen. Diefstal op klaarlichte dag. De Tweede Kamer is met open ogen in de val gelopen, op 31 maart 2010, alleen de SGP stemde tegen de Wet op de refrentieniveaus Nederlandse taal en rekenen. Hoewel: de Kamer was ervan overtuigd dat de rekentoets een toets op rekenvaardigheid zou zijn, ‘met het koppie’ en niet met de rekenmachine te maken. Dat het met het koppie en niet met de rekenmachine zou moeten was juist de reden om een afzonderlijke rekentoets in te voeren, omdat immers bij de eindexamens wiskunde die rekenmachine wel aanwezig was. Nederland is dus besodemieterd door de onderwijsverzorgingsstructuur (Cito, SLO, CvTE, FIsme) die kennelijk geen boodschap heeft aan het parlement. Parlementsleden van diverse coalities hebben vervolgens zitten slapen, en zijn geleidelijk ingepakt door OCW.


Kamerbrief Voortgangsrapportage invoering referentieniveaus rekenen 2015, 25 juni 2015 pdf ophalen. Een aantal onderzoekrapporten als bijlagen, op te halen op de website van het CvTE hier.




Het percentage vo-eindexamenkandidaten dat minimaal een 5 of 6 heeft gehaald en het gemiddelde cijfer van alle vo-eindexamenkandidaten [even klikken: tweet van Koolstra met de tabel].


Toch weer heel verrassend, na de kritiek op deze presentatie van rekentoetsresultaten in een voorgaande kamerbrief: weer een grafiek met percentages geslaagden per school. Hier is ie. Maakt OCW het onderliggende databestand ook openbaar? Om uitgesplitste grafieken te maken.

Bij kleine verschuivingen in toetsscores kunnen grote verschuivingen in % geslaagden horen: heel veel leerlingen rond de grens. Dat bewindslieden deze grafiek aangrijpen voor een deuntje fluiten in het donker, dat begrijp ik wel. Maar juist deze grafiek is ook te zien als bewijs voor het geklungel van de hele rekentoetsketen: zulke grote verschuivingen in persentages voldoende, bij zulke gering verbeterde scores, dat geeft aan dat een groot deel van de leerlingen midden in de gevarenzone zit. En dat voor een eindexamenonderdeel dat toetst op basale vaardigheden die weinig boven het normale voor groep 8 van de basisschool moeten liggen.

Wat was ook alweer het misleidende: kijk eens helemaal rechts, dat zijn categorale gymnasia. Etcetera.


En dit is de bijstelling die we wisten dat moest komen:

. . . in de overgangsperiode blijven werken met cijfers, in plaats van met vaardigheidsscores en de aanduiding ‘behaald’ / ‘niet behaald’.


‘Intensiveringstraject van het Steunpunt taal en rekenen vo’ Ik ben toch benieuwd hoe wit dat wasmiddel wast. Wat houdt het in? En wie zijn toch die rekenexperts die scholen in intensiveringstrajecten ondersteunen? Het moeten er ook nog behoorlijk wat zijn!


De aanbevelingen van cie-Bosker zijn uitgevoerd, ‘waardoor de toets op orde is’. Ha ha. Nieuwe invulling van het begrip validiteit? Bv. minder talige opgaven: “Ten tweede letten de opstellers van de toets extra op onnodige complexiteit van opgaven.” Met een kleitje het riet in sturen, zo noemen we zoiets.


Transparantie / geheimhouding: alle rekenopgaven en antwoorden na de afnameperiode ter inzage voor leraren en leerlingen. Lees ik dat wel goed? Restricties?

Op 1 juli 2016 worden alle meetellende rekenopgaven openbaar gemaakt. Kijk, zo moeilijk is dat toch niet? Bravo.


Herstel vd blunder dat de rekentoets geleidelijk zwaarder telt (in de trasitieperiode) dan wanneer deze in de kernvakkenregeling zou zitten: in 2017 komt de rekentoets weer in de kernvakkenregeling. Zoals het hier staat wordt evenwel de ene blunder door een andere vervangen: de rekentoets in kernvakkenregeling is ook een enorme verzwaring! Of gaat de kernvakkenregeling dan ook aangepast worden, bv naar twee compenseerbare vijven? En dan nog, dat kan nog steeds een verzwaring blijken. Zorgvuldig doorrekenen, jongelui.


Ik heb in ‘Examens’ een bloedserieuze aanklacht geschreven Wilbrink, Hulshof, Pfaltzgraff">Wilbrink, Hulshof & Pfalzgraff 2012, waar Cito niet op reageert. Het CvTE wel (Kastelein (2012)): procedures netjes gevolgd, alles oké! In academische kringen is het toch wel gebruikelijk om inhoudelijk te reageren op beschuldigingen onjuiste informatie te geven. Het gaat hier bovendien niet om een eenvoudig verschil van mening, maar over de vraag of die rekentoets voor de hele NL jeugd wel deugt. Er ligt serieuze kritiek, die is publiekelijk beschikbaar, op het departement ook bekend, maar het Cito laat die kritiek bungelen. Laat zichelf bungelen, is misschien beter gezegd. Al gaf het Cito het maar een inhoudelijke reactie op de anders in het vat gestoken aanklacht van mij en Paul Kirschner hier.


Over welke rekentoetsen hebben we het? Ieder jaar beter te maken: minder vragen, relatief minder contextvragen, terugbladeren. Die honderden intensiveringstrajecten (steunpunt) lieten evenmin helder resultaat zien, volgens de rapportage. Het contextdeel van de #rekentoets is een beroerde intelligentietest. Klopt dus: niet voor te bereiden.


De Kamer is aan zet, woensdag 1 juli 10:00 uur plenair. Laten we de Kamer rekentoetsen uit 50er, 60er jaren sturen!
http://vakbladeuclides.nl/archief/pdf/32_1956-57_05.pdf


Cito-rapport over deelscores. [citeren] Hier valt wel meer over te zeggen. Het springende punt is de achterlijkheid om complexe opgaven met goed/fout te beoordelen. Ofwel: je kunt hier niet echt een zinnig antwoord op geven zonder de context-gekte (constructivisme, RR) erin te betrekken. In de ideologie van de toetswijzercie (nu syllabuscie-Vos) zijn contextopgaven probleemopgaven die in stappen moeten worden aangepakt. Ergo: die stappen moeten beoordeeld. Is op 12-4-2011 ook glashelder ingebracht veldraadpleging Utrecht.

Het is de realistische rekenmeesters juist te doen om die strategieën, dan moet Cito niet met flauwe smoezen aankomen. De smoes is hier natuurlijk ook: digitale afname en automatisch scoren hebben kennelijk prioriteit boven validiteit.


Vastgestelde Syllabus rekenen (voor 2015-2016).




CvTE laat stukje van achterste van zijn tong zien, bij monde van Geert van Lonkhuyzen. Genoeg beeldspraak — het gaat om een interview van Monique Marreveld en Bea Ros (Didactief) van Lonkhuyzen en voorzitter van het College Pieter Hendrikse webpagina. Het is een bijzonder onthullend interview, dat ongetwijfeld niet als onthullend is bedoeld. Spannend. Wat mij betreft dus een prima bijdrage aan het debat over de rekentoetsen en alles wat daarmee samenhangt (staatsdidactiek, onderwijsideologie, toetsindustrie, ontspoorde onderwijsverzorgingsstructuur). Een uitspraak van Van Lonkhuyzen illustreert het prachtig, waar hij in een adem door de bijdrage van Van de Craats en van Hulshof aan het debat afserveert als irrelevante opinies, en zegt dat het CvTE juist heel goed luistert naar de feedback uit het onderwijsveld. Gekker kan ik het niet maken (dat wordt mij wel eens verweten: dat ik de zaken gekker voorstel dan ze zijn; maar de wereld en de functionarissen blijken telkens gekker dan ik het kan bedenken). Ook Hendrikse houdt wel van paradoxen: het CvTE luistert naar alle signalen, maar wat zij daarmee doet is natuurlijk geen politiek.


Jullie zien dus in die geluiden van hoogleraren als Jan van de Craats en Joost Hulshof geen reden om de rekentoets bij te stellen?

Van Lonkhuyzen schudt resoluut zijn hoofd: ‘Wat zij zeggen, is voor hun rekening. De toets deugt en die deugt steeds beter, want we tonen ons ontvankelijk voor de feedback uit het veld.’

Hendrikse: ‘Alle signalen krijgen een plek, maar het College mengt zich niet in het publieke debat.’


Ik ga dit interview niet annoteren; lees het vooral zelf, er zitten pareltjes van autoritaire paradoxen in, als ik ze zo mag noemen. Het valt meer mensen op dat Nederland een probleem heeft met deze instituties. De hoofdredactrice van Van Twaalf Tot Achttien twittert er dit over: “Opengooien en onafh toezicht. Want troika CvTE Cito en OCW blijft zo intransparant als wat.”


WOB-verzoek resultaten rekentoetsen 2014, door Anja Vink en Ronald Buitelaar, resulteert in openbaarmaking van rekentoetsresultaten vo eindexamens 2014 Twitter. Verwijst naar Ronald Buitelaar blogspot met tevens het antwoord van de minister op het WOB-verzoek, verwijst naar:


CvTE veldraadpleging rekentoets-2A, voorbeeltoets-2A zie hier, ophalen voorbeeldtoets. Op Twitter onder andere deze discussie over de voorbeeldrekentoets-2A Twitter.


Resultaten rekentoets 2014 op schoolniveau. rijksoverheid.nl Sander Dekker (6 mei 2015). Voldoendepercentages rekentoets vo. http://goo.gl/Zh3sWr. Brief aan de Tweede Kamer, met misleidende analyses over rekentoetsresultaten vo 2014, e.e.a. in antwoord op kamervragen van Paul van Meenen (D66). In deze brief blijft onvermeld dat Vink en Buitelaar in januari 2015 een WOB-verzoek voor deze gegevens hadden ingediend. Op twitter zijn heel wat commentaren geleverd, en heranalyses van de (waarschijnlijk toch niet volledige) dataset van OCW.


internetconsultatie (4-5-2015). [concept:] Wet invoering rekentoets 2A en centraal examen 2A, onderscheid diploma's mbo en doorstroombeperkingen rekentoets ER en centraal examen ER.
webpagina


internetconsultatie (19-1-2015). [concept:] Wijzigingsbesluit i.v.m. rekentoets vo en mbo.
https://www.internetconsultatie.nl/wijzigingsbesluit_rekentoets


Staatscourant (Gepubliceerd op 17 april 2015). Regeling van het College voor Toetsen en Examens van 9 februari 2015, nummer CvTE-15.00618, houdende vaststelling van regels voor de omzetting van scores in cijfers bij centrale examens en de rekentoets in het voortgezet onderwijs (Regeling omzetting scores in cijfers centrale examens en rekentoets VO 2015) http://goo.gl/D3HXoA


Staatsblad (Gepubliceerd op 9 juli 2013). Besluit van 19 juni 2013 tot wijziging van het Besluit van 23 april 2012 (Stb. 2012, 217) in verband met examinering van de rekentoets als inspanningsverplichting in de invoeringsfase. (wijzigingsbesluit)
Gezien het nader rapport van de Staatssecretaris van Onderwijs, Cultuur en Wetenschap van 14 juni 2013, nr. WJZ/520911(10290), directie Wetgeving en Juridische Zaken, uitgebracht mede namens de Staatssecretaris van Economische Zaken. http://goo.gl/reWBH1


Staatsblad Gepubliceerd op 22 mei 2012 Besluit van 23 april 2012 tot wijziging van het Eindexamenbesluit VO, het Staatsexamenbesluit VO en het Examen- en kwalificatiebesluit beroepsopleidingen WEB in verband met examinering referentieniveaus Nederlandse taal en rekenen VO en mbo 2 en 3 en aanpassing examineringsvoorschriften voor mbo in verband met de beroepsgerichte kwalificatiestructuur. (wijzigingsbesluit) https://zoek.officielebekendmakingen.nl/stb-2012-217.html


overheid.nl (10 juli 1989). Eindexamenbesluit VO http://wetten.overheid.nl/BWBR0004593/
Het Eindexamenbesluit VO is de wet die de eindexamens in het voortgezet onderwijs regelt.
NB: in tegenstelling tot wat men zou denken bij de mededeling dat het gaat om de tekst van de wet zoals geldend op de dag dat dit bestand wordt geopend, zijn er niet in deze wet genoemde wijzigingsbesluiten die de wet wel degelijk hebben veranderd. Voor die wijzgingsbesluiten, zie hierboven.


overheid.nl (Wet van 29 januari 2009). Wet College voor toetsen en examens. Wet van 29 januari 2009 tot instelling van een College voor examens, alsmede houdende wijziging van de Wet op het onderwijstoezicht en de Wet op het voortgezet onderwijs (Wet College voor examens). http://wetten.overheid.nl/BWBR0025364


overheid.nl (Besluit van 23 april 2012). Wijzigingsbesluit Eindexamenbesluit VO, enz. (examinering referentieniveaus Nederlandse [...] examineringsvoorschriften mbo in verband met beroepsgerichte kwalificatiestructuur). Besluit van 23 april 2012 tot wijziging van het Eindexamenbesluit VO, het Staatsexamenbesluit VO en het Examen- en kwalificatiebesluit beroepsopleidingen WEB in verband met examinering referentieniveaus Nederlandse taal en rekenen VO en mbo 2 en 3 en aanpassing examineringsvoorschriften voor mbo in verband met de beroepsgerichte kwalificatiestructuur
http://wetten.overheid.nl/BWBR0031573
Dit moet zo op het eerste gezicht exact hetzelfde besluit zijn als hierboven al eens vermeld als gepubliceerd in het Staatsblad. NB Hoewel dit wijzigingsbesluit is gedateerd op 23 april 2012 blijkt het de bepaling te bevatten dat de rekentoetsen niet meetellen in de zakslaagbeslissing in de jaren 2013/14 en 2014/15, een besluit dat bewiondslieden van OCW pas december 2012 bekendmaakten, als ik mij goed herinner. Zie bijvoorbeeld artikel VIII overgangsrecht lid 1.f. De publicatie van het wijzigingsbesluit in het Staatsblad bevat deze curiositeit niet. Ik heb dit niet zelf gevonden (ik word helemaal gestoord van de complexe regelingen voor de rekentoetsen), en ben benieuwd of dit muisje nog een staartje krijgt.


overheid.nl (). Wet op het voortgezet onderwijs Artikel 29. Eindexamens en diploma.
http://wetten.overheid.nl/BWBR0002399/TitelII/AfdelingI/HoofdstukI/2/Artikel29


CvTE (februari 2015). Brochure | kaders rekentoets VO 2015 Versie 2, februari 2015 pdf 

1 Inhoud
1 Inhoud 3
2 Inleiding 5
2.1 Veranderingen ten opzichte van 2014 snel zichtbaar 5
2.2 Regelgeving 5
2.2.1 Kaders 5
2.2.2 Gewijzigd Eindexamenbesluit VO 5
2.2.3 Twee kansen 6
2.2.4 Rekentoets VO in ExamenTester en pilot met Facet 6
2.3 Nieuwe versie van deze brochure? 6
2.4 Rekenen op Examenblad.nl 6
3 Terugblik en vooruitblik 7
3.1 Terugblik op 2014 7
3.1.1 Resultaten eerste afnameperiode: maart 2014 7
3.1.2 Evaluatie met het scholenveld 8
3.1.3 Onderzoek naar een rekentoets BB 8
3.1.4 Onderzoek naar een rekentoets 3S voor het vwo 8
3.1.5 Pilot ER-toets 8
3.1.6 Commissies Bosker en Steur 9
3.1.7 Interne evaluatie CvTE 9
3.2 Vooruitblik naar 2015 11
3.2.1 Rekentoetswijzers 2015 11
3.2.2 Toetslengte 11
3.2.3 ExamenTester 2.11 mét terugbladermogelijkheid 11
3.2.4 Pilot rekentoets BB 11
3.2.5 Rekentoets 3S voor het vwo? 11
3.2.6 Pilot ER-toets 12
3.2.7 Ondersteunend materiaal 12
3.2.8 Verklaring van de directeur 12
3.3 Vooruitblik naar 2016 13
3.3.1 Verdergaande afstemming tussen VO en MBO 13
3.3.2 Drie afnameperiodes in schooljaar 2015-2016? 13
4 De uitvoering van de rekentoets VO 2015 14
4.0 Kaders: De verantwoordelijkheid van de directeur 14
4.1 Informatie: rekentoetswijzers 2015 14
4.2 Kaders: Flexibele en digitale afname - afnameperiodes 14
4.3 Kaders: Toetsduur 15
4.4 Informatie: ExamenTester 2.11 mét terugbladermogelijkheid 15
4.5 Kaders: Kandidaten met een beperking 16
4.6 Kaders: Hulpmiddelen 17
4.7 Kaders: Geheimhouding 17
4.8 Kaders: Geen handmatige correctie 18
4.9 Informatie: Dataretour 19
4.10 Informatie: Vaststellen cijfer 19
4.11 Informatie: Rapportage leerlingresultaten 19
4.12 Informatie: Enquêtes 19
4.13 Informatie: Evaluatie rekentoets VO 2015 19
4.14 Informatie: Deelrapportages (op domeinen) 20
4.15 Kaders: Inzage en bewaartermijn 20
4.16 Kaders: Ongeldigverklaringen 21
4.17 Kaders: Rechtmatigheidscontrole 22
4.18 Informatie: rekentoets op een hoger niveau 23
23 24 24
5 Activiteiten tot aan de digitale afname 25
5.1 Informatie: Aanmelden 25
5.2 Informatie: Distributie 25
5.3 Informatie: Examenblad.nl 25
5.4 Kaders: Verplichte systeemcheck 25
5.4.1 Doel en randvoorwaarden 25
5.4.2 Verloop 26
5.4.3 Deadlines systeemcheck 28
5.4.4 Terugkoppeling aantal FT-PC’s via privépagina 28
5.5 Informatie: Proef op de Som en voorbeeldrekentoetsen 30
5.5.1 Doel 30
5.5.2 Uitvoering Proef op de Som 31
5.5.3 Voorbeeldrekentoetsen 31
5.5.4 Losse rekenmachine 32
5.6 Informatie: Technische ondersteuning 32
6 De normering van de rekentoets VO 34 Bijlage 36


Steunpunt Taal en Rekenen MBO (). Wijziging Examen- en kwalificatiebesluit beroepsopleidingen WEB i.v.m. examinering referentieniveaus Nederlandse taal en rekenen mbo 2 en 3 en aanpassing examineringsvoorschriften i.v.m. de beroepsgerichte kwalificatiestructuur. pdf Nieuwe versie servicedocument Wijziging Examenbesluit mbo http://www.steunpunttaalenrekenenmbo.nl/steunpuntmbo/p000313/nieuws/nieuws/nieuwe-versie-servicedocument-wijziging-examenbesluit-mbo [Verwijst naar wijzigingsbesluit 23 april 2012 en een servicedocument op diezelfde datum. Dat is opmerkelijk, gezien de wijzigingen die later zijn opgetreden???? ]


Paul van Meenen (D66) (March 24, 2015) asked for a discussion in parliament on a Brandpunt documentary where minister of education Sander Dekker mentioned amazingly high success rates on the rekentoets, as well as the existence of schools scoring ver much better than other schools on the same rekentoets. page.



Comment on the CvTE concept syllabus



The CvTE conceptsyllabus (march 2015) is the latest document in a soap that drags on and on: the implementation of an arithmetics test as a special part of all exit exams in secondary education. It is up for comment by stake holders in the field of education. I consider myself one of them. A meeting is scheduled to take place March 24. The syllabus prescribes the content of the arithmetics test.

What could be so complicated about a test of arithmetic? Any headmaster can write a good test in a few hours! Exactly. Constructivist educators have discovered that things surely can not be as simple as that, and have staged a drama (I called it a soap already) that in the meantime has cost the Dutch taxpayer the better part € 500 million and created a service industry of trainers of coordinators of teachers of constructivist arithmetics. I will try to rob them of their dubious sources of income.


I will comment on the syllabus in English, because the Dutch debate on math tests has something to tell to the international educational community.


referentieniveaus rekenen is a set of state math standards, arithmetics really, described in a formal state document Besluit referentieniveaus Nederlandse taal en rekenen (look for Bijlage 2), and reproduced also in the appendix C to the syllabus.

The CvTE does not mention at this point (par. 1.1) that the math standards themselves are controversial, since the very moment of their inception (Committee Meijerink). tweet The controversy is on the F-standards, ‘arithmetics in situations of daily life’, after constructivist ideology in the Netherlands known als realistisch rekenen, exported as ‘realistic mathematics education’ (RME).

Denial of the controversial status of these state math standards is a pattern in the math soap in the Dutch political arena, and one of the causes of many interventions, debates, and committee-reports failing to put an end to the rekentoets-soap. Already Wilbrink & Hulshof 2011 showed how the Committee-Schmidt failed to do a proper job, not addressing the controversy on the F math standards. The expert meeting on the syllabus-F on april 12, 2011, made it perfectly clear that the Committee Schmidt endorsed a constructivist ideology of arithmetics teaching and testing.

par. 2.3 Functioneel rekenen

The standards speak of parate kennis and functioneel gebruiken. The first is what mathematicians would call arithmetic skills: add, subtract, multiply, divide; algorithmically or otherwise; integers, fractions, decimal numbers. The second is: ‘functional use’ is using arithmetic to solve daily problems. I'll try to find better translations ;-) The syllabus gives examples of ‘functional situations’: ‘work, transport, tourism, household, food, consumer behavior, grooming, home and garden’. This, of course, is woefully inadequate. For Dutch readers: 19th century teacher Van Pelt took inventory of arithemtics use in situations in daily life, used these in his classes (6th grade) where students wrote down typical solutions in a notebook they could take with them after school, for use in their personal life. Note: this is wholly adequate at the end of 19th century society. But the 21st? Come on. Van Pelt warned his readers (teachers):

The writer, in his choice of these curricular materials [math activities in daily life situations, BW], has tried to be moderate. It is easy to unwisely overdo this, as shown convincingly by some new arithmetics books for 7th grade vocational schools [herhalingsscholen], because there arithmetics itself has become a matter of secondary importance.

Well, ‘arithmetics itself has become a matter of secondary importance’ is exactly the problem in constructivist math education, especially also the math tests in exit exams (rekentoets)! The past — Van Pelt, 1903 — is haunting constructivist educationalists.


Typically, in realistic math education RME the word problems representing ‘daily problems’ are non-routine in character (as Anton Boonen 2015 would say). This is kind of an oxymoron, of course: ever seen a daily problem that is non-routine? Well, the Syllabus-Committee takes it very seriously and divides problem solving into six steps, in red in the figure: cyclus.png

  1. analyse the problem situation
  2. specify the steps to be taken to solve the problem as understood
  3. specify the givens that are relevant for the solution
  4. do the arithmetics involved
  5. translate the results in terms of the problem posed
  6. check whether the answer indeed is the answer to the problem posed.

The formulations are rather sloppy; yes, indeed, this is how one might describe some steps in word problem solving. Nothing scientific here, of course. Neither Polyan, also. Is this scheme kind of a reminder to the student who has lost his way? No, the Committee will use this scheme to characterize the difficulty of math test items! Surprise, surprise.


I will connect this discussion to my chapter on problem solving here (in Dutch). There I use a comparable scheme, with some twitches: problem - characteristics (kenmerken), plans, detailing the plan (uitwerking), test against the problem given, execute the detailed plan (uitvoering), result (antwoord, check result against the problem given toets). Recognize ‘productions’ from information psychology (Newell & Simon) in the plans being conditional on characteristics. Figuur 7.1


I will make use of the distinction between routine problems and non-routine problems, as made by Anton Boonen 2015, following Schoenfeld 1992, to exemplify issues. The dissertation by Boonen is of some interest because of its explicit recognition of RME. I do not think Anton Boonen himself is a constructivist; he does not seem to be aware of the constructivist issue in math education. The research methodology is mainstream psychology, not the fuzzy developmental research characteristic of constructivism.

“Routine word problems have a fixed problem structure and involve the application of routine calculations.”


“In contrast with routine word problems, non-routine word problems do not have a straightforward solution but require creative thinking and the application of a certain heuristic strategy to understand the problem situation and find a way to solve the problem (Elia, Van den Heuvel-Panhuizen, & Kolovou, 2009). In other words, it is characteristic for non-routine word problems that they cannot be solved in a prescribed way.”

Boonen, 15, 16


To me, this definition of the non-routine problems is scary. I will have ample opportunity to make the scary aspects clear (otherwise, see my page on 21st century skills

At the grocery store, a bottle of olive oil costs 7 euro. That is 2 euro ‘more than’ at the supermarket. If you need to buy 7 bottles of olive oil, how much will it cost at the supermarket?

Boonen p. 34


Characteristic (kenmerk) in the above problem is the clause ‘more than’, tricking the unaware student into, for example, answering with the difference: 7 minus 2. Now, is this a routine, or a non-routine problem? It depends on the training of the student, of course. Ah, training! Teaching to the test? Sure. In a nutshell, this is one important issue with the Syllabus and its emphasis on problem solving.

Are non-routine problems valid for use in exit examinations, such as the Dutch rekentoets? I do not think so. So did A. D. de Groot 1970, as well as Job Cohen 1981. Non-routine problems test for differences in intelligences — working memory, world knowledge, anxiety, accuratesse, IQ fluency, language, vocabulary — see Wilbrink & Kirschner 2014 (in Dutch), Wilbrink, Hulshof, Pfaltzgraff">Wilbrink, Hulshof & Pfalzgraff 2012 (in Dutch).


March 17. What will I do next? Table 1 in the concept-syllabus specifies 10 kinds of complexities in word problems. That table, regrettably, is rather superficial. For example, aspect 2 regards understanding the problem, but there is not the flimsiest notion of the psychological difficulties involved in understanding non-routine or even routine word problems, as treated in the literature (Allen Newell 1990, Stellan Ohlsson 2011). The superficial treatment of the complexity and difficulty of word problems is quite problematic: this committee evidently does not know how it can be that word problems turn out to be much, much more difficult than expected. So, I will start to return to the distinction between routine and non-routine problems (Anton Boonen 2015). First thing to do is check with Alan H. Schoenfeld 1985 what he makes of this distinction.

March 17. An important observation is that the syllabus committee does not seem to distinguish routine and non-routine word problems, with the possible exception of the special category of ‘simple word problems’. I will, of course, check whether these ‘simple’ word problems really are simple, i.e. routine, or rather non-routine. The educational philosophy of RME is that students should be capable of applying their math knowledge to new problems in daily life: RME claims to solve the problem of ‘transfer’. Therefore, according to these fuzzy notions of transfer and daily life, word problems should be non-routine. This, of course, is extremely problematic to the test psychologist; the only kind of testing coming close to RME-testing is the assessment center AC as used in personnel selection. Validity of the AC, however, is non-existent or at least unknown in most cases of its application — developing a valid AC for a particular vocational group in a particular situation is extremely costly.

March 17. Curricular materials will routinely contain non-routine problems, for the goal of instruction and training is to master them to routine levels. To make this specific: see the my treatment of problem solving in chapter 7 of Toetsvragen ontwerpen: only routine problems should be used in summative testing or in examinations. The reason is straightforward: non-routine problems test for differences in intellectual capacities. Non-routine or ‘true’ problem solving has been treated in full by Stellan Ohlsson 2011. I will use that source. Non-routine problem solving is a learning process, for example. A failed attempt to solve a non-routine problem will result in temporarily blocking the search for another, better, solution. Note that exit exams typically do not provide the students with ample opportunities to lay a problem aside and return later to it.

March 17. Also the standards themselves probably do not make it clear whether test problems should be of routine of non-routine character. I will look into that also (the syllabus reprints the standards in an appendix).

March 17. A troublesome aspect of the non-routine problem in summative tests is that students will have difficulties in preparing for them. A criterion of demarcation now is the following: the routine math problem precisely is routine for the well-prepared student. How about other students? The ill-prepared student will be confronted with word problems that for her will be non-routine because she is ill-prepared. I am not talking here about word problems with contexts taken from daily life. I am talking now of the typical math problem in, for example, undergraduate mathematics. The typical math problem George Polya 1945 is writing about. The typical math problem I was confronted with in my exam in 1956, or again in a course on mathematical analysis at the university of Amsterdam in 1973. The typical math problem as to be found in the Schaum Outline Series.

March 17. It might just be the case that in mathematics (as well as elsewhere) the difference between routine and non-routine problems royghly is that between problems solved by the student or by a group of students, and problems not solved because the student was not fully prepared to tackle them as routine problems.

March 17. What about language in math word problems? Well, of course, the use of language, pictures, what have you, in math problems can be troublesome, will be troublesome in many cases, and especially so in RME. I do regard them as technical defects in test items, the result of unprofessional design of the test items. A recent dissertation by Gerdineke van Silfhout 2014 will provide insight into the ways in which language factors impede validity of curricular materials and word problems in particular. The upshot is: problems of language and use of pictorial materials are superficial problems in the testing of math proficiency. Let us not divert our attention too much to superfialities.



fallacious RME word problems


A serious issue with RME-type word problems is that more often than not they are internally inconsistent in that a formal math question is embedded in a concrete situation without proper distinction between the formal and the concrete elements of the word problem. Especially in RME this is a serious issue, because in the RME-philosophy the student is supposed to apply math knowledge in a realistic situation. See here an example.

boonen_13.jpg

At each of the two ends of a straight path, a man planted a tree and then every 5 meters along the path he planted another tree. The length of the path is 15 meters. How many trees were planted?

Anton Boonen 2015


Boonen used this problem in his research, it is supposed to be a non-routine problem. In his book he does not mention the problematic character of this word problem: exactly which aspects of the problem should the student consider to be ‘concrete’, which ones ‘formal’? As suspected, the ‘correct’ answer to this question happens to be ‘eight’. Well, ‘eight’ is the answer to quite another question: At each of the two ends of two straight line pieces, a man constructed a perpendicular line, and then every 5 meters along each line he constructed another perpendicular. The length of both line pieces is 15 meters. How many perpendiculars were constructed? If the word problem is to be interpreted in a concrete, ‘realistic’ way the answer should be ‘six’, because it can not be assumed that the diameter of the trees is zero. The researcher who is not aware of the issue, will fail to register students struggling with the interpretation of the word problem.

Math Olympiad students may be baffled by these hodge podge concrete-abstract word problems. Of course, they will try to guess the intentions of the item writer — which is not always an easy thing to do. Brilliant students sitting the rekentoets typically do not score 100% correct! Our minister of education Sander Dekker does not have a clue; he thinks the following item a piece of cake, and said so in Parliament.

rv0-2F-vb-13.4.jpg

This pile of gravel is to be transported by fully loaded wheelbarrows.
How many fully loaded wheelbarrows will that be?
. . . . . . . . . . . . . . . . . . . . wheelbarrows

rv0-2F-vb-13.4 See also this Twitter thread twitterdraad


The item writers have done their utmost to change a simple problem into a rather complicated one. A lot of information is presented here pictorially, the student will have to figure out what is relevant to the question posed, what not. The word kuub is not a regular word in the Dutch language, some students will immediately guess it is one m3, others may guess wrongly or resort to looking it up in a dictionary. After all, this is a test on ability to calculate, isn’t it?


Well, this is what Sander Dekker, minister of education, said about this word problem:

At issue is ready knowledge as well as application of that knowledge. ( .. ) There should be problems asking students to calculate something in a context. ( .. ) We expect students to be able to do mental arithmetic, we expect them also to be able to apply that.

There are many misunderstandings regarding the verbal load of math problems.Therefore I will give but two examples from a test that is in the public domain. I have chosen an example of a pure arithmetical problem as well as an example of an applied problem. Let us see how things go. Ms president, please choose who is to answer the question. No calculator aloowed. The first question is taken from a 2F test, for 16 year olds in lower vocational schools.


4,5 : 0,5 = . . .


Chair: Mr. Beertema!


Mr. Beertema (PVV): That is 2,25.


Minister Dekker: That will not do. Let Mr Van Meenen try this one [Van Meenen was a math teacher. BW]


Mr. Van Meenen (D66): 9.


Hr Beertema (PVV): math teacher!


Chair: Mr. Beertema would have failed his 2F-test.


Minister Dekker: That might be possible. Now an application. After all, we did talk here a lot about the verbal load of these math problems.


Here we have a picture of a heap of gravel. It is noted that is is 4.5 m3. One learns in school how much 1 m3 is. That is 100 litre. No, 1000 litre. Sorry. Next to it is a picture of a wheelbarrow. It is mentioned that it can contain 75 litre. And then it says: this heap of gravel is to be transported using fully loaded wheelbarrows. How many fully loaded wheelbarrows will that be? I can give you away that a calculator may be used with this problem. 4.5 m3 = 4 500 litre : 75 = 60 wheelbarrows. [etcetera]

My translation. Source: this official document: Verslag van een Algemeen Overleg [9 oktober 2013], vastgesteld 12 november 2013.


What the minister of education does not even begin to understand is that the problem here is not the language load of the word problem, but the question what a good answer might be. After all, it is quite inconceivable that Sander Dekker will be able to load even one the 60 wheelbarrows with exactly 75 litre of gravel. What Dekker in fact is saying — and surely that is also the intention of the item writer — is: forget the gravel and the wheelbarrow, what is to be calculated is the exact value of 4 500 : 75. What Dekker also said in this meeting: that Cito (the Dutch educational testing service) and CvTE (Examination Board) are very professional, and surely they produced reliable and valid math tests. I rest my case. At least now we are prepared to analyze an example from the syllabus, and then one more, famous, example: the bus problem from NAEP.

cola.jpg

How many glasses can one fill with this Cola?
. . . . . . . . . . glasses

Concept-syllabus p. 35


Let us assume that it is not the case that the Coca Cola firm sponsors the rekentoets. Now we know this question to be a ‘wheelbarrow question’: forget the concrete, realistic parts of the question, just calculate ( 10 × 150 ) : 20. The student taking the concreteness seriously will get herself in trouble: will there be enough left, or will there be too much left, to fill the 75th glass? Is it possible to exactly fill even one glass with 20 cl? After all, mathematics is a science of exactness (Vincent Icke, cited above); if one cannot be exact, then what would count here as an answer?


It will now be evident that students answering this question faced a peculiar problem: is ‘31 rest 12’ a correct answer, or should it be ‘32 buses’? After all, this seems to be a test of arithmetics, why would the first answer not be the ‘best’ answer that can be given? Everybody knows ‘rest 12’ buses do not exist, isn’t it?

The test item writer deciding that the only correct answer should not be the formal, but only the concrete one ‘32 buses’ uses a norm from outside of mathematics. My verdict on questions like this one — the Dutch community of protagonists of ‘realistic math’ loves the bus problem! — is that they do not belong in summative tests. I’d like to see a court verdict on this kind of issue.




F-standards: ‘arithmetics in situations of daily life’


I will translate here my opinion in the parliamentary hearing on December 4, 2013. I am sorry for the quality of my translation work ;-)

My contribution to the roundtable on December 4 was given off the cuff. The following text is true to the ideas as presented, the formulation however has been extended somewhat / has been made more precise.

Recently, in a friendly email, the suggestion was done for me to opt for either the role of activist, or that of a scientist. If my involvement with the mathematics test (rekentoets) should be called ‘campaigning’, then I have my entire professional life especially ‘campaigned’. So I did, authoring a book about item writing for achievement tests pdf [in Dutch] in 1983. The book was never used by Cito, because it is critical of multiple choice questions. The point is: this book does not sport ‘context questions’. In a possible new edition, I will treat them indeed: in the last chapter on quality defects of key questions. context questions such as the ones in the rekentoets do not belong in education and surely not in examinations. This kind of question is used in personnel selection: in assessment centres and structured interviews. And even then they usually are no good: it is extremely expensive to design a valid assessment centre.


PISA Math also consists of context questions of the same kind as those in the rekentoets. I asked Cito to indicate the differences between PISA Math items and rekentoets items, and Jan Wiegers (Cito) promised to look into the issue [Cito did report to the minister of education Sander Dekker; the report has not been made public]. looking up some sample questions from PISA Math - Gerard Koolstra @ggerardk has twittered some items Tuesday - it is evident that there are several cases where there is a great semblance with conteextual items in the rekentoets. The paradox is: Dutch 15-year-olds are among the world leaders in PISA Math, yet more than 50% fail the same kind of problems in the rekentoets. [I gave in an earlier note for this parliamentary committee 15 possible explanations. webpage in Dutch]


In all those years polticians failed to urgently ask for the causes of the lagging math scores in the [National Educational Evaluation] PPON 2004. The last test contains math items asking for rather straightforward though simple arithmetics, rather different from the riddle in the rekentoets that students are allowed to solve using a calculator. Neither the Explanatory Memorandum [Memorie van Toelichting], nor in the treatment of the Law on the reference levels on 31 March 2010, questions on the causes of the lower math achievements remained unanswered.


By far the most important cause, in my opinion, is the dominant reform didactics aiming for "arithmetics applied in everyday situations [contexts]", as Van Streun calls it (round table). The reform didactices prescribes the teaching and learning also to make use of ‘contexts’ , and math tests to consist of' context problems. Need I explain all this to be at least inefficient teaching and assessment?

Not every arithmetics teacher in the Netherlands is aware that this ideology has an international name: ‘situated learning’. That ideology contains many ideas from cognitive psychology, but often in a twisted or extreme manner. No wonder that cognitive psychologists seriously criticize the unscientific ideas held in the field of math education. This criticism was forefully expressed by Anderson, Reder & Simon in three publications, the last one in 2000. The same criticism, aimed at discovery learning as a supposedly effective instructional approach, is given by Sweller, Clark & Kirschner, 2010.


We are dealing with a global problem that we are not going to solve just this afternoon. The ideology behind PISA Math, the OECD ideology therefore, is that of constructivism, also of situated learning.


With this math test-3F the government prescribes a kind of arithmetics based on a particular ideological conception, one which lacks adequate scientific foundations. Here government for all practical purposes prescribes a particular reform didactics emphasizing discovery learning and problem solving in situations of daily life. At issue is whether something like that is possible: can teachers prepare their students effectively for the math test-3F [rekentoets], or, for that matter, PISA math?

It is a rhetorical question, isn’t it? If it were possible to effectively prepare student for PISA Math, if PISA Math would effectively be an achievement test, PISA scores would no longer be an international sensation because almost all countries would be able to score well. Obviously such is not the case with PISA Math. PISA Math as well as the rekentoets in fact are testing for differences in intellectual functioning. They had better be called intelligene tests with a math twist. pagina

Cito does not address this issue of validity of the rekentoets, claiming it is simply the executor of its client’s wihes, the client being the National Board of Examinations (CvTE). Regrettably, the CvTE does not even have the expertise to discuss the validity issues, misinterpreting the term ‘validity’ as something like procedural correctness in the trajectory of decision making. Stalemate.



context problems test for differences in intelligence


rekentoets2014.png


Why is it not the case that students in lower and higher streams — havo and vwo — have approximately the same passing rates on the rekentoets-3F? After all, arithmetics is not rocket science, these students should be approximately equally good at it. A difference in pass-fail rate of approximately 40 points is ridiculous. The only sensible explanation seems to be that the rekentoets does not differentiate students according to their mastery of basic arithmetics, but according to intellectual abilities such as there are: vocabulary, world knowledge, verbal ability, numerical ability, working memory span, math anxiety, having Dutch as second language (Dutch not being spoken in the home), abstract reasoning as measured by the Raven Matrices, test wiseness, ability to second guess the intentions of the item writer, and even math proficiency as that might handicap the student.


cola.jpg

How many glasses can one fill with this Cola?
. . . . . . . . . . glasses

Concept-syllabus p. 35


For starters, let’s go back to the Cola-question from the Syllabus. That question comes in three variants / difficulty levels. The question in the figure, according to the Syllabus p. 34, asks for conversion cL - L, has an improper fraction, and asks for a few basic operations. I see a lot more problems with this question, simple as it might look. Let us check the 10 aspects of the Syllabus Committee itself (Table 1, p. 8-9). I will try to give a general critical commentary on the 10 aspects, in most cases explaining how that particular aspect fails to measure differences in arithmetics mastery, instead measuring dissferences in intellectual capacities. A summary of the comments is: this is unprofessional test development in the extreme. Because the unprofessional will not readily understand professional criticism, the only chance the professional might be heard at all is by going out of ones way to use common language and argument. The common reaction to that, however, is that this criticism simply is another opinion that may be set aside because the unprofessional’s experiences have told him otherwise than the professional claims the world to be. Something like that. ‘Poten in de klei’.


  1. text:
    ‘Information density of the text’.
    ‘Difficult words, terms specific to the context’.

    the Syllabus (p. 34 ‘Wat van de kandidaat verwacht mag worden ’) does not mention for the cola- problem any possible problems here. Is that correct? I do not think so. The stem of the item is an incomplete question, ‘this’ does not have a referent, and does not contain the information needed to answer it. This is in violation of an important rule of item design, a a rule that protects students against sloppy test item design. To understand the question ‘How many glasses can one fill with this Cola?’ the student has to direct his attention to pictorial information, away from the question posed.

    The general problem was researched recently by Gerdineke van Silfhout.

  2. givens:
    Character of the sources presented (text, graphics, diagram, table, formula, geometric figure, picture/photograph)

    Is the problem self-evident, or does it ask for sharp thinking and looking?

    How difficult it is to extract the givens from the sources presented.

    Is the pictorial information a complete question. then? Obviously not. To understand the pictorial information the student must remember the incomplete question posed. Working memory already gets pretty loaded.

    The first ambiguity now is the meaning of ‘How many glasses can one fill’: only one glass is shown. What kind of a picture is this? Oviously, it is not true to the situation the student is asked to deal with. The student will probably infer that it is the intention of the item writer that he should understand that somewhere there is a box of glasses avalable? This is ridiculous.

    This question ought to have posed without any picture whatsoever, of course. It is unprofessional, to say the least, to bother examination candidates with ambiguous infrmation and incomplete textual questions.

    The student now has to do some paperwork that will be perfectly unrelated to whatever it is that we reasonably might call mastery of arithmetics. Worse still, the student manipulating the information in his head instead of on paper, runs the risk of making silly mistakes. What is this item testing for: disposition to make silly mistakes? Obviuosly, it is the intention of the item writer and Syllabus Committee to test the students on their ability to handle this kind of information foraging. Aspect #2, last sentence, reads:

    How difficult it is to extract the givens from the given sources.

    This is a plain and explicit intention to test for differences in intelligence! There is nothing specific to arithmetics mastery here!

    Wait a minute. How come that this kind of variation in difficulty of test items results in differentiating among test takers on the basis of their intelligence? Are not these two different things? Let me explain. Making a test item more difficult means that fewer candidates will be able to answer it correctly. If the difficulty is in the arithmetics itself: that would be valid. If the difficulty is not in the arithmetics, than the item will measure something else than arithmetics mastery. Or consider not this one item, but all items in the test: if some students will score better than others because of capabilities other than arithmetics, the test is biased regarding arithmetics. It is then an unfair test.

    Aspect #2, the 2nd sentence , reads:

    The description of the context and the question might ask for thinking and looking precisely.

    The student has to infer that ‘this Cola’ probably means ‘10 bottles’, not just one bottle. He also has to infer that ‘filling a glass’ to the item writer will mean: ‘filling it with 20 cL’. I would unhesitantly call this a catch question. The question violates an important principle in item writing: the student should not have to guess any referents. This kind of violation, again, introduces bias in the item: intellectually clever students probably get the edge.

  3. distraction:
    The context description contains superfluous information.

    As soon as photographic pictures are used, distraction is imported (see also Gerdineke van Silfhout 2014. In this case: the crate is a distractor, the brand is a distractor, the ambiguous mention of a ‘20 cl’ glass is a distractor; the inconsistent use of ‘cl’ as well as ‘liter’ is a distractor [the syllabus Table 2 specifies use of L and cL. CvTE disclaimer: examples are just examples, not necessarily of sufficient quality for use in the rekentoets. Ha ha]. Quite a special problem is, of course: the item writer allowing items to have distracting information will thereby make all information possible distractors. In this question: the explicit mention ‘10 bottles’ might be a distractor. Isn’t it? The student will have to be careful in inferring from the picture that the question will be about 10 bottles, not, for example, one bottle. After all, there is only one glass, so why not one bottle? Gruesome.

  4. analysis: 1st sentence:
    ‘Is it necessary to infer critical information from the sources given?’

    On analysis, part of what it is to understand textual materials, (in Dutch), see Wilbrink Toetsvragen ontwerpen, par. 6.3 Analyse. I have shown already above that a number of low-level inferences need to be made by the student trying to understand the cola problem. Aspect 4 is about analytically deriving information that is a crucial part in the problem solving. The Cola-problem does not ask for this high-level analysis.

    What worries me tremendously is that the Committee should have mentioned inference here: inferring information that might be necessary to solve the problem at hand. Inference also is part of what it is to understand textual material; see Wilbrink Toetsvragen ontwerpen, par. 6.4 Inferentie. The Committee does not seem to be aware of the kind of inference the math student should be thorougly familiar with, and treated extensively by Georg Polya 1945: math knowledge that might be necessary to solve the math problem at hand; see Wilbrink Toetsvragen ontwerpen, chapter 7 Problem solving. I will give an example of what might be at issue here. A context problem might be of routine type A. The well-prepared student then should be able to infer that the problem at hand is one of type A. The problem being of type A is information not directly available from the stem of the test item or other sources in the item. Isn’t it? Am I missing something here? Is this a point treated further on (aspects 5 - 10)? No. Unbelievable. This committee presents a problem solving approach to context problems in arithmatics, and while doing so forgets it is a problem solving approach.

    inference: The second sentence is about inference, however:

    “Whether it is necessary to make particular assumptions (on magnitude, numbers, time span. etcetera) based on ready knowledge and understanding.”

    Here surely the Committee does not refer to characteristics of problem solving such as recognizing the type of problem being presented.

    A short remark on the character of the inferences the Committee is talking about: knowing a normal year has 365 days, Sunday is the first day of the week, Cola is a brand name, the number of the population of the Netherlands (17 million), etcetera. One might differ in opinion whether this kind of knowledge has anything to do with proficiency in mathematics. My opinion, as a test psychologist: testing on this kind of knowledge in a test on basic arithmetics will invalidate the arithmetics testing. It adds an irrelevant construct to the construct of interest. It will make it more difficult to interpret the test results as measurements of basic arithmetics mastery.

  5. complexity of numbers:
    “character of the numbers in the calculations”

    For example: changing the contents of the glass from 20 cL to 18 cL (variant 1 of the Cola problem) will make the problem more complex.

    The most important idea here is that ‘realistic’ (RME) arithmetics problems have numbers that make it necessary for the student to use a calculator. Two remarks.


    1. This is an article of belief of the Board of Examinations, expressed also in a letter of advice to the minister of education on the use of calculators in education and in examinations in particular. (Dijkgraaf - Van der Ham motion to ban the calculator). It is ideological nonsense, in my opinion.
    2. Allowing the use of a calculator in the rekentoets is contempt of Parliament. In the parliamentary discussion of the bill (March 31, 2010) the minister of education expressly stated that the rekentoets would be without calculators. In fact, because a (graphical) calculator is available in math exams, that fact was the reason to propose a special arithmetics test where a calculator would not be available. This is an important political fact, for it moved some parties from opposing the rekentoets to supporting it (and the bill).


    Of course, allowing the use of a calculator is ridiculous for a test on basic arithmetics. Test scores in the middle range now can not be interpreted as indicating reasonable mastery. Regarding the differences in the computational accuracy of U.S. students with and without a calculator, Tom Loveless wrote:

    “These differences are enormous—the difference between signaling mastery and signaling incompetence.”

    He concludes:

    “These finding[s] suggest that making calculators available on a test of computation skills can make the difference between concluding that students have acquired certain skills —and concluding that they haven’t. On each of these items, at least 40% of the nation’s nine year olds computed correctly with or without a calculator provided. For most of the remaining students, calculators are the difference in whether they compute correctly or get the calculation wrong.”

    Tom Loveless (2004). Computation Skills, Calculators, and Achievement Gaps: An Analysis of NAEP Items. AERA paper pdf

    One serious consequence of calculator use in a computation test is that it diverts attention from the question posed to handling of the calculator computation, risking to forget (details in) the problem to be solved because they threaten to be pushed out of working memory. The student able to fluently compute (possibly on paper) without use of the calculator will not overtax his working memory. This is expert opinion (cognitive psychology, cognitive load theory), as expressed also in Wilbrink & Kirscher 2014 (in Dutch). I would be delighted to find research addressing exactly this problem.

    Allowing calculator use in the rekentoets is extremely harmful, in the following way. It is a signal to students that it is not necessary to have automaticity in basic math facts and procedures. In this way one of the sure causes of adolescents inability to handle their arithmetics adequately is strengthened, in stead of eliminated. There will come a day for Dutch Parliament to decide to start a parliamentary investigation into the downfall of Dutch arithmetics education. It simply will cost our economy too much to allow continuation of the unprofessionalism in this field of education.

    The upshot is: differences in complexity of numbers add bias to the rekentoets in a rather serious manner, resulting in test scores that do not allow interpretation in terms of arithmetics mastery.


    For the record; two additional special points:


    1. The content of a bottle of cola might be denoted as 1.5 L. What do you think: will it contain exactly 1.5L? De content of a glass, below a certain mark, might be denoted as 20 cL. What do you think: will glasses be filled with bruising cola exactly 20 cL? This is not a measurement problem, by the way.
    2. In the real world measurements are not exact, have a certain reliability. See f.e. Whittaker 1924 One might measure the contents of a glass with cola. The result will be denoted as as a number with significant ciphers, for example 20.6 cL, or 154.2 cL for the contents of bottle of cola. Now what does it mean that a glass contains 20 cL? Assuming 20 is the significant number, its content is between 19.5 and 20.5. Timoer Frelink wrote me this, March 21. The cola-problem, however, is more complex: that glass with content 19.5 - 20.5 has to be filled X times with 20 cL. An assumption must be made here: how reliable will the filling be? And how to evaluate unreliable filling of a glass with unreliable content? I rest my case. The cola-problem is not a math problem.


  6. compute
    ‘Character of the computational steps: +, ×, -, :, n, root, brackets, estimating’.

    This seems to be a rather uncomplicated aspect.

    Evidently, more computational steps increase the risk of simple mistakes. As such, this really might be problematic in a test that evaluates answers only, not the thinking behind the answer given.

    Problematic in a juridical sense is that immediately after the test scribbling paper of the students will be destroyed by the director of the school. Students thereby will be robbed of materials they might need in appealing the decision taken on the basis of their work. Job Cohen, 1981 (in Dutch). Directors: please, carefully store scribbling papers, be sure students place their name on it.


  7. routine [I do not understand the text here, and will have to search out some examples where the Committee remarks on this aspect 7]


  8. involvedness [I do not understand the text here, and will have to search out some examples where the Committee remarks on this aspect 8]

    Let us suppose that, in order to solve a given problem, it is necessary to marshall more or less at the same time a certain number of pieces of crucial information. Suppose the chances for every separate piece to surface are 0.9, and that there are five pieces of this crucial information. In order to be able to solve the problem, the student should have all five pieces of information available. What is his chance to solve the problem under these simplifying assumptions? It is 0.95 = .81 × 0.729 = 0.5812 + 0.0729 = 0.6541. What was your estimate? More about this way of modelling: Ben Wilbrink 1998. Only if this is a true problem, not a combination of two or three separate problems, would it be appropriate to honour its solution with full points, and failure to do so with zero. Partial knowledge will not be sufficient to solve a true problem, so it should not be honoured by apportioning partial credit for it. So the question now really is: are context problems in the rekentoets true problems in the above sense, so zero-one scoring for these items would be justified? [An earlier Committee-Bosker advised to break down involved context problems, or to award partial points for partially correct solutions. Bosker therefore judged the typical context problem in the rekentoets not to be true problems in the above sense.

    It is important for the item writer to be aware of the ways in which complicating context problems will make them probably much more difficult than expected. And that it is possible, for a first impression before empirical results are in, to calculate difficulties using fairly simple models.

    Advice of the test psychologist: never in exams use problems that are not true problems, but only additive compositions of subproblems. A question not only of fairness, but also of test efficiency: sloppy problems will waste information.


  9. translate:
    How involved is the translation of the result of the calculation into the answer the problem calls for? (rounding, translate into another measure)

    Context, model and answer are distinct in the following sense: the context is a practical situating posing a particular problem; the model is a mathematical model that might offer a kind of solution to that problem; but it will be necessary, in many cases, to translate the mathematical result of a model calculation back into the terms of the real world problem. So far, so good.

    Now, what will count as a satisfactory model, given a real world problem, is highly subjective. Especially so in exam questions, for these already are highly artificial to begin with. Calling them ‘real world problems’, ‘realistic’, or even ‘functional math’ is misleading. The fundamental problem here is: how is the student to know what the item writer had in mind as to the demarcation of realistic and formal aspects of the problem? He can’t know that! How many trees can be planted on distances of 5 m along a 15 m lane? A mathematical model, of course, is 2 × 4 = 8; how does that translate to the real world where trees might grow to having large diameters?

    Is it self-evident to round an answer in euro’s to two decimals? Probably not, therefore the Syllabus Committee specifies (p. 12) its own rules! This will not do. It is not self-evident that a bus problem should be answered in number of buses as a translation step after having calculated a division. Students who ‘fail’ to spontaneously translate their model result into a whole number of buses should not be punished for their crime. What if the problem explicitly asks for the number of buses? Why would that be useful? It is merely an extra step, having nothing to do with mastery of arithmetics.

    The Syllabus Committee thinks to solve ambiguities concerning rounding issues afterwards: in the assessment of answers given. This will not do. Students have a right to unambiguous questions. Period. The ambiguous question introduces bias in the test.

    The same story regarding significant positions. Lots of possibilities for ambiguity where formal as well as concrete numbers are used in the problem as posed. Mathematics is exact: 1.2 + 2.003 simply is 1.203. In physics the same addition results in 3.2. Etcetera.

    Under this aspect 9 fall trick questions where the student has to do a lot of work to get to the answer A, while the problem asks for 1 - A. Even professors might fail here, even their working memory might not be sufficient to remember that the answer asked for is not A, but 1 - A. In other words: this is item design that malignantly tricks students in giving a wrong answer. What might such an item test for? Math proficiency? Or differences in accuratesse or in working memory capacity?


  10. check:
    “Does the context allow the student to suspect his answer might be correct or not? ”

    How fuzzy can one get? The mathematical way to check on results is, for example, to do a reverse calculation. The problem solver’s check of results is to see if indeed his answer is an answer to the problem posed. Especially novice problem solvers can get trapped in calculations that do not lead to answers on the problem at hand.

    My guess: if the context does not allow a reasonable check on the correctness of ones answer — anything goes — it definitely is not a math problem. Again, problems falling in this category test for cleverness, not mathematics.

    The general aspect here should rather be: if my answer is not an answer to the problem, I should come up with another plan, possibly after re-analyzing the problem. The student will be wise to leave the problem for the time being; trying to find a better plan after the first plan has failed typically is more difficult than finding a good plan in the first place (Stellan Ohlsson 2011). Especially under exam conditions this can be quite problematic. The best strategy for the student is to go on with the next exam questions and return later to the failed problem to tackle it anew. That strategy will not always be available, however; the test might be digital and not even allow to return to any earlier item (as happened to be the case with the rekentoets in the pilot years).

    The Syllabus-Committee here again seems oblivious of its own problem solving approach of context problems in arithmetics.


Timoer Frelink, tweet March 20: “Nauwkeurigheid 20 cl betekent tussen 19,5 en 20,5. Kan bij 75 glazen bijna 2 glazen verschil opleveren.” Ben Wilbrink, comments March 25 on the CvTE hearing on the concept-syllabus. tweet thread (in Dutch. Am I getting lazy?)

De volgende dag. Toch verbijsterend dat vrijwel iedereen op de veldraadpleging syllabus #rekentoets de rekenideologie met huid en haar slikt

https://twitter.com/benwilbrink/status/580652058031865856


Nul zero nada niente evidence based, maar wij gaan onze kinderen desondanks toch blootstellen aan een heus rekenen-in-contexten-examen. Nepwetenschap

Zorgelijk is dat eigenlijk nooit serieus wordt vermeld dat ‘realistisch rekenen’ een omstreden opvatting is, op zijn zachtst gezegd.

Voor academici die vallen onder de integriteitscode van de VSNU is dat kleine doodzonde. Zoiets als creationisme presenteren zonder evolutietheorie te vermelden.


De #rekentoets als nieuw medicijn. Welke ziekte is hij voor? Hoe werkzaam is dat medicijn? Wat zijn de bijwerkingen? Kosten-effectiviteit?

En kan de #rekentoets de nepwetenschap-toets doorstaan? Michael Shermer (August 16, 2011). What is pseudoscience? Distinguishing between science and pseudoscience is problematic. Scientific American free access

In ieder geval niet zolang Cito en CvTE nalaten serieus antwoord te geven op argumenten dat de #rekentoets op meerdere punten niet valide is. Immers, daarmee plaatsen zij zich buiten de wetenschap. Misschien is dat juist de bedoeling maar laat dat dan ook aan de samenleving weten.


‘Rekenen in praktische situaties’, waar staatssecretaris Sander Dekkr zo gek op is (Brandpunt): er is geen begin van enig bewijs dat dit zinvol onderwijs is. Laat staan deugdelijk voor in een eindexamen.


A first variant is to change the contents of one glass from 20 cl to 18 cl. A second one is, using the same picture:

You pay € 1.30 per bottle and sell a glass cola for € 1.75.


How much is your profit on the wole crate?
profit = income - expenses





abstract



A good kick-off might be to scrutinize a typical item from the math-3F test 2013. The very first item (text is my translation):

rvo-3F-vb-13_1_afb.png A clothing shop advertises attractive price reductions, to be effected by sticking labels specifying the reduction on the goods. Customer Elisabeth gets a sheet with the five stickers as shown in the picture.

Elisabeth buys

She uses three of the five stickers and sticks one on every piece of cloting in such a way so as to pay the least amout possible.

How much will Elisabeth pay?


A calculator icon indicates a digital calculator is available here for pupils who'd rather use the machine than their head. For a discussion on Twitter, some time ago, see this tweet.


Well, what to say? This is a crazy thing to ask of pupils in an exit exam. And this is only the first item in a 60-item test to be answered in two hours. A digital test not allowing pupils to go back to any item they already have tried. The full test is available here as voorbeeldtoets 3F 2013.

What immediately should be obvious is that it is to be expected that results on items like this one will be highly correlated with differences in intelligence (world knowledge, vocabulary, language fluency, knowledge of testing tricks, guessing the intention of the item writer, working memory capacity, cognitive load, skill in using the calculator, math anxiety, to name a few possibilities. Ah, basic math fluency surely will help pupils here also, but typically is not what the math test aims to measure!). The amount of information to be handled by the pupil simply is way too much, giving the available time (a few minutes).

Even experts might be tricked by the reversal from maximum profit to minimum amount to be paid. Did you notice that? A quality standard for the use of reversals or denials like not is to avoid them if possible, and otherwise to explicitly direct attention to them by printing in bold, capital, whatever. That is point one. Point two: why is this item purposefully tricked? Yoe might have trouble to believe this, but the Dutch math ideologists believe that even simple arithmetics should be problem solving in four steps: 1) understanding the question, 2) developing a solution, 3) evaluating the solution, and 4) checking the result against the question posed. Recognize here a Polya-type problem solving model. In our sales-item the fourth step was artificially built into the item stem: most pupils will evaluate a function that results in the maximum profit to be realized by clever use of three stickers. And will then think they have finished the problem — no need to read the stem of the item again, isn’t it? Of course they have forgotten that they have to answer with the amount to be paid, not the profit to be had. Why should one forget such a crucial point? Working memory has been fully loaded by the ridiculous exercise of evaluating the exact maximum profit: the information that it is the price to paid simply has been lost by now! Well, this is almost as unprofessional as it can get, as far as item writing is concerned. Terrible. Trick-questions in exit examinations: it is a criminal act.

More is to be said about cognitive overload. I have done so in a short peace, written together with Paul Kirscher, and sent to the Dutch Parliament (committee on education): here. A poster presentation, sporting yet another terrifying math-item as well as some results of the 2014 pilot exams here. All in Dutch, regrettably, but I suspect the English reader can sense the message. Any questions: contact me.

Plenair debat Tweede Kamer over nut en noodzaak van toetsen, op dinsdag 1 september 19:00 uur. Het ooit door Jesse Klaver aangevraagde plenaire debat over nut en noodzaak van toetsen. #toetsgekte #kleutertoets #rekentoets tweet Ik vermoed dat er geen stukken voor dit toetsdebat zijn. Ook van Jesse Klaver heb ik geen stuk gezien. Aanleiding v toetsdebat 1 sept 19:00: maatsch. onrust over rekentoets, kleutertoets, eindtoets BO, en diagnostische tussentijdse toetsen. Tel daarbij op: extra toelatingstoetsen pabo, en voorgenomen opheffing numerus-fixus met dan meer vrijheden voor selectie-aan-de-poort ho.Aan die selectie-aan-de-poort ligt het rapport Veerman ten grondslag (en enkele voorgaande commissiess, o.a. Sorgdrager). Zeker opportuun voor debat nut en noodzaak: toelatingstoetsen gelijktijdig met eindexamens zijn pure verspilling http://benwilbrink.nl/publicaties/97SamenvattingDrenth.htm. ‬

Toetsdebat-tweet: rekentoets. Bij de #rekentoets is er sprake van wonderlijke capriolen in zowel parlementair als buitenparlementair traject, ook ten opzichte van elkaar. De #rekentoets is bij uitstek voorbeeld hoe het niet moet met toetsen in het onderwijs: doorzettingsmacht OCW tegen iedere redelijkheid in. De wetgever weet ook niet welk probleem met de #rekentoets wordt aangepakt, lees er de Handelingen 31-3-2010 op na: http://www.benwilbrink.nl/projecten/2014_rekentoets.htm#Handelingen‬. Bewindslieden beweren dat jongeren de kosten van mobiele pakketten moeten kunnen vergelijken, dat daar die #rekentoets voor is! Nu zijn er jongeren die denken dat 3 niet door 15 is te delen omdat 15 groter is dan 3! vd Craats vandaag http://www.didactiefonline.nl/47-uncategorised/12476-hersenen-en-rekenen. ‬Jongeren hebben niet behoorlijk leren rekenen, de #rekentoets toetst niet op rekenen, en de wetgever vertikt het om het rekenonderwijs zelf aan te pakken. Dat is ook lastig: heel de onderwijsverzorgingsstructuur is zelf verantwoordelijk voor de didactische erosie, die is dus niet in te zetten voor welke verbetering vh rekenonderwijs dan ook. Deze patstelling vraagt om ongebruikelijke maatregelen. Niet om commissies!

Veldraadpleging concept=syllabus rekentoetsen https://www.hetcvte.nl/nieuws/20150227/raadpleging_conceptsyllabus online, en fysiek 24 maart 2015 in Utrecht 16:00-19:00.

Time line on the teaching and testing of arithmetic in the Netherlands

I will fill in some important data and reports, and ultimately continue the time line in a separate web page.



L. N. H. Bunt (1958). The teaching of arithmetic and mathematics to students between 6 and 15 years of age in the Netherlands. Subcommittee for the Netherlands of the International Commission on Mathematics Instruction. IV Groningen: J. B. Wolters

This report kind of establishes what the situaion in the Netherlands was at the end of the fifties. Nothing that would allow one to guess abolute levels of achievement of Dutch youth. The report is not available online. I have partly translated the first chapter back into Dutch here. That is not quite helpful for English readers. On request I will scan chapters and make them available on my website benwilbrink.nl.


De Tweede Kamer voert op 28 januari 2015 Algemeen Overleg met de bewindslieden over hun beleidsvoornemens die het advies van de commissie-Steur goeddeels volgen. Hierbij mijn analyse van een en ander, op basis van annotaties bij brief en rapport.

Het stuk dat aan de Vaste Kamercommissie voor Onderwijs is gestuurd:
http://www.benwilbrink.nl/BW_TK_28-1-2015.pdf
gebaseerd op deze webpagina:
http://www.benwilbrink.nl/BW_TK_28-1-2015.htm



Verslag plenaire vergadering 3 februari 2015 waaronder het Verlengd Algemeen Overleg over de rekentoets, met ingediende moties en verklaringen daarover van de zijde van de bewindslieden. De moties komen 10 februari in stemming. Bewindslieden etaleren in dit korte debat mijns inziens wederom verwijtbare onkunde en listige politiek.



De annotaties zijn niet fijn voor de Commissie-leden en voor de bewindslieden; mijn insteek is dan ook niet om reputaties te beschermen, maar om een steentje bij te dragen aan minder beroerde examens voor echt bijna de hele jeugd van ons land. Dat is een belangenafweging waar ik gauw mee klaar ben. Niet boos worden, maar zelf eens die vaardigheden van de 21e eeuw benutten: kijk eens kritisch naar het ontbreken van adequate bronnen bij tal van drastische uitspraken van bewindslieden, politici en commissies. Die bronnen — als ze er al zijn, tenminste — zijn een of twee muisklikken verwijderd.



inhoud

beginnen met: Conclusies

brief Kamerbrief 17-12-2014 voortgang referentieniveaus. We hebben geen eigen beleid meer, maar volgen onze commissies. — Annotaties bij de beleidsvoornemens

advies ‘Steur’: de ‘rekentoetsen’ 2F en 3F deugen niet, maar dat zeggen we niet hardop — Annotaties bij het advies

literatuur: Verwijzingen

Discussies op Twitter (en elders)

rapport: ‘Bosker’: de rekentoetsen 2F en 3F deugen niet

kamerbrief: Kamerbrief 13 juni 2014, resultaten afname maart 2014 van de rekentoets

2014_rekentoets.htm#kamerbehandeling: De Wet



Conclusies

De Commissie-Steur en de bewindslieden gaan voorbij aan de vraag wat rekenen ook al weer is, en wat goed rekenonderwijs is, maar zij gebruiken deze woorden wel volop. Kom op zeg, dat de ‘rekentoetsen’ geen rekenen toetsen, dat hoeft alleen uitleg tegenover de rekenideologen uit de school van Hans Freudenthal. Uit het antwoord op de vraag naar wat rekenen is, volgt het antwoord op wat goed rekenonderwijs is. Zoiets als: 1 + 1 = 2. Maar ja, ook internationaal ligt hier een enorm probleem, dat constructivisme (Wilbrink, 2014) heet, en dat leidt tot onderwijs en toetsen waar psychologen op eenvoudige wijze van aan kunnen geven dat deze het leren rekenen en het toetsen van rekenen ernstig belemmeren (Wilbrink & Kirschner (2014)). Wie dat niet voetstoots wil aannemen: geef dan opdracht om dat experimenteel-psychologisch te onderzoeken; in Wilbrink & Kirscher is daar een concrete suggestie voor gedaan.

De ellende met de ‘rekentoetsen’ is vooral te danken aan twee dingen:

(1) een valse start met de referentieniveaus ‘rekenen in situaties van het dagelijks leven’ (Van Streun, Meijerink), en

(2) de evidente politieke blokkade om ooit nog over die referentieniveaus — specifiek: de F-niveaus — een discussie aan te gaan (met als vooralsnog weinig betekenende uitzondering de inspanningen om een rekentoets-3S voor het vwo te ontwikkelen).

Een moeras is alleen maar leefbaar te krijgen door het droog te leggen, iets waar wij ooit enorme expertise in bezaten. Herstel het rekenonderwijs, zet de valse romantiek waardoor het rekenonderwijs verloren is gegaan maar bij het groot vuil. Een goed economisch principe is ook om geleden verlies te nemen — Sander Dekker: een half miljard voor overeind hijsen van referentieniveaus taal en rekenen — en niet te proberen door extra investeren alsnog een succes van een uitzichtloze zaak te maken.


Rekenen is ongelooflijk belangrijk. Na de dramatische val in rekenvaardigheden zoals geregistreerd in de PPON 2004 is het onvermijdelijk dat de politiek er bovenop zit. Heel goed. Maar rekenen is niet van belang om je boodschappen bij de grootgrutter te kunnen doen (‘rekenen in alledaagse situaties’, de psychologische misvatting die Nederland als staatsdidactiek is opgedrongen met de referentieniveaus rekenen). Twee argumenten waarom vlot kunnen rekenen dan wèl van belang is:

(1) De kwaliteit van het onderwijs over breuken blijkt voorspellend te zijn voor latere keuzen die leerlingen maken voor beta-profielen, en bovendien voor de resultaten die leerlingen in de beta-vakken boeken (Siegler cs, 2012)

(2) Numeracy, ik vertaal dat maar met getalbegrip, blijkt belangrijk voor de gezondheid in het latere leven. Niet duidelijk is of rekening is gehouden met verschillen in intellectuele capaciteiten, ik neem aan van wel. Dan gaat het niet om het kunnen maken van een staartdeling, maar om de vertrouwdheid met getallen die het resultaat is van goed rekenonderwijs. Wie de kansen en risico’s die de huisarts geeft, niet wil horen — want ja, dat zijn lastige getallen — die schaadt uiteindelijk de eigen gezondheid (Reyna, Nelson, Han & Dieckmann, 2009). Ga er maar vanuit dat wat voor lichamelijke gezondheid geldt, ook geldt voor de gezondheid van de eigen financiën.


Het onderliggende probleem is dat deze ‘rekentoetsen’ vooral toetsen op verschillen in intellectuele capaciteiten. In de mate waarin dat het geval is, kunnen leraren en leerlingen zich niet doeltreffend voorbereiden op dit onderdeel van het eindexamen. De adviezen van de Commissie-Treur gaan grotendeels aan dit probleem voorbij, behalve waar het de taligheid van de ‘rekenopgaven’ betreft. Maar er moet méér gebeuren dan alleen de belasting door taligheid verminderen. Anders blijft het doormodderen in het moeras van het het ‘rekenen in situaties van het dagelijks leven’.

Bij vasthouden aan de ‘rekentoetsen’ als nieuw onderdeel van de eindexamens vo en mbo is de schade te beperken door te borgen dat deze rekentoetsen doeltreffend zijn voor te bereiden: zij toetsen rekenvaardigheid en niet daarbovenop ook nog verschillen in intellectuele capaciteiten. De borging is te bereiken door deze buiten invloed van Cito en CvTE te beleggen bij bijvoorbeeld een vakgroep psychologische methodenleer in combinatie met een vakgroep cognitieve psychologie die de mentale belasting bij de rekenopgaven empirisch toetst. De schade is te minimaliseren door als richtlijn te nemen waar ook het Cito in aanvankelijke modelberekeningen op uit kwam: geen enkele leerling extra gezakt op basis van de rekentoets. In plaats van de willekeurige en niet uit te leggen ‘maximaal vijf procent extra gezakten’ van de Commissie-Steur, dus nul procent.


Beter is:

Wijzig de Wet op de referentieniveaus Nederlandse taal en rekenen (haal de pseudowetenschap eruit); maak met het onderwijsveld afspraken op basis van het voorstel van Jan Karel Lenstra: rekenen in de onderbouw, afsluiten met diagnostische toetsing.



Kamerbrief 17-12-2014 voortgang referentieniveaus. We hebben geen eigen beleid meer, maar volgen onze commissies

Brief van de staatssecretaris en de minister van onderwijs, cultuur en wetenschap. Kamerstuk 31 332 Nr. 36. Doorlopende Leerlijnen Taal en Rekenen. Stand van zaken invoering referentieniveaus taal en rekenen (17 december 2014).



Aantekeningen bij de tekst

Een groot deel van deze uitvoerige brief betreft detailregelingen waar ik geen aantekeningen bij zal maken.


“Er wordt door scholen en docenten hard gewerkt aan de verbetering van de taal- en rekenvaardigheden van leerlingen in het vo en in het mbo. We constateren dat de betrokkenheid van scholen en docenten groeit. Dat we er nog niet zijn, is bekend. Voordat alle leerlingen de referentieniveaus voor rekenen daadwerkelijk beheersen, zijn er nog stappen te zetten. ”

kamerbrief 17 december 2014

Uit deze tekst spreekt de niet op feiten gebaseerde overtuiging dat ‘hard werken’ en ‘nog meer stappen zetten’ uiteindelijk ertoe zullen leiden dat jongeren met adequate taal- en rekenvaardigheden de school verlaten. Zolang de ‘rekentoetsen’ in feite leerlingen sorteren op intellectuele capaciteiten in plaats van op rekenvaardigheid, kan er geen sprake van zijn dat welk beleid van de bewindslieden en van scholen en leraren dan ook, resulteert in mooie resultaten op deze ‘rekentoetsen’. Voor literatuur, zie: Wilbrink & Kirschner (2014) ; Wilbrink, Hulshof & Pfaltzgraff (2012). Dit alles betreft natuurlijk de kwestie of deze ‘rekentoetsen’ wel valide zijn — nee, dus — waarover nog veel meer valt te zeggen.


“ (..) een structurele situatie waarin de taal- en rekenvaardigheden van leerlingen op niveau zijn, scholen hun taal- en rekenonderwijs op orde hebben en waarin alle leerlingen een toets krijgen die uitdagend is.”

kamerbrief 17 december 2014

Wat is dat precies, taal- en rekenonderwijs dat ‘op orde’ is? Want dat staat niet in de ‘Wet op de referentieniveaus Nederlandse taal en rekenen’ beschreven. Terwijl het hier toch gaat om de kern van het probleem: kennelijk is het rekenonderwijs in po en vo de laatste decennia ernstig tekortgeschoten. Maar waarin is het tekortgeschoten? In didactische praktijken misschien? Zo ja, moet daar dan niet eens kritisch naar worden gekeken? Hier is natuurlijk aan de orde of het constructivisme een onderwijsideologie is die van staatswege kan worden opgelegd. Voor dat constructivisme (ook wel situationisme genoemd, in het VK progressivism als ik het goed heb, en elders ook vaak reform-didactiek) zie Wilbrink (2014) voor een korte introductie.

Een ‘rekentoets’ moet ‘uitdagend’ zijn? Dat heeft Nederland tot nu toe wel gemerkt! Is dit een nieuw criterium voor de kwaliteit van onderdelen van eindexamens? Dergelijke onnodige kwalificaties belasten het debat over het rekenonderwijs.


“(..) worden docenten en scholen ondersteund bij het vormgeven van goed taal- en rekenonderwijs.”

kamerbrief 17 december 2014

Nogmaals, want daar is het belangrijk genoeg voor. Het probleem dat hier is toegedekt: de bedroevende staat van de rekenvaardigheden van jongeren is het gevolg van precies hetzelfde ideologisch gebaseerde rekenonderwijs dat nu wederom over de band van de referentieniveaus en talrijke ondersteunende diensten en wat niet al over leerlingen in vo en mbo wordt uitgestort. Ik formuleer het maar eens wat minder parlementair. De referentieniveaus voor rekenen, in korte tijd in elkaar geflanst door een werkgroep-Van Streun van vooral belanghebbenden bij reformistische rekendidactiek, is niet boven iedere twijfel van deugdelijkheid verheven ook al proberen velen bij voortduring dat beeld van deugdelijkheid te vestigen. Bewindslieden voorop, trouwens. Die referentieniveaus zouden wel eens weinig meer dan strohalmen kunnen zijn. Laat dat behoorlijk onderzoeken, niet door een commissie dus.

“Ook het inzicht dat de toets oplevert aan leerling en docent over waar de leerling staat en waar eventueel extra inzet nodig is, is van belang. (..) Daarom worden, op verschillende niveaus, rekentoetsen en -examens afgenomen, die inzicht bieden in de mate waarin leerlingen de benodigde rekenvaardigheden beheersen.”

kamerbrief 17 december 2014

Dit is toch wel een heel bijzondere invulling van wat een eindexamen bedoelt te zijn. Laat ik er even geen verdere woorden aan vuil maken.


“Daarom worden de nodige maatregelen ingezet om zorgvuldig, beheerst en waar nodig stapsgewijs in de periode 2015-2020 toe te groeien naar 2020. In dat jaar moeten de (taal- en) rekenvaardigheden van alle leerlingen op orde zijn.”

kamerbrief 17 december 2014

Hoe is dit mogelijk? Dezelfde bewindslieden die koste wat kost vast wilden houden aan 2015-2016 als jaar van definitief meetellen bij eindexamens, zetten de stip nu op de horizon van 2020? Wat is er gebeurd? Ah, er is wel het nodige beleidsproza nodig om deze draai te verkopen, want las ik niet iets eerder in dezelfde alinea:


“(..) meetellen voor het behalen van hun diploma. Dit wordt onverminderd doorgezet, vanwege het belang voor leerlingen van de beheersing van deze vaardigheden op het niveau van de referentieniveaus en voor het vervolgonderwijs.”

kamerbrief 17 december 2014

En dit is een passage waar ik vooral plaatsvervangende schaamte bij voel.


“Naar aanleiding hiervan zijn onder leiding van het College voor Toetsen en Examens (hierna: het CvTE) een aantal acties en onderzoeken in gang gezet.”

kamerbrief 17 december 2014

Toch blijft dit opmerkelijk: het CvTE is immers ten volle verantwoordelijk voor de kwaliteitsgebreken die zij nu zou moeten herstellen. Waar baseren de bewindslieden hun vertrouwen in dit CvTE op? Afijn, het CvTE onderneemt verbeteracties, zoals beschreven in bijlage 1 bij deze kamerbrief, eigenlijk zou ik het CvTE-stuk daarom eveneens van aantekeningen voorzien, tenslotte ligt het CvTE-stuk eveneens voor in het komende algemeen overleg.


En wat gebeurt er dan met de aanbeveling-Bosker voor meer transparantie en openbaarheid? Het gaat natuurlijk om openbaarmaking van de ‘rekentoets’-vragen, onmiddellijk na afloop van de examens, zoals overigens voor onze examens gebruikelijk is. Maar zo brengen de bewindslieden het niet onder woorden. Een niet zo fijne manier van communiceren met ons Nederlanders. Want wat gebeurt er met digitale examens zoals deze ‘rekentoetsen’: de examenvragen blijven geheim, zodat leerlingen niet in staat zijn om hun recht te halen bij ondeugdelijke vraagstellingen. Ah, zijn er dan ondeugdelijke vragen door de zeef van het CvTE gekomen? Ja, en niet zo’n klein beetje, goed gedocumenteerd op tal van publieke plaatsen zoals de website van Jan van de Craats, en de de mijne. Over geheimhouding van examenvragen, zie hier.

“De domeinrapportages maken voor de docent inzichtelijk hoe er wordt gescoord door zowel de klas als door de individuele leerling op de vier domeinen (getallen, verhoudingen, meten en meetkunde, verbanden). De rekenrapportage van Vensters vo maakt de rekentoetsresultaten op schoolniveau inzichtelijk, evenals de resultaten per klas, afgezet tegen de resultaten op andere vakken.”

kamerbrief 17 december 2014

Dit is een regelrechte aansporing to teach to the test. Ik heb daar geen moeite mee, op voorwaarde dat het gaat om een verdraaid goede toets die inderdaad dekt waar het onderwijs voor staat. Zoals Popham zou zeggen. Is dat het geval dan? Hebben we een ‘rekentoets’ die verdraaid goed is? Kom op, zeg. In Den Haag kun je zomaar een kamerlid tegen het lijf lopen die je kan vertellen dat de hamvraag in dit dossier is: ‘Wat is rekenen?’ En hoe kan het dat ‘experts’ en ‘expertisecentra’ Nederland ‘rekentoetsen’ verkopen (zo mag het wel worden genoemd) die geen rekenen toetsen (want ‘rekenen’ mag op de rekenmachine— wist u dat, hebt u wel eens zo’n voorbeeldrekentoets van de website van het Cito proberen te maken?) maar wel leerlingen rangordenen naar troebele verschillen in intellectuele capaciteiten (taalvaardigheid, Nederlands als moedertaal of niet; omvang werkgeheugen; wereldkennis; toetsbehendigheid)?

Laat ik vast een illustratie geven van dat testen zodanig dat de scores verschillen in intellectuele capaciteiten aanduiden. De gemiddelden van havisten vergeleken met vwo-ers, bijvoorbeeld. Of verfijn dat naar profielen. Kijk, voor zoiets overzichtelijks als rekenvaardigheid zijn leraren en leerlingen uitstekend in staat zich zo op een adequate rekentoets voor te bereiden dat vrijwel iedereen daar probleemloos voor slaagt. Havisten zouden dan gemiddeld even hoog moeten scoren als vwo-ers (op dezelfde rekentoets-3F). Is dat het geval? Kijk zelf eens. mrt2014.png Bron: cijfers van het CvTE (uit bijlage bij kamerbrief 13 juni 2014), zie Wilbrink & Kirschner (2014b): “De feiten in de grafiek zijn hard: meer dan 40 procentpunten verschil op dezelfde ‘rekentoets’-3F tussen havo en vwo, met nog één herkansingsgelegenheid te gaan. Binnen het vmbo zijn de verschillen al verkleind door aangepaste cesuur: BB lager, GL/TL hoger, op dezelfde ‘rekentoets’-2F.” Het is klinkklaar dat havisten er niet in slagen zich op deze ‘rekentoets’ behoorlijk voor te bereiden — en dat kan niet anders betekenen dan dat deze ‘rekentoets’ vooral test op persoonlijke verschillen van intellectuele aard, waartoe ook taalvaardigheid behoort.


“Docenten krijgen in komend schooljaar na afloop van elke afnameperiode, op voorwaarde van geheimhouding, de mogelijkheid tot inzage in alle opgaven van de door hun leerlingen gemaakte toetsen, de antwoordmodellen en de door hun leerlingen gegeven antwoorden. Binnen de school of instelling krijgt de docent digitaal inzage in de rekentoets via de examensecretaris of rekencoördinator. ”

kamerbrief 17 december 2014

Dit is belachelijk. Hier staat dat de docent zelfs met de eigen leerlingen die inzage niet mag delen. Noch met kamerleden, trouwens. Schande. Maar ja, bewindslieden vinden dat docenten zo ‘een schat aan informatie’ krijgen. Docenten doen er verstandig aan dit gegeven paard eens goed in de bek te kijken.


“Wij hebben begrip voor de behoefte aan transparantie ten aanzien van de toets. Gelijktijdig moet er wel rekening worden gehouden met de uitvoerbaarheid hiervan.”

kamerbrief 17 december 2014

Zeker, wij weten dat discriminatie niet geoorloofd is, maar we moeten gelijktijdig wel rekening houden met de uitvoerbaarheid ervan. Hoe erg is dit? Heel erg. Lees er alles over in het proefschrift van Job Cohen, 1981.

Het komt er nu dus op neer dat eindexamens voortaan aan de wetten van Kafka zijn onderworpen, niet aan die van de rechtsstaat (zie ook Willem Witteveen (2014, posthuum). De wet als kunstwerk. Een andere filosofie van het recht. Boom, op 9 januari besproken in NRC Boeken C2-3). Hier zal de rechter uiteindelijk aan te pas moeten komen. De uitspraak van de rechter is 100% voorspelbaar: bij geheimhouding van mogelijk kwalitatief ondermaatse examenvragen worden examenkandidaten direct in hun gerechtvaardigde belangen geschaad. Overigens is er casuïstiek van de UvA rond 1980, waarbij ook de Commissie voor de Bestuurshervorming (Commissie-Slagter) zich in niet mis te verstane bewoordingen over de onwenselijkheid van geheimhouding heeft uitgesproken.
http://www.benwilbrink.nl/projecten/geheimhouding.htm#18

Er is een WOB-verzoek om openbaarmaking gedaan; de bewindslieden trokken er hun handen vanaf, gaven het verzoek door aan het CvTE, en dat college doet het voorkomen als zou vrijgeven van examenvragen (na afname) een bedreiging voor de Staat der Nederlanden vormen (want dat is wettelijk eigenlijk de enige grond voor weigering van een WOB-verzoek). Lees er alles over:
http://www.benwilbrink.nl/projecten/geheimhouding.htm#CvTE-WOB en
http://www.benwilbrink.nl/projecten/geheimhouding.htm#CvTE-brochure

Hoe zijn de bewindslieden in dit moeras terechtgekomen? Dat is de vraag hoe het mogelijk is dat de ‘rekentoets’ wordt afgenomen als digitale toets, in plaats van als probleemloze schriftelijke toets op rekenvaardigheid. Afijn, hier zit een wereld van belangen achter, dat moeten we eindelijk eens willen weten. In de VS zijn daar al enkele onderste stenen boven gekomen, en dat mag een indicatie zijn van hoe de hazen ook in Nederland lopen.
http://blogs.edweek.org/edweek/on_california/2014/09/ipad_scandal_grows_in_la_raising_leadership_questions.html


“Daarom stelt de commissie Steur voor, net zoals de commissie Bosker, om de resultaten op de rekentoets mee te laten tellen voor het behalen van het diploma vanaf de al eerder vastgestelde school- en studiejaren (..).”

kamerbrief 17 december 2014

Bewindslieden misbruiken hier hun commissies, door ze verantwoordelijk te maken voor het voortzetten van hun eigen beleid. Mogelijk zijn beide commissies alleen maar naïef geweest door op de stoel van de politiek te gaan zitten, maar dan hoeven bewindslieden daar nog niet gretig gebruik van te maken. Het wordt op deze manier problematisch voor integere burgers om nog deel te nemen aan ministeriële commissies. Het zijn mede deze politieke trucs die het ‘rekentoets’-dossier tot een zo taaie materie maken. Saillant ander voorbeeld hiervan: bij de behandeling van de Wet op de referentieniveaus Nederlandse taal en rekenen is ondubbelzinnig (ook in de Handelingen van 31 maart 2011 dus) vastgelegd dat er bij de rekentoets natuurlijk niet met de rekenmachine gerekend gaat worden, maar ‘met het koppie’ (staatssecretaris Van Bijsterveldt). Enzovoort.


“(..) maar om ook een transitieperiode in te stellen waarin scholen, docenten en leerlingen nog tijd krijgen om in stappen toe te kunnen groeien naar het halen van de referentieniveaus. Het betekent meer tijd om het onderwijs op orde te krijgen en het niveau van leerlingen omhoog te brengen.”

kamerbrief 17 december 2014

Het bovenstaande is het vervolg van wat de Commissie-Steur adviseert. Ik ben benieuwd hoe de Commissie aannemelijk maakt dat dit een realistisch scenario is, op deze plaats in ieder geval geen verwijzing naar bronnen daarvoor. Waarom zou de komende jaren gaan lukken, wat afgelopen jaren zo jammerlijk is mislukt? Ik moet het duidelijker zeggen: de Commissie — en de bewindslieden — gaan sleutelen aan de symptomen. Maar voor een vertrouwenwekkende voorspelling van geleidelijke verbetering in de symptomen, zal het toch nodig zijn een treffende diagnose van de onderliggende kwaal te hebben. Waar is die? Wat is de oorzaak — wat zijn de oorzaken — van de teleurstellende resultaten op deze ‘rekentoetsen’? Deugen die toetsen in de grond van de zaak wel? Zijn ze valide?


“Werken met vaardigheidsscores ”

kamerbrief 17 december 2014

Een onbegrijpelijk voorstel. Ja, zeker, het Cito heeft een voor leken onnavolgbare methodologie ontwikkeld om gestandaardiseerde vaardigheidsscores te kunnen vaststellen, een techniek die terecht is toegepast in de PPON-onderzoeken (PPON: Periodieke Peiling Onderwijs Nederland). Maar waarom zou dit een adequate techniek zijn voor de ‘rekentoets’? Ah, hij is nodig om een over de jaren heen vergelijkbare schaal voor cijfergeving te hebben. Maar dat beantwoordt de vraag niet: waarom is het in het specifieke geval van een aan de eindexamens toegevoegde toets op basisvaardigheden rekenen niet voldoende om alleen een zak-slaaggrens (cesuur) vast te stellen? Op zijn Engels: een pass-fail score? Omwille van het mes van Ockham, eenvoudigheidshalve dus, zou zeker in een overgangsperiode kunnen worden volstaan met die pass-fail score.


“Aanpassen van de positie van de rekentoets in de uitslagregel”

kamerbrief 17 december 2014

Lees deze sectie in de kamerbrief eens in zijn geheel door (de sectie is te lang om hier in zijn geheel te citeren).

Dit is toch niet te geloven: een regeling die ieder jaar verandert, en per jaar mogelijk pas achteraf bekend is. Wat las ik daar net over, bij de bespreking van het posthume boek van Willem Witteveen over wetgeving?

“Wetten horen geen terugwerkende kracht te hebben, zij moeten begrijpelijk zijn en regels horen niet onderling tegenstrijdig te zijn. Men moet ook geen regels maken die redelijkerwijs niet kunnen worden nageleefd, men moet regels niet zo vaak veranderen dat burgers de draad kwijt raken en men moet de regels toepassen zoals ze bekend zijn gemaakt — en dus niet via rechtspraak en bestuur er iets heel anders van maken.”

Marc Chavannes (9 januari 2015). De rechtsstaat is in Nederland een utopie. NRC Boeken C2-3. Bespreking van Willem Witteveen (2014, posthuum). De wet als kunstwerk. Een andere filosofie van het recht. Boom


“Ook wordt op voorstel van de commissie het aantal herkansingen voor de rekentoets in het vo vergroot naar drie (dat betekent vier kansen in totaal) (..).”

kamerbrief 17 december 2014

Dit voorstel is natuurlijk heel erg noodzakelijk, althans in het worst case scenario dat de ‘rekentoets’ niet definitief door de Tweede Kamer of door bewindslieden zelf wordt afgeblazen. De vraag is dus: hoe is het eigenlijk mogelijk dat jarenlang slechts één herkansing is geboden — met daarna alleen nog de mogelijkheid om staatsexamen af te leggen (mededeling OCW)? Daar ligt vrijwel zeker een modelberekening en een advies van het Cito aan ten grondslag. Het komt goed uit dat in dit geval het Cito wèl een reactie publiceerde op de waarschuwing van Wilbrink & Hulshof (2011) dat de regeling voor de ‘rekentoets’ zou leiden tot slachtoffers onder examenkandidaten: Zwitser & Béguin (2011). Ik wil hier een lange discussie — die destijds ook via email is gevoerd met Anton Béguin — sterk inkorten: commissies Bosker en Steur hebben ondertussen wel duidelijk gemaakt dat het Cito modelberekeningen heeft gepresenteerd die geen relatie hebben met de werkelijkheid van de pilotstudies.

Er is voor de ‘rekentoets’ een interessant alternatief scenario mogelijk, zonder te tornen aan de wens van de minister om de ‘rekentoets’ in de kernvakkenregel mee te nemen. Dat scenario is heel eenvoudig, en verdient dus aandacht voordat allerlei ingewikkelde scenario’s doorgerekend gaan worden.


Geef voor de rekentoets een onbeperkte herkansingsmogelijkheid.


De toets gaat per computer afgenomen worden, zodat er technisch geen extra problemen zijn. Het is natuurlijk mogelijk om voor herkansingen een strengere eis te stellen, om gokken tegen te gaan, maar dat maakt de regeling weer ingewikkelder. Een andere mogelijkheid om gokgedrag tegen te gaan is om herkansingstoetsen veel langer te maken dan de toets bij eerste gelegenheid. Blijk geven te kunnen rekenen, daar gaat het uiteindelijk om bij eindexamenkandidaten.

Ben Wilbrink & Joost Hulshof (2011). Opmerking bij het artikel ‘Gaat meetfout bij de rekentoets slachtoffers maken? Examens, Tijdschrift voor de Toetspraktijk, 8 #4, 23-26.
http://benwilbrink.nl/publicaties/11dupliek_rekentoets.htm
(concept voor reactie op Zwitser & Béguin (2012))


“De inspectie wordt gevraagd om de rekenresultaten te betrekken in het toezicht. Wij vragen het CvTE en het Cito om de ontwikkeling van de resultaten goed te monitoren en indien dit nodig blijkt zullen wij op basis daarvan bijsturen”

kamerbrief 17 december 2014

Wat stellen de bewindslieden zich hier concreet bij voor? Gaat de Inspectie eindelijk eens onderzoeken of de ‘rekentoets’ wel rekenen toetst? Gaat het Cito zich inspannen om het onbedoelde testen op verschillen in intellectuele capaciteiten uit de ‘rekentoetsen’ te halen? Wordt het CvTE gefaciliteerd met een behoorlijke afdeling Research & Development? Of denken de bewindslieden dat slaagpercentages ‘voor zich’ spreken?


“Maar zoals geconstateerd in de voortgangsrapportages taal en rekenen 2013 en 2014 zijn er groepen leerlingen voor wie rekenen moeilijk is en zal blijven en waarvoor zonder de mogelijkheid van een alternatieve toets het behalen van een startkwalificatie in gevaar komt.”

kamerbrief 17 december 2014

Voor rekenzwakke leerlingen geldt des te sterker de noodzaak om volstrekt helder te zijn over wat rekenen precies is, en wat niet. Toetsen op intellectuele capaciteiten is voor alle leerlingen vervelend, voor zwakke leerlingen een hel. De leerlingen die minder begenadigd zijn wat intellectuele capaciteiten betreft, zijn veelal prima in staat zich basale rekenvaardigheid te verwerven. Zonder de contextflauwekul.


“Tot slot


Met de in deze brief beschreven maatregelen zorgen we er samen voor dat het taal- en rekenonderwijs zo snel mogelijk verder versterkt wordt. Dat doen we op een zo zorgvuldig mogelijke wijze. ”

kamerbrief 17 december 2014

Tot die zorgvuldigheid behoort ook, mogen we hopen, een integere behandeling van beschikbare kennis en inzichten, als onderscheiden van de houding dat er nu eenmaal verschillen van opvatting zijn, en wij dus vasthouden aan de onze. Handen in de lucht voor de opvatting dat de aarde plat is, ja? Mooi zo. Er zijn grenzen aan wat politiek maakbaar is (Witteveen, 2014).


‘Steur’: de ‘rekentoetsen’ 2F en 3F deugen niet, maar dat zeggen we niet hardop

Commissie verantwoorde invoering rekentoets (verder Commissie-Steur te noemen) (5 december gedateerd, 17 december 2014 openbaar gemaakt). Advies over de uitwerking van de referentieniveaus 2F en 3F voor rekenen in toetsen en examens. ; met kamerbrief van de bewindslieden.


Ik begrijp het rapport van deze Commissie-Steur niet. Ik krijg sterk de indruk dat drie leden van de Commissie er geen say in hebben gehad.

De Commissie heeft kennelijk geen behoorlijke kennis van het rekentoets-dossier, en evenmin van de controverse over het rekenonderwijs in Nederland. Maar door miskenning van de waarschijnlijke oorzaken achter dit leed dat rekentoets heet, komt de Commissie niet verder dan het voorstellen van lapmiddelen, symptoombestrijding, jarenlange reparaties uit te voeren door instanties die om te beginnen zelf verantwoordelijk zijn voor de ontstane reken(toets)-problemen. Mogelijk was dat ook de opdracht aan de Commissie, maar door het ontbreken van de opdrachtbrief blijft dat onduidelijk. Lapmiddelen of niet, daar valt in testpsychologische zin nog best het nodige over te zeggen. Zou ik denken. Maar ik zie daar geen helder spoor van in het rapport van de Commissie. Een voorbeeld: de Commissie doet geen poging om een verklaring te vinden voor het enorme verschil in resultaten tussen havisten en vwo-ers, terwijl het toch evident is dat een goede verklaring iets zal zeggen over de validiteit of juist het ontbreken van validiteit van de ‘rekentoetsen’.


Aantekeningen bij het advies

De aanbiedingsbrief is een samenvatting. Hierin geen enkel signaal van twijfel aan het rekengehalte van de ‘rekentoets’, geen uiting van ook maar een begin van bezorgdheid over ideologisch geïnspireerde opvattingen over rekenonderwijs zoals deze blijken uit zowel het werk van de werkgroep-Van Streun (Commissie Meijerink, referentieniveaus Nederlandse taal en rekenen) als dat van de rekentoetswijzercommissie-Schmidt (2F en 3F), geen zorgen over de validiteit van de ‘rekentoetsen’ anders dan een verwijzing naar de aanbevelingen van de Commissie-Bosker over de kwaliteit van de toetsen en de opgaven. Er zijn legio aanwijzingen en rapporten dat er achter elkaar stukken van deze Fyra af donderen, maar deze commissie laat hem gewoon doorstomen.


“Het onderwijs voor rekenen in vo en mbo moet van ver komen.”

Commissie Steur, aanbiedingsbrief

De commissie ziet althans dit deel van het probleem. Belangrijker is nog het rekenen in het bo: is dat rekenonderwijs adequaat, en zo nee, waar schort het aan, en is het vervolgonderwijs wel in staat de tekorten op te vangen en te repareren?


“De Tweede Kamer heeft besloten dat aan het eind van een opleiding moet worden getoetst of het vastgestelde referentieniveau is bereikt.”

Commissie Steur, Inleiding - historie

Dit is toch lastig: er is geen bron gegeven voor deze bewering, en hij lijkt mij onjuist. De formulering is ook dubbelzinnig: ‘toetsen’ kan zowel de betekenis van examineren hebben, als van evalueren. Mij staat wel scherp op het netvlies dat bij de behandeling van de Wet nadrukkelijk de mogelijkheid van evalueren open werd gehouden (Handelingen, 31 maart 2010).


“De niveaus 2S en 3S zijn niet wettelijk aan een sector toegewezen.”

Commissie Steur, Inleiding - historie, voetnoot 5

Dit gegeven had bij de Commissie de nodige alarmbellen moeten doen rinkelen. Het is immers niet te verenigen met deze PR-taal:


“Met de invoering van de referentieniveaus wordt een kwaliteitsverhoging beoogd, van zowel de rekenresultaten van het Nederlands onderwijs als geheel alsook van een vastgelegd beheersingsniveau voor rekenen door iedere leerling (en dat op verschillende momenten in de schoolloopbaan).”

Commissie Steur, Inleiding - historie

Hoogdravende taal. Maar dan zou toch allereerst de aandacht op de niveaus 2S en 3S gericht moeten zijn! Nope.


“Met de uitslag op de toets/het examen kan de vervolgopleiding worden geïnformeerd over de mate waarin een leerling het gevraagde referentieniveau heeft bereikt.”

Commissie Steur, Inleiding - historie

De commissie gaat er hier stilzwijgend van uit dat de ‘rekentoets’ veel meer is dan alleen een toets of een gewenst niveau is bereikt. Toch is dit volstrekt niet vanzelfsprekend, en misschien ligt hier zelfs een van de oorzaken waarom de ontwikkeling van deze ‘rekentoetsen’ door het Cito in een drama is geëindigd. Namelijk door een niet behoorlijk doordacht streven om leerlingen op deze toets zo betrouwbaar mogelijk van elkaar te onderscheiden op whatever it is that the test measures. En dat laatste is vooral een onheldere mix van intellectuele verschillen, waaronder verschillen in taalvaardigheid, maar zeker ook verschillen in mentale belastbaarheid.


“De behaalde leerlingresultaten op de (pilot)rekentoetsen en de pilot centrale examens rekenen vallen tot op heden tegen.”

Commissie Steur, Inleiding - tegenvallende rekenresultaten

Dat is maar net hoe je het bekijkt: leraren in het veld hadden deze ‘tegenvallende’ resultaten wel degelijk verwacht, voor hen vielen ze dus niet tegen. Ik vermoed dat de betekenis hiervan groter is dan de leden van deze commissie, misschien met uitzondering van Greetje van de Werf, hebben vermoed.

De commissie rept hier met geen woord over de vraag of de resultaten op de ‘rekentoetsen’ een stijgende lijn laten zien. En dat doen ze niet, afgezien dan van de versoepelingen die gaandeweg door het CvTE zijn aangebracht (minder vragen, verhoudingsgewijs minder contextvragen, aangepaste cesuur voor verschillende opleidingswegen in het vmbo). De betekenis van het antwoord op deze vraag is niet gering: immers, wanneer bij steeds adequater inspanningen van de scholen de resultaten desondanks gelijk blijven, is dat een signaal dat deze ‘rekentoetsen’ maar tot op beperkte hoogte echt goed zijn voor te bereiden door leraren en hun leerlingen.


“(..) voorkomen moet worden dat leerlingen de dupe worden van onvolkomenheden in de toetsen en van rekenonderwijs dat nog niet op orde is.”

Commissie Steur, Opdracht

Dit is een prevelementje van politici. Hoe gaat de Commissie ermee om? Wel, naar onvolkomenheden in het rekenonderwijs wordt kennelijk verder niet gekeken. Dat is toch bijzonder riskant, want de Commissie veronderstelt dan in feite en stilzwijgend dat dat rekenonderwijs zelf niet problematisch is, dat het met een beetje goede wil van de scholen prima voor elkaar zal komen. Quod non.


“Ons advies gaat niet over de kwaliteit van de toetsen/examens, we gaan ervan uit dat daaraan wordt gewerkt volgens de adviezen van de commissie-Bosker.”

Commissie Steur, Opdracht.

Wel, dat is tenminste duidelijk. Het doet denken aan die tweet van bestuursvoorzitter Marten Roorda van het Cito (9 oktober 2013) “Voor alle duidelijkheid: #Cito is geen partij bij vaststelling van inhoud Rekentoets en typen opgaven. Cito voert de richtlijnen van CvE uit”. Ik weet het niet, hoor, maar toch heb ik zo’n vermoeden dat dit (de opstelling van de Commissie Steur zowel als die van de bestuursvoorzitter van het Cito) in flagrante strijd is met de Standards (ook in Nederland richtinggevend voor in beginsel iedereen die verantwoordelijkheid draagt voor tests, toetsen en examens), of gewoon met de zorgplicht die OCW (en zijn Commissie) en Cito hebben naar leerlingen.


“Daarbij mag het ook niet zo zijn dat scholen die hun rekenonderwijs nog niet op orde hebben, worden ‘beloond’.”

Commissie Steur, Opdracht

Dit is een zorgwekkende opdracht, hoe is de Commissie hiermee omgegaan? Er spreekt ook wantrouwen naar het onderwijsveld uit, om niet te zeggen: een vooronderstelling van kwade trouw. En dat blijkt bepaald niet alleen uit dit ene zinnetje in de Opdracht-sectie. Werpt de Commissie dit verre van zich, of huppelt ze vrolijk mee?


“Wat betreft de literatuur willen we in het bijzonder noemen: (..) de startrapportages van de intensiveringstrajecten rekenen van de Steunpunten taal en rekenen vo en mbo. Een ander belangrijk bestudeerd document is de Regeling omzetting scores in cijfers centrale examens en rekentoets VO 2014.”

Commissie Steur, Werkwijze


“Om meer zicht te krijgen op de techniek van de rekentoets/het ce-rekenen, de overwegingen en de achtergronden die daarbij hebben gespeeld heeft de commissie gesproken met experts van CvTE en Cito.”

Commissie Steur

Deze commissie was natuurlijk zelf prima in staat om de verhalen van Cito en CvTE door te prikken, waar dat nodig mocht zijn. Toch blijft hier de schijn hangen van een commissie die een gewillig oor heeft voor Cito en CvTE, de instanties die het meest direct zijn betrokken bij de ‘rekentoets’-ellende, en geen tegengeluiden heeft willen horen, zoals bijvoorbeeld in de hoorzitting die de onderwijscommissie van de Tweede Kamer op 4 december 2013 hield. In WiskundE-brief #654 zijn veel van de ingediende stukken op te halen, zoals ook die van Jan Karel Lenstra met een uitstekend en sober alternatief voor de ‘rekentoetsen’


“Het conceptadvies is besproken met de opdrachtgever. Over de (technische) implicaties van het advies is ook gesproken met experts van CvTE en Cito.”

Commissie Steur

Hoe onafhankelijk is dit advies van de Commissie eigenlijk?


“4.1 Rekenonderwijs”

Commissie Steur, Rekenonderwijs

In deze sectie: geen moeilijke vragen over die referentieniveaus. Nee, voor die referentieniveaus is grote steun in het onderwijsveld, volgens de Commissie. Ik had toch graag enige aandacht gezien voor een heel andere stelling: dat de huidige ellende met de ‘rekentoetsen’ mogelijk volgt uit een valse start die juist met die referentieniveaus voor rekenen is gemaakt. Het is ingewijden immers volstrekt helder dat althans de niveaus 1F, 2F en 3F zijn ingevuld met wat ‘realistisch rekenen’ heet (in andere landen zijn daar andere benamingen voor — reform math, progressivism — of gewoon de vertaling RME: realistic mathematics education (from Holland); voor wie dat bekender in de oren klink: dit zijn vormen van wat ook wel ‘het nieuwe leren’ heet. Met andere woorden: wat de wetgever in het beton van de ‘Wet op de referentieniveaus Nederlandse taal en rekenen’ heeft gegoten, komt neer op staatsdidactiek. Staatsdidactiek. Ik herhaal het maar even, want het is ongehoord!


“Rekenen is in het voortgezet onderwijs formeel wettelijk geen vak. Er bestaat dan ook geen bevoegdheid voor het geven van rekenonderwijs. Er is daardoor geen sprake van bevoegde rekendocenten: iedere bevoegde docent mag rekenen geven. ”

Commissie Steur, 4.1 Rekenonderwijs, bevoegdheid, bekwaamheid en ondersteuning

Wie heeft dit idee de Commissie ingefluisterd? De NVvW, de Nederlandse Vereniging van Wiskundeleraren? Waarom zou een leraar wiskunde geen rekenonderwijs kunnen geven? Is rekenen iets anders dan wiskunde? Kijk nog eens naar de inbreng van Jan Karel Lenstra in de hoorzitting van 4 december 2013.

Een commissie die gelooft dat rekenonderwijs iets anders is dan wiskundeonderwijs, is vatbaar voor tal van verdere drogredenen uit het omvangrijke circuit van rekenondersteuners. Er is ook wel humor, zoals in deze passage: “Ook in onze panelbijeenkomsten kwam naar voren dat het bewustzijn pas later doordrong dat rekenonderwijs vraagt om docenten met specifieke kennis en vaardigheden op het gebied van de rekendidactiek.”. Grootmoeder heeft een grote mond, en scherpe tanden, maar roodkapje krijgt maar geen argwaan.

De actualiteit heeft de Commissie op dit punt ingehaald: zie het standpunt van de NVvW zoals verwoord in de brief van 20 januari aan TK en OCW: het rekenonderwijs kan het best door wiskundeleraren worden verzorgd.


“Digitale afname”

Commissie Steur 4.1 Rekenonderwijs, digitale afname

Er zijn probleempjes, maar verder ziet de Commissie er alleen maar heil in. Het verbaast mij. Zeker Don Mellenbergh weet heel goed dat de gebruikte afnametechniek van invloed kan zijn op de resultaten; op zijn minst zou op tafel moeten komen dat digitale afname geen nadelen voor leerlingen oplevert. Dat bewijs is er niet, bewijs van het tegendeel is in ruime mate voorhanden. Tot de benadeling hoort ook de aan deze digitale afname gekoppelde geheimhouding van toetsvragen en de ondoorzichtige ingewikkeldheid van bepalen van de cesuur voor de specifieke gebruikte digitale toets.

Ik zou het zeer gewaardeerd hebben wanneer de Commissie zou hebben geprobeerd te achterhalen waarom eigenlijk door wie is besloten tot digitale afname. En daar een helder antwoord op zou zijn gevonden. In dit advies gepubliceerd.


“Domeinoverstijgende vaardigheden
Bij rekenopgaven in een complexere context zoals die in referentieniveau 3F voorkomen, zijn domeinoverstijgende vaardigheden nodig die soms hebben geleid tot gekunstelde denkstappen.”

Commissie Steur, 4.2 Onvolkomenheden in de toetsen/examens, domeinoverstijgende vaardigheden

Helaas, ‘domeinoverstijgende vaardigheden’ bestaan niet. Er is wel zoiets als intelligentie, maar dat is geen vaardigheid. ‘Rekentoetsen’ die ‘domeinoverstijgende vaardigheden’ toetsen, zijn gewoon beroerde intelligentietests. Ik kan me niet voorstellen dat Van de Werf en Mellenbergh hier geen punt van hebben gemaakt, binnen de commissie. En dat moeten ze dan hebben verloren. De Commissie-Steur verkoopt hier amateurpsychologie die nergens op slaat, zoals de Rekentoetswijzercommissie-Schmidt dat al eerder deed (daar komt het idee van die ‘domeinoverstijgende vaardigheden’ vandaan.

De oplettende lezer herkent hier de thematiek van ‘vaardigheden van de 21e eeuw’: probleemoplossen, creativiteit. Helaas, dat zijn geen vaardigheden, ze bestaan niet, wat internationale (OECD) en nationale (WRR, Onderwijsraad, bewindslieden OCW) organisaties ook mogen beweren. Probleemoplossen en creativiteit, in niet-triviale verschijningsvormen, zijn gebonden aan kennisdomeinen, aan expertise (K. Anders Ericsson and others (2006)).

Koningin van de ‘domeinoverstijgende vaardigheden’: ‘kritisch leren denken’ De graal van de onderwijsvernieuwers. Helaas, het is een fata morgana, zoals nog eens mooi uitgelegd door Daniel Willingham (2007): Critical thinking, why is it so hard to teach?


“Verschillende definities van contexten”

Commissie Steur, 4.2 Onvolkomenheden in de toetsen/examens, Verschillende definities van contexten

Voor de Commissie is het idee van rekenvaardigheid toetsen in contexten een vanzelfsprekendheid. Maar dat is het natuurlijk niet. Over het toetsen van rekenvaardigheid met redactiesommen werd voor de oorlog al strijd geleverd. Vanuit psychologische optiek — en die mag juist van deze Commissie worden verwacht, toch? — is het toetsen van rekenvaardigheid iets anders dan die rekenvaardigheid toetsen in contexten. De Commissie beseft dat ergens ook wel, gezien de tweede alinea in deze paragraaf: basale rekenvaardigheden toetsen in ‘eenvoudige’ contexten. Het springende punt is dat de bijzondere opvatting van toetsen van rekenvaardigheid in contexten behoort bij de onderwijsideologische stroming van het situationisme, dat de laatste decennia versmolten is geraakt met het eerder genoemde constructivisme. Als dit waar is — maar de Commissie wil dit niet onderzoeken — dan schrijven de ‘rekentoetsen’ staatsideologische didactiek voor. John Anderson, Herbert Simon en Lynne Reder hebben het eind negentiger jaren onder de aandacht van de internationale psychologische gemeenschap gebracht, zoals in Anderson, Reder & Simon (1998).

Een wetenschappelijke commissie kan niet om de publicaties van Anderson, Reder en Simon over constructivisme en situationisme in het onderwijsveld van rekenen en wiskunde heen. Deze Commissie is zich van geen mogelijk kwaad bewust, maar lijkt dan ook vooral een politieke commissie te zijn.

Bij gelegenheid van de hoorzitting van 4 december 2013 is een uitvoerig stuk over constructivisme en situationisme ingediend: Wilbrink (december 2013). Op de hoorzitting zelf heeft Wilbrink (4-12-2013) uitgelegd hoe het toetsen van rekenvaardigheid in situaties van het dagelijks leven zou kunnen passen bij personeelsselectie, maar zeker niet in een eindexamen (de validiteitskwestie, alweer).


“De inhoudelijke eisen die gesteld zijn aan de rekentoets/de ce's zijn beschreven in de rekentoetswijzers (vo) en examensyllabi (mbo) en gebaseerd op de referentieniveaus. Er wordt onder meer vanuit gegaan dat voor de oplossing van problemen in complexere situaties domeinoverstijgende vaardigheden nodig zijn. Het gevolg daarvan is dat opgaven niet alleen een beroep doen op rekenvaardigheden, maar ook op inzicht in contexten, vaktaal en taalvaardigheid, zoals woordkennis en tekstbegrip. Een psychometrische eis is dat de scores van alle leerlingen afgebeeld moeten worden op dezelfde vaardigheidsschaal. Deze psychometrische eis is echter alleen met de inhoudelijke eisen verenigbaar als de toetsvragen voor geen enkele leerling onbekende woorden en te moeilijke zinsconstructies bevatten. De (eerder afgenomen) toetsen bevatten echter opgaven met woorden en zinsconstructies die moeilijk te begrijpen zijn voor taalzwakke leerlingen en leerlingen die Nederlands niet als thuistaal hebben, ondanks het feit dat een woordenboek mag worden gebruikt. Het gevolg is dat deze opgaven bij deze leerlingen een mix van reken- en taalvaardigheden meten, terwijl ze bij de overige leerlingen alleen rekenvaardigheden meten. Onze commissie is van mening dat de scores van leerlingen in dezelfde schoolsoort/leerweg in vo en mbo afgebeeld moeten worden op een schaal die hetzelfde meet, mits het taalgebruik begrijpelijk is voor alle leerlingen, of dat er bij minder eenvoudig taalgebruik, gewerkt wordt met verschillende schalen voor verschillende groepen leerlingen.

De commissie-Bosker heeft aanbevolen in de rekentoetsen/examens opgaven met eenvoudigere contexten op te nemen. Onze commissie vraagt hierbij aandacht voor het alleen opnemen van die vragen die geen woorden en zinsconstructies bevatten die moeilijk zijn voor taalzwakke leerlingen en leerlingen die Nederlands niet als thuistaal hebben.”

Commissie Steur, 5.1 Validiteit van de rekentoets/het centraal examen rekenen

Kijk, in sterk contrast met de voorgaande hoofdstukken waait hier ineens wel de psychologische wind. Laten we eens analyseren en onderbouwen wat de Commissie hier stelt. Dit wordt een uitgebreidere analyse, met veel achterliggende literatuur. Ook in de tekst van de Commissie wordt impliciet verwezen naar achterliggende stukken: ik zal proberen links naar die stukken geven.

De Commissie kijkt hier naar de ‘rekentoets’ als meetinstrument. Dat is in ieder geval nuttig als een begin, maar het is niet voldoende. De ‘rekentoets’ is een examen, en de kwaliteitseis daarvoor is dat leraren en leerlingen zich daar doeltreffend op kunnen voorbereiden (De Groot, 1970). Ik ga in mijn annotatie mee met de analyse van de Commissie; later zal er nog gelegenheid zijn het net wijder uit te werpen, en ook de transparantie — dus ook het rekenonderwijs — erbij te betrekken. Terzijde: commissielid Don Mellenbergh was eind zestiger jaren medewerker van A. D. de Groot in de Afdeling Examentechnieken van de psychologische faculteit, en bekleedde later de leerstoel van De Groot: methodologie.

De Commissie overweegt hier in feite het volgende. De ‘rekentoets’ is gebaseerd op referentieniveaus en rekentoetswijzers; oké, laten we dat althans voorlopig als gegeven nemen, en dan analyseren of een dergelijke ‘rekentoets’ een psychologisch monstrum is, en zo ja, of dat repareerbaar is. Dat is een prima werkwijze, het maakt de vraagstelling misschien wat overzichtelijker.


“Een psychometrische eis is dat de scores van alle leerlingen afgebeeld moeten worden op dezelfde vaardigheidsschaal.”

Commissie Steur, 5.1 Validiteit van de rekentoets/het centraal examen rekenen

Bij een examen(onderdeel) waar je één cijfer voor krijgt moet het zo zijn dat verschillen in cijfers het gevolg zijn van verschillen in één domein van kennis en/of vaardigheid; althans niet een hutspot van van alles en nog wat. De Commissie spitst dat toe op de spanning tussen (verschillen in) rekenvaardigheid en taalbeheersing. Een belangrijk deel van wat de Commissie bedoelt met taligheidsproblemen bij deze ‘rekentoetsen’ is aan de orde in het proefschrift van Van Silfhout (2014), waarover de Commissie kennelijk nog niet heeft kunnen beschikken.

Direct na de behandeling op 31 maart 2010 van de Wet op de referentieniveaus was er discussie over een motie Van Dijk & Van Dijk om taalverzorging mee te beoordelen in eindexamenwerk. Dat zou betekenen dat het cijfer voor bijvoorbeeld wiskunde een mistige afbeelding zou worden van beheersing van wiskunde en van spelling en syntax van het Nederlands (zie ook Wilbrink, Borsboom & Couzijn, 2011). Dat soort mistigheid is wat de Commissie hier bedoelt. Samengevat in de woorden van Denny Borsboom (vervang meebeoordelen van taalverzorging door meebeoordelen van werken in contexten, van werken met een rekenmachine):

Testtheoretische problemen samengevat
Psychometrisch gezien valt te verwachten dat meebeoordelen van een tweede domein zoals taalverzorging leidt tot een lagere validiteit van het examenonderdeel, tot meer ruis — onsystematische variantie — in de scores en tot het ontstaan van bias. Denk aan jongens versus meisjes of leerlingen met Nederlands als tweede taal: systematische groepsverschillen in scores die niet zijn terug te voeren op het oorspronkelijke kennisdomein, zoals natuurkunde, zijn uitingen van bias ofwel partijdigheid. Het valt moeilijk te voorspellen in welke mate deze problemen zich in de praktijk voordoen, maar het is evident dat een maatregel die de psychometrische kwaliteit van examens eigenlijk alleen maar kan verlagen, hooguit genomen mag worden wanneer het echt niet anders kan. Aan deze voorwaarde is in het voorliggende geval niet voldaan.

Wilbrink, Borsboom & Couzijn, 2011, blz. 8

Jammer is dat de Commissie er niet nadrukkelijk op wijst dat er meer mogelijke oorzaken kunnen zijn voor schending van de eenduidigheid van de vaardigheidsschaal. Wie de verwikkelingen rond de ‘rekentoets’ een beetje heeft gevolgd, kan ze wel opnoemen: nadrukkelijk niet toetsen op algoritmische rekenvaardigheid en vlot rekenen (Rekentoetswijzercommissie-Schmidt), de mogelijkheid geven om te rekenen met de digitale rekenmachine (Wilbrink_2012 Linkedin), en vooral ook mentale overbelasting bij contextopgaven (Wilbrink & Kirschner, 2014).


“Deze psychometrische eis is echter alleen met de inhoudelijke eisen verenigbaar als de toetsvragen voor geen enkele leerling onbekende woorden en te moeilijke zinsconstructies bevatten.”

Commissie Steur, 5.1 Validiteit van de rekentoets/het centraal examen rekenen

Laten we vooral zorgvuldig formuleren. Het woordje ‘alleen’ suggereert dat uitpoetsen van het aangeduide probleem van taligheid, een valide ‘rekentoets’ oplevert. Dat is natuurlijk niet zo. Er zijn tal van bedreigingen van rekentoetsvaliditeit, zie Wilbrink, Hulshof & Pfaltzgraff (2012) en Wilbrink & Kirschner, 2014. Misschien is dit wel een geschikt moment om erop te wijzen dat Wilbrink c.s. (2012) ernstige twijfels aan validiteit van de ‘rekentoetsen’ hebben geuit, dat het Cito daar niet inhoudelijk op heeft gerageerd (ik laat de tweet van CEO Marten Roorda hier even terzijde) en dat het CvTE in zijn reactie van de hand van Kastelein (2012) louter op correcte procedures wijst, wat niets met validiteit heeft te maken. Het probleem met een en ander is dat er een ernstige klacht ligt over ontbrekende validiteit van de ‘rekentoetsen’, waarop geen adequaat antwoord is gegeven. Het Nederlandse publiek weet het dus niet. Ondertussen hebben beide instellingen de staatssecretaris verklaard dat de ‘rekentoetsen’ wel degelijk valide en betrouwbaar zijn. Punt. Dus zonder ondersteunend empirisch bewijs. Het CvTE heeft december 2014 in een briefing van de onderwijscommissie van de Tweede Kamer nogmaals gesteld dat de ‘rekentoetsen’ valide zijn. Wederom zonder daar de nodige onderbouwing voor te geven.

Is die validiteit van belang, dan? Wat is er eigenlijk mee bedoeld? Ik verwijs naar de behandeling van dit onderwerp in de Standards. Zonder validiteit heeft een toets of een test absoluut geen bestaansrecht, en is ieder gebruik van toetsscores misbruik, dat door de rechter nietig zal worden verklaard.


In deze sectie 5.1 over validiteit snijdt de commissie het thema in feite nauwelijks aan. Vergelijk daartoe de onderwerpen in het hoofdstuk over validiteit in de APA Standards. Tot de hamvragen behoren zeker de vraag naar wat rekenen en rekenvaardigheid is (wat hebben die contexten er eigenlijk mee te maken?), en of leerlingen zich doeltreffend op deze ‘rekentoetsen’ kunnen voorbereiden (wat niet het geval is).

Er is nadrukkelijk en expliciet door Wilbrink c.s. 2012 op gewezen dat er op meerdere punten sprake is van tekortschietende of ontbrekende validiteit van de ‘rekentoetsen’. De Commissie was van deze kritiek op de hoogte, evenals van het ontbreken van een adequaat antwoord van het Cito en van het CvTE op deze kritiek. De Commissie laat de validiteit van de ‘rekentoetsen’ met de tekortschietende behandeling in deze sectie 5.1 in feite verder bungelen, het aan politici overlatend om te kiezen tussen de expertise van Wilbrink c.s. en die van de Commissie op het onderdeel validiteit van de ‘rekentoetsen’. Een eveneens glasheldere kritiek op ontbrekende validiteit van de ‘rekentoetsen’ is gegeven door Wilbrink en Kirschner, en ook deze kritiek, hoewel aan de Commissie bekend gemaakt, is door de Commissie genegeerd.


Per saldo weten bewindslieden, kamerleden en het Nederlandse publiek dus niet, met dit commissierapport in de hand, of de geuite kritiek op de ontbrekende validiteit van de ‘rekentoetsen’ hout snijdt of niet, althans in de ogen van deze Commissie. Toch gaat de Commissie aan de slag met cesuurbepaling etcetera, voor een toets van onbestemde validiteit. Wellicht ten overvloede: ook het gebruik van de toetsresultaten is een validiteitskwestie. En laten zakken of slagen is ongeveer het belangrijkste gebruik dat van de ‘rekentoets’-resultaten valt te maken.


“5.2 Cesuur”

Commissie Steur, 5.2 Cesuur

De eerste alinea van deze heel erg lange paragraaf: let op allerlei woordjes en uitspraken die zekerheden en kwaliteit suggereren waar ze er niet zijn. Het irritante gedoe over die vaardigheidsschaal hoort daar ook bij: de term suggereert veel en veel meer dan hij waar kan maken. De commissie heeft hier overigens te maken met een erfenis van het Cito, dat bij de PPON die vaardigheidsschalen gebruikt om vergelijkingen van 19989 met 2004 te kunnen maken, etcetera; niets mis mee. Bij examens is dat anders, omdat psychometrische technieken helder uitgelegd moeten kunnen worden naar leraren en leerlingen toe. Hoe doe je dat met deze vaardigheidsschalen? Door het te versimpelen. Is dat niet een rad voor ogen draaien, dan? Mogelijk. Ben ik unfair? Ik dacht het niet, omdat overduidelijk is dat de contextopgaven in de ‘rekentoetsen’ ook of zelfs vooral verschillen in intellectuele capaciteiten registreren en dus juist geen vaardigheden. Mentale belastbaarheid (werkgeheugen) hoort daar ook bij: geen vaardigheid, maar een psychologisch gegeven waar leerlingen op verschillen (Wilbrink & Kirschner, 2014).

Ik wil dus niet meegaan met die vaardigheidsschaal-hocus-pocus. Een echt passend alternatief is er niet, behalve recht-voor-zijn-raap ‘percentage goed’; als next best komt ‘beheersing’ in aanmerking: ‘vaardigheid’ geeft aan dat deze nadrukkelijk is verworven, ‘beheersing’ laat iets meer in het midden hoe die beheersing is verkregen/ontstaan. Het is niet alleen maar een kwestie van zuiver taalgebruik: spreken over een vaardigheidsschaal suggereert telkens ook dat de vaardigheid op valide wijze is bepaald. En dat is een open wond, excuus, kwestie.

Ik zal in het vervolg dus spreken over beheersing van het soort vragen dat in ‘rekentoetsen’ wordt gesteld (hoeveel procent van dat soort vragen maakt de betreffende leerling ‘goed’). Ook als dat onzinnige vragen zijn, vragen die eigenlijk in een IQ-test thuishoren, of die op capaciteitsverschillen in het werkgeheugen aanspraak doen. Laat ik een eenvoudig voorbeeld van de gekkigheid van de ‘rekentoetsen’ geven, iets waar het Cito en het CvTE nog geen antwoord op hebben gegeven. Leerlingen die bij wijze van spreken een foutloze wiskunde-olympiade maken en in de top eindigen, kunnen zij een foutloze ‘rekentoets’-3F maken? De vraag stellen is haar beantwoorden. Een ander, toch in de grond van de zaak ook heel eenvoudig, voorbeeld: wanneer vwo-leerlingen 70% voldoende scoren op de ‘rekentoets’-3F, en havisten maar 30%, wat denkt u: is dat een vaardigheidsverschil, of een verschil in intellectuele capaciteiten? Laten we alleen over vaardigheid spreken wanneer het inderdaad gaat om iets dat geleerd, geoefend, of getraind kan worden. Als de ‘rekentoetsen’ een vaardigheid zouden toetsen, zouden toppers uit de wiskundeolympiade probleemloos 100 procent goed scoren. Quod non.


“De referentiecesuur is bepaald met een standaardsettingsprocedure door een groep beoordelaars (docenten uit de betrokken schoolsoorten en opleidingen, rekenexperts en toetsdeskundigen) onder leiding van CvTE en Cito11 in 2013. Het gaat hierbij om een inhoudelijke inschatting van wat leerlingen ten minste moeten kennen en kunnen.”
noot 11: Deze procedure is beschreven in: Regeling omzetting scores in cijfers centrale examens en rekentoets VO 2014

Commissie Steur, 5.2 Cesuur, Standaardsettingsprocedure

En dat is ongeveer alles wat de Commissie over het wonder van de cesuur voor deze ‘rekentoetsen’ heeft te melden. Alsof alles wat Cito en CvTE hier hebben verricht, goed verricht is. En dat is dus evident niet het geval, dan zouden er immers geen commissies Bosker en Steur nodig zijn geweest. Ongelooflijk, maar waar. Wat valt er dan meer over te zeggen? Wat mij betreft begint dat met de samenvatting van de CvTE-aanpak zoals gegeven in de WiskundE-brief 620 met kritische kanttekeningen van Wilbrink: ‘De lat op de rekentoets. Willekeur?’ in de volgende WiskundE-brief 621. Uitvoerige behandeling: ‘Normering van de rekentoetsen-2F en -3F. Alternatieven voor, en kritische analyse van de CvE-opstelling’ Wilbrink, website.


Voorlopige conclusie na deze alinea’s: vaardigheid is een term die de lading niet dekt, vervang deze door beheersing; de cesuurbepaling is abacadabra, in plaats van daarmee verder te modderen, wat de Commissie en de bewindslieden voorstellen, zou hier radicaal ingegrepen moeten worden en bijvoorbeeld een compromismethode (Hofstee (1983)) uitgewerkt en uitgevoerd worden (maar niet dan nadat de vraag is beantwoord naar wat rekenvaardigheid en rekenonderwijs moeten zijn). Nou ja, de koninklijke weg is natuurlijk het voorstel van Jan Karel Lenstra (4 december 2013) te volgen.


“Uit andere situaties is bekend dat leerlingen beter presteren als een examenonderdeel meetelt voor diplomering.”

Commissie Steur, 5.2 Cesuur, standaardsettingsprocedure

Dit is een uitspraak waar toch wel een kanttekening bij moet worden geplaatst. Immers, de verschillen tussen bijvoorbeeld havisten en vwo-ers op de ‘rekentoets’-3F zijn zo enorm, dat moeilijk valt vol te houden dat ze iets hebben te maken met ‘nog niet echt meetellen voor het examen’. In de overleggen van de Tweede Kamer met de bewindslieden is dit argument bij herhaling gebruikt als bezweringsformule dat het allemaal wel goed komt. Heel ongelukkig, dit. Vergeet dus deze uitspraak van de Commissie. Hij is niet gedaan. Nooit gezien. Zand erover.

In de betreffende alinea buitelen de zinnen, de uitspraken over standaarden die zich nog zouden moeten ‘zetten’, over elkaar heen. Trek u er niets van aan, er staat eigenlijk niets verstandigs in. Vergeet heel deze alinea. Uitgevlakt. Schone lei.


“Die onzekerheid maakt het lastig om de slaagcesuur te leggen op het niveau van de referentiecesuur. We vinden het daarom vooralsnog onverstandig om de slaagcesuur te leggen op het niveau van de referentiecesuur.”

Commissie Steur, 5.2 Cesuur, ambitie en empirie

Dit klinkt allemaal heel gewichtig, alsof het volstrekt duidelijk is wat slaagcesuur en wat referentiecesuur is. En dat is het niet. Op zijn Latijns: quod non.


“We vinden het daarom vooralsnog onverstandig om de slaagcesuur te leggen op het niveau van de referentiecesuur. Leerlingen zouden dan de dupe worden van onvolkomenheden in de toets of het onvoldoende voorbereid zijn op het examen. Aan de andere kant willen we de cesuur ook niet veel lager leggen, omdat er dan onvoldoende uitdaging van uit zou gaan. Daarom denken we dat vastgehouden zou moeten worden aan de norm, zoals die door CvTE met de referentiecesuur is gelegd in de standaardsettingsprocedure.”

Commissie Steur, 5.2 Cesuur, ambitie en empirie

Merk op hoe ijzersterk hier de bewijsvoering is. Moet ik daar nog meer over zeggen? De Commissie weet het gewoon niet, en wil de bewindslieden niet tot last zijn. Of zoiets.


“Met de opname van rekenen in het eindexamen vo en het examen mbo worden de exameneisen zwaarder. Enige stijging van het percentage gezakten is op grond daarvan te billijken.”

Commissie Steur, 5.2 Cesuur, ambitie en empirie

Wat de commissie hier doet is onbegrijpelijk: volkomen uit de lucht gegrepen zeggen dat (1) exameneisen zwaarder worden en (2) het daarom te billijken zou zijn dat er meer kandidaten zakken voor het examen dan anders het geval zou zijn. Advocaten kunnen dit vast noteren. Ik ken geen vindplaats in de wet of in de wetsbehandeling waarin sprake is van een opzet om eindexamens zwaarder te maken. En al zou dat zo zijn, omdat er gewoon een extra onderdeel is met een risico om daar een riskante uitslag op te scoren, dan is het niet te billijken dat examenkandidaten daar de dupe van worden. Examenregelingen zijn mensenwerk, tegenwoordig vooral werk van politici trouwens, en kunnen aan veranderde omstandigheden worden aangepast. Zo is dat.


“Door van te voren een maximum toename van het percentage gezakten als gevolg van de rekentoets vast te stellen, wordt voorkomen dat het onredelijk veel leerlingen betreft. De commissie stelt voor het eerste jaar van het voorstel een maximum afwijking van 5%-punten voor in vergelijking met het laagste percentage gezakten per schoolsoort/leerweg in de drie jaar voorafgaand aan het meetellen van de rekentoets/het ce-rekenen voor diplomering.”

Commissie Steur, 5.2 Cesuur

De Commissie solt hier met mensen. Het is naar mijn bescheiden mening zelfs niet aan politici om iets zoals dit voor te stellen of te regelen. Het is echt over de top. Ik ben geen jurist, maar ik voel dat hier iets wordt voorgesteld dat in strijd is met in het algemeen rechtsgevoel levende beginselen van behoorlijk bestuur. Misbruik van bevoegdheden waartoe deze niet gegeven zijn, lijkt me een goede eerste kandidaat.

Het enig redelijke dat hier gesteld zou kunnen worden: een ‘rekentoets’ als toegevoegd bijzonder onderdeel van de eindexamens, mag er niet toe leiden dat er meer kandidaten voor het eindexamen zakken dan anders het geval zou zijn geweest. Dat lijkt me ook in juridisch opzicht juist: het eindexamen, bestaande uit schoolonderzoek en centraal schriftelijk, blijft het eindexamen. Dat er om bijzondere redenen een bijzonder onderdeel op een bijzondere manier is toegevoegd, kan daar niets aan veranderen. Ik kan mij niet anders voorstellen dan dat de rechter zakken voor een eindexamen louter en alleen vanwege het resultaat op de ‘rekentoets’ nietig verklaart. Dat zullen we dan af moeten wachten, als Kamer en bewindslieden dit boven de hoofden van eindexamenkandidaten willen laten hangen.

De Commissie lijkt te denken dat het bij de ‘rekentoetsen’ om een regulier eindexamenonderdeel gaat, maar dat is evident niet het geval, in geen enkel opzicht. Dat roept de vraag op: heeft de Raad van State zich ooit uitgesproken over deze rekentoetsregelingen? Over de Wet op de referentieniveaus Nederlandse taal en rekenen ongetwijfeld wel, maar ja, is mijn dossier niet al omvangrijk genoeg?


“Onze commissie vindt het belangrijk dat er druk blijft om de rekenprestaties te verbeteren.”

Commissie Steur, 5.3 Slaag/zak-regeling

Waarom neemt de Commissie deze uitspraak in het rapport op? Wat zijn dit voor fratsen? Om de bewindslieden te gerieven?


“Onze commissie hecht aan transparantie voor vervolgonderwijs over de rekenvaardigheid van leerlingen.”

Commissie Steur, 5.4 Transparantie

De Commissie schijnt onkundig te zijn van het feit dat de ‘rekentoetsen’ nadrukkelijk niet toetsen op algoritmische rekenvaardigheden (zie de rekentoetswijzers-F), wat toch voor het ontvangende ho ongeveer het enige is dat ècht van belang is. Dump die referentieniveaus-F in de Hofvijver, het ho zal er geen traan om laten (Wilbrink c.s. 2012). Dit is natuurlijk ook een cruciaal punt voor de validiteit van de ‘rekentoets’-3F: is dit het rekenen dat het ho verwacht van zijn aankomende studenten?

De tekst van deze paragraaf 5.4, evenals die van de voorgaande 5.3 over de zak-slaagregeling, is opvallend onprofessioneel geformuleerd en overladen met details uit regelingen. Over transparantie gesproken.


“5.5 Focus op resultaten”

Commissie Steur, 5.5 Focus op resultaten

Is deze slotparagraaf geschreven door de PR-mensen van OCW?


“Onze commissie adviseert om de rekentoets in vo en het ce-rekenen voor mbo-4 vanaf 2015-2016 mee te laten tellen bij de examinering en voor mbo-2 en mbo-3 een jaar later (vanaf 2016-2017), en dus de invoering daarvan niet (nog eens) uit te stellen.”

Commissie Steur, 6. Advies

Dit hebben we eerder gezien, in de aanbiedingsbrief van het rapport van de Commissie-Bosker: “Voorgaande neemt niet weg dat de commissie voorstelt om ernaar te streven, de invoering van de rekentoetsen en coe’s volgens planning door te laten gaan”. Het is een zinsnede die is toegeschreven op gebruik door bewindslieden. Minister Bussemaker, in het vragenuurtje direct na vrijgeven van het rapport-Bosker, citeerde deze passage tot driemaal toe.


“Samenvattend stellen wij het volgende voor:”

Commissie Steur, 6. Advies

We kennen ondertussen de trits van jaar tot jaar oplopende lapmiddelen. ‘Lapmiddelen’, want ze werken op de symptomen van de niet door de Commissie gediagnostiseerde ziekte: rekenonderwijs dat niet meer minimaal adequaat is. Om de geloofwaardigheid te vergroten doet de Commissie er nog een overigens niets toevoegende figuur van de ‘Vaardigheidsschaal rekenen’ bij. Dit is een bekende truc: als de boodschap vaag is, voeg er een kleurendiagram of iets dergelijks aan toe, en de geloofwaardigheid springt omhoog.


“flankerende maatregelen”

Commissie Steur,

Geloof het of niet (in het laatste geval: sla het commissie-rapport open deze bladzijden), maar de Commissie heeft bladzijde 28 tot 34 nodig om de voorgestelde flankerende maatregelen op te sommen. Over transparantie gesproken. Ik besteed er verder geen annotaties meer aan, deze ‘rekentoetsen’ horen niet in welk eindexamen dan ook een plaats te krijgen.


“Geraadpleegde experts”

Commissie Steur, Geraadpleegde experts

Een opmerkelijke lijst: iedereen heeft direct of indirect belang bij de ‘rekentoetsen’ in hun huidige vorm. Mogelijk met uitzondering van Roel Bosker, de voorzitter van de vorige commissie, maar hij is ook voorzitter van een wetenschappelijke raad van het Cito. Heeft de Commissie-Steur geen belangstelling voor tegenspraak gehad?


Verwijzingen


AERA, APA & NCME (1999). The Standards for Educational and Psychological Testing. 2014 edition open access
Voor mijn fans: voor het NIP-1988 hfdst over toetsen in het onderwijs is o.a. Ben Wilbrink adviseur geweest ;-) Evers ea (subcie vd Kommissie Testaangelegenheden Nederland KOTAN) (1988) Richtlijnen. Ned. Instituut van Psychologen. [Hoofdstuk] 8. Toetsgebruik in het onderwijs. pdf uit Richtlijnen voor ontwikkeling en gebruik van psychologische tests en studietoetsen

Anderson, J. R., Reder, L. M. & Simon, H. (1998). Radical constructivism and cognitive psychology. In D. Ravitch (Ed.) Brookings papers on education policy 1998 (227-278). Washington, DC: Brookings Institute Press. pdf [Ook beschikbaar via JSTOR, registratie vereist om free online te kunnen lezen] Een betere versie in pdf : http://goo.gl/6ULfY4


Anton J. H. Boonen (2015). Comprehend, visualize & calculate: Solving mathematical word problems in contemporary math education. Dissertation Amsterdam: Free University. See annotations. downloads

Job M. Cohen (1981). Studierechten in het wetenschappelijk onderwijs. Tjeenk Willink. Proefschrift Rijksuniversiteit Leiden.
Nog steeds een unieke bron als het gaat om rechten van leerlingen en studenten bij toetsen en examens, ook internationaal gezien.
http://www.benwilbrink.nl/Cohen_1981_Studierechten_inh_3.1_samenv.pdf

Commissie-Steur (december 2014). Doordacht doorzetten naar een hoger niveau. Advies van de commissie verantwoorde invoering rekentoets in vo en mbo. pdf

CvTE (december 2012). Normering met een vaardigheidsschaal, zoals bij Rekentoets VO enCOE
http://www.cve.nl/document/normering_met_een

College voor Toetsen en Examens (11 december 2014). Notitie Acties naar aanleiding van de aanbevelingen van de commissie Bosker (bijlage bij de kamerbrief van 17 december) pdf

A.D. de Groot (1970). Some badly needed non-statistical concepts in applied psychometrics. Nederlands Tijdschrift voor de Psychologie en haar Grensgebieden, 26, 360-376. Didakometrisch en Psychometrisch Onderzoek, juni 1970.
http://www.benwilbrink.nl/publicaties/70degroot.htm

Willem K. B. Hofstee (1983). The Case for Compromise in Educational Selection and Grading. In Scarvia B. Anderson and John S. Helmick (Eds) (1983). On educational testing. San Francisco: Jossey-Bass Publishers. p. 109-127.
http://benwilbrink.nl/publicaties/83hofstee_compromise.htm

Jan Karel Lenstra (4 december 2014). Position paper hoorzitting onderwijscommissie Tweede Kamer over de rekentoetsen. Ophalen via http://www.wiskundebrief.nl/654.htm#1 of direct http://wisforum.nl/hoorzitting/lenstra.pdf

Nederlandse Vereniging van Wiskundeleraren (20 januari 2015). Notitie rekenen. Brief aan de Tweede Kamer en aan OCW.
https://www.nvvw.nl/19628/nvvw-rekenen

31332-36 Brief regering d.d. 17 december 2014 - S. Dekker, staatssecretaris van Onderwijs, Cultuur en Wetenschap Stand van zaken invoering referentieniveaus taal en rekenen in vo en mbo download; daar ook de bijlagen op te halen, namelijk

13 juni 2014. Kamerbrief over voortgangsrapportage invoering referentieniveaus taal en rekenen 2014 ophalen met bijlagen:

E.C.E. de Kler (18 december 2014). Convocatie algemeen overleg rekentoets in vo en mbo. pdf

Allen Newell (1990). Unified theories of cognition. Harvard University Press. site

Stellan Ohlsson (2011). Deep learning. How the mind overrides experience. Cambridge University Press. zie ook hier

George Pólya (1945/1957). How to solve it. Princeton University Press. info [scan of the book]

George Polya (1962, 1965). Mathematical discovery. On understanding, learning, and teaching problem solving. Volume I, II. Wiley.

Valerie F. Reyna, Wendy L. Nelson, Paul K. Han & Nathan F. Dieckmann (2009). How Numeracy Influences Risk Comprehension and Medical Decision Making. Psychological Bulletin, 135, 943-973.
Open access http://www.ncbi.nlm.nih.gov/pubmed/19883143


Alan H. Schoenfeld (1985). Mathematical Problem Solving. Academic Press. isbn 0126288704

The book still stands as his major publication (see his Berkeley webpage). As far as I know, the first edition from 1985 is also the last one. In 2012 Schoenfeld looked back on the book, in Seoul, Korea : How we think: A theory of human decision-making with a focus on teaching. pdf 5 Mb. In a 2013 publication (see below) he did some more looking back; quite revealing, I think. For example: it is an ego-document, in the sense that Schoenfeld presents his thinking as originating with Schoenfeld, apparently with no debt to other thinkers/experimenters on the subject. Amazing. Makes one think of Hans Freudenthal.

Frank van der Schoot (2008). Onderwijs op peil? Een samenvattend overzicht van 20 jaar PPON. Stichting Cito. pdf ophalen

R. S. Siegler, G. J. Duncan, P. E. Davis-Kean, K. Duckworth, A. Claessens, M. Engel, M. I. Susperreguy & M. Chen (2012). Early predictors of high school mathematics achievement. Psychological Science, 23, 691-697.
concept: http://www.psy.cmu.edu/~siegler/Siegler-etal-inpressPsySci.pdf

Gerdineke van Silfhout (2014). Fun to read or easy to understand? Establishing effective text features for educational texts on the basis of processing and comprehension research. Proefschrift Utrecht. Landelijke Onderzoekschool Taalwetenschap.
http://www.lotpublications.nl/fun-to-read-or-easy-to-understand-fun-to-read-or-easy-to-understand-establishing-effective-text-features-for-educational-texts-on-the-basis-of-processing-and-comprehension-research

Ben Wilbrink (1998). Inzicht doorzichtig toetsen. In Theo H. Joostens en Gerard W. H. Heijnen Beoordelen, toetsen en studeergedrag (p. 13-29), verslag van het symposium gehouden op 14 november 1997. webpagina

Ben Wilbrink (december 2014). Situationisme, cognitieve psychologie, en rekentoets. Ingediend voor Hoorzitting onderwijscommissie Tweede Kamer 4 december 2013.
http://benwilbrink.nl/benwilbrink_rekentoets_hoorzitting_4-12-2013.pdf

Ben Wilbrink (4 december 2014, mondelinge presentatie) Over het ontwerp van vragen die rekenvaardigheid in situaties van het dagelijks leven pretenderen te toetsen. Hoorzitting onderwijscommissie Tweede Kamer.
http://www.benwilbrink.nl/projecten/hoorzitting_4-12-2013_situationisme.htm#rondetafelgesprek

Ben Wilbrink (2014). Al die teksten in onze eindexamens, waar komt dat fenomeen toch vandaan? Kan Sander Dekker precies 75 L zand in een kruiwagen scheppen? Van Twaalf Tot Achttien, Vakblad voor Voortgezet Onderwijs, 24, 28-30.
http://benwilbrink.nl/projecten/hoorzitting_4-12-2013_situationisme.htm#concept

Ben Wilbrink (). De lat op de rekentoets. Willekeur? WiskundE-brief 621
http://www.wiskundebrief.nl/621.htm#1

Ben Wilbrink (website). Normering van de rekentoetsen-2F en -3F. Alternatieven voor, en kritische analyse van de CvE-opstelling
http://benwilbrink.nl/projecten/rekentoets_normering.htm

Ben Wilbrink, Denny Borsboom en Michel Couzijn (2010). Spelling, grammatica en interpuntie meebeoordelen op eindexamens? Tweede Kamer motie van de leden Jan Jacob van Dijk en Jasper van Dijk. Examens, Tijdschrift voor de Toetspraktijk, 7 #3, 5-9.
http://www.benwilbrink.nl/EXAMENSCOMPLEET_sept_2010.pdf

Ben Wilbrink & Joost Hulshof (2011). De wet, het rekenen, en de rekentoets in de eindexamens havo/vwo. Invoering van de rekentoets havo/vwo in 2014. Examens, Tijdschrift voor de Toetspraktijk, 8 #3, 18-22.
pdf

Ben Wilbrink, Joost Hulshof & Henk Pfaltzgraff (2012). De rekentoetsen-3F zijn niet valide. Dat wordt nog wat, met die rekentoetsen! Examens, Tijdschrift voor de Toetspraktijk, 9 #3, 26-31.
http://www.benwilbrink.nl/wilbrink_hulshof_pfaltzgraff_2012_De_rekentoetsen_3F_zijn_niet_valide.pdf

Ben Wilbrink & Paul Kirschner (2014). Met die contexten toetsen wij geen rekenen maar vermogen tot (zelf)ontdekkend leren. blog
http://benwilbrink.nl/publicaties/14wilbrink_kirschner_rekentoetsen.htm

Ben Wilbrink & Paul Kirschner (2014). Rekentoetsen-met-contexten toetsen geen rekenen. Poster KNAW-seminar ‘Rekenen: het onderwijs, het vak en de toets’ 30 juni 2014
http://www.benwilbrink.nl/14Wilbrink_Kirschner_poster.pdf

Daniel Willingham (2007). Critical thinking, why is it so hard to teach? American Educator, summer 2007, 8-19.
http://www.aft.org//sites/default/files/periodicals/Crit_Thinking.pdf and a short talk

Willem Witteveen (2014, posthuum). De wet als kunstwerk. Een andere filosofie van het recht. Boom

Robert Zwitser & Anton Béguin (2011). Gaat meetfout bij de rekentoets slachtoffers maken? Het effect van de rekentoets op het percentage misclassificaties. Examens, Tijdschrift voor de Toetspraktijk, 8 #4, 23-26.
Met repliek van Wilbrink & Hulshof op blz. 26.
http://www.benwilbrink.nl/zwitser_beguin_2011_wilbrink_hulshof.pdf

Voor Commissie-Schmidt rekentoetswijzers 2F en 3F (ook Commissie-Van de Craats rekentoetswijzer 3S trouwens) zie website SLO

Voor geheimhouding, zie literatuur en casuïstiek
http://www.benwilbrink.nl/projecten/geheimhouding.htm.

Regeling omzetting scores in cijfers centrale examens en rekentoets VO 2014. Verkregen op 3 oktober 2014, van
http://wetten.overheid.nl/BWBR0035058/geldigheidsdatum_03-10-2014
[Kijk in dit document naar de paragraaf Procedure rekenen, B.W.]


Discussies op Twitter (en elders)


De volgorde van de tweets/discussies is van meest actueel (boven) (tussen 16 en 28 januari nog niet bijgewerkt) naar 17 december (kamerbrief en commissierapport)


p.m. dinsdag 3 februari 16:00 verlengd algemeen overleg rekentoets, Vaste Kamercommissie voor Onderwijs met de bewindslieden van OCW. Indienen van moties. Thorbeckezaal, publiek, ook via livestream te volgen.


tweet (3 februari). Ben Wilbrink: Lees nog eens rap de blogs van wiskundeleraar @dpdykman hoe deze ‘onder druk houderij’ uitwerkt op scholen


tweet (3 februari). Michel Rog (CDA): Al vier dagen geveld door stevige griep. Verzwakt, maar getergd zal ik vanmiddag de strijd tegen de #rekentoets voortzetten . . .


tweet (2 februari). David Dijkman: M'n eerste blogpost over rekenbeleid, 18-07-12.
http://daviddijkman.blogspot.nl/2012/07/rekenbeleid-vwo.html

Een jaar later schreef ik dit :-)
http://daviddijkman.blogspot.nl/2013/10/rekenbeleid-vwo-juli-2013.html

en vrij snel daarna:
http://daviddijkman.blogspot.nl/2013/10/de-rekentoets-3f-advocaat-van-de-duivel.html

Ik ben er wel een beetje klaar mee, met de #rekentoets, geloof ik
http://daviddijkman.blogspot.nl/2014/11/waarom-ik-geen-rekentoets-wil-in-het-vo.html
#hèhè #voortschrijdendinzicht


tweet (2 februari). Paul van Meenen: Front tegen #afrekentoets breidt zich steeds verder uit! Nu ook #VPN tegen! #defractie


tweet (1 februari). Ronald Buitelaar: En Roeters ingehouden maar helder over de #rekentoets

“Toetsen zijn waardevol om te weten waar een school staat, en waar een leerling staat. Van toetsen op zichzelf leert een leerling niet beter rekenen. Het allernelangrijkst is dat het rekenonderwijs beter wordt.”


tweet (1 februari). RT @P_A_Kirschner Geïnterviewd door @LimburgsDagblad over #rekentoets. Weinig spaanders heel gelaten
http://onderzoekonderwijs.net/2015/01/22/kritiek-op-de-rekentoets-interview-in-limburgs-dagblad/


tweet (1 februari). Marcel Schmeier: Zo leer je kinderen met een grote achterstand alsnog rekenen:
http://zoleerjekinderenrekenen.nl/Verslag_Anna_Bosman_en_Martine_Leenders.pdf


tweet (1 februari). Paul van Meenen: Wat je er ook van vindt, Britten zien wel dat het beter is dat kinderen jong kunnen rekenen ipv pas bij eindexamen.
http://www.nu.nl/buitenland/3983732/brits-kind-moet-beter-leren-rekenen.html


tweet (1 februari). Ben Wilbrink: #rekentoets Pedagogische Studiën 2015 nr 1: themanummer Strategiegebruik bij rekenen bij niet-verbale methoden. Wetenschappelijk onderzoek. De inhoudsopgave en samenvattingen zijn nog niet beschikbaar op de website
http://www.vorsite.nl/nl/archief-ps/archief-ps-openbaar.html
hopelijk in de loop van deze dag. Er zijn echt wetenschappelijk onderzoekers die op basis van eigen onderzoek ook een expert opinion over de #rekentoets kunnen hebben . . . Voor de volledigheid: enkele van hen zijn idd bij eerder commissiewerk betrokken geweest: Verschaffel, Van Putten, Hickendorff.


tweet (1 februari). Pieter Hendrikse: NRC Handelsblad: De rekentoets moet niet geheim blijven
http://www.nrc.nl/handelsblad/van/2015/januari/31/de-rekentoets-moet-niet-geheim-blijven-1461332
[Karin den Heijer & Aviva Boissevain. NRC 31 januari]


tweet (1 februari). Ben Wilbrink: #rekentoets Hoe zeg ik genuanceerd dat ‘realistisch rekenen’ op pseudopsychologie berust?


tweet (1 februari). Jeanet Meijs: Wat een geweldige column in de Volkskrant van zaterdag van Frank Kalshoven: Waarde vrienden in het onderwijs, kunnen jullie de knop omzetten?


tweet (1 februari). Ben Wilbrink: Nieuw boek Adri Treffers ‘Weg van het cijferen’. Ik word genoemd, dus het boek ook maar besteld ;-) Mijn GVR-stijlbloempje niet gewaardeerd :-( [Grote Vriendelijke Reus]

Realistisch is beter
In het boek zet Treffers onder andere de procedurele en de conceptuele richtingen in het rekenonderwijs tegen elkaar af. Hij toont op wetenschappelijke wijze aan dat conceptuele methodes duidelijk beter werken dan procedurele methodes. Met andere woorden: realistisch rekenonderwijs is te prefereren boven het oefenen van 'kale' rekensommen.

In een aanvullende brief aan de Vaste Kamercommissie Onderwijs wijst Treffers op dit onderzoek. Letterlijk schrijft hij in die brief: . . . en dat is ook de reden dat in de afgelopen 5 jaar 95% van de basisscholen weer voor een conceptuele (realistische) methode heeft gekozen. Kwalificaties als ‘het grote rekenbedrog van Freudenthal’ (drs Ben Wilbrink op twitter 20-12-'14) overtuigen de scholen in ieder geval niet . . .

http://www.wiskundebrief.nl/index.htm#694


tweet (1 februari).


tweet (1 februari).


tweet (1 februari). BBC: Pupils 'must know times tables by 11' http://www.bbc.com/news/uk-31079515


tweet (1 februari). Ben Wilbrink: #rekentoets contexten. Hier een redactieopgave. Of is het een IQ-test-vraag? Wat is het goed te rekenen antwoord?

Example 1. At each of the two ends of a straight path, a man planted a tree and then, every 5 m along the path, he planted another tree. The length of the path is 15 m. How many trees were planted?

Anton J.H. Boonen, Menno van der Schoot, Floryt van Wesel, Meinou H. de Vries, Jelle Jolles (2013). What underlies successful word problem solving? A path analysis in sixth grade students. Contemporary Educational Psychology, 38, 271-279. p. 271 pdf


tweet (30 januari). Rik Kuiper: Waarde vrienden in het onderwijs Frank Kalshoven: Het spel en de knikkers via @volkskrant.


tweet (30 januari). Daan Bonenkamp: “Eerste dat Min v Onderwijs van @D66 zou doen is onzalige rekentoets weer afschaffen”, zegt @Paul_van_Meenen bij @Capellen_Zwolle. #applaus


tweet (30 januari). Ben Wilbrink: #rekentoets Opvallend, op de NOT: al die rekenmethoden met minutieus uitgeschreven rekenlessen. Wat kunnen leraren zelf nog?


tweet (30 januari). Sjoerdy Snijder: Tweede Kamerleden mogen LVS toetsen @CITO niet inzien. Wie was ook alweer opdrachtgever en subsidieverlener? Of is dit de private tak?


tweet (29 januari). Sjoerdy Snijder: Wat gebeurt er @CITO als ik Tweede Kamer Cie OCW en bewindslieden @MinOCW een copy stuur van de LVS toetsen? @PieterHendrikse #rekentoets


tweet (29 januari). Paul Kirschner: Vervolg op #rekentoets De Grote Geïntegreerde Totaaltoets @kuitenbrouwer in http://www.nrc.nl/handelsblad/van/2015/januari/29/grote-geintegreerde-totaaltoets-1461199


tweet (29 januari). Ben Wilbrink: Al of geen rekenmachine was nogal beslissend voor al of geen #rekentoets. Handelingen 31-3-2010 Wet referentieniveaus

De heer Jan Jacob van Dijk (CDA): (..) Over de rekentoets hebben wij een stevig debatje gehad. Men zag aan mijn non-verbale reactie dat ik het nog niet geheel met de staatssecretaris eens was. Er was echter één praktisch element dat mij heeft overtuigd, namelijk dat je voor een wiskunde-, natuur- en scheikunde-examen een rekenmachine mee mag nemen, terwijl dat voor een rekenexamen eigenlijk niet de bedoeling is. Dat vind ik een valide argument. De staatssecretaris heeft mij wat dat betreft dus overtuigd, ofschoon ik nog steeds dat ongemakkelijke gevoel blijf houden en mij afvroeg hoe het nu precies zit met de integraliteit.

Tegen gebruik van (grafische) rekenmachine bij eindexamens werd overigens de motie Dijkgraaf-Van der Ham ingediend: http://benwilbrink.nl/projecten/dijkgraaf_vanderham.htm. Van Bijsterveldt vroeg advies aan SLO, en ja hoor, tegen alle verstandige experts in adviseerde SLO behoud van de rekenmachine. Opheffen dat SLO. Ook CvE gaf advies: zonder rekenmachine zijn geen realistische eindexamenopgaven mogelijk: als iets €13,98 kost . . . . Opheffen dat CvE. Je kent toch de adviezen van SLO en CvE aan de minister? Ik vind ze bizar, maar ja, ik schijn een minderheid te zijn ;-)


tweet (29 januari). Sjoerdy Snijder: Nergens staat waarom leerlingen slechter zijn gaan rekenen. Hoe werkt LVS vd maker vd #rekentoets ook alweer?
https://dl.dropboxusercontent.com/u/13258827/NRC_20150128_1_004_article4.pdf


tweet (29 januari). Ben Wilbrink: Tijdelijkheid van de #rekentoets Klopt het volgende ongeveer?

Er was voortdurend van coalitie-zijde dat wonderlijke argument dat je nu niet allereerst naar goed rekenonderwijs in po en onderbouw vo moet kijken, maar de generaties die daar al doorheen zijn moet ‘redden’ door ze een rekentoets te laten doen. In dat idee van de rekentoets zit iets tijdelijks. In de Wet op de referentieniveaus zit die toets ook niet ingebakken, als ik het goed heb, dus het is niet echt een maatregel op wettelijke basis. Het is een AMvB waarop die toets berust (ik heb dat niet helder, moet dat stuk nog eens opdiepen, maar het begint me langzamerhand wel weer enorm tegen te staan). Als dat klopt, kan de rekentoets dus per AMvB ook weer worden geschrapt.


tweet (29 januari). Ben Wilbrink: In het HO kunnen studenten die door zo’n beroerde vraag zijn benadeeld in beroep:
http://www.uva.nl/over-de-uva/organisatie/juridische-zaken/college-van-beroep-voor-de-examens/veelgestelde-vragen/veelgestelde-vragen-over-cobex.html


tweet (29 januari). NaN2: Plaatje uit de echte #rekentoets.Haast niet te geloven. HI-#KPN /#Apple??? Heeft Maurice de Hond meegewerkt.?! [klik op de link om ook de afbeelding te zien]


tweet (29 januari). Martijn Grul: Onze brief kon niet duidelijker zijn, toch leest de #minister dat we haar steunen #rekentoets


tweet (29 januari). Ben Wilbrink: Jinek en haar vragen over wat dat nou is, met die #rekentoets? @KarinStraus gaat antwoorden (te) gladjes af http://www.npo.nl/jinek/28-01-2015/KN_1666203


tweet (28 januari). Anne-Wil Lucas (VVD): verhaaltjessommen rekentoets óók nodig, want zo kom je rekenen in dagelijks leven ook tegen. #jinek @KarinStraus #rekentoets


tweet (28 januari). Ilja Klink: Hoi @VO_raad jullie zijn tegen de #rekentoets toch? Zouden besturen hun docenten dan ondersteunen in het niet afnemen er van? @kdenheijer


tweet (28 januari). Arianne Mantel: De inhoud van de omstreden rekentoets verandert mogelijk
http://www.telegraaf.nl/binnenland/23615138/__Rekentoets_mogelijk_op_schop__.html via @telegraaf


tweet (28 januari). Marieke de Wijk:
http://benwilbrink.nl/projecten/2014_rekentoets.htm#kamerbehandeling
Erg interessant om terug te lezen hoe #rekentoets ontstaan is. Alle credits naar @benwilbrink en @JaspervanDijkSP !! Ben voor zijn voortdurende analyses en energie om terug te zoeken.Jasper voor jarenlange strijd in 2e kamer.


tweet (28 januari). Ben Wilbrink: Lees ook belangrijke passages Handelingen 31-3-2010 Wet referentieniveaus, en voorafgaand Algem. Overleg
http://benwilbrink.nl/projecten/2014_rekentoets.htm#kamerbehandeling


tweet (28 januari). Sandra van Kolfschoten: Oh oh @sanderdekker. Het leek zo hoopgevend met #skills.rtf tsja dan nu een #rekentoets doet toch iets met je geloofwaardigheid geloof ik


tweet (28 januari). Rik Kuiper: Lonneke Boels is vóór de rekentoets, @kdenheijer tegen. Nog eenmaal hun argumenten.
http://www.volkskrant.nl/onderwijs/ook-wiskundedocenten-zijn-het-niet-eens-over-de-rekentoets~a3839718/ via @volkskrant


tweet (28 januari). Wab Boekelman: Als mening van coalitie zwaarder weegt dan wetenschappelijke feiten, mag je bij opgaven #rekentoets natuurlijk je mening als antwoord geven.


tweet (28 januari). Marc Chavannes: VVD-Kamerlid @KarinStraus wil door met #rekentoets omdat Kamer er al 7 jaar mee bezig is en zo veel geld aan is uitgegeven. #Nadenkenvoorbij


tweet (28 januari). Ben Wilbrink: Over experimenteren met leerlingen gesproken: ‘realistisch rekenen’ is het onderwijs voorgespiegeld als ‘het nieuwe rekenen’, niks onderzoek. Door dikke commissies-mist kunnen belangengroepen roepen dat onderzoek geen verschillen realistisch-conventioneel rekenen oplevert, quod non.


tweet (28 januari). Jan Terlouw: #jinek Rekentoets. Weten kamerleden het beter dan de vereniging van wiskundigen? Vreemd.


tweet (28 januari). Ben Wilbrink: Interessant wetgeversdebatje @jesseklaver met @SanderDekker (niks mee te maken) over wat staats in 2010 de Kamer toezegde over #rekentoets


tweet (28 januari). Ben Wilbrink: Schokkend is hoe met belangrijke principes wordt gesold. Zoals: met leerlingen experimenteer je niet.


tweet (28 januari). Michel Rog (CDA): Duidelijk, ook @KarinStraus erkent bij #jinek dat #rekentoets niet op orde is, maar hóópt dat ie straks wel op orde is . . .


tweet (28 januari). Desirée Joosten: Eens met Jinek: 'geen toets die nog in ontw is voorleggen aan lln'. Zeker niet als er beslissingen mee genomen worden. #rekentoets


tweet (28 januari). Karin Winters: Raar toch een toets die in ontwikkeling is wel al kwalificerend maken? #rekentoets


tweet (28 januari). Ronald Buitelaar: Inmiddels 26 retweets van mijn oproep aan in onderwijs werkzame voorstanders #rekentoets om zich te melden. Tot nu toe: nul reactie


tweet (28 januari). Jelmer Evers: Waar zijn die voorstanders dan?? Wordt steeds mee geschermd. Namen en rugnummers graag #rekentoets


tweet (28 januari). Anja Vink: Mistige voorstanders zoals leraren en leerlingen die brieven schrijven zijn nu het doorslaggevend argument dat #rekentoets doorgaat?


tweet (28 januari). Karin den Heijer: Ook @karinstraus zegt dat leerlingen na goed rekenonderwijs allemaal een voldoende halen. Dit is een onwaarheid. #rekentoets


tweet (28 januari).


tweet (28 januari).


tweet (28 januari).


tweet (28 januari).


tweet (28 januari).


tweet (16 januari). Ben Wilbrink: #rekentoets Overigens: parlementair onderzoek nodig naar belangenclubs-infrastructuur die van overzichtelijk rekenonderwijs moeras maakte. Wat is er nu eenvoudiger dan een gewone rekentoets opstellen en afnemen: scholen kunnen dat zelf. De #rekentoets kost honderden miljoenen. Eind 2014 was er een half miljard uitgegeven aan al het gedoe over en rond die referentieniveaus taal- en rekenen. Stoppen daarmee, dus. Inderdaad, de #rekentoets is de Fyra van het NL onderwijs, zoals @RonaldBuitelaar opmerkte. Tweede Kamer hobbelt van #rekentoets incident naar incident, van commissie naar commissie, mist overzicht en achtergronden.

Kamerstuk 31 332 Nr. 25 Doorlopende Leerlijnen Taal en Rekenen Verslag van een AO
https://zoek.officielebekendmakingen.nl/dossier/31332/kst-31332-25

Staatssecretaris Dekker: (..) Ik maak me ook zorgen over de doelmatige inzet van onderwijsgeld. Dit komt niet uit de lucht vallen. In de afgelopen paar jaar is 0,5 miljard ingezet om het taal- en rekenonderwijs te verbeteren. Ik hoorde deze vraag niet van de Kamer, maar ik had me er wel op voorbereid: hoe kan het dat het onderwijs, ondanks alle investeringen, de rekenvaardigheid nog niet op orde heeft?

Onbegrijpelijk dat er in het onderwijsveld geen storm van verontwaardiging is opgestoken. Kan niemand meer rekenen? Een half miljard is een enorm bedrag. Er zijn draconische besnoeiingen in de zorg nodig om het op te brengen. Even ernstig is: dat halve miljard heeft tot nu toe ongeveer niets opgeleverd. Wat zegt dat over expertise in dit rekenveld? Het is alweer enige tijd geleden dat de Onderwijsraad en de Raad voor Maatschappelijke Ontwikkeling signaleerden dat tegenmacht voor bijv FI Cito SLO ontbreekt.


tweet (9 januari). Karin den Heijer: Voorbereiden van deze zogenaamde rekentoets is vrijwel onmogelijk. Leestip:
http://www.vosabb.nl/wp-content/uploads/2014/04/Rammelende-rekentoets.pdf


tweet (9 januari). Ben Wilbrink: Mijn frustratie ook bij het dossier van de #rekentoets. Het departement van wetenschap zet die wetenschap niet in.

En je kreeg toegang tot directiekamers . . .
“Inderdaad, en ik vond het stuitend hoe amateuristisch het er daar psychologisch aan toe gaat. Directieleden zijn vaak professionals op allerlei gebieden, maar op het vlak van psychologie zijn het absolute amateurs en ze ervaren dat zelf niet als probleem. Ik probeer vaak uit te leggen dat psychologie een vak is, dat je daar kennis van kunt krijgen en dat het beter is dan afgaan op je gezonde verstand. Het probleem is dat op psychologisch vlak iedereen denkt voldoende deskundig te zijn. Kom je met een advies gebaseerd op twintig jaar onderzoek, dan zeggen ze doodleuk: maar mijn ervaring is toch anders. Dan ben je uitgepraat. Ik snap dat niet, er zijn zulke grote belangen mee gemoeid. Gelukkig staat men inmiddels wat meer open voor dit soort inzichten. Bij de Nederlandse Bank (DNB) hebben ze tegenwoordig psychologen in dienst. Zij kijken naar de psychologische component die ook van belang is voor toezicht.”

Interview met Naomi Ellemers (won in 2010 de Spinozapremie): Tussen Stapel-affaire en Spinozapremie. In De Psycholoog, 50, nr 1, 2015, 32-37.


tweet (9 januari). Ben Wilbrink: Nederland is zo gek gemaakt met ‘realistisch rekenonderwijs’, dat velen twijfelen of ze nog wel weten wat REKENEN is http://benwilbrink.nl/projecten/2015_rekentoets.htm


tweet (5 januari). Gerard Koolstra (WiskundE-brief): Er is op 28 januari een algemeen overleg van de onderwijscommissie van de Tweede Kamer met beide bewindslieden van onderwijs, over de stand van zaken met de ‘rekentoets’. Zie hier de tweet met een korte erop volgende discussie. In deze discussie druk ik me nogal onparlementair uit over hoofdrolspelers in het rekentoetsdrama, maar ja, ik weet langzamerhand ook niet meer hoe ik nog door de harde schil van on- en anti-wetenschappelijke houdingen heen kan breken (zie pseudo-science.htm.


blog Hans Wisbrun (5 januari 2015). Het Kerstcadeautje van @SanderDekker uitgepakt.


tweet (29 december). Ben Wilbrink: Fall in basic arithmetics in the Netherlands [for figure: see the tweet itself]


tweet (24 oktober 2013). Ben Wilbrink: Zie de tweet zelf: daar hangt een hele tabel aan (ook hierbeneden geplaatst) met cijfers die beter weergeven wat er van 1987 naar 2004 veranderd is dan de misleidende grafiek in de tweet hierboven. De tabel komt uit het rapport van Van der Schoot (2008) over de tests PPON-rekenen. Dit rapport heeft een rol gespeeld in de KNAW-commissie over het rekenonderwijs (cie-Lenstra). vanderschoot_2008_tabel3.1.jpg


tweet (27 december). Gerard Koolstra: Materiaal 'technische briefing' kamercie Onderwijs door CvTE (9-12-2014) online. https://www.hetcvte.nl/document/presentatie_technische_briefing


tweet (26 december). Ben Wilbrink: #rekentoets Verbijsterende tekst RISBO-onderzoek 1993 http://benwilbrink.nl/projecten/rekendidactiek.htm#BEK110 @PieterHendrikse @peterhermans @gerdinekesilfh @ggerardk


tweet (24 december). Ben Wilbrink: #rekentoets vgl Hiddink 1964 ‘rekenvraagstukjes’ + experimentjes klas 3-6 http://benwilbrink.nl/projecten/hist_rekendidactiek.htm#Hiddink_1964 Scan hfdst6: http://www.benwilbrink.nl/Hiddink_1964_het-vak-rekenen_hfdst6.pdf Suggestie voor #rekentoets: neem zuivere rekenopgaven op die corresponderen aan de contextopgaven. En laat die rekenmachine in godsnaam weg.


tweet (20 december). Ben Wilbrink: Een #rekentoets die tot 2020 lapwerk nodig heeft zoals @SanderDekker en Jet Bussemaker voorstellen, is niet valide. Een toets die niet valide is hoort in een eindexamen niet thuis. #procederen dus.


tweet (20 december). Ben Wilbrink: #rekentoets-blues. Tijd om het ‘het grote rekenbedrog’ van Hans Freudenthal aan de orde te stellen http://goo.gl/7gbMkB. Zoals Freudenthal in 70-er jaren, ontbreekt bij Cito @CvTE besef dat empirische toetsing nodig is, niet alleen maar via try-out van toetsen. Laat toppers van de wiskundeolympiade, leraren groep 8, wiskundeleraren, politici TK, de #rekentoets maken onder examencondities. Geef cognitief psychologen de opdracht de mentale belasting etc van contextrekenopgaven empirisch te onderzoeken http://benwilbrink.nl/publicaties/14wilbrink_kirschner_rekentoetsen.htm. Vraag Don Mellenbergh niet in een cie, maar met Borsboom en V. Heerden analytisch oordeel over validiteit #rekentoets http://sites.google.com/site/borsboomdenny/borsboomValidity2004.pdf.

Groter dan de #rekentoets, maar toch: stel een MER, een risicioanalyse op voor digitaliseren van toetsen en onderwijs, VOORDAT het te laat is.

Cito weet wel wat onderzoek is, heeft test verpleegkundig rekenen bij verpleegkundigen afgenomen: 80% onvoldoende http://goo.gl/kjQHN8. Dat 80% vd verpleegkundigen ‘onvoldoende’ scoort, wijst erop dat Cito mogelijk een wonderlijk soort #rekentoets op de markt brengt. #stormbal Gemeenschappelijk in beide #rekentoets-en: ‘rekenen in denkbeeldige papieren situaties’ + onderliggend werkelijk tekorten rekenvaardigheid


tweet (20 december). Karin den Heijer: Is het dan niemand opgevallen dat bij de voorbeeldvragen 'reken'toets in @nrc 17/12 geen rekenvaardigheid wordt getoetst? #rekenmachine Of ben ik de enige die vindt dat rekenen is: optellen, aftrekken, vermenigvuldigen, delen? @nrc


tweet (18 december). Ben Wilbrink: Als @SanderDekker de kamer verzekert dat de #rekentoets valide is, wat betekent dat? Zie Nederlandse Richtlijnen van Cotan/NIP 1988


tweet (18 december). Karin den Heijer: Overigens, moest ik eens doen: eerst een belabberde toets geven en daarna zeggen: alles boven 4,5 wordt voldoende. #rekentoets #excellent


tweet (18 december). Ben Wilbrink: Oktober 2013 bezwoeren Cito, CvTE en @SanderDekker de Kamer nog dat de #rekentoets betrouwbaar en valide is. Heeft dat nog consequenties?


tweet (18 december). Ben Wilbrink: Gerrit-Jan Zwenne, hoogleraar privacyrecht RU Leiden, hoorzitting TK: zorgplicht uitgevers e.d.. Dus ook CvTE en Cito! #rekentoets


tweet (18 december). Ben Wilbrink: Don Mellenbergh, lid cie-Steur, medeauteur belangrijkste recent artikel over validiteit 2004 The Concept of Validity https://sites.google.com/site/borsboomdenny/papers


tweet (18 december). Ben Wilbrink: #rekentoets mag slachtoffers maken, maar niet teveel, vindt ‘Steur’. Wie het begrijpt, mag het mij uitleggen. p 37-38.


tweet (18 december). Wouter van den Berg: .@Paul_van_Meenen (D66) wil op korte termijn een algemeen overleg over de rekentoets.


tweet (17 december). Ben Wilbrink: Theo Thijssen heeft nog enkele tips voor de #rekentoets van @SanderDekker Jet Bussemaker @Cito


tweet (17 december).Bernd vd Oetelaar: Door deze maatregel is nu officieel het middel tot doel verheven. #rekentoets [Kop in dagblad: ‘4,5 is voldoende voor de rekentoets’]


tweet (17 december). Paul van Meenen: Laat Kamer dit nu snel stoppen! #debat RT @valktekst: Tja. Hoe repareer je iets dat in de basis niet op orde is. [Kop in dagblad: ‘4,5 is voldoende voor de rekentoets’]


tweet (17 december). Anja Vink: En wie ook eens een rekentoets wil maken: @cito heeft oefentoetsen van alle niveaus op de site http://www.cito.nl/onderwijs/voortgezet%20onderwijs/rekentoets_vo/voorbeeldtoetsen via @RonaldBuitelaar


tweet (17 december). Ronald Buitelaar: Laten we wel wezen. De #rekentoets is intussen de #fyra van het Nederlandse onderwijs aan het worden. Oplappen helpt echt niet meer.


tweet (17 december). Ben Wilbrink: Klasse beter dan het rapport-Steur: Marc Chavannes over de #rekentoets ‘Het reken-schandaal gaat dieper dan de toets’ http://www.nrc.nl/handelsblad/van/2013/december/07/het-reken-schandaal-gaat-dieper-dan-de-toets-1322583


tweet (17 december). Ben Wilbrink: De vraag is hoe je kinderen nou eindelijk eens beter leert rekenen. #rekentoets http://www.nrc.nl/handelsblad/van/2014/december/17/de-vraag-is-hoe-je-kinderen-nou-eindelijk-eens-bet-1451795


tweet (17 december). Ben Wilbrink: Ook wel bijzonder: de lijstjes met wie de cie-Steur zoal heeft gesproken. Wat zou daar zoal aan wijsheden over tafel zijn gegaan?


tweet (17 december). Paul Kirschner: #Rekentoets wordt niet verbeterd maar versimpeld - slaag-/zakgrens wordt verlaagd! http://www.nrc.nl/nieuws/2014/12/17/dekker-maakt-slagen-voor-rekentoets-simpeler/


tweet (17 december). Ben Wilbrink: Verbijsterend dat juist de cie-Steur met veel testpsychologische kennis, de validiteitskwestie reduceert tot alleen taligheid #rekentoets


tweet (17 december). Paul Rosenmöller: Dat allerlei noodgrepen nodig zijn zegt alles over gebrek aan fundament onder #rekentoets http://www.vo-raad.nl/themas/taal-en-rekenen/vo-raad-implementatie-rekentoets-onverantwoord


tweet (17 december). Paul van Meenen: Verstandig en belangrijk. "@VOSABB: Vz @prosenmoller van @VO_raad vindt #rekentoets onverantwoord: http://www.vosabb.nl/?p=59821 @SanderDekker


tweet (17 december). Ben Wilbrink: Wat vindt Theo Thijssen ervan? (1929) De examen-idioot of De kinderexamens van 1928. scan 24Mb


tweet (17 december). HP?De Tijd: Rekentoets wordt aangepast, want te moeilijk: hoeveel opgaven heeft u goed? http://www.hpdetijd.nl/2014-12-17/rekentoets-wordt-aangepast-want-te-moeilijk-hoeveel-opgaven-heeft-u-goed


tweet (17 december). Ben Wilbrink: Onbegrijpelijk argument van cie-Steur dat met toevoegen van #rekentoets aan een examen, er ‘dus’ ‘redelijkerwijs’ meer kandidaten zakken.


tweet (17 december). Ben Wilbrink: De kamerbrief vandaag: vooral over de #rekentoets, geen enkel teken van ook maar de minste twijfel aan die referentieniveaus. #kopinhetzand


tweet (17 december). Ben Wilbrink: Leraren monddood over de #rekentoets, ook al mogen ze nu alles zien. #geheimhouding #dodemus kamerbrief @SanderDekker


tweet (17 december). Gerard Koolstra: De brief van Dekker over aanpassingen (meetellen van) rekentoets


tweet (17 december). Gerard Koolstra: Advies cie Steur ("verantwoorde invoering rekentoets") gepubliceerd




‘Bosker’: de rekentoetsen 2F en 3F deugen niet


Commissie-Bosker (28 mei 2014 openbaar gemaakt). Advies over de uitwerking van de referentieniveaus 2F en 3F voor rekenen in toetsen en examens. pdf; met aanbiedingsbrief van de bewindslieden hier op te halen html.



Het rapport van de ministeriële Commissie-Bosker is na de aanbieding aan staatssecretaris Sander Dekker enkele dagen onder de staatssecretariële pet gehouden, tot Roel Bosker zijn aanbiedingsbrief rond had. Er zijn wel meer opmerkelijke zaken rond deze commissie, zoals het ronduit politieke advies om toch vooral door te gaan met deze rekentoetsen. Ik vraag mij dan hardop af of deze commissie en/of de voorzitter wel in onafhankelijkheid heeft kunnen werken. Immers, het al dan niet doorgaan met deze rekentoetsen is onderwerp van algemeen overleg tussen de Tweede Kamer en de staatssecretaris, en in het laatste AO in november 2013 was evident de steun voor doorgaan met de rekentoetsen beperkt tot de VVD en de PVV. Ik begrijp ook niet hoe de commissie/voorzitter op het idee heeft kunnen komen om op de zetels van de Tweede Kamer plaats te nemen, en een meerderheid in het parlement zo te bruskeren. Los van de politieke blunder: hoe is het in godsnaam mogelijk dat de commissie/voorzitter concludeert dat er vooral moet worden doorgegaan met deze rekentoets, zonder dat de commissie heeft onderzocht of referentieniveaus rekenen wel voldoende basis hebben in relevante wetenschappelijke disciplines, en onderzocht of heel deze onderneming wel enige behoorlijke relatie heeft met het basisprobleem van de bij de PPON 2004 geconstateerde enorme terugval in basale rekenvaardigheid (sindsdien is geen noemenswaard herstel van die terugval in basisvaardigheid ingetreden). Ongeloofwaardig.

Sprak de voorzitter misschien op eigen gezag? De formulering in het rapport zelf:

Voorgaande neemt niet weg dat de commissie voorstelt om ernaar te streven, de invoering van de rekentoetsen en coe’s volgens planning door te laten gaan.

Het wonderlijke in de geciteerde passage is dat deze moeilijk valt te rijmen met de overige conclusies van de commissie: hoe is het mogelijk om met ondeugdelijke rekentoetsen de invoering ervan ‘volgens planning’ door te laten gaan? Deze context deugt evenmin. Ik merk tenslotte op dat de voorzitter in zijn aanbiedingsbrief nadrukkelijk vermeldt — in afwijking van de tekst in het rapport zelf — dat deze zo omstreden aanbeveling om ernaar te streven de invoering volgens planning door te laten gaan unaniem is gedaan. Ik ben zo vrij om daaraan te twijfelen, omdat ik niet vermag in te zien hoe een commissielid in redelijkheid zich achter deze aanbeveling zou kunnen scharen.


Van het een komt het ander: waarom hebben bewindslieden ervoor gekozen om de voorzitter van de Adviesraad voor primair onderwijs van het Cito (zie http://www.rug.nl/staff/r.j.bosker/, geraadpleegd 31 mei 2014) te vragen het voorzitterschap van deze commissie op zich te nemen? Ik geef onmiddellijk toe dat in een klein land als Nederland het lastig kan zijn om toetsdeskundigen te vinden die geen belangen hebben bij een van de instituten die betrokken zijn in het proces leidend tot de rekentoetsen zoals we die nu kennen, maar er zijn zeker testpsychologen te vinden die voldoende onafhankelijk zijn.


Een politieke analyse is best nuttig en nodig, maar het gaat mij natuurlijk om de inhoudelijke kanten van de kwestie: het ontwerp van toetsvragen, de samenstelling van toetsen, op welke manier de toetsresultaten in enige besluitvorming zitten, wat van een en ander de testpsychologische verdiensten en tekorten zijn, wat dit alles met onderwijs heeft te maken en dan vooral met verschillen in opvattingen over onderwijs, en zo kan ik nog wel even doorgaan. Want het gaat over rekenen: wat is dat, waar is het voor nodig, hoe erg is het om hier tekorten te hebben, zowel voor individuen als voor de samenleving in zijn geheel, in economisch opzicht ook. Het is een uitdaging om het rapport van de commissie-Bosker vanuit mijn bevooroordeelde wetenschappelijke optiek van aantekeningen te voorzien die mogelijk kunnen helpen in het verdere traject van deze rekentoetserij.


Mijn eerste reacties op Twitter


Kamerbrief 13 juni 2014, resultaten afname maart 2014 van de rekentoets:



Referentieniveaus beschrijven wat leerlingen moeten kennen en kunnen en zijn wettelijk vastgelegd.

p. 5 rapport Commissie-Bosker

Deze uitspraak in het rapport behoeft nuancering, al was het maar omdat de referentieniveaus de normen voor dat kennen en kunnen niet vastleggen. Belangrijker is het volgende. Bij de behandeling in de Tweede Kamer (Handelingen 31 maart 2010) heeft de minister van onderwijs André Rouvoet de referentieniveaus helder bepaald als een uitwerking van de kerndoelen voor het onderwijs, niet als een toevoeging of uitbreiding ervan. Deze nuancering is ook hierom van belang: de kerndoelen voor het rekenonderwijs zijn destijds gekozen als uitvloeisel van bepaalde opvattingen over het rekenonderwijs (‘realistisch rekenen’, constructivisme) die internationaal maatschappelijk omstreden zijn, en neergeslagen in kerndoelen beargumenteerbaar een vorm van staatsdidactiek inhouden.


Van het 2F-niveau heeft de Expertgroep aangegeven dat de daarin beschreven kennis en vaardigheden nodig zijn om maatschappelijk te kunnen functioneren.

p. 5

Het mag zo zijn dat de expertgroep dat heeft proberen te beschrijven, maar dat is nog iets anders dan onderbouwen met deugdelijk onderzoek. Dat laatste zal ook knap lastig zijn, omdat er bij het rekenen in de opvatting van de expertgroep bepaald sprake is van een samenstel van verschillende vaardigheden en capaciteiten, en een achterban waarin bijvoorbeeld de alomtegenwoordigheid van rekenmachientjes al voldoende evidentie is om het belang van basale rekenvaardigheid te bagatelliseren. Ik geef een enkel voorbeeld van onderbouwend onderzoek, in dit geval het belang van goed breukenonderwijs voor vervolgtrajecten in het onderwijs: Siegler c.s. (2011) http://goo.gl/yLJKl.

In testpsychologische termen is hier aan de orde dat de validiteit van de rekentoetsen aangetoond moet worden in relatie tot dat maatschappelijk functioneren. Ik kan mij niet herinneren ook maar een begin van enige poging tot dergelijk valideringsonderzoek te zijn tegengekomen. Gezien de voorbeeldrekentoetsen is een testpsychologisch oordeel al op voorhand dat deze toetsen niet valide zijn, zoals beargumenteerd door Wilbrink, Hulshof & Pfaltzgraff (2012) pdf. Daar moet bij worden vermeld dat het College voor Examens (CvE) op genoemd artikel heeft gereageerd (Kastelein, 2012, http://goo.gl/nAovLQ ) met het betoog dat de rekentoetsen wel degelijk valide zijn omdat het proces van totstandkoming volgens de regels is verlopen. Dat laatste is een misvatting over wat het begrip ‘validiteit’ in de testpsychologie inhoudt.


p. 6: een opsomming van de onderwerpen waarover de cie. adviezen geeft, waaronder niet genoemd . . . over doorgaan met de rekentoetsen volgens planning. For the record. Is dat advies over doorgaan een last minute ideetje geweest?


Er is, in algemene zin, nog betrekkelijk weinig ervaring met didactiek en onderwijs van rekenen als zelfstandige basisvaardigheid in vo en mbo.

blz. 11

Dat is een wonderlijke uitspraak. Ik maak me sterk dat er nog niet zo gek lang geleden uitstekend rekenonderwijs werd gegeven in het vo. Misschien bedoelt de commissie rekenonderwijs op realistische leest gestoeld? Maar dan is toch de hamvraag of de hervormingsbeweging in het rekenonderwijs, ook internationaal, wel op enige deugdelijke empirische grond berust? Dit is geen marginale vraag, als het om deze rekentoetsen gaat, maar een hoofdvraag.

De beelden die in het veld bestaan over wat rekenen is die niet zozeer geënt zijn op de referentieniveaus, maar bijvoorbeeld wel op de eerste generatie leermiddelen.

blz. 11

Precies. De spijker op de kop. ‘Wat is rekenen?’ De commissie deinst hier terug, en verschuilt zich achter de opdracht van OCW om geen kritische opmerkingen over de referentieniveaus te maken, of over de ideologie waarop deze referentieniveaus steunen.

En zo kan ik eigenlijk iedere zinsnede uit dit commissierapport wel kritiseren, dat ga ik dus niet doen. Het beeld is helder: deze commissie gaat niet tornen aan de staats-rekendidactiek zelf, hoewel dat evident het grootste probleem is dat met deze rekentoetsen aan het daglicht is getreden.




Wet van 29 april 2010 tot vaststelling van regels over referentieniveaus voor de taal- en rekenvaardigheden van leerlingen (Wet referentieniveaus Nederlandse taal en rekenen).

Staatsblad. pdf. Hoofdzaken:


De wet zegt weinig over specifieke referentieniveaus, de wet noemt niet het onderscheid tussen F (fundamenteel niveau) en S (streefniveau) maar spreekt voor het basisonderwijs over telkens twee referentieniveaus voor taal en idem voor rekenen.

Artikel 2 regelt dat die referentieniveaus zelf bij algemene maatregel van bestuur worden vastgesteld.

Merk op dat de wet zelf niets zegt over de mate waarin de referentieniveaus bereikt moeten worden, anders dan ‘zoveel mogelijk’. De diagnostische toetsen zijn kennelijk bedoeld om tussentijds vast te stellen wat er nog niet is bereikt van dit ‘zoveel mogelijk’.


Reken-wiskunderesultaten: eind van de basisschool

Egbert Harskamp (200). Reken-wiskunderesultaten van leerlingen aan het eind van de basisschool. Bijlage A bij: Werkgroep-Van Streun (2008). Over de drempels met rekenen. Consolideren, onderhouden, gebruiken en verdiepen. Onderdeel van de eindrapportage van de Expertgroep Doorlopende Leerlijnen Taal en Rekenen. pdf

Harskamp is bekend met effecten van meer traditioneel rekenonderwijs versus op realische leest geschoeid rekenonderwijs: hij promoveerde op een (door SVO gesubsideerd) onderzoek naar eventuele verschillen, en hoe persoonlijke kenmerken samenhangen met rekenprestaties.

E. G. Harskamp (1988). Rekenmethoden op de proef gesteld. Proefschrift Rijksuniversiteit Groningen.


Harskamp maakt gebruik van de resultaten van de Periodieke Peilingen van het Onderwijsniveau (PPON). Dat komt goed uit, hopelijk maakt dat een eigen analyse van die resultaten voorshands overbodig.


referenties

Jan van de Craats (december 2007). Domeinbeschrijving rekenen Discussiestuk ten dienste van de Expertgroep Doorlopende Leerlijnen Rekenen en Taal. pdf

Joost Hulshof: Kritiek op de realistische didactiek pdf

Ben Wilbrink: Realistische rekenreferentieniveaus? Het rekenrapport van de werkgroep-Van Streun. blog 7547

Ben Wilbrink: Inspectie: Scholen gebruiken naast hun realistische rekenmethode additionele methoden voor de basisvaardigheden. Blog op het forum van BON 7520

Ben Wilbrink: Het ontwerp van de vragen in de Nationale Rekentoets 2006 html en 2007 html

Zie ook de (Engelstalige) pagina met becommentarieerde literatuur over rekenen/wiskunde en onderwijs matheducation.htm (internationaal ) en matheducation.dutch.htm (Nederland(s)).


documenten

Werkgroep-Van Streun (uit de Commissie Meijerink) (2008). Over de drempels met rekenen. Consolideren, onderhouden, gebruiken en verdiepen. Onderdeel van de eindrapportage van de Expertgroep. Doorlopende Leerlijnen Taal en Rekenen. Experetgroep Doorlopende Leerlijnen Taal en Rekenen. pdf

Commissie-Meijerink / werkgroep-Rijlaarsdam-van den Berg / werkgroep-Van Streun (2008). Referentiekader taal en rekenen. De referentieniveaus. Taal. Rekenen. Doorlopende Leerlijnen Taal en Rekenen. pdf

Wet van 29 april 2010 tot vaststelling van regels over referentieniveaus voor de taal- en rekenvaardigheden van leerlingen (Wet referentieniveaus Nederlandse taal en rekenen). Staatsblad. pdf

Besluit van 17 juni 2010, houdende vaststelling van referentieniveaus Nederlandse taal en referentieniveaus rekenen (Besluit referentieniveaus Nederlandse taal en rekenen). Staatsblad. pdf

Onderwijsraad (24-7-2009). Advies Kaders voor de referentieniveaus. pdf

advies VO-Raad over referentieniveaus taal en rekenen. pdf

(19-1-2010). Wetsvoorstel tot vaststelling van regels over referentieniveaus voor de taal- en rekenvaardigheden (Wet referentieniveaus Nederlandse taal en rekenen) pdf

OCW (8-3-2010). Nota wetsvoorstel referentieniveaus taal- en rekenvaardigheden. pdf (brief pdf)

OCW (5-1-2010). Brief aan de Tweede Kamer over centrale examinering taal en rekenen mbo. pdf

OCW (24-9-2010). Beantwoording kamervragen over spellingvaardigheden. pdf

Inspectie (23-9-2009). Het taalonderwijs op taalzwakke en taalsterke scholen pdf

Kamerbrief toetsing in het basisonderwijs (1-3-2011). pdf

OCW (7 oktober 2009). Toewijzing en invoering Referentiekader Taal en Rekenen. pdf [Bijlage bij brief aan de Tweede Kamer (7 oktober 2010): Voortgang implementatie referentiekader taal en rekenen - aan de Tweede Kamer pdf]

Jasper van Dijk (7-4-2008). Kamervragen van het Kamerlid Jasper van Dijk (SP) over problemen met de rekentoets op de Pabo. [pdf met de antwoorden nog niet gevonden]

OCW Nieuwsbericht (7-10-2009). Verplichte rekentoets voor middelbare scholier. html

Naar hogere leerprestaties in het voortgezet onderwijs. Advies van de Onderwijsraad met daarin aanbevelingen om te komen tot een kwaliteitsverhoging van het voortgezet onderwijs. Het doel hiervan is hogere leerprestaties van alle leerlingen. pdf

OCW (21-1-2010). concept-Examenbesluit beroepsopleidingen WEB. pdf

OCW (21-1-2010). Conceptbesluit referentieniveaus Nederlandse taal en rekenen. pdf

OCW (27-1-2010). Examens. Om het taal- en rekenniveau van leerlingen te verbeteren, zullen de eindexamens ook veranderen. De bestaande examenprogramma’s worden aangepast aan de referentieniveaus. Verder zullen alle leerlingen een rekentoets afleggen als onderdeel van het eindexamen. Vanaf 2010 vinden proefafnames van deze rekentoets plaats. Aan de hand van de resultaten hiervan wordt besloten of en hoe de toets gaat meewegen in de slaag/zakbeslissing. html

OCW (5-11-2009). Brief aan de Tweede Kamer over Beleidsreactie KNAW-rapport Rekenonderwijs op de basisschool. pdf


literatuur

D. Borsboom & K. A. Markus (2013). Truth and evidence in validity theory. Journal of Educational Measurement, 50(1), 110-114. [Special Issue: Validity]
http://onlinelibrary.wiley.com/doi/10.1111/jedm.12006/abstract

D. Borsboom, G. J. Mellenbergh & J. H. van Heerden (2004). The concept of validity. Psychological Review, 111, 1061-1071.
http://goo.gl/eIhwGL

H. L. J. van der Maas, D. Molenaar, G. Maris, R. A. Kievit & D. Borsboom (2011). Cognitive psychology meets psychometric theory: on the relation between process models for decision making and latent variable models for individual differences. Psychological Review, 118, 339-356.
http://psycnet.apa.org/?&fa=main.doiLanding&doi=10.1037/a0022749 (abstract)

Paul A. Kirschner, John Sweller and Richard E. Clark (2006). Why Minimal Guidance During Instruction Does Not Work: An Analysis of the Failure of Constructivist, Discovery, Problem-Based, Experiential, and Inquiry-Based Teaching. Educational Psychologist, 41, 75-86.
http://www.cogtech.usc.edu/publications/kirschner_Sweller_Clark.pdf

Paul A. Kirschner, Richard E. Clark, and John Sweller (november 2012). Helemaal uitleggen of zelf laten ontdekken? Onderzoek spreekt voor volledig begeleide instructie. Van Twaalf Tot Achttien, 14-16.
http://dspace.ou.nl/bitstream/1820/4771/1/Van12-18%20-%20november2012%20-%20Helemaal%20uitleggen%20of%20zelf%20laten%20ontdekken%20-%20KSC.pdf

John Sweller, Richard Clark en Paul Kirschner (2010). Teaching General Problem-Solving Skills Is Not a Substitute for, or a Viable Addition to, Teaching Mathematics. Notices of the American Mathematical Society, 57, 1303-1304.
http://www.ams.org/notices/201010/rtx101001303p.pdf

Richard Clark, Paul Kirschner & John Sweller (Spring 2012). Putting Students on the Path to Learning. The Case for Fully Guided Instruction. American Educator, 6-11.
http://www.aft.org/pdfs/americaneducator/spring2012/Clark.pdf

Wim J. van der Linden (2002). On complexity in CBT [Computer Based Testing, b.w.]. In C. N. Mills, M. T. Potenza, J. J. Fremer, & W. C. Ward (Eds.), Computer-based testing. Building the foundation for future assessments (pp. 89-102). Erlbaum. [als e-Book te leen bij KB]
http://goo.gl/c1bkBI (Google preview)

Niels Taatgen (2013). The Nature and Transfer of Cognitive Skills. Psychological Review, 120, 439-471.
http://www.ai.rug.nl/~niels/publications/2013-19654-001.pdf

Rolf A. Zwaan and Michael P. Kaschak (2009). Language in the brain, body, and world. http://goo.gl/yGnmQL In Philip Robbins & Murat Aydede: The Cambridge Handbook of Situated Cognition. Cambridge University Press.

Ben Wilbrink (1983). Toetsvragen schrijven. Utrecht, Het Spectrum, Aula 809. In herziening: Toetsvragen ontwerpen.
http://benwilbrink.nl/projecten/toetsvragen.1.htm

Ben Wilbrink (2014). Al die teksten in onze eindexamens, waar komt dat fenomeen toch vandaan? Kan Sander Dekker precies 75 L zand in een kruiwagen scheppen? Van Twaalf Tot Achttien, Vakblad voor Voortgezet Onderwijs, 24, 28-30.
Versie met notenapparaat:
http://benwilbrink.nl/projecten/hoorzitting_4-12-2013_situationisme.htm#noten

Ben Wilbrink, Denny Borsboom en Michel Couzijn (2010). Spelling, grammatica en interpuntie meebeoordelen op eindexamens? Tweede Kamer motie van de leden Jan Jacob van Dijk en Jasper van Dijk. Examens, Tijdschrift voor de Toetspraktijk, 7 #3, 5-9.
http://www.benwilbrink.nl/EXAMENSCOMPLEET_sept_2010.pdf


Ben Wilbrink, Joost Hulshof & Henk Pfaltzgraff (2012). Examens, Tijdschrift voor de Toetspraktijk, 9 #3, 26-31. http://www.benwilbrink.nl/wilbrink_hulshof_pfaltzgraff_2012_De_rekentoetsen_3F_zijn_niet_valide.pdf


Jan Kastelein (december 2012). Rekentoetsen VO wel degelijk valide. Examens, Tijdschrift voor de Toetspraktijk, 9 #4, 29-31 (Ingezonden. De inhoud van de rubriek ‘ingezonden’ valt buiten de verantwoordelijkheid van de redactie. Met korte dupliek van Wilbrink c.s. op p. 31
https://www.professioneelbegeleiden.nl/rekentoetsen-vo-wel-degelijk-valide#.Uj1BfTDCSCg


Jan van de Craats en Rob Bosch (2007/2009). Basisboek rekenen. Pearson Education Benelux.

Inspectie (18 maart 2011). Automatiseren bij Rekenen-Wiskunde. pdf

Inspectie (23-9-2009). Het taalonderwijs op taalzwakke en taalsterke scholen pdf

C. Lebiere (1999). The dynamics of cognition: An ACT-R model of cognitive arithmetic. Kognitionswissenschaft, 8, 5-19 pdf [The Ph.D. dissertation itself is available also: http://act-r.psy.cmu.edu/papers/236/cl_1998_a.pdf

Tom Braams & Marisca Milikowski (Red.) (2008). De gelukkige rekenklas. Boom.

Battice Beijer & Katja de Bruijn (2010). Cognitieve deelvaardigheden Rekenen (Desoete, & Royers, 2006) graad 1 bruikbaar in Nederland? Bachelorthesis, HS Zuyd opleiding logopedie. pdf [Empirisch onderzoekje met aangepaste test van Desoete] [o.a. lijst van rekentests]

Liesbeth van der Plas-Eskes (2008). Minder bekende problemen van het Nederlandse wiskunde onderwijs. pdf

Ben Wilbrink, Denny Borsboom & Michel Couzijn (2010). Spelling, grammatica en interpunctie meebeoordelen op eindexamens?. Examens, Tijdschrift voor de Toetspraktijk, september, 5-9. [eind 2011 vrij beschikbaar als http://www.e-xamens.nl/archief/2010/3/tijdschrift.pdf] concept

Gerard J. J. M. Straetmans en T. J. H. M. Eggen (2005). Afrekenen op rekenen: over de rekenvaardigheid van pabo-studenten en de toetsing daarvan. Tijdschrift voor Hoger Onderwijs. pdf


links

Website van Jan van de Craats website

met Zwartboek rekenonderwijs

Website FIsmewebsite

Website Ben Wilbrink wiskundeonderwijs en rekenonderwijs Rijksoverheid.nl OCW: webpagina Taal en Rekenen html

Doorlopende Leerlijnen Taal en Rekenen. Website html

Reken VOort. Rekenen voor het Voortgezet Onderwijs html

Malmberg Rekenblokken html


to do: https://gfbrandenburg.wordpress.com/2015/03/18/more-from-steve-rasmussen-on-the-shoddy-implementation-of-sbcc/






december 2021 \ contact ben at at at benwilbrink.nl    

Valid HTML 4.01!   http://www.benwilbrink.nl/projecten/2015_rekentoets.htm