Ben Wilbrink is psycholoog/onderwijsonderzoeker. benwilbrink.nl
Joost Hulshof is als hoogleraar verbonden aan de programmagroep Wiskundige Analyse van de Vrije Universiteit.
Henk Pfaltzgraff is leraar wiskunde HAVO/VWO sinds 1965, CEVO medewerker aan de examens wiskunde B VWO 1987-1993.
Het rekenen heeft de warme belangstelling van de wetgever. Van po tot vwo en mbo komen er rekentoetsen bij de afsluiting van het onderwijs. Voor de validiteit van deze rekentoetsen zijn vier zaken van belang. Er is een controverse tussen psychologie en constructivisme (Anderson, Reder & Simon, 2000), ook in het wiskundeonderwijs (Schoenfeld, 2004). De resultaten van de PPON 2004 (Hickendorff, 2011) laten een zeer grote terugval in basale rekenvaardigheid zien en vormen de directe reden om rekentoetsen af te nemen in het vo. Evenals de wiskunde in het vo, vraagt het ho rekenvaardigheid waar het niveau 3F geheel aan voorbijgaat. Het gebruik van de rekenmachine (RM) in onderwijs en examens is omstreden, en toch in de rekentoetsen royaal toegestaan.
De regelgeving over onderwijssectoren heen is complex (Besluit mei 2012 pdf). We beperken ons in dit artikel tot de rekentoets-3F voor havo, mbo en eventueel vwo, waarvan het Cito een voorbeeldrekentoets (VRT) beschikbaar heeft gesteld. Voor een goed begrip van de huidige situatie dient de volgende schets van wat vooraf ging; zie Wilbrink en Hulshof (2011) voor details en verwijzingen. Hoewel internationale toetsen geen ernstige terugval in rekenen lieten zien, bleek die wel bij de periodieke peiling (PPON) in 2004, en dat was uiteindelijk reden voor druk beleid in een controversieel veld. De commissie-Meijerink gaf referentieniveaus rekenen waarover inhoudelijke strijd is ontstaan. De KNAW (commissie-Lenstra) was niet in staat over de rekencontroverse een definitief oordeel te vellen. De referentieniveaus werden wet, en zodoende de basis voor aan de eindexamens toe te voegen rekentoetsen, hoewel op 31 maart 2010 (Handelingen TK) men individuele toetsing riskant vond. De departementale commissie-Schmidt (2011) presenteerde de rekentoetswijzers (voor 3F: RTW) en het Cito nam pilottoetsen af. De eerste resultaten van de pilots (brief 8 juni 2012 pdf) vielen de minister tegen, maar waren in lijn met wat leraren er eerder al van verwachtten. Kritieken zoals die in Wilbrink en Hulshof, gaven de minister reden om althans voor het vwo alsnog een rekentoets-3S te laten uitwerken (commissie-Van de Craats) als mogelijk alternatief voor de rekentoets-3F, met in het najaar een veldraadpleging over 3F versus 3S. Kritiek op de referentieniveaus F is algemener dan alleen of het past bij het vwo: het ‘functioneel rekenen’ van de F-niveaus mag geen rekenen heten.
De controverse betreft het realistisch rekenen zoals dat herkenbaar is in de officiële kerndoelen en referentieniveaus: het is de Nederlandse variant van de reformdidactiek in het rekenonderwijs (Schoenfeld). De confrontaties zoals die zich binnen de genoemde commissies afspeelden, blijven enigszins verborgen voor de buitenwereld. Maar er zijn ook enkele directe confrontaties in de literatuur, zoals recent in Psychometrika tussen Hickendorff c.s. pdf, met repliek Van den Heuvel c.s. pdf, en dupliek pdf.
Zoals het voorbeeld hierbeneden laat zien, krijgt Nederland nu rekentoetsen van realistische snit: alledaagse probleempjes moeten worden gesnapt, en de juiste knoppen op de RM ingedrukt. Maar dit is geen rekenen in de gangbare betekenis, zoals dat in de PPON althans nog enigszins herkenbaar aanwezig is. Dit realistisch rekenen is in Nederland ingevoerd zonder dat daar een empirisch fundament onder ligt, zoals de KNAW-commissie concludeerde. Evenmin is het falen aangetoond van conventioneel rekenonderwijs dat aansluit op wiskundeonderwijs, zoals Van de Craats & Bosch (2009) en Pfaltzgraff, (2009). Maar de situatie is asymmetrisch: het is immers uitsluitend aan de vernieuwers om aan te tonen dat zij de betere kaarten hebben. En dat is niet gebeurd. Nu gaan ook de RTW en de VRT voorbij aan het rekenen waarvan de PPON 2004 liet zien dat de Nederlandse jeugd dat nauwelijks nog beheerst. Het signaal dat de overheid — het CvE — hiermee afgeeft aan het vo en mbo is dat basale rekenvaardigheid niet van belang is als voorbereiding op de rekentoetsen en op het ho.
Onderzoek over redactiesommen — want daar komen die contextopgaven toch op neer — is bij uitstek een opgave voor de cognitieve psychologie. En daar is dan ook uitstekend onderzoek te vinden, zoals dat van Desoete, Roeyers & De Clerq (2003), waar binnen een enkel onderzoek meerdere aspecten in onderlinge relatie aan de orde zijn. Het is een voorbeeldige illustratie hoe empirisch is te onderzoeken of leerlingen met contextopgaven wel doen wat ze in de realistische didactiek en volgens de commissie-Meijerink worden verondersteld te doen.
Berekening met de rekenmachine: (5,2x6,5 + 3,2x4,6)x1,05x44,95
Variant 1: Zelfde context, simpeler getallen en zonder RM: (5x6 + 3x4)x1,10x50
Variant 2: Zonder context en zonder RM: bereken 50x(5x6 + 3x4)
Pfaltzgraff (2012) geeft deze uitwerkingen bij alle 60 opgaven van de VRT.
De vele contextopgaven zijn opgezet volgens een schema in de RTW dat overigens bekend is als de heuristiek van Polya (1957, p. xiv) voor het oplossen van problemen: probleem snappen - oplossingsplan maken - plan uitvoeren - resultaat evalueren. De commissie-Schmidt noemt het geen probleemoplossen, maar domeinoverstijgende vaardigheden. Het label verandert natuurlijk niets aan de aard van de zaak. Probleemoplossen staat aan de top van de cognitieve vaardigheden (Ohlsson, 2011), dus niet aan de basis, of we die nu 3F noemen of niet. De bijzondere situatie bij de meeste contextopgaven-3F is bovendien dat de probleemsituatie geen rekenkundige situatie is, maar een denkbeeldige situatie uit het dagelijks leven. Aha. Bij Polya is de probleemsituatie altijd wiskundig, en wat er moet worden gesnapt is wiskunde. Bij deze VRT moet de leerling niet het rekenen, maar de dagelijkse situatie snappen. Die situatie is bovendien nooit concreet, integenstelling tot wat voorstanders van contexten in het rekenonderwijs beweren, maar altijd denkbeeldig: counterfactual. Dit is precies het terrein van het snappen van abstracties, een intellectuele capaciteit waar de mensheid over de laatste honderd jaar enkele quantumsprongen op heeft gemaakt: het Flynn-effect. Maar dat kan betekenen dat deze contextvragen in feite abstractievermogen toetsen, naast of in plaats van rekenen! Aan Cito en CvE is dan de taak om uit te leggen dat dit geen juiste conclusie is. Evenmin als ‘objectieve’ keuzevragen objectief zijn (Wilbrink, 1977), zijn ‘concrete’ contexten concreet. Zie ook onderzoek door Depaepe, De Corte en Verschaffel (2010) op het verschil tussen rekenkundige context of alledaagse context, althans in de manier waarop leerkrachten met contextopgaven omgaan. Depaepe c.s. maakt evenwel geen verbinding met de cognitieve theorie over probleemoplossen (Ohlsson, 2011).
Overigens zijn de talige plagen die contexten kunnen treffen (Evers-Vermeul & Land, 2012), ook in de VRT terug te vinden. Plus veel fouten tegen het Nederlands — Patrick legt al parket dat hij nog moet kopen! — die ook niet in het voordeel van de leerlingen werken. De leerling die uitlegt dat deze vraag geen antwoord heeft omdat Patrick het parket al aan het leggen is, heeft gelijk; zoals ook de onderzoekers welbekende vraag naar de leeftijd van de kapitein die 26 schapen en 10 geiten vervoert geen antwoord heeft. Scriptieonderzoek van Van der Weegh (2005), onder supervisie van Paul Leseman en Hans van Luit, laat zien dat taalproblemen de uitkomsten van rekentoetsen sterk kunnen beïnvloeden. Ondanks alle beperkingen van een enkel scriptieonderzoek — maar deze kreeg de NVO-scriptieprijs 2006 — zijn die uitkomsten verontrustend.
Het is aan het Cito en CvE om onomstotelijk duidelijk te maken dat deze VRT toetst of de rekenvaardigheid op peil is, en zeker niet op individuele verschillen in intelligentie of taalvaardigheid. In dit verband is het opmerkelijk dat de pilots in maart 2012 aanzienlijke verschillen tonen in resultaten van havisten en vwo-ers op dezelfde rekentoets-3F. Zo’n resultaat doet vrezen dat gerichte voorbereiding (de Groot, 1970: de eis van transparantie) op deze rekentoets niet optimaal mogelijk is. Als de rekentoets transparant is moeten gemiddelde en standaarddeviatie op de toets voor havo en vwo gelijk zijn omdat verschillen in intelligentie zijn geabsorbeerd in verschillende voorbereidingstijden. Zo niet, dan is er in de mate waarin er verschillen zijn sprake van een intelligentietest. Een empirische toets op die voorbereidbaarheid is dan ook dat de resultaten op de rekentoets-3F bij de examens havo gelijk zijn aan die bij de examens vwo. Of: bij een gelijktijdig afgenomen intelligentietest moet de hypothese verworpen kunnen worden dat de correlatie tussen rekentoets-3F havo en intelligentietest positief is, zeg > 0,6.
In de vijftiger jaren was men minder zwijgzaam over de bedoelingen om verschillen in intelligentie te meten: zie wat Turkstra (1957) schrijft, en zie vooral zijn empirische gegevens van leerlingen in een vijftal eerste klassen: hoge cijfers voor technisch rekenen, minder hoge cijfers met bovendien een forse spreiding voor de rekentest die bedoeld is intelligentie te testen. Een dergelijk resultaat valt ook te verwachten bij vergelijking van prestaties op rekentoets-3F met een rekentoets die alleen uit de equivalente kale sommen bestaat; is dat onderzoek al eens gedaan?
Rekenen is een onderdeel van de wiskunde, en in beginsel gaat het dan om een strak systeem van betekenissen, afspraken en regels. Een vraag als VRT-48 — tel het aantal blokjes in de afbeelding — is dus geen wiskunde: onzichtbare blokjes zijn niet telbaar, we weten niet eens of ze er zijn. Wiskunde is geen giswerk, wiskunde is precies. Natuurlijk zou de leerling veronderstellingen in kunnen voeren om bij VRT-48 tot een gesloten probleem te komen, maar bij deze digitaal af te nemen VRT telt alleen de uitkomst. Milgram (2007) constateert dat Amerikaanse gestandaardiseerde rekentoetsen een relatief groot aantal niet-wiskundige vragen bevatten. Te vrezen valt dat voor deze rekentoetsen dat eveneens het geval is.
Veel opgaven in de VRT bestaan uit een stapeling van deelopgaven. Het valt niet in te zien wat, op het niveau 3F, hiervan de bedoeling is, anders dan het moeilijker maken van de opgaven om zo beter tussen leerlingen te differentiëren. Maar zo gaat de toets verschillen in intellectuele capaciteiten meten, zoals verschillen in capaciteit van het werkgeheugen. Zo levert de parketvraag onnodig een hogere mentale belasting op, wat niet bijdraagt aan zijn validiteit als rekenvraag.
Opvallend afwezig in de VRT: breuken, zoals er ook geen vermenigvuldigen en delen wordt gevraagd. Terwijl breukenvaardigheid toch een voorwaarde is voor vruchtbare deelname aan wiskundeonderwijs. Over die voorwaardelijkheid is nu ook empirisch onderzoek: Siegler c.s. (online first) laat met data uit cohortstudies zien dat vaardigheid in breuken en in delen voorspellend is voor latere prestaties wiskunde, ook na correctie voor onderliggende verschillen in intelligentie en gezinsachtergrond. Pas op: het gaat hier om vaardigheid in breukrekenen, niet om ‘functioneel rekenen’ met breuken.
Hier blijkt weer het belang van empirisch onderzoek naar de juistheid van stellige rekenopvattingen, in dit geval dat breuken van marginaal belang zouden zijn. De referentieniveaus zijn bedoeld om doorlopende leerlijnen te creëren, maar hier is er dus een voorbeeld van een doodlopende leerlijn van po naar vo, en opnieuw van vo naar ho. Leerlingen zonder breukenvaardigheid zullen afgeschrikt worden door wiskunde, en dat vak mogelijk mijden. Dat veel leerlingen dat breukrekenen later toch niet meer nodig hebben, is dan een self-fulfilling prophecy. Verwaarlozing van het breukenonderwijs leidt hier tot kostbare inperking van de onderwijskansen van veel leerlingen, ook van de betere leerlingen. Wilbrink en Hulshof wezen er al op dat dit rekenen op niveau 3F niet het rekenen is dat het ho vraagt, en dus misplaatst is in eindexamens havo, mbo en vwo. Het onderzoek van Siegler c.s. toont dat ook de aansluiting van rekenen op wiskunde in het vo zelf in het geding is.
Bij verreweg de meeste rekenopgaven is gebruik van de RM toegestaan. Bij veel opgaven, zoals de parketsom, zijn de getallen zo gekozen dat er niet vlot mee valt te rekenen, anders dan door de RM te gebruiken. Een dwingende noodzaak voor deze getallenkeuze ontbreekt — het kan namelijk heel goed anders, zoals in de uitwerking van Pfaltzgraff gedemonstreerd — zodat deze opgaven onnodig degraderen van rekenen tot knoppendrukken.
Volgens de minister ligt de bevoegdheid om gebruik van een RM toe te staan bij eindexamens bij het CvE. Het CvE zegt (advies, 2012) “Zonder rekenmachine is het niet meer mogelijk vragen in een realistische context te stellen en wordt het moeilijk om tot variatie in opgaven te komen (het aantal ‘kloppende’ wiskundeopgaven met nette getallen is heel beperkt).” De keuze van de getallen in de VRT, zie het voorgaande, logenstraft deze uitspraak.
Wel of niet gebruik van een RM toestaan maakt natuurlijk verschil in de uitkomsten. Bij individuele uitkomsten weten we niet eens of en zo ja hoe vaak de leerling naar de RM heeft gegrepen, en weten we dus niet in hoeverre er inderdaad is gerekend. Zolang er geen experimenteel bewijs is dat ‘het niet uitmaakt’, moeten we aannemen dat het wel degelijk uitmaakt. Ik citeer Loveless (2004), zoals aangehaald in een rapport van Californië ( pdf ):
TIMSS claimt dat het niet zou uitmaken of de leerling een RM mag gebruiken (Buijs & Tolboom, 2012 SLO), maar dat is omdat TIMSS de vragen zodanig heeft ontworpen dat dit opgaat! Zie in de bijlagen van dat SLO-rapport de standpunten van enkele critici van gebruik van de RM: Lenstra (KNAW-commissie rekenonderwijs), Van de Craats (Resonansgroep wiskunde), Tijms (Stichting Goed Rekenonderwijs). De RM toelaten in de rekentoetsen staat gelijk aan een uitnodiging aan het onderwijs en de leerlingen om rekenvaardigheid bij te houden met de RM. Een contradictio in terminis.
Al wat langer bekend is dat statistiekpakketten het knoppendrukken wel heel erg makkelijk maken. In dit verband is een actueel congrespaper van Hoogland c.s. van belang. Zij onderzoeken of contextopgaven met alleen tekst dan wel met een afbeelding, maar wat rekenen betreft gelijkwaardig, in de tweede variant beter worden gemaakt. En de significantietest geeft aan dat dit het geval is. Klein probleem is dat het onderzoek gaat over meer dan dertigduizend studenten, en dat het verschil in gemiddelden miniem is. Het weerhoudt Hoogland c.s. er niet van om succes te claimen, alsof er niet slechts een statistisch significant, maar ook een betekenisvol verschil zou zijn aangetoond, quod non. De auteurs zijn voorstanders van het gebruik van de RM in het onderwijs. Ook in dit onderzoek was bij de digitaal afgenomen toetsen een rekenmachine beschikbaar. Uit het onderzoek van Hoogland c.s. valt wel een andere voorlopige conclusie te trekken: dat plaatjes in rekenopgaven maar beter achterwege kunnen blijven.
Evenals bij taalverzorging is het bij het rekenen zo dat de uit het po meegekregen basisvaardigheden in het vo onvoldoende worden onderhouden en vermeerderd. Zonder oefening zal dit zo blijven; oefenen met een RM is geen oefenen in rekenen. Een rekentoets met gebruik van een RM, en zonder enige rekenprocedure te vragen, is onderdeel van de problemen in het Nederlandse rekenonderwijs, niet van de oplossing.
Het gaat om rekentoetsen waar we het met de kwaliteit nauw moeten nemen. Heel nauw: de minister wil een rekentoets bij de eindexamens, als nieuw onderdeel van de eindexamens, van de kernvakkenregel bovendien, met precies één herkansingsmogelijkheid, en dan staatsexamen voor de pechvogels. Dit laatste lijkt nog niet tot het grote publiek doorgedrongen.
Het complexe veld overziende is het duidelijk dat vele instellingen hun ding bijdragen maar geen verantwoordelijkheid voor het geheel nemen, dat het ministerie in het verleden posities heeft gekozen die zijn bewegingsruimte nu beperken, en dat kamerleden de grote lijnen niet zien. Maar de politieke verantwoordelijkheid ligt natuurlijk toch bij de minister, die bij de brief van 7 juni 2011 nadrukkelijk een voorbehoud voor aanpassingen van het beleid maakte. De minister heeft de zorg voor rekentoetsen die inderdaad rekenen toetsen, en kan deze gebruiken om het onderwijs te evalueren, in plaats van er de leerlingen individueel op af te rekenen. Dacht de Tweede Kamer er ook niet zo over (Handelingen, 31 maart 2010)? Het doel van alle aandacht voor rekenen is immers dat de scholen — niet de leerlingen — verantwoordelijkheid nemen voor goed rekenonderwijs en onderhoud van rekenvaardigheden.
CvE (2012). Advies. Brief 28-3-2012. pdf
Anderson, J.R., Reder, L.M. & Simon, H.A. (2000). Applications and misapplications of cognitive psychology to mathematics education. Texas Educational Review. pdf
Buijs, K., & Jos Tolboom, J. (Red.) (april 2012). De rol van de rekenmachine in po, s(b)o en vo. Advies SLO. pdf
Cito (2012). Voorbeeldrekentoets VO 3F. pdf
Commissie-Schmidt (2011). Rekentoetswijzer 3F. Eindversie. pdf
Craats, J. van de, & Bosch, R. (2009). Basisboek rekenen. Pearson Education Benelux.
CvE (2012). Advies. Brief 28-3-2012. pdf
Depaepe, F., Corte, E. de, & Verschaffel, L. (2010). Teachers’ approaches towards word problem solving: Elaborating or restricting the problem context. Teaching and Teacher Education, 26, 152-160.
Desoete, A., Roeyers, H., & De Clercq, A (2003). Can offline metacognition enhance mathematical problem solving? Journal of Educational Psychology, 95, 188-200. [proefschrift is online beschikbaar]
Evers-Vermeul, J., & Land, J. (2012). Slecht gelezen of slecht geleerd? 2. Examens, Tijdschrift voor de Toetspraktijk, 9 #2, 25-29.
Groot, A.D. de (1970). Some badly needed non-statistical concepts in applied psychology. Nederlands Tijdschrift voor de Psychologie en haar Grensgebieden, 26, 360-376. html
Hickendorff, M. (2011). Explanatory latent variable modeling of mathematical ability in primary school. Proefschrift Leiden. ophalen
Hoogland, K., Bakker, A., de Koning, J. de, & Gravemeijer, K. (2012). Comparing students’ results on word problems with their results on image-rich numeracy problems. Paper 12th International Congress on Mathematical Education, Seoul. pdf
Loveless, T. (2004). Computation skills, calculators, and achievement gaps: An analysis of NAEP items. Brown Center on Education Policy, The Brookings Institution. pdf
Milgram, R.J. (2007). What is mathematical proficiency? In Schoenfeld, A. H.:. Assessing mathematical proficiency (pp. 31-58). Cambridge University Press. pdf
Ohlsson, S. (2011). Deep learning. Cambridge University Press.
Pfaltzgraff, H. (2009). Spijkerboek 1: Rekenen. Epsilon Uitgaven.
Pfaltzgraff, H. (2012). Uitwerking en commentaar bij de voorbeeldrekentoets 3F van het Cito. pdf
Polya, G. (1945/1957 2nd). How to solve it. Princeton University Press. integrale tekst
Schoenfeld, A.H. (2004). The math wars. Educaional Policy, 18, 253-286. pdf
Siegler, R.S., c.s. (online first 14 juni). Early predictors of high school mathematics achievement. Psychological Science. concept
Turkstra, H. (1957). Een onderzoek over de correlatie tussen de vorderingen voor algebra en meetkunde in de eerste klas van de middelbare school en het cijfer voor rekenen op de l.s. en op het toelatingsexamen voor de middelbare school. Euclides, 32, 161-172. annotaties
Wilbrink, B. (1977). Het verborgen vooroordeel tegen andere dan meerkeuze vraagvormen. Congresboek ORD, 219-222. html
Wilbrink, B. & Hulshof, J. (2011). De wet, het rekenen, en de rekentoets in de eindexamens havo/vwo. Examens, Tijdschrift voor de Toetspraktijk. 8 #3, 18-22. voorlaatste concept
De heer B. Wilbrink is psycholoog-onderwijsonderzoeker. www.benwilbrink.nl. De heer prof.dr. J. Hulshof is hoogleraar Wiskundige Analyse aan de Vrije Universiteit en bestuurslid van Beter Onderwijs Nederland. De heer H. Pfaltzgraff is leraar wiskunde havo/vwo sinds 1965, CEVO medewerker aan de examens wiskunde B vwo 1987-1993.
Actuele ontwikkelingen zijn goed te volgen in de wekelijkse WiskundE-brief, een e-mailbrief waarop een ieder zich gratis kan abonneren.
Paul E. Newton (2012). Clarifying the Consensus Definition of Validity. Measurement: Interdisciplinary Research and Perspectives, 10, 1-29. abstract
Rob Schoonen (1991). De evaluatie van schrijfvaardigheidsmetingen. Een empirische studie naar betrouwbaarheid, validiteit en bruikbaarheid van schrijfvaardigheidsmetingen in de achtste groep van het basisonderwijs. proefschrift UvA. [promotor: Don Mellenbergh]
http://www.taalenrekenen.nl/referentiekader/scholing/steunpunten/
http://www.steunpunttaalenrekenenvo.nl/
http://www.steunpunttaalenrekenenmbo.nl/steunpuntmbo/
http://www.cve.nl/item/voorbeeldexamens_coe_mbo
http://www.cve.nl/9378000/d/oefenexamens_mbo/oefenexamen_rekenen_3F_2011/_MBO_COE_2011_Rekenen_3F_voorbeeldexamen.htm
Theo J. J. M. Eggen & Angela J. Verschoor (2006). Optimal Testing With Easy or Difficult Items in Computerized Adaptive Testing. Applied Psychological Measurement, 30, 379-393. abstract
Mary E. Lunz, Betty A. Bergstrom & Benjamin D. Wright (1992). The Effect of Review on Student Ability and Test Efficiency for Computerized Adaptive Test. Applied Psychological Measurement,16, 33-40.abstract
Jan-Eric Gustafsson & Lisbeth Åberg-Bengtsson (2010). Unidimensionality and Interpretability of Psychological Instruments. In Susan Embretson: Measuring psychological constructs. Advances in model-based approaches (97-121). American Psychological Association.
In dit hoofdstuk laten de auteurs zien hoe valt te onderzoeken wat een bepaalde test eigenlijk meet. Bijvoorbeeld: de Eindtoets Basisonderwisj meet ongetwijfeld Gf en Gc, en Gv (visual: ruimtelijk voorstellingsvermogen oid); maar meet het daarnaast ook nog iets anders? Voorafgegaan door een theoretische uiteenzetting, laten ze aan de hand van drie specifieke onderzoeken zien hoe een en ander in zijn werk gaat. Het specifieke geval is de Zweedse Scholastic Aptitude Test, die in dat land wordt gebruikt bij de selectieve toelating tot opleidingen in het hoger onderwijs waarvoor een beperkt aantal plaatsen beschikbaar is. Het is een en al intelligentie wat hier de klok slaat. Verdomd relevant voor de validiteitsproblematiek rond de rekentoets-3F, ook al is die Zweedse SAT niet direct een rekentoets. De drie onderzoeken zijn afzonderlijk gepubliceerd (zie de referenties hierbeneden). Het gaat hier om technische literatuur, eigenlijk volkomen onleesbaar voor wie niet is ingevoerd in de testpsychologie. Ik zal dus binnenkort proberen er een goede samenvatting van te geven. Let er ook dan nog goed op dat een en ander weliswaar direct relevant is voor de vraag in hoeverre test A verschillen in intelligentie meet (en niet iets anders, zoals rekenvaardigheid), maar dat deze context niet in alle opzichten identiek is aan die van de rekentoets in het Nederlandse eindexamen voor het vwo.
Zie ook mijn projectpagina cito_ontwerp_toetsvragen.htm voor relevante literatuur.
Alan Bundy (2012). What Pólya and Lakatos Have To Say. In David McFarland, Keith Stenning & Maggie McGonigle-Chalmers (Eds.) (2012). The Complex Mind. An Interdisciplinary Approach (167-185). Palgrave Macmillan. pdf
Dit hoofdstuk van Bundy is van belang voor iedereen die meent dat het vierstappen-schema voor probleemoplossen van George Pó echt een schema voor het oplossen van problemen is. Bundy analyseert dat anders: het gaat er bij Pólya eigenlijk alleen maar om een goede representatie van het gestelde probleem te vinden, waarna het probleemoplossen pas begint (met goede kans op slagen, dat dan weer wel). Het is een fascinerende analyse, omdat het op onverwachte wijze laat zien hoe het aanpakken van contextopgaven een sterk beroep doet op intellectuele capaciteiten.
Bundy is natuurlijk niet de eerste die moeite heeft om het werk van Pólya te benutten in zijn onderzoek op het terrein van kunstmatige intelligentie: eerder schreef Allen Newell er al uitgebreid over. Hij was student van Pólya, en later samen met Herbert Simon (nobelprijswinnaar) grondlegger van het onderzoekgebied van het probleemoplossen (en zelfs van de cognitieve psychologie in brede zin).
Allen Newell (1983). The heuristic of George Polya and its relation to artificial intelligence. In Rudolf Groner, Maria Groner and Walter F. Bischof: Methods of heuristics (195-244). Erlbaum. scan 21 Mb
Allen Newell and Herbert A. Simon (1972). Human problem solving. Prentice Hall. Een voorloper in de vorm van een artikel in 1970: pdf.
Hans Kuyper & Greetje van der Werf (14-6-2012). Excellente leerlingen in het voortgezet onderwijs. Schoolloopbanen, risicofactoren en keuzen. GION. pdf (zie ook mijn laatste blog op het forum van BON, voordat mijn account werd geblokkeerd: http://www.beteronderwijsnederland.nl/forum/excellente-leerlingen-het-vo ) Voor uitvoerige annotatie zie hier
[14 september 2012]
De Rekentoetswijzercommissie 3S heeft overeenstemming bereikt over een concept voor de Rekentoetswijzer 3S die nu ter raadpleging aan het veld wordt voorgelegd. Deze conceptrekentoetswijzer 3S kan als pdf-bestand worden gedownload en vrij worden verspreid.
Los van de conceptrekentoetswijzer is een afzonderlijk servicedocument beschikbaar dat voorbeelduitwerkingen bevat van alle opgaven uit hoofdstuk 4 en de contextopgaven uit hoofdstuk 5 van de conceptrekentoetswijzer. De voorbeelduitwerkingen geven een indicatie hoe dergelijke opgaven kunnen worden aangepakt. Vaak zijn echter ook andere uitwerkingen mogelijk. Let wel: bij de rekentoets 3S zelf zullen van de opgaven alleen de antwoorden worden gevraagd.
De beide documenten kunnen gedownload worden van de SLO-website:
http://www.slo.nl/rekentoets3s
Meer achtergronden over de rekentoetsen, in het bijzonder ook over de rekentoetsen 2F en 3F, vind u hier:
http://staff.science.uva.nl/~craats/#rekentoetsen
Op rekentoetswijzer3S at slo.nl kunnen belangstellenden tot uiterlijk 15 oktober 2012 terugkoppeling over dit concept geven. Reacties worden zeer op prijs gesteld, in het bijzonder met betrekking tot keuzes die de commissie heeft gemaakt.
Naast deze ‘internetveldraadpleging’ zal er in de eerste helft van oktober ook een veldraadplegingsbijeenkomst worden georganiseerd. Details hierover worden later bekendgemaakt.
De resultaten van de internetraadpleging en de veldraadpleging verwerkt de rekentoetswijzercommissie in de eindversie van de rekentoetswijzer, die naar verwachting in november aan de minister zal worden aangeboden.
bron: Jan van de Craats
Rekentoetswijzercommissie 3S (12 september 2012). Concept-rekentoetswijzer pdf (zie de box hierboven)
“Op het adres rekentoetswijzer3S@slo.nl kunnen belangstellenden tot uiterlijk 15 oktober 2012 commentaar op dit concept geven. Reacties worden zeer op prijs gesteld, in het bijzonder met betrekking tot keuzes die de commissie heeft gemaakt.”
Ik zal de commissie zeker op basis van de hierna volgende annotaties een commentaar op deze concept-rekentoetswijzer geven, met weglating van de meeste detailopmerkingen. De strekking ervan kan ik nu al wel aangeven:
2.1 Algemene uitgangspunten
De rekentoetswijzercommissie hanteert de volgende algemene uitgangspunten:
Ad uitgangspunt 3; dit is het beginsel van transparantie van A. D. de Groot pdf. Prima. Hieruit volgt tevens uitgangspunt 1.
Implicatie 1: op de rekentoets-3S is de gemiddelde prestatie van gymnasiasten gelijk aan die van de overige vwo-ers; idem die van meisjes gelijk aan die van jongens; idem die groep die eens heeftgedoubleerd gelijk aan de overigen.
Ter toelichting op dat laatste. Het betekent natuurlijk niet dat voor deze jongelui de totale studietijd gemoeid met rekenen gelijk is. Integendeel, de bedoeling is juist dat het in beginsel voor iedereen goed mogelijk is om zich tot een ruim voldoende niveau van beheersing voor te bereiden, de een zal dan heel wat meer tijd nodig hebben dan de ander. Het bijzondere voor deze rekentoets is dat er een poging wordt gedaan om een absoluut niveau van minimaal voldoende beheersing vast te leggen en vast te houden doorheen de jaren. Daarvoor is het wel noodzakelijk om de psychometrici van het Cito in de houdgreep te nemen: het gaat bij de rekentoets niet om het onderscheid maken tussen de prestaties van de leerlingen onderling, maar om het onderscheiden van de individuele prestaties en de gestelde norm. Voor wie dat bekend in de oren klinkt: een vorm van criterium-gerefereerd toetsen. In combinatie met denken in termen van studiestrategieën van studenten (tentamenmodel Van Naerssen, 1970, enz.).
Implicatie 2: de betrouwbaarheid van de rekentoets in de examensitatie neigt naar 0,00 (nul). Immers: wanneer leerlingen er inderdaad goed in slagen allemaal op een ruim voldoende niveau uit te komen, als ‘ware beheersing’ van het rekenen, dan zijn verschillen in behaalde scores vooral toevallig bepaald. Mogelijk is er een uitloop aan de bovenkant, waar leerlingen met een vrijwel perfecte beheersing zich kunnen onderscheiden van de rest, maar daarin ligt geen doel van de rekentoets.
Ad uitgangspunt 2: De precieze betekenis hiervan hangt af van de uitwerking die de commissie eraan geeft. Het helpt in ieder geval om tegen te gaan dat de rekentoets onbedoeld ook verschillen in intelligentie test.
De commissie sluit, volgens de opdracht, aan bij het ‘rekenrapport’ van de commissie Meijerink pdf. De commissie Meijerink (zijn werkgroep-Van Streun volgend) maakt onderscheid tussen het gebruiken van rekenvaardigheid in praktische situaties (ongelukkigerwijs ‘functioneel rekenen’ genoemd) en rekenvaardigheid op zichzelf (ongelukkigerwijs ‘formaliseren, generaliseren en abstraheren’ genoemd). De stelling laat zich goed verdedigen dat hier sprake is van een meervoudige misvatting. Het rekenen, hoe dat ook wordt bekeken, berust op abstracte regels die niet ter plekke worden uitgevonden, maar in het onderwijs zijn aangeboden en door en door geoefend (anders dan op veel plekken in de VS, is ons rekenonderwijs sinds jaar en dag gericht op oefenen-met-begrip, niet mechanistisch; voor de VS, zie publicaties van Stigler). Het niveau F van de commissie-Meijerink en van de rekentoetswijzer-2F en -3F beoogt rekenen te toetsen in ‘nieuwe’ situaties die als zodanig de leerlingen voor een transfer-probleem plaatsen. Het niveau 3S beoogt volgens de formulering van de commissie-Meijerink het opnieuw uitvinden van wiskunde, wat natuurlijk van de gekke is. Redelijkerwijs moeten we toch aannemen dat het niveau S niet bedoelt het formaliseren, generaliseren en abstraheren als zodanig, maar het vaardig kunnen omgaan met de abstracties van het rekenen. Dat is iets anders. [Toen ik dit opschreef, was nog niet tot mij doorgedrongen dat ook de rekentoets-3S contextopgaven bevat, en niet zo’n klein beetje]
Het niveau F van de commissie Meijerink is, bij dezelfde rekenregels, dus moeilijker dan het niveau S [althans, als dat beperkt blijft tot de kern: contextloze opgaven].
Het geschetste probleem is ontstaan op basis van een aantal voor de hand liggende maar desalniettemin onjuiste ideeën bij de vormgevers van het realistisch rekenen in ons land.
Allereerst is dat het idee dat leren rekenen gebeurt door vanuit concrete situaties en voorbeelden de algemene regels te abstraheren (niveautheorieën zoals die van Piaget, Van Hiele en Freudenthal). De concrete situaties zijn in deze gedachtengang primair, de abstracties en de formalismen secundair. Rekenopgaven in de vorm van probleemsituaties, vroeger redactiesommen genoemd en tegenwoordig contextopgaven, worden dan al gauw gezien als makkelijker dan kale sommen. Het probleem is echter dat menselijk leren in de omgekeerde richting gaat: van algemene regels (abstracte regels) naar meer specifieke regels die passen bij specifieke situaties (concreet of niet). (Ohlsson, 2011)
Vervolgens is dat het idee dat er buiten het leren rekenen als zodanig een transfer-probleem is: hoewel rekenvaardig, wordt die vaardigheid niet vanzelfsprekend gebruikt in nieuwe situaties. Hier geeft ook de psychologische literatuur aan dat dit transfer-probleem een taai probleem is. Sterker nog: het lijkt maar niet te lukken er theoretisch greep op te krijgen. Maar toch is ook hier een ontwikkeling gaande die licht in de transfer-duisternis kan brengen. In de brede leertheorie van Stellan Ohlsson (2011 zie hier) verdwijnt het transfer-probleem als zodanig, omdat leren zelf al een kwestie van transfer kan zijn: het vinden van een verbijzondering van aanwezige kennis om deze toepasselijk te maken op aangetroffen nieuwe situaties. Het volstaat voor de bespreking van de thematiek van niveaus F versus S om te concluderen dat nieuwe situaties — contexten — leerlingen voor een leeropgave plaatsen, en ze dus de gelegenheid moeten hebben om te leren: om de abstracte regels die ze al beheersen, te verbijzonderen naar de situatie waar ze nu voor zijn gesteld. Op zich volgt hier niet uit dat contextopgaven niet in afsluitende toetsen thuishoren, maar er gaat wel een rode vlag in top.
De rekentoets 3S onderscheidt zich van de rekentoets 3F door:
Beide toetsen bevatten opgaven die een beroep doen op algemene rekenvaardigheden, zoals het organiseren van berekeningen, strategisch werken en kwalitatief rekenen zoals schattend rekenen.
Ik ben niet gelukkig met deze omschrijving van ‘algemene’ rekenvaardigheid: juist wat de essentie is van rekenvaardigheid valt erbuiten.
Ik mis in bovenstaande kenschets van het onderscheid tussen rekentoets-3F en -3S de rekenprocedures: de rekentoetswijzercommissie-Schmidt heeft rekenprocedures — zeg maar gewoon: algoritmen — expliciet buiten de toets-3F gehouden; de rekentoets-3S gaat expliciet juist wél over de beheersing van rekenalgoritmen. Vandaar ook des te verwonderlijker dat de commissie-Van de Craats — kennelijk een nipte meerderheid van de commissie — toch heeft gekozen voor de gekkigheid om voor een aantal opgaven het gebruik van een rekenmachine toe te staan.
Niet alle hieronder genoemde rekenvaardigheden kunnen in de rekentoets worden getoetst. Het betreft daarbij onder andere de in paragraaf 3.2 beschreven vormen van hoofdrekenen, die als parate kennis onmisbaar zijn bij het rekenen met pen en papier.
ik wil dit toch wel preciezer geformuleerd zien. Natuurlijk moet het hoofdrekenen worden getoetst, en natuurlijk gebeurt dat middels het complexere rekenen in de gestelde opgaven. Onder deze formulering zijn er onmiddellijk twee problemen helder:
1). Gebruik van een rekenmachine doorkruist dit impliciete toetsen van hoofdrekenen.
2) De tijdslimiet voor de toets moet zodanig zijn afgesteld dat er ruime tijd beschikbaar is voor wie het hoofdrekenen beheerst (geen rekenmachine hier).
Wat is dan die vaardigheid van het hoofdrekenen? Volgens de commissie:
Leerlingen kunnen vlot en zonder enige aarzeling de volgende berekeningen uit het hoofd uitvoeren; [volgen voorbeelden a t/m h]
Ook deze formulering is voor aanscherping vatbaar. Immers, een aantal van de opgesomde hoofdrekenvaardigheden mogen/moeten worden verondersteld voldoende geautomatiseerd te zijn dat leerlingen het weten, in plaats van het zonder aarzeling nog wel te moeten uitrekenen. Mogelijk is er bij de commissie onzekerheid over wat precies ‘geautomatiseerde kennis’ is: de framing door sommige leden van de Freudenthal-groep is immers dat geautomatiseerde kennis verkregen zou zijn door dom stampwerk, terwijl in de oudere literatuur door Adri Treffers voortreffelijk is aangegeven dat geautomatiseerde kennis ontstaat uit veel doen. (autorijden, drummen, rekenen)
Leerlingen kunnen vlot de rekenprocedures voor optellen t/m delen uitvoeren [3.2.4.2]. Merk op dat de commissie hier niet schrijft dat standaardalgoritmen beheerst moeten worden, maar daar komt het natuurlijk wel op neer (onder de aantekening dat ook standaardalgoritmen tal van variaties kennen).
Domeinoverstijgende algemene rekenvaardigheden [3.4]: dit is riskant terrein: is dit nog rekenen, of gaat het hier (ook) om andere vaardigheden? Ik merk op dat de commissie-Van de Craats een terughoudender formulering kiest dan de commissie-Schmidt (2F en 3F) heeft gedaan: de laatste heeft gekozen voor een vier-stappenplan voor probleemoplossen, de eerste vraagt wel om inzichtelijk redeneren, maar niet om het oplossen van problemen. Ik ben benieuwd naar de voorbeeldopgaven.
4.1.1 Rekenen met gehele getallen.
Dit vraagt, mag ik aannemen, naar het correct uitvoeren van rekenprocedures (algoritmen). Prima. De kern van wat rekenen is.
4.1.2 Rekenen met kommagetallen.
Dezelfde rekenprocedures, maar nu in de gespecialiseerde vorm met kommagetallen.
4.1.3 Rekenen met breuken.
Breuken vergen specifieke rekenprocedures, waarbij een goed getalbegrip (incl. getalbegrip voor breuken) en hoofdrekenvaardigheid voorwaarden zijn.
4.2 Contextopgaven zonder rekenmachine.
Ik ben hier verbaasd over. Waarom contextopgaven? Op welke manier toetsen deze opgaven de rekenvaardigheid? Ieder type heet ‘rekenen’, maar stelt het rekenen wel iets voor?
Waarom bij contextopgaven, als die dan zo belangrijk zijn, niet volstaan met te vragen om er een kale som van te maken? Die vervolgens niet hoeft te worden uitgerekend.
De contexten zijn volstrekt gekunsteld. Bijvoorbeeld ook type 3: niet gekunsteld voor een verpleegkundige, maar wel voor een vwo-scholier. Hoort bij een ander vak: verpleegkunde. (De strekking van de opdracht van OCW aan de commissie is toch dat de rekentoets niet moet overlappen met andere vakken?)
Bijvoorbeeld type 4: gekunsteld; het gaat er immers om welke kandidaten de meeste stemmen behaalden, niet hoeveel procent dat is (behalve wanneer dat >50% is).
Type 5 is absurd gekunsteld.
Type 6 is oké.
Type 7 hoort bij een ander vak: astronomie.
Dat een enkel type wat gekunsteld of onhandig uitvalt, oké. Maar hier gaat de hele reeks, m.u.v. #^, voor de bijl. Wat zegt dat over de haalbaarheid van een toets met behoorlijke ’contextopgaven’?
Ik vraag mij af in hoeverre contextopgaven zoals deze in sectie 4.2 voldoen aan uitgangspunt #3 van de commissie (transparantie). Het gaat hier immers toch de kant op van mede toetsen op intellectuele capaciteiten: de voorspelling is dan dat ondanks uitgangspunten 1 en 3 van de commissie, die immers eisen dat gymnasiasten niet beter zullen scoren dan overige vwo-ers, er gemiddeld door gymnasiasten een betere prestatie zal worden geleverd dan door overige vwo-ers; door jongere leerlingen (niet gedoubleerd) een betere prestatie dan door oudere leerlingen (een of meerdere keren gedoubleerd).
4.3 Contextopgaven met rekenmachine.
Hier gaan we het dus meemaken dat het CvE wil laten zien het gelijk aan zijn kant te hebben, met de stelling dat zonder rekenmachine er in de eindexamens niet voldoende behoorlijke opgaven vallen te ontwerpen (advies aan de minister van OCW i.v.m. de motie Dijkgraaf/Van der Ham, april 2012)
Type 1. Inderdaad complexer. Ik zit erop te puzzelen, wat de bedoeling is: exact uitrekenen (want die rekenmachine is toch niet voor niets beschikbaar?), of schatten? Hoort schatten ook tot de te toetsen rekenvaardigheid? Of is de uitnodiging om te schatten een uitnodiging om fouten te maken? Ik neig tot het laatste. Een strikvraag. Ik ga aan de kritische kant zitten. De aangeboden keuzealternatieven maken natuurlijk duidelijk wat er wordt gevraagd, en dat is kennelijk een soort schatting, niet een exacte (afgeronde) uitkomst (met decimale baby’s) (dat begrijp ik ook wel weer). Wat een gedoe, met die contexten.
Type 2. Veel te veel irrelevante tekst. Afgekeurd. Is het echt de bedoeling van de commissie dat de rekentoets-3S tevens een toets begrijpend lezen is? Dat is toch een ander vak? Dit gaat echt mis, Jan.
Type 3. Deze vraag is dubbelzinnig. Dat heb je al gauw met procentvragen (verkiezingsuitslagen bij de NOS: die percentages zijn onnavolgbaar)
Type 4. Een half krantenartikel. Engelse voeten? De tekst is onhandig: er wordt gevraagd iets uit te rekenen dat juist al is gegeven. En dan moet je die voeten afronden op hele meters. Een leerling met Nederlands als tweede taal kan hier zijn nek op breken.
Type 5 en 6: moet toch zonder al die tekst kunnen.
Ik heb nergens gezien dat er een rekenmachine nodig is. Ook niet met de lastige getallen in deze opgaven. Wat moet die rekenmachine hier dan? Moeten leerlingen hun kladpapier ook inleveren? Zou ik wel eisen.
Ik ben benieuwd of de verdere voorbeeldopgaven mijn negatieve indruk over de contextopgaven kunnen verzachten. Mijn troost voorlopig: ik heb godzijdank geen afbeeldingen bij opgaven gezien. Evenmin absurde tabelletjes en grafieken.
Die contextopgaven zitten me behoorlijk dwars. Het zijn in ieder geval bronnen van toetsellende (door de taligheid, door de gekunsteldheid, omdat ze waarschijnlijk complexer zijn dan de ontwerpers ervan denken, door de vele leestijd die ze vergen). Belangrijker dan de gewone toetsellende die uit contextvragen voorvloeit is het gegeven dat contextvragen ongelooflijk kostbaar zijn om te ontwikkelen, zodat vervolgens een groot ethisch probleem ontstaat door de druk om de gestelde vragen dan ook geheim te houden zodat ze nog een keer kunnen worden gebruikt. Dit is een heilloos pad, voor toetsen die zulke zware consequenties kunnen hebben voor individuele leerlingen.
Ik word met deze uitwerking van de commissie-Van de Craats teruggeworpen op de vraag wat dit type contextopgaven (woordproblemen, word problems, redactiesommen, ingeklede vergelijkingen) eigenlijk heeft te maken met rekenonderwijs en met toetsing van rekenvaardigheid. (Zie ook http://benwilbrink.nl/literature/understanding_problems.htm en http://benwilbrink.nl/projecten/contexten.htm; vergeet de taligheids-thematiek niet: http://www.benwilbrink.nl/projecten/tekstbegrip.htm) De vraag dus ook in hoeverre dergelijke contextopgaven eerder verschillen in intellectuele capaciteiten toetsen, dan verschillen in rekenvaardigheid. Vanzelfsprekend hoort het toetsen op verschillen in intellectuele capaciteiten niet thuis in Nederlandse eindexamens; en wie vindt dat dat juist wél zou moeten, die moet dan maar voorstellen (OCW, de Tweede Kamer) om naast inhoudelijke examens ook een behoorlijke intelligentietest onderdeel te laten zijn van de eindexamens.
Ik blader door Van de Craats en Bosch (Basisboek rekenen): geen redactiesommen.
Deze contextopgaven-3S hebben weinig tot niets te maken met wat het vervolgonderwijs aan rekenvaardigheid verlangt. Op dat validiteitsargument gaat de toets 3S dus onderuit, maar gelukkig slechts gedeeltelijk. Interessant is de rekentoets verpleegkunde, artikel in Examens augustus 2012 (Lampe en anderen). Een interessant argument is: stel dat een belangrijke groep vwo-ers verpleegkunde gaat studeren, zijn hun scores op de contextopgaven dan voorspellend voor hun latere scores op de contextopgaven van de rekentoets verpleegkunde, gecorrigeerd voor verschillen in intelligentie (laat een intelligentietest meelopen in het onderzoek)? Ik vraag het u af (Sonneveld).
Bij de toetswijzer 3S gaat het, afgezien van niet wezenlijke details, om het volgende:
- Die rekenmachine hoort geen plek te hebben. Dat is simpel. Wie daar toch voor pleit, moet eerst maar eens een verklaring afleggen geen enkel belang te hebben bij de industrie.
- Er is een blok contextloze rekenopgaven. Mijns inziens is dat de kern van wat een rekentoets moet zijn, en ik zie er helemaal niets mis mee. Dit is de rekenbasis voor vervolgtrajecten naar het HO. Het is zeker ook de rekenbasis voor vele opleidingen in het MBO. Dankzij dit stevige rekenblok, zal het straks mogelijk zijn om te laten zien hoe de contextopgaven en de rekenmachine als stoorzenders en dwaallichten functioneren in de rekentoets.
- De contextopgaven zijn in hoge mate problematisch, en wel om een reeks van belangrijke redenen (ik noem er een aantal in de de volgende alinea).
- Daarnaast zijn er belangrijke kwesties waar de commissie niet direct over gaat, maar OCW, de Tweede Kamer, en de rest van Nederland natuurlijk wel. Zoals daar zijn: de enorme kosten van een toets mét contextopgaven, vergeleken met een toets zónder contextopgaven; de beperkte en waarschijnlijk zelfs geheel afwezige toegevoegde waarde van die contextopgaven in termen van validiteit (een vaag begrip, ook al is dit het ultieme belang van toets en test); de beperkte voorbereidbaarheid (gebrek aan transparantie); het mede testen van verschillen in intellectuele capaciteiten; waarschijnlijk de consequentie dat er grote druk zal staan op het geheim houden van afgenomen toetsen, en dus op de mogelijkheden voor studenten om kwaliteitsgebreken in hun toets aan te vechten.
Rekentoetswijzercommissie 3S (september 2012). Voorbeelduitwerkingen bij de Concept-rekentoetswijzer 3S. Servicedocument. pdf (zie de box hierboven)
Ik verwacht niet dat de voorbeelduitwerkingen nog belangrijke informatie toevoegen aan de informatie in de concept-rekentoetswijzer zelf. Ik moet deze voorbeelduitwerkingen nog doornemen.
Henk Pfaltzgraff (11 september 2012). De rekentoets is niet valide. WiskundE-brief 607
Gerard Koolstra (2 september 2012). De voorbeeldtoets 3F nader bekeken. WiskundE-brief 606
Servicedocument voor het vo bij het Besluit van 23 april 2012 tot wijziging van het Eindexamenbesluit VO, het Staatsexamenbesluit VO en het Examen- en kwalificatiebesluit WEB, zoals dat op 22 mei 2012 in het Staatsblad is gepubliceerd (Stb. 2012 -217). html
D. T. Tempelaar, B. Rienties, W. Kaper, B. Giesbers, L. van Gastel, E. van de Vrie, H. van der Kooij, en H. Cuypers (2011). Effectiviteit van facultatief aansluitonderwijs wiskunde in de transitie van voortgezet naar hoger onderwijs. Pedagogische Studiën, 88, 231-248. vermelding [nog niet bestudeerd]
James W. Stigler, Karen B. Givvin, and Belinda J. Thompson (2010). What community college developmental mathematics students understand about mathematics. draft
NB: dit onderzoek gaat over leerlingen in het lage spectrum van
abstract The nation is facing a crisis in its community colleges: more and more students are attending community colleges, but most of them are not prepared for college-level work. The problem may be most dire in mathematics. ...We know from international studies that U.S. mathematics education is mediocre at best when compared with other industrialized nations. But the fact that community college students, most of whom graduate from U.S. high schools, are not able to perform basic arithmetic, pre-algebra and algebra, shows the real cost of our failure to teach mathematics in a deep and meaningful way in our elementary, middle and high schools. Although our focus here is on the community college students, it is important to acknowledge that the methods used to teach mathematics in K-12 schools are not succeeding, and that the limitations of students' mathematical proficiency are cumulative and increasingly obvious over time.
Anne R. Fitzpatrick (1983). The Meaning of Content Validity. Applied Psychological Measurement 7, 3-13.abstract
=============================================================
De rekentoetsen, het nieuwe derde onderdeel van de eindexamens vanaf 2014, dreigen het examenstelsel in zijn voegen te laten kraken. Wilbrink en Hulshof (2011) stelden hier de uitwerking van de rekentoetsen (commissie-Schmidt) aan de orde als in meerdere opzichten problematisch — wettelijk, wiskundig en toetstechnisch. OCW zag reden om althans voor het VWO alsnog een rekentoets 3S te laten uitwerken (commissie-Van de Craats) als mogelijk alternatief voor de toets 3F (er komt nog een veldraadpleging). Ondertussen zijn de eerste resultaten van de pilots binnen (brief van de minister 8 juni). De pilottoetsen zijn geheim, maar het Cito heeft voorbeeldtoetsen 2F en 3F vrijgegeven. Er is alle reden om betrouwbaarheid en validiteit van deze rekentoetsopgaven ter discussie te stellen, zoals onze analyse in 2011 al deed vermoeden. Een wedren die naar een afgrond voert, kan maar beter tijdig stoppen.
In hoog tempo gaat de invoering van rekentoetsen bij de eindexamens door: in 2013 kunnen vmbo-leerlingen in het voorlaatste jaar al hun rekentoets voor het eindexamen afleggen. Op 8 juni jl. werden de eerste resultaten bekend van de proefafnamen op een groot aantal scholen, waaruit bleek dat zeer veel leerlingen in eindexamenklassen daarvoor onvoldoendes halen. De minister van onderwijs is hier hard geconfronteerd met de resultaten van een politiek beleid dat van incident naar incident hobbelt zonder ooit serieus onderzoek te doen naar de onderliggende oorzaken van de ingezakte rekenprestaties van Nederlandse leerlingen: de falende didactiek van het realistisch rekenen. Is dat dan niet onderzocht door de KNAW-commissie over het rekenonderwijs? Nee, althans niet in het eindrapport. Is dat dan niet aan de orde gesteld door de commissie-Meijerink? Nee, maar zie het ‘Zwartboek rekenonderwijs’van Van de Craats (lid van de commissie). Is dat dan niet aan de orde geweest bij de kamerbehandeling van de Wet referentieniveaus Nederlandse taal en rekenen, 31 maart 2010? Nee. Is dat dan niet aan de orde geweest bij de commissie-Schmidt ter voorbereiding van de rekentoetsen? Nee, al werd de commissie wel geconfronteerd met deze kritiek (zie Wilbrink & Hulshof, 2011). De ‘harde confrontatie’is als volgt te begrijpen. De minister heeft zich op het standpunt gesteld dat de rekentoetsen deel gaan uitmaken van de kernvakkenregel, en dat er maar een enkele herkansing mogelijk is voor wie een onvoldoende haalt. De minister heeft geaccepteerd dat de rekentoets bestaat uit intelligentietest-achtige opgaven, en dat de grenzen voor een voldoende resultaat zijn gekozen door een panel van experts. Nu blijkt een en ander tot forse percentages onvoldoendes te leiden, zonder geruststellend uitzicht op goede mogelijkheden om in het onderwijs doeltreffend aan de nodige rekenvaardigheid te kunnen werken. Het zal toch niet gebeuren dat er straks nogal wat leerlingen voor hun eindexamen zakken alleen omdat zij de rekentoets in twee gelegenheden niet voldoende konden maken (de aanhoudende zorg van de regering voor het onderwijs schiet dan tekort). Kortom, er is reden om nogmaals een rekentoets tegen het licht te houden, ditmaal de voorbeeldrekentoets 3F zoals vrijgegeven door Cito/CvE.
Het kan niet zo zijn dat kritische vragen over de validiteit van deze rekentoets afketsen op het wettelijke gegeven van de referentieniveaus rekenen: als hier de bron ligt van validiteitsproblemen in de toets, dan staan die referentieniveaus zelf ook ter discussie. Denk dan aan de vraag of ‘functioneel rekenen’wel rekenen is, en waarom bijvoorbeeld breuken een ondergewaardeerde plek hebben.
Wilbrink & Hulshof (2011) hebben een reeks argumenten gegeven waarom de kwaliteit van de rekentoetsen van de commissie-Schmidt onder de maat is. We zijn een jaar verder en er zijn nu rekentoetsen waar het Cito en CvE voor tekenen; in dit artikel gaan we uit van de voorbeeldrekentoets 3F (Cito, 2012). Deze toets geeft aanleiding om eerst de argumenten uit 2011 kort te actualiseren. Daarna afzonderlijke aandacht voor de plaats van de deze rekentoets in het onderwijs (is het wel een rekentoets?), terwijl recent onderzoek van Siegler en de zijnen (in druk) van belang is voor de relatie tussen vaardigheid in breuken (en delen) met latere wiskundeprestaties. De rekenmachine zien we zeker niet over het hoofd. In de box enkele voorbeelden van rekentoetsopgaven.
[Hier reproductie in een box, van de vragen 6, 11, 12, 16, 27, en 7 (de laatste drie: zonder rekenmachine) uit de voorbeeldrekentoets 3F van het Cito][mogelijk vraag 47 en 48]
Vraag 6: Waarom niet zonder rekenmachine, en dan bijvoorbeeld:
Dit jaar is de premie voor een verzekering € 360.
Dat is € 120 hoger dan vorig jaar.
Hoeveel procent is de premie het afgelopen jaar gestegen?
Vraag 11: Dit is een verhoudingssom, een moeilijk maar wel belangrijk domein.
De meeste sommen van deze soort zijn intelligentiesommen. Deze ook dus.
Deze som is te moeilijk, ook al omdat er zoveel overbodige gegevens in staan.
De berekening 9x252/28 mag met de RM, maar daar zit nou juist een mooie staartdeling in.
Je zou hem op niveau 3S mogen vragen, zonder RM, maar het is zeker dat er maar weinig leerlingen uitkomen.
In de vraag moet ‘favoriete sport’meervoud zijn; de vraag naar de hoeveelheid kan in goed Nedelands ook met het percentage worden beantwoord.
Vraag 12: Antwoord: (35 / (365/2)) / 4 = (ong) 0,0479 dus 4,8 cent. Maar . . . Wat wordt hier eigenlijk getoetst?
Lezen en kijken? En dan staan er allerlei gegevens (15 x 0,25 liter?) die je niet nodig hebt.
De directe reden voor de maatregelen voor het rekenonderwijs is de grote terugval in basisvaardigvaardigheden, zoals geconstateerd in de PPON 2004. Er is ondertussen meer onderzoek over gedaan (Hickendorff, 2011), goed bekend op het Cito, maar de voorbeeldrekentoets 3F laat niet zien dat daar ook maar enige les uit is getrokken: serieus rekenen is in de toets 3F niet aan de orde. Ook nu geen vragen naar een specifieke rekenprocedure, zoals de commissie-Schmidt al aangaf (ook in de definitieve Rekentoetswijzer 3F). Het signaal dat de overheid — het CvE — hiermee afgeeft aan het VO en MBO is daarom nog steeds dat basale rekenvaardigheid niet van belang zou zijn als voorbereiding op de rekentoetsen. Het is overigens niet onwaarschijnlijk dat de beste voorbereiding op deze toets 3F bestaat uit gewoon rekenonderwijs (Van de Craats & Bosch, 2009; Pfaltzgraff, 2009), en juist niet uit het oefenen op rekenopgaven zoals in deze toets 3F. Maar dit laatste is een empirische kwestie, en moet empirisch worden getoetst.
De toets 3F gaat uit van de referentieniveaus rekenen. Dat is de wet, dat verbaast niet. Maar deugen die referentieniveaus wel? Ze zijn omstreden, omdat vooral de F-niveaus het stempel dragen van een specifieke rekenideologie, zie bijvoorbeeld het weelderige gebruik van contexten. Waarom zou het CvE, de verantwoordelijke instantie, die referentieniveaus zonder meer volgen? Immers, voor het toestaan van gebruik van de rekenmachine gaat het CvE lijnrecht in tegen de opvatting van de minister en de Tweede Kamer (zie de Handelingen van 31 maart 2010). Op het ene punt de wet wèl volgen, op het andere in strijd met de wet handelen? Als dat mogelijk is, dan kan het CvE kennelijk eigen afwegingen maken, en kunnen wij die afwegingen hier ter discussie stellen. Met de validiteit van toets 3F staat ook die van de referentieniveaus zelf ter discussie.
Was de voorbeeldtoets van de commissie-Schmidt nog alleen bedoeld om een idee te geven, die van het Cito is representatief voor wat de leerlingen mogen verwachten. Inclusief het ontwerp van de opgaven. Laten daar nu ook nog ernstige problemen mee zijn: taalfouten en het gebruik van afbeeldingen. Beide problemen dragen niet bij aan de betrouwbaarheid van deze rekentoets.
Dat rekenproblemen talig zouden moeten zijn, daar is stevige discussie over nodig. Maar als dan voor talige opgaven is gekozen, dan moet het Nederlands tenminste voldoen aan maatstaven die ook gelden voor de taalverzorging van eindexamenkandidaten. Vrijwel iedere talige opgave heeft een of meer talige gebreken. Deze komen dan nog bovenop de problemen die taligheid van zichzelf al heeft, bij rekenopgaven. Eigen (proefschrift-)onderzoek van het Cito lijkt geruststellend, maar een scriptieonderzoek van Van der Weegh (2005), onder supervisie van Paul Leseman en Hans van Luit, laat zien dat taalproblemen de uitkomsten van rekentoetsen sterk kunnen beïnvloeden. Ondanks alle beperkingen van een enkel scriptieonderzoek (maar deze kreeg de NVO-scriptieprijs 2006), zijn de uitkomsten onrustbarend.
Vanuit de opvatting om hier domeinoverstijgende vaardigheden te toetsen (Rekentoetswijzer 3F), lijkt het passend om afbeeldingen te gebruiken die relevante en/of irrelvante informatie bevatten. Maar de ontwerpers schaatsen hier op te dun ijs. Immers, in realistische rekenopgaven wordt van de leerlingen verwacht dat zij zelf nadenken, en alle beschikbare informatie serieus nemen. Gevraagd hoeveel auto’s er nodig zijn om een bepaald gezelschap te vervoeren, moeten zij met een geheel aantal op de proppen komen, niet met decimale auto’s. Het probleem is nu dat het moeilijk is om op dit punt rekenopgaven echt consistent te ontwerpen: de ene keer wordt verwacht (maar niet expliciet gevraagd) om informatie kritisch te lezen, de andere keer om dat juist niet te doen. Dan is er nog het probleempje dat het gedoe met afbeeldingen al gauw tot extra mentale belasting leidt; eveneens een bron van onbetrouwbaarheid.
Veel opgaven bestaan uit een stapeling van deelopgaven. Het valt niet in te zien wat, op het niveau 3F, hiervan de bedoeling is, anders dan het moeilijker maken van de opgaven om zo beter tussen leerlingen te differentiëren. Dat gebeurt dan waarschijnlijk wel door verschillen in intellectuele capaciteiten mee te meten, zoals verschillen in capaciteit van het werkgeheugen. Dat is oneigenlijk, en dus een storingsbron. Tegelijkertijd zijn gestapelde vragen ondoeltreffend omdat ze informatie weggooien, informatie die wel beschikbaar komt wanneer de vraag echt in afzonderlijke vragen wordt opgesplitst.
Het doel van alle aandacht voor rekenen is dat scholen hun verantwoordelijkheid voor goed rekenonderwijs en onderhoud van rekenvaardigheden oppakken. Daar past niet bij dat leerlingen worden gestraft voor prestaties die tweemaal onder een (relatieve?) cesuur liggen.
Het moet de leden van de Tweede Kamer bepaald zorgen baren om te zien hoe het Cito en CvE van deze rekentoets 3F een test hebben gemaakt die is gericht op het onderscheiden van prestaties van leerlingen, en niet van die van het gegeven onderwijs.
De vele ‘echte’contextopgaven — rekenopgaven in euro’s zijn ‘onechte’contextopgaven — zijn opgezet volgens een schema in Rekentoetswijzer 3F dat overigens bekend is als de heuristiek van Polya (1957, p. xiv) voor het oplossen van problemen: probleem snappen - oplossingsplan maken - plan uitvoeren - resultaat evalueren. De commissie-Schmidt noemt het geen probleemoplossen, maar domeinoverstijgende vaardigheden. Het label verandert natuurlijk niets aan de aard van de zaak. Probleemoplossen staat aan de top van de cognitieve vaardigheden, dus niet aan de basis, of we die nu 3F noemen of niet. De bijzondere situatie bij de meeste contextopgaven 3F is evenwel dat de probleemsituatie geen rekenkundige situatie is, maar een situatie uit het dagelijks leven. Aha. Bij Polya is de probleemsituatie altijd wiskundig, en wat er moet worden gesnapt is wiskunde. Bij deze toets 3F moet de leerling niet het rekenen, maar de dagelijkse situatie snappen. Het is natuurlijk niet een messcherpe demarcatie, maar het onderscheid doet vermoeden dat deze contextopgaven 3F testen op verschillen in intelligentie en wereldkennis. Het is aan het Cito en CvE om onomstotelijk duidelijk te maken dat deze toets 3F toetst of de rekenvaarigheid op peil is, en NIET op individuele verschillen in intelligentie. Dat zal nog een hele klus worden, omdat de proefafnamen 2F en 3F in maart 2012 hebben laten zien dat er aanzienlijke verschillen zijn in resultaten van bijvoorbeeld havisten en vwo-ers op dezelfde toets 3F. Zo’n resultaat doet vrezen dat gerichte voorbereiding op deze rekentoets niet optimaal mogelijk is. In beginsel moeten gemiddelde en standaarddeviatie op de toets 3F voor havo en vwo gelijk zijn omdat verschillen in intelligentie zijn geabsorbeerd in verschillende voorbereidingstijden voor dit rekenexamen. Zo niet, dan is er in de mate waarin er verschillen zijn sprake van een intelligentietest. Bij de pilots is er nauwelijks sprake geweest van gerichte voorbereiding, zodat de geconstateerde verschillen waarschijnlijk die in intelligentie weerspiegelen.
In de vijftiger jaren was men minder besmuikt over de bedoelingen om verschillen in intelligentie te meten: zie wat Turkstra (1957) schrijft, en zie vooral zijn empirische gegevens van leerlingen in een vijftal eerste klassen: hoge cijfers voor technisch rekenen, minder hoge cijfers met bovendien een forse spreiding voor de rekentest die bedoeld is intelligentie te testen. Een dergelijk resultaat valt ook te verwachten bij vergelijking van prestaties op rekentoets 3F met een rekentoets die alleen uit de equivalente kale sommen bestaat; is dat onderzoek al eens gedaan?
En dan zijn er in deze rekentoets, zoals ook in andere rekentoetsen van het Cito, opgaven die er uit zien als opgaven die zo uit een intelligentiest zijn weggehaald: aanvullen van rijtjes, patronen, ruimtelijk inzicht. Wat er uit ziet als, gedraagt zich waarschijnlijk ook ook zo. Deze vragen horen niet thuis in een rekentoets. Langs een andere weg is dat ook aan te geven. Rekenen is een onderdeel van de wiskunde, en in beginsel gaat het dan om een strak systeem van betekenissen, afspraken en regels. Een vraag als #48 in Rekentoets 3F — tel het aantal blokjes in de afbeelding — is dus geen wiskunde: onzichtbare blokjes zijn niet telbaar, omdat je niet eens kunt weten of ze er zijn. Wiskunde is geen giswerk, wiskunde is precies. Zo gaat dat ook met aan te vullen reeksen (van cijfers of patronen): dat test abstract redeneervermogen, maar geen rekenvaardigheid. Milgram (2007, p. 39) behandelt het herkenbare geval van de ‘reeks’3, 8, 15, 24, . . . . . Er is een oneindig aantal wiskundige voortzettingen mogelijk, welke moet de arme leerling dan kiezen? Dit is inderdaad geen wiskunde. Milgram constateert dat Amerikaanse gestandaardiseerde rekentoetsen een relatief groot aantal niet-wiskundige vragen bevatten. Te vrezen valt dat voor de rekentoetsen van het Cito dat eveneens het geval is.
Opvallend afwezig in de rekentoets: breuken. Er is nauwelijks een breuk te bekennen in toets 3F. Terwijl het hier toch gaat om een voorwaarde voor vruchtbare deelname aan wiskundeonderwijs. Een wijsneus kan opmerken dat ten tijde van het eindexamen dat wiskundeonderwijs toch al achter de rug is, maar dat is niet het punt. Zijn er empirische aanwijzingen dat beheersing van de breuken een voorwaarde is voor later wiskundeonderwijs? Analytisch is dat wel duidelijk, althans voor wiskundigen, al wordt er in het rekenonderwijs niet naar gehandeld. Dat empirisch onderzoek is er nu: Siegler, Duncan, Davis-Kean en anderen (in druk). Zij laten zien, aan de hand van data uit Amerikaanse en Engelse cohortstudies, dat vaardigheid in breuken en in delen voorspellend is voor latere prestaties wiskunde, ook na correctie voor onderliggende verschillen in intelligentie en gezinsachtergrond. Pas op: het gaat hier om vaardigheid in breukrekenen, niet om ‘functioneel rekenen’met breuken. Vaardigheid in breukrekenen gaat vooral om standaardbewerkingen, maar standaardbewerkingen zijn uit de rekentoets 3F weggeschreven (de Rekentoetswijzer 3F volgend).
Hier blijkt weer eens het belang van empirisch onderzoek om opheldering te verschaffen over de juistheid van uitgesproken rekenopvattingen. De referentieniveaus zijn bedoeld om doorlopende leerlijnen te creëren, maar hier is er dus een voorbeeld van een ten onrechte doodlopende leerlijn van PO naar VO, en opnieuw van VO naar HO. Het is een buitengewoon ernstig probleem, omdat het waarschijnlijk zo is dat leerlingen die geen breukenvaardigheid hebben, afgeschrikt zullen worden door wiskunde, en dat vak als het even kan dan links zullen laten liggen. Verwaarlozing van het breukenonderwijs leidt hier dus tot kostbare inperking van de onderwijskansen van veel leerlingen, ook van de betere leerlingen.
Het zal niemand ontgaan zijn dat bij verreweg de meeste rekenopgaven een rekenmachine mag worden gebruikt. Opvallend is tevens dat voor veel opgaven de getallen opzettelijk zó zijn gekozen dat die rekenmachine eigenlijk ook wel nodig is, en dat er geen enkele opgave is waarvoor de rekenmachine bij een geschikte keuze van getallen onmisbaar is.
Minister Marja van Bijsterveldt meent dat de bevoegdheid om gebruik van een rekenmachine toe te staan bij eindexamens in handen ligt van het CvE. Het CvE zegt (advies, 2012) “Zonder rekenmachine is het niet meer mogelijk vragen in een realistische context te stellen en wordt het moeilijk om tot variatie in opgaven te komen (het aantal ‘kloppende’wiskundeopgaven met nette getallen is heel beperkt).” Driewerf nonsens. Het CvE is ronduit misleidend in zijn advies waar het stelt: “In de rekentoets is klip en klaar dat het van belang is de rekenvaardigheid uit te diepen, en is ook zichtbaar dat daarbij hoort dat ook zonder rekenmachine moet kunnen worden gerekend.” Omdit dit klip en klaar is, quod non, is er volgens het CvE temeer reden de rekenmachine in de (overige) eindexamens te handhaven, anders zou dat de onderwijskwaliteit op termijn aantasten. Zo gaan die zaken.
Wel of niet gebruik van een rekenmachine toestaan maakt natuurlijk verschil in de uitkomsten. Bij individuele uitkomsten weten we niet eens of en zo ja hoe vaak de leerling naar de rekenmachine heeft gegrepen, en weten we dus niet in hoeverre er inderdaad is gerekend. Voor een psychometricus is dit een onverteerbare zaak, want zolang er geen experimenteel bewijs is dat ‘het niet uitmaakt’, moeten we aannemen dat het wel degelijk uitmaakt. Ik citeer Loveless (2004), zoals aangehaald in CDSMC (2005):
De claim van TIMSS is dat het niet zou uitmaken of de leerling een rekenmachine mag gebruiken (Buijs & Tolboom, 2012 SLO). Zie in de bijlagen van dat SLO-rapport de standpunten van enkele critici van gebruik van de rekenmachine: Lenstra (KNAW-commissie rekenonderwijs), Van de Craats (Resonansgroep Wiskunde), Tijms (Stichting Goed Rekenonderwijs). De rekenmachine toelaten in de toets staat gelijk aan een uitnodiging aan het onderwijs en de leerlingen om rekenenvaardigheid bij te houden met de rekenmachine. Een contradictio in terminis.
Terug naar waar het allemaal om te doen is: de basisvaardigheden rekenen zijn niet op orde bij 12-jarigen (PPON 2004) en evenmin bij eindexamenkandidaten in het VO (overgangen naar MBO, HO). Evenals bij taalverzorging, is het bij het rekenen zo dat de basisvaardigheden meegekregen uit het PO onvoldoende worden onderhouden en vermeerderd. Zonder oefening zal dit zo blijven; oefenen met een rekenmachine is geen oefenen in rekenen. Een rekentoets met gebruik van een rekenmachine, en zonder enige rekenprocedure te vragen, is onderdeel van het rekenprobleem, niet van de oplossing.
Het gaat om rekentoetsen waar we het met de kwaliteit nauw moeten nemen. De minister wil er de Mount Everest mee bedwingen: een rekentoets (!) bij de eindexamens, onderdeel van de eindexamens, van de kernvakkenregel bovendien, met precies één herkansingsmogelijkheid, en dan staatsexamen. Dit laatste lijkt nog niet tot het grote publiek doorgedrongen (wel tot de lezers van de www.wiskundebrief.nl #574, 576, 579 ‘De verplichte rekentoets: two strikes out’, 580 OCW: “Als een leerling doubleert in het laatste of voorlaatste leerjaar, dan zijn er weer twee kansen voor de rekentoets beschikbaar.”). Gaan er slachtoffers vallen? Deze berg zal zeker zijn tol eisen. Het Cito denkt er anders over, en wuift het probleem weg in een analyse van platonische ‘terechte en onterechte’examenbeslissingen (Zwitser & Béguin, 2011).
Waarom zouden alleen leerlingen slachtoffer zijn? Het complexe veld overziende is het duidelijk dat vele instellingen hun ding bijdragen maar geen verantwoordelijkheid voor het geheel willen nemen, dat OCW in het verleden posities heeft gekozen die haar bewegingsruimte nu beperken, dat kamerleden de grote lijnen niet meer kunnen zien. Kortom: dat er geen adequate regie op dit geheel is. Maar de politieke verantwoordelijkheid ligt natuurlijk toch bij de minister. De top is gevaarlijk.
Maak van de toets (2F en) 3F een behoorlijke rekentoets en gebruik die om het onderwijs te evalueren, niet om er de leerlingen op af te rekenen. Dacht de Tweede Kamer er ook niet zo over? (Handelingen, 31 maart 2010)
Aldus onze poging tot tegenspraak, tegen instituties die sinds 1971 het reken- en wiskundeonderwijs naar hun hand hebben gezet. Zolang de overheid daar te rade gaat voor advies, zullen de rekenmachientjes blijven zoemen in de examenzalen.
Advies van het College voor Examens omtrent het gebruik van de rekenmachine en de grafische rekenmachine bij centrale toetsen in primair en voortgezet onderwijs. Brief 28-3-2012. pdf
Anderson, J.R., Reder, L.M. & Simon, H.A. (2000). Applications and misapplications of cognitive psychology to mathematics education. Texas Educational Review. pdf
Buijs, K., & Jos Tolboom, J. (Red.) (april 2012). De rol van de rekenmachine in po, s(b)o en vo. Advies SLO. pdf
Cito (2012). Voorbeeldrekentoets VO 3F. pdf
Commissie-Schmidt (2011). Rekentoetswijzer 3F. Eindversie. pdf
Craats, J. Van de (2008). Zwartboek rekenonderwijs. html
Craats, J. Van de, & Bosch, R. (2009). Basisboek rekenen. Pearson Education Benelux.
CDSMC Curriculum Development and Supplemental Materials Commission (2005). Mathematics Framework for California Public Schools. Kindergarten Through Grade Twelve. pdf
Hickendorff, M. (2011). Explanatory latent variable modeling of mathematical ability in primary school. Proefschrift Leiden. ophalen
Loveless, T. (2004). Computation skills, calculators, and achievement gaps: An analysis of NAEP items. Brown Center on Education Policy, The Brookings Institution. pdf
Milgram, R.J. (2007). What is mathematical proficiency? In Schoenfeld, A. H.:. Assessing mathematical proficiency (pp. 31-58). Cambridge University Press. pdf
Ohlsson, S. (2011). Deep learning. Cambridge University Press.
Pfaltzgraff, H. (2009). Spijkerboek 1: Rekenen. Epsilon Uitgaven.
Pfaltzgraff, H. (2012). Uitwerking en commentaar bij de voorbeeldrekentoets 3F van het Cito. pdf
Polya, G. (1945/1957 2nd). How to solve it. Princeton University Press. integrale tekst
Schoenfeld, A.H. (2004). The math wars. Educaional Policy, 18, 253-286. pdf
Siegler, R.S., c.s. (online first 14 juni). Early predictors of high school mathematics achievement. Psychological Science. concept
Turkstra, H. (1957). Een onderzoek over de correlatie tussen de vorderingen voor algebra en meetkunde in de eerste klas van de middelbare school en het cijfer voor rekenen op de l.s. en op het toelatingsexamen voor de middelbare school. Euclides, 32, 161-172. annotaties
Wilbrink, B. (1977). Het verborgen vooroordeel tegen andere dan meerkeuze vraagvormen. Congresboek ORD, 219-222. html
Wilbrink, B. & Hulshof, J. (2011). De wet, het rekenen, en de rekentoets in de eindexamens havo/vwo. Examens, Tijdschrift voor de Toetspraktijk. 8 #3, 18-22. voorlaatste concept
Zwitser, R., & Béguin, A. (2011). Gaat meetfout bij de rekentoets slachtoffers maken? Het effect van de rekentoets op het percentage misclassificaties. Examens. Tijdschrift voor de Toetspraktijk, 8 #4, 23-26.
De heer B. Wilbrink is psycholoog-onderwijsonderzoeker. www.benwilbrink.nl. De heer prof.dr. J. Hulshof is hoogleraar Wiskundige Analyse aan de Vrije Universiteit en bestuurslid van Beter Onderwijs Nederland. Henk Pfatzgraff is leraar wiskunde HAVO/VWO sinds 1965, CEVO medewerker aan de examens wiskunde B VWO 1987-1993.
Robert J. Sternberg (1985). Beyond IQ. A triarchic theory of human intelligence. Cambridge University Press.
Robert J. Sternberg & Richard K. Wagner (Eds.) (1994). Mind in context. Interactionist perspectives on human intelligence. Cambridge University Press.
Cynthia A. Berg & Robert J. Sternberg (1985). Response to Novelty: Continuity Versus Discontinuity in the Developmental Course of Intelligence. Advances in Child Development and Behavior, 19, 1–47. abstract
Diana B Marr & Robert J. Sternberg (1986). Analogical reasoning with novel concepts: Differential attention of intellectually gifted and nongifted children to relevant and irrelevant novel stimuli. Cognitive Development, 1, 53-72. abstract
Als ik mij niet vergis, dan is dit een artikel dat waarschuwt tegen het gebruiken van nieuwe contexten in studietoetsen: het gevolg is immers dat de verschillen in toetsresultaten mede worden bepaald door verschillen in het vermogen om je niet te laten afleiden door irrelevante nieuwe informatie. Het abstract is al duidelijk genoeg.
Cynthia A. Berg & Robert J. Sternberg (1985). A triarchic theory of intellectual development during adulthood. Developmental Review, 5, 334-370. abstract
Robert J. Sternberg & Todd I. Lubart (1993). Creative Giftedness: A Multivariate Investment Approach. Gifted Child Quarterly, 37, 7-15.abstract
Robert J. Sternberg (1984). Toward a triarchic theory of human intelligence. The Behavioral and Brain Sciences, 7, 269-315. preview
Robert J. Sternberg (1999). The theory of successful intelligence. Review of General Psychology, 3, 292-316. abstract
http://www.benwilbrink.nl/publicaties/12rekentoets_Ex.htm
http://goo.gl/9OzGo