Rekenproject: Empirisch onderzoek

Ben Wilbrink

rekenproject thuis
rekendidactiek
    bibliografiebiografie
    relevant empirisch onderzoek
        Hickendorff 2011
        promotieonderzoek
        in Pedagogische Studiënin Educational Studies in Mathematics
        PISA-onderzoekTIMSS-onderzoek
        MORE-onderzoek
    positionering Freudenthal-gr vs overige onderzoekers
onderwijsonderzoek




Ook deze pagina moet nog bijna geheel worden opgebouwd. Er is al het nodige materiaal uti de literatuur verzameld in rr_omdraaiing.htm. En natuurlijk op de wiskunde-pagina’ zoals matheducation.htm.


Zie ook de volgende blogs op het forum van BON
7723
7707
7633
7520
7485
7456
5119
7018




Waarom is empirisch onderzoek eigenlijk noodzakelijk? Omdat de werkelijkheid complex is, en verbanden die we denken te observeren, bij nadere toetsing vaak verdampt blijken. De werkelijkheid, en zeker de sociale werkelijkheid zoals in scholen, is niet logisch te beredeneren zoals dat binnen de kunstmatige werkelijkheid van de wiskunde tot op zekere hoogte wel kan. Er is dus toetsend onderzoek nodig, hoewel eenvoudig beschrijvend onderzoek ook wel eigen verdiensten kan hebben. Waar die twee vreemd in elkaar overlopen, is het oppassen geblazen. Een interessant punt om onderzoek op te toetsen: worden er oorzakelijke uitspraken gedaan, en zo ja, deugen de gronden waarop dat gebeurt? Om maar eens iets te noemen: het ontwikkelingsonderzoek dat in de Freudenthal-groep is gecultiveerd, is typisch geen toetsend onderzoek en laat dus geen uitspraken toe over welke ingrepen tot welke resultaten leiden. Het volgende artikel (Robinson en anderen) gaat op de thematiek in, niet specifiek voor Realistic Mathematics Education, maar voor onderwijsonderzoek in het algemeen.


Daniel H. Robinson, Joel R. Levin, Greg D. Thomas, Keenan A. Pituch and Sharon Vaughn (2007). The Incidence of “Causal” Statements in Teaching-and-Learning Research Journals. American Educational Research Journal, 45, 400-413. abstract

A focus on improved training in understanding how research can be designed to provide more support for causal inferences may be especially helpful for investigators studying the effects of educational treatments across multiple years. Longitudinal studies of educational treatments typically encounter unforeseen obstacles (e.g., student mobility and attrition, changes in teachers and peer groups, treatment diffusion), which make attributing outcome differences to specific treatments much more difficult than in a short-term experimental study.




De discussie over rekentoets-3F versus -3S (zeg maar: realistisch rekenen in contexten versus conventioneel rekenen) is te zien als een ‘empirische discussie’ (Hofstee, 1980), op externe criteria te beslissen.  Het is des te relevanter omdat met die rekentoets-3F de didactiek van het realistisch rekenen ter discussie staat, versus conventioneel rekenen.  Het is natuurlijk niet zo simpel als hier opgeschreven, maar er zijn goede aanknopingspunten (o.a. dat onderzoek van Siegler c.s. (2012) die aan de hand van Amerikaanse en Britse cohortstudies aannemelijk heeft kunnen maken, controlerend voor belangrijke individuele verschillen, dat breukenonderwijs mede bepalend is voor latere deelname aan wiskundevakken, respectievelijk succes in die wiskunde). [dit zou overigens een afzonderlijke hypothese kunnen worden, maar voorlopig beperk ik me tot deze bladzijde]



Ben Wilbrink, Joost Hulshof & Henk Pfaltzgraff (augustus 2012). De rekentoetsen zijn niet valide. Dat wordt nog wat, met die rekentoetsen! Examens, Tijdschrift voor de Toetspraktijk, 9 #3, 26-31. 2e concept.



Thomas M. Smith, Paul Cobb, Dale C. Farran, David S. Cordray & Charles Munter (2013). Evaluating Math Recovery: Assessing the Causal Impact of a Diagnostic Tutoring Program on Student Achievement. American Educational Research Journal online first


In meerdere opzichten interessant. Het is een experiment met nul-uitkomsten, en toch gepubliceerd. De auteurs zijn waarschijnlijk, evenals Paul Cobb, aanhangers van reform-georiënteerde rekendidactiek. Het experimentele design ziet er op het eerste gezicht helemaal niet gek uit, en maakt gebruik van een prestatietoets die niet is toegesneden op de specifieke didactiek van het behandelingsprogramma. Het is een effectonderzoek over langere termijn: twee jaar (denk aan twee jaar na de experimentele behandeling die zelf drie maanden duurt). De auteurs discussiëren natuurlijk nog wat over de mogelijke verklaringen, maar gaan niet in op de mogelijkheid dat de rekendidactische opvattingen de oorzaak zijn. Er is op internet een powerpoint-presentatie van dit onderzoek te vinden.

Het experimentele (remedial teaching) programma heet Math Recovery, zie hier. Het is een populair programma; heel vervelend dus dat een eerste serieuze evaluatie van effecten op langere termijn een nul-resultaat oplevert.

Het onderzoeksartikel berust kennelijk op het promotieonderzoek van de laatste auteur.


W. K. B. (1977). De weddenschap als methodologisch model. Nederlands Tijdschrift voor de Psychologie, 32, 203-217.



W. K. B Hofstee (1980). De empirische discussie. Theorie van het sociaal-wetenschappelijk onderzoek. Boom.


Willem K. B. Hofstee (1984). Methodological Decision Rules as Research Policies: A Betting Reconstruction of Empirical Research. Acta Psychologica. International Journal of Psychonomics, 56, 93-109.



Michael S. Garet, Andrew J. Wayne, Fran Stancavage, James Taylor, Marian Eaton, Kirk Walters, Mengli Song, Seth Brown, Steven Hurlburt, Pei Zhu, Susan Sepanik & Fred Doolittle (2011). Middle School Mathematics Professional Development Impact Study Findings After the Second Year of Implementation. website




Henk Blok & Dorothé Elshof (2012). Gebruik, waardering en leeropbrengsten bij Wizwijs, een rekenmethode voor het basisonderwijs. Rapport 890, Kohnstamm Instituut. pdf


Opvattingen van leerkrachten, ingevuld in vragenlijsten, zeggen mij weinig. Interessant is de vergelijking van rekenresulaten op de Cito-toetsen (Eindtoets Basisonderwijs, voortgangstoetsen), maar hier speelt het probleem dat minder dan de helft van de aangeschreven scholen aan het onderzoek heeft meegedaan. Wat in dit rapport een ‘steekproef’ wordt genoemd, is dat dus maar ten dele. Directeuren kunnen tal van overwegingen hebben om al dan niet mee te werken aan een onderzoek van de uitgever van een rekenmethode; tegenvallende rekenresultaten kunnen al gauw een reden zijn om juist niet mee te werken, goede resultaten om juist wel mee te werken. Als dan kleine verschillen t.o.v. landelijke gemiddelden worden gevonden, ten gunste van Wizwijs, zegt dat weinig. Wat hebben de onderzoekers op dit punt te melden, kunnen ze mijn twijfels wegnemen?

De leeropbrengsten voor rekenen op Wizwijsscholen zijn op drie momenten vastgesteld: eind groep 4 (met de toets E4 uit het LOVS van Cito), eind groep 6 (met de toets E6 uit het LOVS van Cito) en medio groep 8 (met de Eindtoetsbasisonderwijs onderdeel rekenen, eveneens van Cito). De gekozen toetsen zijn alle drie gerenommeerde toetsen, waarover bovendien normeringsgegevens bekend zijn. De normeringen zijn vastgesteld met steekproeven die landelijk representatief zijn. We hebben voor beide groepen, de steekproef Wizwijs en de referentiegroep, gemiddelden en standaarddeviaties bepaald. Ook berekenden we de effectgrootte, een standaardiseerde maat voor de grootte van het verschil (Tabel 3.9).

Uit de vergelijking blijkt dat Wizwijsleerlingen aan het eind van groep 4 gemiddeld een voorsprong hebben op leerlingen die met een andere methode rekenonderwijs hebben gehad. De effectgrootte bedraagt ruim 0.5 standaarddeviatie (p < .001), hetgeen te duiden is als een medium effectgrootte. Omgezet naar didactische maanden (waarvan er tien in een schooljaar gaan, rekening houdende met vakanties) bedraagt de voorsprong drie tot vier maanden.

Nee, de onderzoekers nemen geen twijfel weg over de zelfselectie bij de deelnemende respectievelijk niet deelnemende scholen. De gerapporteerde rekenresultaten hebben immers alleen betrekking op de aangeschreven scholen die meedoen aan het onderzoek.

Per saldo kan ik niet meegaan met de conclusies van de onderzoekers dat Wizwijsscholen gemiddeld betere resultaten boeken dan landelijk het geval is: die conclusie geldt immers alelen voor de aan het onderzoek deelnemende scholen, niet voor de scholen in de oorspronkelijke steekproef.

Een andere kwestie die in het geheel niet wordt aangeraakt: wat is eigenlijk de didactische opvatting achter de Wizwijs-methode, hoe is deze in de methode uitgewerkt, en volgen leerkrachten dezelfde didactische opvatting in hun lessen? Hoe verhouden de typische rekenopgaven in de Wizwijs-methode zicht tot de rekenopgaven in de landelijke toetsen van het Cito?

Dit lijkt mij niet het evaluatieonderzoek dat uitsluitsel kan geven over sterke en zwakke punten van een rekenmethode. De overdrijving op de website van het Kohnstamm Instituut is evenmin behulpzaam — ‘Brede waardering en hoge leeropbrengsten’ — site.

Tenslotte herinner ik aan de garantie op resultaat, zoals die op de Wizwijs-website wordt gegeven (de website is vernieuwd, de extreme claim is nu afgezwakt tot ‘Met Wizwijs leert elk kind beter rekenen’;). Dit evaluatieonderzoek biedt geen onderbouwing van de juistheid van die overdreven claim.



R. S. Siegler, G. J. Duncan, P. E. Davis-Kean, K. Duckworth, A. Claessens, M. Engel, M. I. Susperreguy & M. Chen (2012). Early predictors of high school mathematics achievement. Psychological Science. concept Zie voor annotatie enz. ook op de breukenpagina hier.



Michael Battista, Margaret S. Smith, Timothy Boerst, John Sutton, Jere Confrey, Dorothy White, Eric Knuth & Judith (Reed) Quander (2009). Research in mathematics education: multiple methods for multiple uses. Journal for Research in Mathematics Instruction, 40, 216-. abstract [ik heb geen pdf (wel een fc), via de KB zijn artikelen in dit tijdschrift ouder dan 5 jaar te downloaden]



Inspectie van het onderwijs (2012). Monitor verbetertrajecten taal en rekenen 2008/2009, 2009/2010 EN 2010/2011. pdf



Hanke Korpershoek, Hans Kuyper, Greetje van der Werf & Roel Bosker (2011): Who succeeds in advanced mathematics and science courses?, British Educational Research Journal, 37:3, 357-380 abstract


A. Treffers (1978). Wiskobas doelgericht. Een metode van doelbeschrijving van het wiskundeonderwijs volgens wiskobas.. Instituut voor Ontwikkeling van het Wiskunde Onderwijs.


Inspectie van het Onderwijs (2008). Basisvaardigheden rekenen-wiskunde in het basisonderwijs. Een onderzoek naar het niveau van rekenen-wiskunde in het basisonderwijs en naar verschillen tussen scholen met lage, gemiddelde en goede reken-wiskunderesultaten. pdf



Robert E. Slavin, Cynthia Lake & Cynthia Groff (2009). Effective programs in middle and high school mathematics: A best-evidence synthesis. Review of Educational Research, 79, 839-911. full report



Robert E. Slavin (2008). Perspectives on Evidence-Based Research in Education - What Works? Issues in Synthesizing Educational Program Evaluations.Educational Researcher, 37: 5 abstract



Robert E. Slavin and Cynthia Lake (2008). Effective programs in elementary mathematics: A best-evidence synthesis. Review of Eduational Research, 78, 427-515. An educator's summary: http://www.bestevidence.org/word/elem_math_Nov_25_2008_sum.pdf full report.


Yes, the conclusions are so-called 'evidence based'. And yet superficial too.



E. G. Harskamp & C. Suhre (1997). Boekbespreking van Joop Bokhove, Frank van der Schoot & Theo Eggen (1996). Balans van het rekenonderwijs aan het einde van de basisschool 2. Uitkomsten van de tweede peiling rekenen/wiskunde einde basisonderwijs. CITO artikel nummer 56651 prijs Fl. 45,--. Tijdschrift voor Onderwijsresearch, 22, #3, 99-102. pdf van hele jaargang



Asha K. Jitendra, Cynthia C. Griffin, Priti Haria, Jayne Leh, Aimee Adams, and Anju Kaduvettoor (2007). A Comparison of Single and Multiple Strategy Instruction on Third-Grade Students' Mathematical Problem Solving Journal of Educational Psychology, 99, 115-127. abstract

Dit onderzoekje gaat over een kroonjuweel van de reformdidactiek: rekenen volgens een vaste methode (schema-based instruction), versus rekenen met meerdere oplosmethoden (general strategy instruction). Leerlingen die rekenen leren volgens een vaste methode, presteren beter.

Het gaat natuurlijk over het nog grotere kroonjuweel: probleemoplossen. Dat is toch interessant, omdat je mag verwachten dat de naïeve onderwijsonderzoeker het rekenen volgens een vast schema mogelijk niet als probleemoplossen ziet. In de tweede zin van het artikel geven deze auteurs hun definitie:

Mathematical problem solving refers to “the cognitive process of figuring out how to solve a mathematics problem that one does not already know how to solve” (Mayer & Hegarty, 1996, p. 31).

Ik vermoed dat deze auteurs een stevige reform-bias hebben. Zie dit wel online beschikbare artikel in het Journal of Educational Resaerch pdf



Ilonca Hardy, Angela Jonen, Kornelia Möller & Elsbeth Stern (2006). Effects of Instructional Support Within Constructivist Learning Environments for Elementary School Students’ Understanding of “Floating and Sinking” Journal of Educational Psychology, 98, 307-326. abstract



Fred J. Schonell & F. Eleanor Schonell 1950/1970). Diagnostic and Attainment Testing. Including a manual of tests, their nature, use, recording and interpretation. Edinburgh: Oliver and Boyd.

Reden om dit boek hier te vermelden: er staan heel wat rekentestjes in, met normtabellen, prachtig materiaal om vergelijkingen te kunnen maken met een halve eeuw geleden, zij het dan ook in Engeland. pp. 73 - 167

grafieken begrijpen



Ton Mooij & Geert Driessen (2008). Differential ability and attainment in language and arithmetic of Dutch primary school pupils. British Journal of Educational Psychology, 78, 491-506. pdf


Gebruikt de data van het PRIMA-cohort. Trends voor leerlingen in groep 4 en 6. De auteurs springen heel veel verder dan hun polsstok lang is bij het trekken van conclusies en het doen van aanbevelingen aan het onderwijs. Tenslotte is de PRIMA-cohortstudie niet meer dan dat: een longitudinaal onerdoek, niet een experimenteel onderzoek.



Hans Kuyper (1999). Wiskunde in VOCL. Nieuwe Wiskrant , 19 december, 25-29. [nog niet als pdf beschikbaar]




Laura M. Desimone, Thomas M. Smith, Susan A. Hayes, and David Frisvold (2005). Beyond Accountability and Average Mathematics Scores: Relating State Education Policy Attributes to Cognitive Achievement Domains. Educational Measurement: Issues and Practice, 24 winter, 5-18. [in Special Issue: Test scores and state accountability] abstract




Yujing Ni & Jinfa Cai (2011). Searching for evidence of curricular effect on the teaching and learning of mathematics: Lessons learned from the two projects. International Journal of Educational Research 50 (2011) 137–143 previews van artikele in special issue




Jinfa Cai, Ning Wang, John C. Moyer, Chuang Wang & Bikai Nie (2011). Longitudinal investigation of the curricular effect: An analysis of student learning outcomes from the LieCal Project in the United States. International Journal of Educational Research 50 (2011) 117–136 previews van artikele in special issue




Yujing Ni, Qiong Li, Xiaoqing Li & Zhong-Hua Zhang (2011). Influence of curriculum reform: An analysis of student mathematics achievement in Mainland China. International Journal of Educational Research 50 (2011) 100-116 previews van artikele in special issue




John C. Moyer, Jinfa Cai, Ning Wang & Bikai Nie (2011). Impact of curriculum reform: Evidence of change in classroom practice in the United States. International Journal of Educational Research 50 (2011) 87–99 previews van artikele in special issue




Qiong Li & Yujing Ni (2011). Impact of curriculum reform: Evidence of change in classroom practice in mainland China. International Journal of Educational Research 50 (2011) 71–86 previews van artikele in special issue




Jinfa Cai & Yujing Ni (2011). Investigating curricular effect on the teaching and learning of mathematics in a cultural context: Theoretical and methodological considerations. International Journal of Educational Research 50 (2011) 65–70 previews van artikelen in special issue




C. Alan Riedesel & Paul C. Burns (1973). Research on the teaching of elementary school mathematics. In In Robert M. W. Travers (Ed.) (1973). Second handbook of research in teaching (1149-1176). Rand McNally. isbn 0528618245




Donald J. Dessart & Henry Frandsen (1973). Research on teaching secondary-school mathematics. In Robert M. W. Travers (Ed.) (1973). Second handbook of research in teaching (1177-1195). Rand McNally. isbn 0528618245





Kou Murayama, Reinhard Pekrun, Stephanie Lichtenfeld, Rudolf vom Hofe (accepted 2012). Predicting Long-Term Growth in Students' Mathematics Achievement: The Unique Contributions of Motivation and Cognitive Strategies. Child Development prepublication pdf




F. Depaepe, C. Lamote, G. Vanlaar, J. P. Verhaeghe, L. Verschaffel en J. Van Damme (2014). Leerlingpercepties en wiskundeprestaties: Een grootschalig onderzoek in het Vlaamse basisonderwijs naar het wiskundig zelfconcept, de inzet voor wiskunde en het schoolwelbevinden van leerlingen in relatie tot hun wiskundig functioneren. Pedagogische Studiën, 91, 113-130. samenvatting hier ophalen


Ik zie niet zo gauw welk belang dit onderzoek heeft.



Jean Gross, Collin Hudson & Daniel Price (2009). The long term costs of numeracy difficulties. Every Child a Chance Trust. pdf




John Bynner and Samantha Parsons (2006). New Light on Literacy and Numeracy. National Research and Development Centre for Adult Literacy and Numeracy. pdf




John Bynner, Steve McIntosh, Anna Vignoles, Lorraine Dearden, Howard Reed & John Van Reenen (2001). Improving Adult Basic Skills. Benefits to the Individual and to Society. Research Report No 251. DfEE Research Centre Wider Benefits of Learningpdf




Thurston Domina & Joshua Saldana (2012). Did raising the bar level the playing field? Mathematics curricular intensification and inequality in American high schools, 1982-2004 . American Education Research Journal – Social and Institutional Analysis. pdf of 2011 concept




Thurston Domina, Andrew M. Penner, Emily K. Penner & AnneMarie Conley (2014). Algebra for All: California’s Eighth-Grade Algebra Initiative as Constrained Curricula. Teachrs College Record




Thurston Domina (2014). The Link Between Middle School Mathematics Course Placement and Achievement. Child Development early view.




Catherine Haeck, Pierre Lefebvre, Philip Merrigan (2014). The distributional impacts of a universal school reform on mathematical achievements: A natural experiment from Canada. Economics of Education Review, 41, 137-160. abstract


See also Harry Webbs blog (and an older ,a href="http://websofsubstance.wordpress.com/2013/06/18/conclusive-evidence-on-reform-maths-perhaps/" target'_blak'>blog on a 2011 draft of the Haeck et al article): All students left behind: an ambitious provincial school reform in Canada, but poor math achievements from grade 2 to 10 by Catherine Haeck, Pierre Lefebvre, Philip Merrigan. Center for Economic Studies Discussions Paper Series (DPS) 11.28



W. van den Berg, H. A. A. van Eerde & A. S. Klein (1993). Proef op de som. Praktijk en resultaten van reken/wiskundeonderwijs aan allochtone leerlingen op de basisschool. RISBO.


Dit is een zeer omvangrijk onderzoek, gesubsidieerd door SVO. Door zijn opzet en uitvoering is het tevens te zien als een onderzoek naar het rekenonderwijs in het po in algemene zin, vermoed ik. De rapportage is zeer uitvoerig, met tamelijk volledige bijlagen van gebruikte instrumenten. Er is sprake van een zekere onderwijsideologische vooringenomenheid: bij willekeurig openslaan werd ik meteen getroffen door de karakterisering van conventioneel onderwijs als ‘mechanistisch onderwijs’. In de begeleidingscommissie zie ik o.a. Lieven Verschaffel, voorstander van constructivisme en zeker in die tijd nog bewonderaar van het werk van de Freudenthal-groep. Auteur Van Eerde is Dolly van Eerde, evenals Van den Berg bekend van Kwantiwijzer (Freudenthal Instituut). Hoe dat ook zij, de analyse op p. 110-111 van verschillen tussen autochtone en allochtone leerlingen is van een verpletterende duidelijkheid, een duidelijkheid waarvan in latere jaren door vrijwel geen enkele instantie gebruik is gemaakt. Ook niet door de KNAW-commissie-Lenstra? (dat zou ik na moeten kijken, ik kan me niet herinneren dat Lenstra naast het eveneens door SVO gesubsidieerde MORE-onderzoek nòg een SVO-onderzoek heeft gebruikt.



Rianne Janssen & Els Ver Eecke (Samenstelling) (2004). Eerste peiling wiskunde en lezen in het basisonderwijs. Ministerie van de Vlaamse Gemeenschap Departement Onderwijs. 46 blz. brochure http://www.ond.vlaanderen.be/curriculum/peilingen/brochures/index.htm#basisonderwijs

Rianne Jansen, Lieven Verschaffel e.a. (2009). Peiling wiskunde in de eerste graad secundair onderwijs (B-stroom). Vlaamse Overheid. 86 blz. brochure

Rianne Jansen, Lieven Verschaffel e.a. (2010). Tweede peiling wiskunde in het basisonderwijs. Vlaamse Overheid. 85 blz. brochure http://www.ond.vlaanderen.be/curriculum/peilingen/brochures/index.htm#basisonderwijs

http://www.ond.vlaanderen.be/curriculum/peilingen/brochures/index.htm#basisonderwijs




Jan Jansen, Frank van der Schoot, Bas Hemker, Norman Verhelst (1999). PPON Balans van het reken-wiskundeonderwijs aan het einde van de basisschool 3. Uitkomsten van de derde peiling in 1997. Periodieke Peiling van het Onderwijsniveau. Cito. PPON-reeks nummer 13. geen isbn pdf ophalen




Jan Jansen, Frank van der Schoot, Bas Hemker, Norman Verhelst (1999). PPON Balans van het reken-wiskundeonderwijs aan het einde van de basisschool 3. Uitkomsten van de derde peiling in 1997. Periodieke Peiling van het Onderwijsniveau. Cito. PPON-reeks nummer 13. geen isbn pdf ophalen




Jean-Marie Kraemer, Frank van der Schoot& Ron Engelen (1999). PPON Balans van het reken-wiskundeonderwijs op LOM- en MLK-scholen. Uitkomsten van de tweede peiling in 1997. Periodieke Peiling van het Onderwijsniveau. Cito. PPON-reeks nummer 14. geen isbn pdf ophalen




Anna Stokke (Aug 31). Ontario’s math system is broken. So why isn’t the government fixing it? Special to The Globe and Mail. page




Russell Gersten, Mary Jo Taylor, Tran D. Keys, Eric Rolfhus, and Rebecca Newman-Gonchar (2016). Summary of research on the effectiveness of math professional development approaches. pdf


Richard Phelps: "only 5 studies considered minimally worthy out of 643; 99% of available info tossed in garbage; IES has become an arrogant joke"



David Staples (June 15, 2017): Math results show we must end two decades of educational malpractice Edmonton Journal blog




David Staples (April 20, 2014), Want your child to master arithmetic? Diligent practice is the soundest way, even if it's no longer the Alberta way. Edmonton Journal blog













juni 2017 \ contact ben at at at benwilbrink.nl    

Valid HTML 4.01!   http://www.benwilbrink.nl/projecten/empirie.htm http://goo.gl/9I9X1