Rekenproject: PISA

Ben Wilbrink


rekenproject thuis
rekendidactiek
    bibliografiebiografie
    relevant empirisch onderzoek
        Hickendorff 2011
        promotieonderzoek
        in Pedagogische Studiënin Educational Studies in Mathematics
        PISA-onderzoekTIMSS-onderzoek
        MORE-onderzoek
    positionering Freudenthal-gr vs overige onderzoekers




Heinz-Dieter Meyer and Katie Zahedi, and signatories (5th May 2014). An open letter: To Andreas Schleicher, OECD, Paris. webpagina



Klaus-Jürgen Tillmann, Kathrin Dedering, Daniel Kneuper, Christian Kuhlmann & Isa Nessel (2008). PISA als bildungs-politische Ereignis. Fallstudien in vier Bundesländern. VS Verlang für Sozialwissenschaften. [als eBook in KB]




Heinz-Dieter Meyer & Aaron Benavot (). PISA and the Globalization of Education Governance: some puzzles and problems. info; en Introduction [niet beschikbaar in KB]





mei 2014. In de bureauladen van OCW ligt een rapport van het Cito dat rekenopgaven in PISA vergelijkt met die in de rekentoetsen bij de eindexamens. In de ‘schriftelijke ronde’ (Twee Kamer, onderwijscommissie) is er een korte en dubbelzinnige opmerking over opgenomen. Is het echt nodig om dit rapport via een WOB-procedure in de openbaarheid te krijgen?




Over PISA zijn heel veel secundaire studies verschenen, dat zijn analyses die gebruik maken van de databestanden van PISA. Dat is riskant werk, want de data van PISA zijn meestal verzameld zonder rekening te houden met de specifieke onderzoekhypothesen van onderzoekers die secundaire analyses gaan doen. Pas dus op.









Yong Zhao (2014). Who’s afraid of the big bad dragon? Why China has the best (and worst) education system in the world Jossey-Bass. [als eBook in KB] introduction available on the site of The Washington Post.


Is zeer kritisch over PISA, Schleicher, and all the rest of it, in het bijzonder waar het China (Shanghai) betreft. Zhao schetst uitgebreid waar het Chinese onderwijssysteem vandaan komt: de geschiedenis van het examenstelsel en hoe dat dienstbaar is de heerser, resp. de heersende klasse. Een ‘must’.



Jan de Lange, Irwin Kirsch, Wynne Harlen, John Dossey and many others (2003). The PISA 2003 Assessment Framework - mathematics, reading, science and problem solving knowledge and skills. OECD pdf




Jan De Lange, Alla Routitsky, Kaye Stacey, Ross Turner, Margaret Wu, Andreas Schleicher, Claire Shewbridge, Pablo Zoido, and Nicola Clements. (2009). Learning Mathematics for Life. A view perspective from PISA. pdf


This key publication explains the rationale of the item writing for PISA Mathematics tests. The ideology explained. Examples. Empirical data. I was not aware of the existence of this report until Joost Hulshof informed me (August 5, 2014). Of course, there is a publication in Dutch by Truus Dekker and others, with lots of adstruction and examples.



Neidorf, T.S., Binkley, M., Gattis, K., and Nohara, D. (2006). Comparing Mathematics Content in the National Assessment of Educational Progress (NAEP), Trends in International Mathematics and Science Study (TIMSS), and Program for International Student Assessment (PISA) 2003 Assessments (NCES 2006-029). U.S. Department of Education. Washington, DC: National Center for Education Statistics. pdf




Yong Zhao (12 april 2014). How does PISA put the world at risk (part 5): Racing to the past. blog [Zie de blog voor een ljst voorafgaande blogs op PISA-thematiek]




Wilmad Kuiper, Monique van der Hoeven, Elvira Folmer, Marja van Graft & Jan van den Akker (2010). Leerplankundige analyse van PISA-trends. SLO. pdf


Ik word helemaal gek als het volgende proza lees (zie capaciteiten_in_contexten.htm voor een gerichte aanval op deze warhoofderij.)



Fabian Dietrich, Martin Heinrich & Nina Thieme (Eds.) (2013). Bildungsgerechtigkeit jenseits von Chancengleichheit. Theoretische und empirische Ergänzungen und Alternativen zu 'PISA'. Springer info




Tijana Prokic-Breuer & Jaap Dronkers (2012) The high performance of Dutch and Flemish 15-year-old native pupils: explaining country differences in math scores between highly stratified educational systems. Educational Research and Evaluation: An International Journal on Theory and Practice, 18:8, 749-777 abstract


Dit is een oefening secundaire analyse op beschikbare databestanden van PISA, met alle tekortkomingen van dien. Anders dan de titel suggereert, gaat het om een vergelijking waar ook Oostenrijk, Zwitserland en Duitsland bij zijn betrokken. Ik houd mijn hart vast bij deze oefening: er wordt immers voorbijgegaan aan het rekenonderwijs in de betreffende landen, dus ook aan didactische opvattingen. Kijk eens naar de literatuurlijst: het woord wiskunde komt er niet in voor, ook niet in enige andere taal. Dat deze analyse over wiskunde gaat (over rekenen, eigenlijk), is een toevalligheidje. De auteurs hadden er beter ‘X’ voor op kunnen schrijven. Dat neemt niet weg dat er misschien wel inzichten uit deze secundaire analyse opborrelen die relevant kunnen zijn voor de problematiek van de reformdidactiek van het rekenen (en van de wiskunde). Maar dan moet ik eigen kennis verzamelen over de situatie in deze vier buitenlanden. Als ik mij goed herinner, dan hebben de Duitsers er zelf al veel moeite mee om de eigen tegenvallende resultaten te verklaren. Interessant in dit verband is dat de auteurs melden dat de Duitse Länder het onmogelijk maken om hun PISA-data op het niveau van de afzonderlijke Länder te bestuderen. Leve de wetenschap. Leve de politiek. En dan zijn er de speculaties van de auteurs over wat achterliggende mechanismen voor de gevonden verschillen kunnen zijn. De discussie daarover is tamelijk uitgebreid, maar gaat veel verder dan de data toelaten. Voor de betrokkenen in de Nederlandse rekenstrijd is het interessant om te lezen hoe de auteurs de relatief hoge resultaten van Nederlandse leerlingen verklaren zonder ook maar een enkel woord aan de didactiek van het reken- en wiskundeonderwijs te wijden, noch aan zaken als totale tijd ingeruimd in de curricula voor rekenen en wiskunde, of de kwalificaties van leerkrachten op dit inhoudelijke terrein. Alsof Freudenthal zich nooit met het reken- en wiskundeonderwijs heeft bemoeid! Ik zeg hier dus niet dat ik vermoed dat Jaap Dronkers nogal wilde veronderstellingen heeft opgeschreven. Integendeel: hij geeft een mogelijke verklaring voor het feit dat Nederlandse leerlingen nog steeds goed scoren, internationaal vergeleken: een sterk vmbo in een sterk gestratificeerd onderwijsstelsel. Waar heb ik zo’n analyse eerder gezien: bij Jan van Ravens, in zijn uitgelekte notitie La Niña. Van Ravens keek ook naar het vervolg: doet Nederland het internationaal nog steeds goed, wanneer je naar het hoger onderwijs of naar de beroepsbevolking kijkt? Nee, dus. We goooien de winst weg, of misschien is het wel zo dat er bij die 15-jarigen geen sprake is van winst, maar van uitputting. Wie zal het zeggen? Het laatste woord is er dus nog niet over gesproken.



Karin Tht & Olev Must (2013). Comparability of educational achievement and learning attitudes across nations, Educational Research and Evaluation: An International Journal on Theory and Practice, 19:1, 19-38. abstract


De auteurs leggen een verrassende dwarsverbinding met werk van James Flynn, en met recente inzichten in de aard van verschillen in intelligentie (Nisbett e.a.). Jammer dat het Engels hier en daar wat duister is, zodat het soms gissen is naar wat de auteurs bedoelen te zeggen.



Anthony Salcito (Vice President for Microsoft Education) (2013). The importance of assessing students’ 21st century skills, not just math, science and reading. blog


Schaamteloos. Lees eerst die blog, anders gelooft u mij niet.

Het is een ernstige zaak, want het gaat om een ingreep in PISA, Ik bedoel niet dat ons onderwijsbeleid door de OECD wordt gemaakt, maar soms komt het er toch wel dicht bij. Politici zijn gevoelig voor de hitlijsten waar de PISA-afnamen toe leiden. Voordat we er erg in hebben, blijkt meneer Andreas Schleicher (OECD, de afdeling die PISA runt) dan meer invloed op het Nederlandse onderwijsbeleid te hebben dan onze eigen bewindspersonen. Salico citeert Schleicher:

Een griezelige ontwikkeling. Lichtpuntje is dat meneer Anthony Salcito er geen doekjes om windt dat Microsoft uit is op grote invloed op ons onderwijs. Ook in de onderliggende stukken van de atc21s (white papers, hierboven al ter sprake geweest) staat onverhuld dat het gaat om invloed, om in de markt zetten van de nodige ICT/software voor gebruik in het onderwijs, te beginnen met gebruik voor landelijke toetsen. Ik weet niet hoe het Cito hierin zit: Arnhem is al wat langer bezig om Nederland aan de digitale toetsen te helpen, aanvankelijk via de toetsen voor de Pabo, en nu veel en veel grootschaliger voor de rekentoetsen bij de eindexamens vo en mbo. Met bijzonder ongewenste gevolgen op het punt van geheimhouding van afgenomen toetsen.

Het wordt tijd voor kamervragen aan de verantwoordelijke staatssecretaris: zijn er afspraken met het Microsoft-Intel-Cisco consortium, afspraken van OCW, van het Cito, maar dus ook van de OECD? Wat de OECD beterft is het kennelijk vragen naar de bekende weg, maar voorzover mij bekend is er in Nederland nog geen discussie over op gang gekomen (maar zie mijn aantekeningen bij het SLO-rapport ‘De toekomst telt’ hier, en huiver).



Tonia Bieber & Kerstin Martens (2011). The OECD PISA Study as a Soft Power in Education? Lessons from Switzerland and the US. European Journal of Education Special Issue: Education Policies in Europe: how effective are international initiatives? Volume 46, Issue 1, pages 101—116, March 2011 abstract




Xavier Pons (2011). What Do We Really Learn from PISA? The Sociology of its Reception in Three European Countries (2001—2008) European Journal of Education Volume 46, Issue 4, pages 540—548, December 2011 abstract




Keita Takayama (2013). OECD, ‘Key competencies’ and the new challenges of educational inequality. Journal of Curriculum Studies, 45, 67-80. abstract




Manfred Prenzel, Mareijke Kobarg & Silke Rönnebeck (Eds.) (2013). Research on Pisa. Research outcomes of the PISA Research Conference 2009. Springer.



PISA 2009 Results: What Students Know and Can Do. Student performances in Reading, Mathematics and Science. Volume I. OECD Online te lezen (niet binnen te halen)



PISA 2009 Results: Students On Line. Digital Technologies and Performance. Volume VI. OECD Online te lezen (niet binnen te halen)



Herbert W. Marsh & Kit-Tai Hau (2004). Explaining Paradoxical Relations Between Academic Self-Concepts and Achievements: Cross-Cultural Generalizability of the Internal/External Frame of Reference Predictions Across 26 Countries. Journal of Educational Psychology, 96, 56-67. abstract



Ming Ming Chiu & Zeng Xihua (2008). Family and motivation effects on mathematics achievement: Analyses of students in 41 countries. Learning and Instruction. 18, 321-336. abstract



Martin Brunner, Cordula Artelt, Stefan Krauss, Jürgen Baumert (2007). Coaching for the PISA test. Learning and Instruction. 18, 321-336.



Howard T. Everson & Roger E. Millsap (2004): Beyond Individual Differences: Exploring School Effects on SAT Scores, Educational Psychologist, 39:3, 157-172 abstract



Leslie Rutkowski, Eugenio Gonzalez, Marc Joncas, and Matthias von Davier (2010). International Large-Scale Assessment Data: Issues in Secondary Analysis and Reporting Educational Researcher, 39, 142-



Martin, A. J., Liem, G. A. D., Mok, M. M. C., & Xu, J. (2012, July 9). Problem Solving and Immigrant Student Mathematics and Science Achievement: Multination Findings from the Programme for International Student Assessment (PISA). Journal of Educational Psychology. Advance online publication. doi: 10.1037/a0029152abstract



Truus Dekker, Kees Lagerwaard, Jan de Lange, Ger Limpens & Monica Wijers (2006). Wiskundige geletterdheid volgens PISA. Hoe staat de vlag erbij? 1. Analyse. 2. Opgaven. FI/Cito.


Enorm informatief. En voor wie zelf nog stevig wiskundeonderwijs heeft gehad zonder alle flauwekul van contexten: werkelijk verbijsterend om dit alles in deel 2 te zien. Euclides draait zich maar in zijn graf om, wie gaat dit stoppen?



Andreas Schleicher (Red.) (1999). PISA 2000 - Measuring Student Knowledge and Skills. A New Framework for Assessment. The design of OECD/PISA 2000 Developing OECD/PISA and its assessment frameworks - A collaborative effort. OECD. ean 9789264170537  pdf




Svend Kreiner & Karl Bang Christensen (2013). Analyses of model fit and robustness. A new look at the PISA scaling mdel underlying ranking of countries accoding to reading literacy. Psychometrika< online first. preview


Dit artikel is niet vrij online beschikbaar, maar verwant werk van de auteurs is dat wel (zie hierbeneden). Heel boeiend is dat Andreas Schleicher, bij de OECD verantwoordelijk voor PISA, in de Times Educational Supplement buitengewoon geringschattend doet over de kwaliteiten van dit artikel (parafraseert hij Ray Adams, 2011? Zie hierbeneden). Dat is boeiend omdat doorgaans artikelen in Psychometrika aan hoge kwaliteitseisen moeten voldoen (dat geldt niet replieken van bekritiseerde partijen, zoals nog niet zo lang geleden een repliek van o.a. Treffers en Panhuizen op een artikel van Hickendorff c.s.). En het is nog veel boeiender omdat Schleicher, als hoofdverantwoordelijke voor PISA, meent over de nodige inhoudelijke expertise te bezitten om Kreiner en Christensen de mantel te kunnen uitvegen. Op voorhand ben ik er al van overtuigd dat Andreas een scheve schaats aan het rijden is, ongetwijfeld met de beste bedoelingen, maar met onoverzienbaar ernstige gevolgen wereldwijd. Ik verwacht wel dat Ray Adams een repliek in Psychometrika schrijft, en op die repliek moet ik in feite wachten voordat duidelijk wodt of Kreiner en Christensen kritiek hebben die werkelijk verschil maakt.



Prais, S. J. (2003). Cautions on OECD's recent educational survey (PISA). Oxford Review of Education, vol. 29 pdf


Willem Smit noemt dit artikel, en een reeks andere, hier: Maar internationaa doen we het toch goed?



Harvey Goldstein (2004). International comparisons of student attainment: some issues arising from the PISA study. Assessment in Education: Principles, Policy & Practice, 11, 319-330. abstract




Mara Domnguez , Maria-Jos Vieira & Javier Vidal (2012) The impact of the Programme for International Student Assessment on academic journals. Assessment in Education: Principles, Policy & Practice, 19:4, 393-409. abstract


Een bibliometrische analyse. Noemt wel speciaal artikelen met een kritische inslag (een handvol, o.a. Goldstein 2004).



Lex Borghans & Trudie Schils (2012, draft). The leaning tower of Pisa. Decomposing achievement test scores into cognitive and noncognitive components. [Ik vind geen plaats waar het paper zelf is te downloaden. Schrijf een auteur aan, of mij] pdf




Tom Loveless (March 18, 2014). Lessons from the PISA_Sghanghai controversy. Part I of the 2014 Brown Center Report on American Education. Brookings. web page


Essential reading!



Yariv Feniger & Adam Lefstein (2014). How not to reason with PISA data: an ironic investigation. Journal of Education Policy, 29, issue 6. abstract [paywalled, ik heb geen pdf]




J. Dronkers & M. de Heus () The higher achievement of Chinese pupils, inside and outside of Asia: the higher transparency of Chinese numbers or a higher value of learning within Chinese culture? pdf




Richard P. Phelps (2014). Review essay of OECD (2013). Synergies for better learning: An international perspective on evaluation and assessment. Assessment in Education: Principles, Policy & Practice, 21, 481-493. abstract. Also available via researchgate.


Footnote page 1: "As far as I can tell from what information is available about the temporary staffers on the Web, none had any background in educational assessment or evaluation."

"Synergies itself, the 'final synthesis' of the REAFISO project, runs 670 pages. The country reports accumulate another 1,500 pages or so. The ten background papers average about 50 pages each. Press some more tree pulp to accommodate the requisite press releases, talking points, or the multitude of each country’s own background papers, and, all told, REAFISO’s work took a few years, substantial commitments of resources from 26 countries, and stimulated the printing of several thousand pages.

This hefty mass represents an enormous expenditure of time, money, and effort to, essentially, get it all wrong. "



Dan Murphy (2014). Issues with PISA's use of its data in the context of international education policy convergence. Policy Futures in Education, 12, 893-916. download free access pdf here


Via @YongZhaoUO January 7, 2015



Miguel A. Pereyra, Hans-Georg Kotthoff & Robert Cowen (Eds.) (2014). PISA under examination. Changing knowledge, changing tests, and changing schools. Sense Publishers. [als eBook in KB] Introductory chapter; abstracts of chapters




David C. Berliner (2015). The Many Facets of PISA. Teachers College Record Volume 117 Number 1, 2015, p. 1-20 http://www.tcrecord.org ID Number: 17726, Date Accessed: 2/26/2015 5:28:04 AM abstract (thematic issue ob PISA contents)hr>



Ronald Buitelaar (december 2013). Hoe Nederland aan zijn PISA cijfers komt. blog




Jaap Dronkers (2011). De maatschappelijke en wetenschappelijke waarde van internationale data over onderwijsprestaties pdf




Jaap Dronkers (16 maart 2015). Onverstandig als NL niet aan PISA & internationale vergelijkingen deelnam. Zijn overgeleverd aan praatjesmakers. tweet thread




Manfred Prenzel,; Oliver Walter,; Andreas Frey (2007). PISA misst Kompetenzen. Eine Replik auf Rindermann (2006): Was messen internationale Schulleistungsstudien? Psychologische Rundschau, 58, 128-136 abstract




H. Rindermann & A. E. E. Baumeister (2015). Validating the interpretations of PISA and TIMSS tasks: A rating study. International Journal of Testing, 15, 1-2. abstract


This really is a rating study. It is therefore of zero importance?



Martin Carnoy (October 2015). International test score comparisons and educational policy. A review of the critiques. National Education Policy Center pdf




Kaye Stacey & Ross Turner (Eds.) (2015). Assessing Mathematical Literacy: The PISA Experience. Springer. [eBook in KB] info


Oratio pro domo. As such, it is useful: what is the thinking of PISA-developers on math education and math testing?



Jihyun Lee, Lazar Stankov (2013). Higher-order structure of noncognitive constructs and prediction of PISA 2003 mathematics achievement. research.net




Jaap Dronkers (2015). Are the PISA Data for Shanghai Flawed? Huffington Post blog




Shelley Gillis , John Polesel, Margaret Wu (2015). PISA Data: Raising concerns with its use in policy settings. The Australian Educational Researcher preview


I have no access, regrettably. The references are free, however.



Hani Morgan & Christopher Barry (Eds.) (2016). The world leaders in education. Lessons from the successes and drawbacks of their methods. New York: Peter Lang. [PEDAG 40.a.143] info


Perused some of its pages. Disappointingly sloppy in formulations. Tainted with ideology. Superficial. Countries (each cuntry a chapter): China, Japa, Singapore, Canada, New Zealand, South Korea, Finland, US.



Hanna Dumont, David Istance & Prancisco Benavides (Eds.) (2010). The neature of learning. Using research to inspire practice. OECD online






J. Dronkers & P. Robert (2004). The effectiveness of public, private government-dependent and private independent schools: a cross-national analysis. pdf via http://hdl.handle.net/1814/1360