Rekenproject: PISA

Ben Wilbrink


rekenproject thuis
rekendidactiek
    bibliografiebiografie
    relevant empirisch onderzoek
        Hickendorff 2011
        promotieonderzoek
        in Pedagogische Studiënin Educational Studies in Mathematics
        PISA-onderzoekTIMSS-onderzoek
        MORE-onderzoek
    positionering Freudenthal-gr vs overige onderzoekers




Heinz-Dieter Meyer and Katie Zahedi, and signatories (5th May 2014). An open letter: To Andreas Schleicher, OECD, Paris. webpagina



Klaus-Jürgen Tillmann, Kathrin Dedering, Daniel Kneuper, Christian Kuhlmann & Isa Nessel (2008). PISA als bildungs-politische Ereignis. Fallstudien in vier Bundesländern. VS Verlang für Sozialwissenschaften. [als eBook in KB]




Heinz-Dieter Meyer & Aaron Benavot (). PISA and the Globalization of Education Governance: some puzzles and problems. info; en Introduction [niet beschikbaar in KB]





mei 2014. In de bureauladen van OCW ligt een rapport van het Cito dat rekenopgaven in PISA vergelijkt met die in de rekentoetsen bij de eindexamens. In de ‘schriftelijke ronde’ (Twee Kamer, onderwijscommissie) is er een korte en dubbelzinnige opmerking over opgenomen. Is het echt nodig om dit rapport via een WOB-procedure in de openbaarheid te krijgen?




Over PISA zijn heel veel secundaire studies verschenen, dat zijn analyses die gebruik maken van de databestanden van PISA. Dat is riskant werk, want de data van PISA zijn meestal verzameld zonder rekening te houden met de specifieke onderzoekhypothesen van onderzoekers die secundaire analyses gaan doen. Pas dus op.









Yong Zhao (2014). Who’s afraid of the big bad dragon? Why China has the best (and worst) education system in the world Jossey-Bass. [als eBook in KB] introduction available on the site of The Washington Post.


Is zeer kritisch over PISA, Schleicher, and all the rest of it, in het bijzonder waar het China (Shanghai) betreft. Zhao schetst uitgebreid waar het Chinese onderwijssysteem vandaan komt: de geschiedenis van het examenstelsel en hoe dat dienstbaar is de heerser, resp. de heersende klasse. Een ‘must’.



Jan de Lange, Irwin Kirsch, Wynne Harlen, John Dossey and many others (2003). The PISA 2003 Assessment Framework - mathematics, reading, science and problem solving knowledge and skills. OECD pdf




Jan De Lange, Alla Routitsky, Kaye Stacey, Ross Turner, Margaret Wu, Andreas Schleicher, Claire Shewbridge, Pablo Zoido, and Nicola Clements. (2009). Learning Mathematics for Life. A view perspective from PISA. pdf


This key publication explains the rationale of the item writing for PISA Mathematics tests. The ideology explained. Examples. Empirical data. I was not aware of the existence of this report until Joost Hulshof informed me (August 5, 2014). Of course, there is a publication in Dutch by Truus Dekker and others, with lots of adstruction and examples.



Neidorf, T.S., Binkley, M., Gattis, K., and Nohara, D. (2006). Comparing Mathematics Content in the National Assessment of Educational Progress (NAEP), Trends in International Mathematics and Science Study (TIMSS), and Program for International Student Assessment (PISA) 2003 Assessments (NCES 2006-029). U.S. Department of Education. Washington, DC: National Center for Education Statistics. pdf




Yong Zhao (12 april 2014). How does PISA put the world at risk (part 5): Racing to the past. blog [Zie de blog voor een ljst voorafgaande blogs op PISA-thematiek]




Wilmad Kuiper, Monique van der Hoeven, Elvira Folmer, Marja van Graft & Jan van den Akker (2010). Leerplankundige analyse van PISA-trends. SLO. pdf


Ik word helemaal gek als het volgende proza lees (zie capaciteiten_in_contexten.htm voor een gerichte aanval op deze warhoofderij.)



Fabian Dietrich, Martin Heinrich & Nina Thieme (Eds.) (2013). Bildungsgerechtigkeit jenseits von Chancengleichheit. Theoretische und empirische Ergänzungen und Alternativen zu 'PISA'. Springer info




Tijana Prokic-Breuer & Jaap Dronkers (2012) The high performance of Dutch and Flemish 15-year-old native pupils: explaining country differences in math scores between highly stratified educational systems. Educational Research and Evaluation: An International Journal on Theory and Practice, 18:8, 749-777 abstract


Dit is een oefening secundaire analyse op beschikbare databestanden van PISA, met alle tekortkomingen van dien. Anders dan de titel suggereert, gaat het om een vergelijking waar ook Oostenrijk, Zwitserland en Duitsland bij zijn betrokken. Ik houd mijn hart vast bij deze oefening: er wordt immers voorbijgegaan aan het rekenonderwijs in de betreffende landen, dus ook aan didactische opvattingen. Kijk eens naar de literatuurlijst: het woord wiskunde komt er niet in voor, ook niet in enige andere taal. Dat deze analyse over wiskunde gaat (over rekenen, eigenlijk), is een toevalligheidje. De auteurs hadden er beter ‘X’ voor op kunnen schrijven. Dat neemt niet weg dat er misschien wel inzichten uit deze secundaire analyse opborrelen die relevant kunnen zijn voor de problematiek van de reformdidactiek van het rekenen (en van de wiskunde). Maar dan moet ik eigen kennis verzamelen over de situatie in deze vier buitenlanden. Als ik mij goed herinner, dan hebben de Duitsers er zelf al veel moeite mee om de eigen tegenvallende resultaten te verklaren. Interessant in dit verband is dat de auteurs melden dat de Duitse Länder het onmogelijk maken om hun PISA-data op het niveau van de afzonderlijke Länder te bestuderen. Leve de wetenschap. Leve de politiek. En dan zijn er de speculaties van de auteurs over wat achterliggende mechanismen voor de gevonden verschillen kunnen zijn. De discussie daarover is tamelijk uitgebreid, maar gaat veel verder dan de data toelaten. Voor de betrokkenen in de Nederlandse rekenstrijd is het interessant om te lezen hoe de auteurs de relatief hoge resultaten van Nederlandse leerlingen verklaren zonder ook maar een enkel woord aan de didactiek van het reken- en wiskundeonderwijs te wijden, noch aan zaken als totale tijd ingeruimd in de curricula voor rekenen en wiskunde, of de kwalificaties van leerkrachten op dit inhoudelijke terrein. Alsof Freudenthal zich nooit met het reken- en wiskundeonderwijs heeft bemoeid! Ik zeg hier dus niet dat ik vermoed dat Jaap Dronkers nogal wilde veronderstellingen heeft opgeschreven. Integendeel: hij geeft een mogelijke verklaring voor het feit dat Nederlandse leerlingen nog steeds goed scoren, internationaal vergeleken: een sterk vmbo in een sterk gestratificeerd onderwijsstelsel. Waar heb ik zo’n analyse eerder gezien: bij Jan van Ravens, in zijn uitgelekte notitie La Niña. Van Ravens keek ook naar het vervolg: doet Nederland het internationaal nog steeds goed, wanneer je naar het hoger onderwijs of naar de beroepsbevolking kijkt? Nee, dus. We goooien de winst weg, of misschien is het wel zo dat er bij die 15-jarigen geen sprake is van winst, maar van uitputting. Wie zal het zeggen? Het laatste woord is er dus nog niet over gesproken.



Karin Tht & Olev Must (2013). Comparability of educational achievement and learning attitudes across nations, Educational Research and Evaluation: An International Journal on Theory and Practice, 19:1, 19-38. abstract


De auteurs leggen een verrassende dwarsverbinding met werk van James Flynn, en met recente inzichten in de aard van verschillen in intelligentie (Nisbett e.a.). Jammer dat het Engels hier en daar wat duister is, zodat het soms gissen is naar wat de auteurs bedoelen te zeggen.



Anthony Salcito (Vice President for Microsoft Education) (2013). The importance of assessing students’ 21st century skills, not just math, science and reading. blog


Schaamteloos. Lees eerst die blog, anders gelooft u mij niet.

Het is een ernstige zaak, want het gaat om een ingreep in PISA, Ik bedoel niet dat ons onderwijsbeleid door de OECD wordt gemaakt, maar soms komt het er toch wel dicht bij. Politici zijn gevoelig voor de hitlijsten waar de PISA-afnamen toe leiden. Voordat we er erg in hebben, blijkt meneer Andreas Schleicher (OECD, de afdeling die PISA runt) dan meer invloed op het Nederlandse onderwijsbeleid te hebben dan onze eigen bewindspersonen. Salico citeert Schleicher:

Een griezelige ontwikkeling. Lichtpuntje is dat meneer Anthony Salcito er geen doekjes om windt dat Microsoft uit is op grote invloed op ons onderwijs. Ook in de onderliggende stukken van de atc21s (white papers, hierboven al ter sprake geweest) staat onverhuld dat het gaat om invloed, om in de markt zetten van de nodige ICT/software voor gebruik in het onderwijs, te beginnen met gebruik voor landelijke toetsen. Ik weet niet hoe het Cito hierin zit: Arnhem is al wat langer bezig om Nederland aan de digitale toetsen te helpen, aanvankelijk via de toetsen voor de Pabo, en nu veel en veel grootschaliger voor de rekentoetsen bij de eindexamens vo en mbo. Met bijzonder ongewenste gevolgen op het punt van geheimhouding van afgenomen toetsen.

Het wordt tijd voor kamervragen aan de verantwoordelijke staatssecretaris: zijn er afspraken met het Microsoft-Intel-Cisco consortium, afspraken van OCW, van het Cito, maar dus ook van de OECD? Wat de OECD beterft is het kennelijk vragen naar de bekende weg, maar voorzover mij bekend is er in Nederland nog geen discussie over op gang gekomen (maar zie mijn aantekeningen bij het SLO-rapport ‘De toekomst telt’ hier, en huiver).



Tonia Bieber & Kerstin Martens (2011). The OECD PISA Study as a Soft Power in Education? Lessons from Switzerland and the US. European Journal of Education Special Issue: Education Policies in Europe: how effective are international initiatives? Volume 46, Issue 1, pages 101—116, March 2011 abstract




Xavier Pons (2011). What Do We Really Learn from PISA? The Sociology of its Reception in Three European Countries (2001—2008) European Journal of Education Volume 46, Issue 4, pages 540—548, December 2011 abstract




Keita Takayama (2013). OECD, ‘Key competencies’ and the new challenges of educational inequality. Journal of Curriculum Studies, 45, 67-80. abstract




Manfred Prenzel, Mareijke Kobarg & Silke Rönnebeck (Eds.) (2013). Research on Pisa. Research outcomes of the PISA Research Conference 2009. Springer.



PISA 2009 Results: What Students Know and Can Do. Student performances in Reading, Mathematics and Science. Volume I. OECD Online te lezen (niet binnen te halen)



PISA 2009 Results: Students On Line. Digital Technologies and Performance. Volume VI. OECD Online te lezen (niet binnen te halen)



Herbert W. Marsh & Kit-Tai Hau (2004). Explaining Paradoxical Relations Between Academic Self-Concepts and Achievements: Cross-Cultural Generalizability of the Internal/External Frame of Reference Predictions Across 26 Countries. Journal of Educational Psychology, 96, 56-67. abstract



Ming Ming Chiu & Zeng Xihua (2008). Family and motivation effects on mathematics achievement: Analyses of students in 41 countries. Learning and Instruction. 18, 321-336. abstract



Martin Brunner, Cordula Artelt, Stefan Krauss, Jürgen Baumert (2007). Coaching for the PISA test. Learning and Instruction. 18, 321-336.



Howard T. Everson & Roger E. Millsap (2004): Beyond Individual Differences: Exploring School Effects on SAT Scores, Educational Psychologist, 39:3, 157-172 abstract



Leslie Rutkowski, Eugenio Gonzalez, Marc Joncas, and Matthias von Davier (2010). International Large-Scale Assessment Data: Issues in Secondary Analysis and Reporting Educational Researcher, 39, 142-



Martin, A. J., Liem, G. A. D., Mok, M. M. C., & Xu, J. (2012, July 9). Problem Solving and Immigrant Student Mathematics and Science Achievement: Multination Findings from the Programme for International Student Assessment (PISA). Journal of Educational Psychology. Advance online publication. doi: 10.1037/a0029152abstract



Truus Dekker, Kees Lagerwaard, Jan de Lange, Ger Limpens & Monica Wijers (2006). Wiskundige geletterdheid volgens PISA. Hoe staat de vlag erbij? 1. Analyse. 2. Opgaven. FI/Cito.


Enorm informatief, ook de analyse van PISA 2003 resultaten (deel 1). En voor wie zelf nog stevig wiskundeonderwijs heeft gehad zonder alle flauwekul van contexten: werkelijk verbijsterend om dit alles in deel 2 te zien. Euclides draait zich maar in zijn graf om, wie gaat dit stoppen?



Andreas Schleicher (Red.) (1999). PISA 2000 - Measuring Student Knowledge and Skills. A New Framework for Assessment. The design of OECD/PISA 2000 Developing OECD/PISA and its assessment frameworks - A collaborative effort. OECD. ean 9789264170537  pdf




Svend Kreiner & Karl Bang Christensen (2013). Analyses of model fit and robustness. A new look at the PISA scaling moqualdel underlying ranking of countries accoding to reading literacy. Psychometrika< online first. preview


Dit artikel is niet vrij online beschikbaar, maar verwant werk van de auteurs is dat wel (zie hierbeneden). Heel boeiend is dat Andreas Schleicher, bij de OECD verantwoordelijk voor PISA, in de Times Educational Supplement buitengewoon geringschattend doet over de kwaliteiten van dit artikel (parafraseert hij Ray Adams, 2011? Zie hierbeneden). Dat is boeiend omdat doorgaans artikelen in Psychometrika aan hoge kwaliteitseisen moeten voldoen (dat geldt niet replieken van bekritiseerde partijen, zoals nog niet zo lang geleden een repliek van o.a. Treffers en Panhuizen op een artikel van Hickendorff c.s.). En het is nog veel boeiender omdat Schleicher, als hoofdverantwoordelijke voor PISA, meent over de nodige inhoudelijke expertise te bezitten om Kreiner en Christensen de mantel te kunnen uitvegen. Op voorhand ben ik er al van overtuigd dat Andreas een scheve schaats aan het rijden is, ongetwijfeld met de beste bedoelingen, maar met onoverzienbaar ernstige gevolgen wereldwijd. Ik verwacht wel dat Ray Adams een repliek in Psychometrika schrijft, en op die repliek moet ik in feite wachten voordat duidelijk wodt of Kreiner en Christensen kritiek hebben die werkelijk verschil maakt.



Prais, S. J. (2003). Cautions on OECD's recent educational survey (PISA). Oxford Review of Education, vol. 29 pdf


Willem Smit noemt dit artikel, en een reeks andere, hier: Maar internationaa doen we het toch goed?



Harvey Goldstein (2004). International comparisons of student attainment: some issues arising from the PISA study. Assessment in Education: Principles, Policy & Practice, 11, 319-330. abstract




Mara Domnguez , Maria-Jos Vieira & Javier Vidal (2012) The impact of the Programme for International Student Assessment on academic journals. Assessment in Education: Principles, Policy & Practice, 19:4, 393-409. abstract


Een bibliometrische analyse. Noemt wel speciaal artikelen met een kritische inslag (een handvol, o.a. Goldstein 2004).



Lex Borghans & Trudie Schils (2012, draft). The leaning tower of Pisa. Decomposing achievement test scores into cognitive and noncognitive components. pdf




Tom Loveless (March 18, 2014). Lessons from the PISA_Sghanghai controversy. Part I of the 2014 Brown Center Report on American Education. Brookings. web page


Essential reading!



Yariv Feniger & Adam Lefstein (2014). How not to reason with PISA data: an ironic investigation. Journal of Education Policy, 29, issue 6. abstract [paywalled, ik heb geen pdf]




J. Dronkers & M. de Heus () The higher achievement of Chinese pupils, inside and outside of Asia: the higher transparency of Chinese numbers or a higher value of learning within Chinese culture? pdf




Richard P. Phelps (2014). Review essay of OECD (2013). Synergies for better learning: An international perspective on evaluation and assessment. Assessment in Education: Principles, Policy & Practice, 21, 481-493. abstract. Also available via researchgate.


Footnote page 1: "As far as I can tell from what information is available about the temporary staffers on the Web, none had any background in educational assessment or evaluation."

"Synergies itself, the 'final synthesis' of the REAFISO project, runs 670 pages. The country reports accumulate another 1,500 pages or so. The ten background papers average about 50 pages each. Press some more tree pulp to accommodate the requisite press releases, talking points, or the multitude of each country’s own background papers, and, all told, REAFISO’s work took a few years, substantial commitments of resources from 26 countries, and stimulated the printing of several thousand pages.

This hefty mass represents an enormous expenditure of time, money, and effort to, essentially, get it all wrong. "



Dan Murphy (2014). Issues with PISA's use of its data in the context of international education policy convergence. Policy Futures in Education, 12, 893-916. download free access pdf here


Via @YongZhaoUO January 7, 2015



Miguel A. Pereyra, Hans-Georg Kotthoff & Robert Cowen (Eds.) (2014). PISA under examination. Changing knowledge, changing tests, and changing schools. Sense Publishers. [als eBook in KB] Introductory chapter; abstracts of chapters




David C. Berliner (2015). The Many Facets of PISA. Teachers College Record Volume 117 Number 1, 2015, p. 1-20 http://www.tcrecord.org ID Number: 17726, Date Accessed: 2/26/2015 5:28:04 AM abstract (thematic issue ob PISA contents)hr>



Ronald Buitelaar (december 2013). Hoe Nederland aan zijn PISA cijfers komt. blog




Jaap Dronkers (2011). De maatschappelijke en wetenschappelijke waarde van internationale data over onderwijsprestaties pdf




Jaap Dronkers (16 maart 2015). Onverstandig als NL niet aan PISA & internationale vergelijkingen deelnam. Zijn overgeleverd aan praatjesmakers. tweet thread




Manfred Prenzel,; Oliver Walter,; Andreas Frey (2007). PISA misst Kompetenzen. Eine Replik auf Rindermann (2006): Was messen internationale Schulleistungsstudien? Psychologische Rundschau, 58, 128-136 abstract




H. Rindermann & A. E. E. Baumeister (2015). Validating the interpretations of PISA and TIMSS tasks: A rating study. International Journal of Testing, 15, 1-2. abstract


This really is a rating study. It is therefore of zero importance?



Martin Carnoy (October 2015). International test score comparisons and educational policy. A review of the critiques. National Education Policy Centerpdf




Kaye Stacey & Ross Turner (Eds.) (2015). Assessing Mathematical Literacy: The PISA Experience. Springer. [eBook in KB] info


Oratio pro domo. As such, it is useful: what is the thinking of PISA-developers on math education and math testing?



Jihyun Lee, Lazar Stankov (2013). Higher-order structure of noncognitive constructs and prediction of PISA 2003 mathematics achievement. research.net




Jaap Dronkers (2015). Are the PISA Data for Shanghai Flawed? Huffington Post blog




Shelley Gillis , John Polesel, Margaret Wu (2015). PISA Data: Raising concerns with its use in policy settings. The Australian Educational Researcher preview


I have no access, regrettably. The references are free, however.



Hani Morgan & Christopher Barry (Eds.) (2016). The world leaders in education. Lessons from the successes and drawbacks of their methods. New York: Peter Lang. [PEDAG 40.a.143] info


Perused some of its pages. Disappointingly sloppy in formulations. Tainted with ideology. Superficial. Countries (each cuntry a chapter): China, Japa, Singapore, Canada, New Zealand, South Korea, Finland, US.



Hanna Dumont, David Istance & Prancisco Benavides (Eds.) (2010). The neature of learning. Using research to inspire practice. OECD online






J. Dronkers & P. Robert (2004). The effectiveness of public, private government-dependent and private independent schools: a cross-national analysis. pdf via http://hdl.handle.net/1814/1360




William H. Schmidt, Nathan A. Burroughs, Pablo Zoido & Richard T. Houang (2015). The Role of Schooling in Perpetuating Educational Inequality: An International Perspective. Educational Researcher. Open access pdf


Uses PISA: on experienced curriculum at individual level. Quite special. Might show constructivist methods to harm (low SES) groups of students. I have to study this one carefully.



OECD. Learning Mathematics for Life: A perspective from PISA. download & pdf volume 1 dode link helaas




Keita Takayama, Steven Lewis, Kalervo Gulson & David Hursh (2016). Putting ‘Fast Policy’ in dialogue with the policy borrowing and lending scholarship in comparative education. Discourse: Studies in the Cultural Politics of Education researchgate.net




PISA 2015 Assessment and Analytical Framework Science, Reading, Mathematic and Financial Literacy. Published on April 19, 2016 read online


tweeted https://twitter.com/benwilbrink/status/791335126856790016



Pedro de Bruyckere (November 11, 2016). Dear Andreas Schleicher, a few minutes about your latest opinion. blog


Yong Zhao 7 december 2016 Did the Shift from Paper to Computer Bring Down East Asia’s (China’s) PISA Performance? http://zhaolearning.com/2016/12/07/did-the-shift-from-paper-to-computer-ruin-east-asia’s-china’s-pisa-performance/ http://www.oecd.org/pisa/pisa-2015-results-in-focus.pdf http://www.lezenenschrijven.nl/uploads/editor/resultaten-pisa-2015-in-vogelvlucht.pdf http://www.lemonde.fr/education/article/2016/11/29/l-inquietant-niveau-des-eleves-en-maths-et-sciences_5039968_1473685.html Antwoord per mail van ‪@Cito‬:: "Bij alle PISA afnames (2000 t/m 2015) werd er bij Wiskunde gebruik gemaakt van een rekenmachine." https://twitter.com/ggerardk/status/806465750395420672



Gap in key subject achievement between 15-yr-olds in England one of the "most unequal among developed countries" tweet




Herman van de Werfhorst (8 december 2016). Maatwerk voor de leerling maakt de sociale ongelijkheid. NRC juist groter artikel



Pasi Sahlberg (2021). Finnish lessons. academia.edu



Pasi Sahlberg on possible causes of downtrend in Finnish PISA results. https://www.washingtonpost.com/local/education/finlands-schools-were-once-the-envy-of-the-world-now-theyre-slipping/2016/12/08/dcfd0f56-bd60-11e6-91ee-1adddfe36cbe_story.html?utm_term=.55864ea7023a ========================== PISA is not a test of recall https://gregashman.wordpress.com/2016/12/10/pisa-is-not-a-test-of-recall/ ========================== PISA 2015 Science Test Questions https://www.oecd.org/pisa/pisa-2015-science-test-questions.htm =========================== Mark Priestley CfE and PISA: 'holding our nerve’'https://mrpriestley.wordpress.com/2016/12/08/cfe-and-pisa-holding-our-nerve/ CfE: Curriculum for Excellence, Scotland. ======================== https://www.nfer.ac.uk/schools/pisa-based-test-for-schools/ =========================== Wales Pisa results: 'Little will be learned' By Dylan Wiliam http://www.bbc.com/news/uk-wales-37826634 =========================== Why OECD Pisa cannot be rescued by ETS Dr Hugh Morrison https://paceni.wordpress.com/2016/12/04/why-oecd-pisa-cannot-be-rescued-by-ets/ =========================== Culture or policy? What the world can learn from the latest PISA test results Reforming education is slow and hard, but eminently possible Dec 10th 2016 The Economist http://www.economist.com/news/international/21711247-reforming-education-slow-and-hard-eminently-possible-what-world-can-learn?fsrc=scn/tw/te/bl/ed/whattheworldcanlearnfromthelatestpisatestresults =========================== The g-factor of international cognitive ability comparisons: the homogeneity of results in PISA, TIMSS, PIRLS and IQ-tests across nations Authors Heiner Rindermann
 2007 http://onlinelibrary.wiley.com/doi/10.1002/per.634/abstract pdf =========================== John Jerrim How shift to computer-based tests could shake up PISA education rankings February 17, 2016 3.40pm GMT https://theconversation.com/how-shift-to-computer-based-tests-could-shake-up-pisa-education-rankings-54869

I drew upon data from 32 countries that completed both a paper and a computer mathematics test as part of PISA 2012 - the last round of this important global assessment. There are some striking results. Average PISA paper and computer scores differ by more than ten test points in around a third of countries. The OECD has previously suggested that differences of such a magnitude are substantial. via https://twitter.com/pasi_sahlberg/status/809307626832064512 ===========================



Analysis of the Predictive Power of PISA Test Items Maciej Jakubowski http://www.oecd-ilibrary.org/docserver/download/5k4bx47268g5-en.pdf?expires=1481849877&id=id&accname=guest&checksum=C9D3FE8903C392BAC0C6AC87874F20A0



Janna Teltemann and Eckhard Klieme (2016) ch 21 The Impact of International Testing Projects on Policy and Practice 369-386 in Gavin T. L. Brown & Lois R. Harris (Eds.) (2016). Handbook of human and social conditions in assessment. Routledge. info


Abstract For knowledge-based economies competing with each other worldwide, the production of human capital is deemed to be an important growth factor. The growing importance of education as a means of productivity involves an increasing need for effectiveness within national education systems. Consequently, standardized international student assessments have become more frequent during the last decades and have raised considerable interest in politics, media, and academia. Prominent examples of these testing projects include the OECD’s Programme for International Student Assessment (PISA), and the International Association for the Evaluation of Educational Achievement’s (IEA) Trends in International Mathematics and Science Study (TIMSS) and the Progress in International Reading Literacy Study (PIRLS). Associated with the rise of international testing projects is a substantial change in the modes of policy making in education. The assessments are not only used to identify good and weak performers, but rather they are used as a central instrument for prescribing reforms of national education policies (Feniger & Lefstein, 2014 [How not to reason with PISA data An ironic investigation.]). 




Hanushek & Woessmann (2014) Institutional structures of the education system and student achievement: a review of cross-country economic research. educational policy evaluation through in pdf In R. Strietholt, W. Bos, J.-E. Gustafssn & M. Rosen: Educational policy evaluation through international comparative assessments (145-176). Münster: Waxmann.



The impact of national and international assessment programmes on education policy, particularly policies regarding resource allocation and teaching and learning practices in developing countries by Maura Best Pat Knight Petra Lietz Craig Lockwood Dita Nugroho Mollie Tobin 2012. The EPPI-Centre reference number for this report is 2104. http://eppi.ioe.ac.uk/cms/Portals/0/PDF%20reviews%20and%20summaries/Education%20assessment%202013Best%20report.pdf?ver=2013-09-03-141900-363




Martin Carnoy, Tatiana Khavenson, Prashant Loyalka, William H. Schmidt, Andrey Zakharov (1916). Revisiting the Relationship Between International Assessment Outcomes and Educational Production. Evidence From a Longitudinal PISA-TIMSS Sample AERJ, 1054-1085 abstract




TALIS - Publications and documents site




Jesper Dahl Kelstrup (2016). The politics of think tanks in Europe. Routledge. [POLWETBF1.5/116] info


Niets substantieels over de OECD, of Nederlandse clubs zoals de WRR.



The global education race. Taking the measure of PISA and international testng. Foreword by David Berliner and Pasi Sahlberg. By Greg Thomson, and others? No publication date yet available. tweet




‘This house believes that 21st century learners need their heads filled with pure facts.’ Nick Ferrari (moderator), Nick Gibb, Daisy Christodoulou, Andreas Schleicher (March 18, 2017). Global Education & Skills Forum. live stream




5 ways we must transform our schools, according to the OECD’s head of education. blog


#GESF.



Hikaru Komatsua & Jeremy Rappleye (2017). A new global policy regime founded on invalid statistics? Hanushek, Woessmann, PISA, and economic growth. Comparative Education abstract




Beno Csapó & Joachim Funke (Eds.) (2017). The nature of problem solving. Using research to inspire 21st century learning. OECD Publishing. read




Sam Sellar, Greg Thompson &David Rutkowski (2017). The global education race. Taking the measure of PISA and international testing. Brush Education Inc. isbn 9781550597110 Forewords by David Berliner and Pasi Sahlberg. info & a review




Radhika Gorur & Margaret Wu (2015) Leaning too far? PISA, policy and Australia's ‘top five’ ambitions, Discourse: Studies in the Cultural Politics of Education, 36:5, 647-664, DOI: 10.1080/01596306.2014.930020 researchgate.net




IZA DP No. 10847 John Jerrim, Luis Alejandro Lopez-Agudo, Oscar D. Marcenaro-Gutierrez, Nikki Shure (2017). What Happens When Econometrics and Psychometrics Collide? An Example Using the PISA Data pdf




PISA 2015 (revised edition 8-2017) Assessment and Analytical Framework Science, Reading, Mathematic, Financial Literacy and Collaborative Problem Solving  Replaces PISA 2015 Assessment and Analytical Framework download




School curriculum in Japan. Chie Nakayasu (2016). The Curriculum Journal, 27, 134-150. free access




Therese N. Hopfenbeck & Marit Kjærnsli (2016) Students’ test motivation in PISA: the case of Norway, The Curriculum Journal, 27:3, 406-422, DOI: 10.1080/09585176.2016.1156004 free access




J. Intell. 2017, 5(2), 10; doi:10.3390/jintelligence5020010 Complex Problem Solving in Assessments of Collaborative Problem Solving. Arthur Graesser, Bor-Chen Kuo and Chen-Huei Liao open access


Pisa problem solving



Bob Rothman (Sept 29, 2017). AFTER THE SHOCK: THE GERMAN EDUCATION SYSTEM IN 2017. blog




Therese N. Hopfenbeck, Jenny Lenkeit, Yasmine El Masri, Kate Cantrell, Jeanne Ryan & Jo-Anne Baird (2017). Lessons Learned from PISA: A Systematic Review of Peer-Reviewed Articles on the Programme for International Student Assessment. SCANDINAVIAN JOURNAL OF EDUCATIONAL RESEARCH 2017 http://dx.doi.org/10.1080/00313831.2016.1258726 open access


tweet met quote 3.3.1 The cognitive test constructs



The use of test scores from large-scale assessment surveys: psychometric and statistical considerations. Henry BraunEmail author and Matthias von Davier Large-scale Assessments in EducationAn IEA-ETS Research Institute Journal20175:17 https://doi.org/10.1186/s40536-017-0050-x< blog




open access




Greg Ashman (Oct 9, 2017). The man from Opposite Land.




Gabriel Heller Sahlgren (2015). Real Finnish Lessons The true story of an education superpower. Centre for Policy Studies. pdf




Robert M. Hauser (2009). On “Quality and Equity in the Performance of Students and Schools” pdf




By Helge Wasmuth (Dec 5, 2017). BABY PISA IS JUST AROUND THE CORNER. SO WHY IS NO ONE TALKING ABOUT IT? blog


Mapping the Dimensions of General Intelligence: An Integrated Differential-Developmental Theory. Andreas Demetriou, Nikolaos Makris, George Spanoudis, Smaragda Kazi, Michael Shayer and Elena Kazali (in press). Human Development, in press. researchgate




Nadir Altinok, Claude Diebolt & Jean-Luc Demeulemeester (2014) A new international database on education quality: 1965-2010, Applied Economics, 46:11, 1212-1247, DOI: 10.1080/00036846.2013.868592 pdf [via Christian Bokhove]


Zie ook https://twitter.com/Smithre5/status/949043462548078592 (paper is coming).



A Global Dataset on Education Quality (1965-2015) Nadir Altinok*, Noam Angrist, Harry Patrinos draft - Please do not quote This version: 10/12/2017pdf




The interplay of g and mathematical abilities in large-scale assessments across grades. Intelligence, Volume 63, July 2017, Pages 33-44. Steffani Sa&szelig;, Nele Kampa, Olaf Köller (2017). open access




OECD (Jan 15 2018). The Study on Social and Emotional Skills web page




Ben Williamson (Jan 16, 2018). PISA for personality testing - the OECD and the psychometric science of social-emotional skills blog




Francesca Borgonovi, Collin Hitt, Jeffrey A. Livingston, Sally Sadoff, Gema Zamarro 16 January 2018. The effort students put into standardised tests varies widely by country. page




A digital divide? Randomised evidence on the impact of computer-based assessment in PISA. A CfEE Research Brief by Professor John Jerrim download




Richard Phelps (2013?). The Rot Spreads Worldwide: The OECD - Taken In and Taking Sides. OECD encourages world to adopt failed US education programs. pdf




Carmen Köhler, Steffi Pohl, Claus H. Carstensen (2017). Dealing With Item Nonresponse in Large-Scale Cognitive Assessments: The Impact of Missing Data Methods on Estimated Explanatory Relationships. JEM, 54, 397-419 abstract




Steffani Sass, Nele Kampa, Olaf Koeller (2017). The interplay of g and mathematical abilities in large-scale assessments across grades. Intelligence, 63, 33-44




Pisa comparisons ‘not useful’, globally respected education academic says. Dylan Wiliam says that international Pisa rankings are bedevilled by missing data and distorted by private tuition. By Will Hazell 26 April 2018 TES article




John Jerrim (Jan 26, 2018). Is PISA still a fair basis for comparison? Some serious questions have emerged. blog




Arne Hole, Liv Sissel Grønmo and Torgeir Onstad (2018). The dependence on mathematical theory in TIMSS, PISA and TIMSS Advanced test items and its relation to student achievement. Large-scale Assessments in Education, An IEA-ETS Research Institute Journal20186:3 https://doi.org/10.1186/s40536-018-0055-0 open




Philip D. Parker, Herbert W. Marsh, John P. Jerrim, Jiesi Guo, Theresa Dicke (2018). Inequity and Excellence in Academic Performance: Evidence From 27 Countries. AERJ. abstract & references




Anna Stokke (2018). What to Do about Canada’s Declining Math Scores. How Institue. pdf


"With mounting evidence showing the shortcomings of discovery-based instruction, it’s time to put more emphasis on direct instruction in math to help reverse the decline in student scores."



Marilyn Achiron (Ed.) (2016). Equations and inequalities. Making mathematics accessible to all. OECD PISA. read goo.gl/1B1KJF




Stephen Sawchuk (August 22, 2018). If Students Aren't Trying on International Tests, Can We Still Compare Countries' Results? Education Week article




Education at a Glance 2018 OECD Indicators read




Annika B. Bergbauer, Eric A. Hanushek, Ludger Woessmann (2018). Testing. CESifo Working Paper No. 7168 Category 5: Economics of Educationpdf




Annemarie de Knecht-van Eekelen, Erna Gille & Peter van Rijn (2007). Resultaten PISA-2006. Praktische kennis en aardigheden van 15-jarigen. Cito.




Resultaten PISA-2012 in vogelvlucht. Praktische kennis en vaardigheden van 15-jarigen Nederlandse uitkomsten van het Programme for International Student Assessment (PISA) op het gebied van wiskunde, natuurwetenschappen en leesvaardigheid in het jaar 2012. pdf




Bryan Maddox (Ed.) (2018). International large-scale assessments in education. Bloomsbury. info




OESO-directeur Andreas Schleicher: Het onderwijs dreigt zijn doel en relevantie te verliezen'. De Groene Amsterdammer 8 mei 2019. hier




OECD (). Balancing school choice and equity: An international perspective based on PISA. read online




Jill Barshay (June 27, 2016). Is it better to teach pure math instead of applied math? OECD study of 64 countries and regions finds significant rich-poor divide on math instruction. column




OECD (June 20, 2016). Equations and Inequalities Making Mathematics Accessible to All. OECD Publishing. read


#pisa #equity #vmbo



Svein Sjoberg (February 2019) The PISA-syndrome - How the OECD has hijacked the way we perceive pupils, schools and education Article · DOI: 10.3384/confero.2001-4562.190125 pdf




Svein Sjøberg (2019). The PISA-syndrome - How the OECD has hijacked the way we perceive pupils, schools and education. pdf




Laura C. Engela , David Rutkowskib and Greg Thompson (2019). Toward an international measure of global competence? A critical look at the PISA 2018 framework. Globalisation, societies and education https://doi.org/10.1080/14767724.2019.1642183 CONTACT Laura C. Engel Lce@gwu.edu




Jill Barshay (June 27, 2016). Is it better to teach pure math instead of applied math? OECD study of 64 countries and regions finds significant rich-poor divide on math instruction. column




OECD (June 20, 2016). Equations and Inequalities Making Mathematics Accessible to All. OECD Publishing. read


#pisa #equity #vmbo



PISA 2021 MATHEMATICS FRAMEWORK page


https://twitter.com/benwilbrink/status/1186177206374096897



Tom Loveless (January, 2013). International Tests Are Not All the Same. Brookings. blog




John Jerrim (12 Nov 2019). Should we eat more fish or more ice-cream to boost PISA scores? blog




Goldstein, H. (2019). PISA and the globalisation of education: a critical commentary on papers published in AIE special issue 4/2019. Assessment in Education: Principles, Policy & Practice, 1-10 doi:10.1080/0969594x.2019.1674244  scihub




Therese N. Hopfenbeck, Jenny Lenkeit, Yasmine El Masri, Kate Cantrell, Jeanne Ryan & Jo-Anne Baird (2017). Lessons Learned from PISA: A Systematic Review of Peer-Reviewed Articles on the Programme for International Student Assessment. Scandinavian Journal of Educational Research open access




reports PISA 2018




(2013 version) Why does Finnish give better PISA results? This article explains why the Finnish language gives Finland an advantage in PISA tests. Wednesday, October 30, 2013 by Taksin Nuoret webpage


via Jan Tishauer



The OECD’s Historical Rise in Education The Formation of a Global Governing Complex Editors: Ydesen, Christian (Ed.)info




The PISA calendar: Temporal governance and international large-scale assessments Joakim Landahl (2020). Educational Philosophy and Theory Volume 52, 2020 - Issue 6: Time and educational (re)forms open




PISA 2021 MATHEMATICS FRAMEWORK Explore the main sections below, click on the interactive framework components, or download the full PISA 2021 Mathematics Framework Draft in PDF format.page




Andreas Schleicher: “PISA toetst het denkvermogen, je kunt het niet oefenen.” Dezelfde Schleicher, dezelfde pagina [Didactief mei 2015 p. 19] “De toetsen zijn niet bedoeld om verantwoording af te leggen, maar een instrument om het onderwijs te verbeteren.” Ben ik nou zo slim ... tweet




Nick Morrison (July 29, 2020).. The Truth About Education Policy Is That It’s Based On A Myth blog Forbes




PISA 2003: resultaten, reacties en gevolgen in Duitsland. Nieuwe Wiskrant pdf




Lagerwaard & Van Lent (2002). Nederland nummer 1, maar buiten mededinging. Nieuwe Wiskrant pdf




Lagerwaard & Van Lent (2001). Wat moet je met wiskunde als je 15 bent? Nieuwe Wiskrant pdf




Truus Dekker (2005). De Nederlandse PISA-resultaten nader bekeken. Nieuwe Wiskrant pdf




Greg Ashman (December 4, 2020). Explaining Finland’s educational decline. blog




Aino Saarinen (2020). Equality in cognitive learning outcomes: The roles of educational practices. pdf


Zie hierboven de blog van Ashman over Finland's decline.



Nuno Crato (Ed.) (2021). Improving a Country’s Education. PISA 2018 Results in 10 Countries. Springer. open access




Pokropek, A., Marks, G. N., & Borgonovi, F. (2021). How much do students’ scores in PISA reflect general intelligence and how much do they reflect specific abilities? Journal of Educational Psychology. Advance online publication. https://doi.org/10.1037/edu0000687 abstract




How much do students' scores in PISA reflect general intelligence and how much do they reflect specific abilities? By Pokropek, Artur,Marks, Gary N.,Borgonovi, Francesca Journal of Educational Psychology, Oct 07 , 2021 abstract















December 2021 \ contact ben at at at benwilbrink.nl    

Valid HTML 4.01!   http://www.benwilbrink.nl/projecten/pisa.htm http://goo.gl/SXypV