Mentale belasting van contextopgaven in rekentoetsen

Cognitive load analytics of word problems

The trouble with PISA Math & similar test items is that the contexts are intended to be NEW, UNFAMILIAR ones: no mental representation yet! tweet

for the English reader

The literature on this topic is mainly in the English language. Therefore this webpage should be informative to English readers too. I will write mostly in Dutch, though; trying to write in English takes too much cognitive load ;-).

other pages on my website that contain relevant materials:

political context

Revisionist arithmetics education has pretty much destroyed the capability of Dutch youth to do any serious arithmetics on paper (PPON 2004, see for example Hickendorff’s 2011 dissertation) (‘Serious’? PPON exercises are rather simple; yet a fact that might have contributed to subjects trying to do them mentally instead of on paper). In an attempt to remedy this disastrous situation, the Dutch government is in the process of adding an arithmetics test to the exit examinations in secondary education and vocational education (mbo). For examples of the testing materials, see the website of CITO here. Even though the word problems have been written in Dutch, it should be immediately clear that the word problems are rather problematic in terms of cognitive load. Take the trouble to open one test (‘voorbeeldtoets’), for example the 2013 one for the high tracks in secondary education here.

A governmental commission-Bosker also concluded so (May 2014, the ministers of education have not yet revealed their position on the conclusions of this commission. A parliamentary debate is scheduled for the 18th of June). The main characteristic of these arithmetics tests is that they pretend to test the capability to use arithmetics in situations of daily life. This particular ideology is known as situationism, now part and parcel of constructivism even though both ideologies are somewhat antagonistic to each other. On the problematic sides of this educational ideology, see Anderson, Reder & Simon (1998). In Dutch, a short article on situationism Wilbrink, 2014; an annotated version has much references to the literature.

Of some importance is that PISA-math items are of the same type, are embeded in the same ideology (voiced by Andreas Schleicher, OECD head of PISA operations), and have an ancestry that goes back to Dutch revisionism in arithmatics (Hans Freudenthal and his co-workers). Cito analyzed the similarities and differences between items of PISA-Math and items on the arithmetics tests mentioned here; the report has not yet been made public (the results will be presented and discussed on Onderwijsresearchdagen ORD in Groningen, June 12, 2014, 9:00, bij Cito psychometrists)), the department of education under the direction of Sander Dekker is withholding it.

There is a kind of ‘Common Core’ controversy in the Netherlands concerning these arithmetics tests. To the outsider the debate looks like a conflict of opinions. To make any progress in this debate between protagonists of pseudo-scientific math education and protagonists of (cognitive) science as a foundation of math education and valid math testing, the next step should be to make a hard science analysis of cognitive load characteristics of revisionist education word problems. I will try to make a beginning in this webpage.

The problem

This paper is not about John Sweller’s cognitive load theory. It will be used, of course, whenever appropriate. In a way, this paper will be about the cognitive processes triggered by questioning, and how these processes impact on answering.

Keep in mind that much of the literature is about differences within subjects (experimental cognitive psychology), not between subjects (differential psychology, testing psychology). Ultimately, though, we will want to be able to predict differences between students on the basis of adequate theory of differences within subjects.

A key review publication to start with is Leighton_2013.

Mentioned by Leighton: a linguistic approach to question complexity by Herbert H. Clark (1969). Linguistic processes in deductive reasoning. Psychological Review.

This research is not simply about difficult words or the problems second language learners might have. Some items have made it into the canon of what to do or avoid in designing test items, such as the use of denials.

Cognitive models: Halford, Wilson & Phillips, 1998. Yes, this is the way the word problems should be researched psychologically. The pdf also contains open peer commentaries (a.o. by Anderson, Lebiere, Lovett & Reder: ACT-R: A higher level account of processing capacity), and the reply by the authors.

A special topic is that of the (word) problem consisting of a combination of subproblems, each one necessary for the correct answer. That is: the probability of obtaining the correct answer is the product of the probabilities of obtaining the necessary information from the subproblems. See Wilbrink, 1998.

It is an important issue because the human assessor is not inclined to multiply the probabilities of obtaining the correct information from each of the subproblems, resulting in his underestimating the difficulty of the word problem.


Myrto-Foteini Ma Vilidi, Vincent Hoogerheid & Fred Paas (2014). A quick and easy strategy to reduce test anxiety and enhance test performance. Applied Cognitive Psychology, 28, 720-726. abstract

Robert C. Daniel & Susan E. Embretson (2010). Designing cognitive complexity in mathematical problem-solving items. Applied Psychological Measurement, 34, 348-364. abstract

Ik heb dit doorgenomen, en word er toch wel een beetje bedroefd van. Oé, ik begrijp die heel andere wereld van constructie van landelijke toetsen wel een beetje, maar wat ik niet begrijp is de totale desinteresse in de inhoud van die rekenopgaven en wat er cognitief voor nodig is om erop te kunnen scoren. Kokervisie. Dat is dan nog tot daaraantoe, maar kokervisie betekent ook dat er geen checks and balances zijn waar het om de inhoudelijke kwaliteit van toetsopgaven gaat (anders dan wat door de statistische wringer heen is gekomen), noch om validiteit van het gebruik van de toetsresultaten. Ik mis in dit artikel ook maar de kleinste aanwijzing dat de betreffende toetsvragen in naam en oppervlakkig geziene inhoud rekenopgaven zijn, maar dat zij samen in feite een onduidelijke soep van intellectuele capaciteiten testen. En dat laatste is toch echt geen geheim van de beroepsgroep, zie bijvoorbeeld een interview in 2014 met Intelligence editor Doug Detterman.

Uiteindelijk blijft er niet veel meer over dan een onderzoekje naar de bekende weg: opgaven met meer tussenstappen zijn moeilijker. Maar wat ik nu juist wil weten: hoe hangt de moeilijkheid exact af van cognitieve horden en bottlenecks: beschikbaar krijgen van nodige kennis, mogelijke overbelasting van het werkgeheugen, individuele verschillen hierbij en hoe die te verklaren, enzovoort. Niets van dat alles in Daniel & Embretson. Bijvoorbeeld: als voor een opgave zowel A als B en C nodig zijn, hoe waarschijnlijk is het dat A, B en C beschikbaar komen? En is het mogelijk dat het werkgeheugen A, B en C niet tegelijk aan kan?

Susan E. Embretson & Robert C. Daniel (2008). Understanding and quantifying cognitive complexity level in mathematical problem solving items. Psychology Science Quarterly, 50, 328-344. pdf

Anderson, J. R., Reder, L. M. & Simon, H. (1998). Radical constructivism and cognitive psychology. In D. Ravitch (Ed.) Brookings papers on education policy 1998 (227-278). Washington, DC: Brookings Institute Press. pdf [also available in JSTOR, registratie vereist om free online te kunnen lezen] A better version/scan in pdf :

Marian Hickendorff (2011). Explanatory latent variable modeling of mathematical ability in primary school : crossing the border between psychometrics and psychology. Proefschrift Universiteit Leiden. download

Jacqueline P. Leighton (2013). Learning Sciences, Cognitive Models, and Automatic Item Generation. In Mark J. Gierl & Thomas M. Haladyna (Eds) (2013). Automatic Item Generation. Theory and Practice (121-135). Routledge. [als eBook bij KB] info

This article is a key publication on item writing. Relevant references among others:

Joanna S. Gorin & Susan E. Embretsen (2013). Using Cognitive Psychology to Generate Items and Predict Item Characteristics. In Mark J. Gierl & Thomas M. Haladyna (Eds) (2013). Automatic Item Generation. Theory and Practice (136-). Routledge. [als eBook bij KB]

Edith Aurora Graf and James H. Fife (2013). Difficulty Modeling and Automatic Generation of Quantitative Items: Recent Advances and Possible Next Steps. In Mark J. Gierl & Thomas M. Haladyna (Eds) (2013). Automatic Item Generation. Theory and Practice (157-179). Routledge. [als eBook bij KB]

The text of the chapter itself turned out to be a disappointment for me. Almost nothing on cognitive modeling. Highly abstract in its verbal exposition. Most of the research mentioned turns out to be rather empiricist, using a black-box model of cognitive operations themselves. The testing industry is interested in constructing items with known difficulty and discrimination parameters. That is not why teachers and students should be interested in item models. It is that old story again: students get tested, often not even having the choice to opt out of testing. Students should have a voice in all of this. Society at large should have a voice. The educational community should have a voice. Not in this Graf and Fife chapter, though.

Nevertheless, a lot of research literature gets mentioned here, I will dig into that list. For example: the Graf papers (ETS) look interesting, but turn out to be grounded in NCTM's reform mathematics (constructivism).

Mark J. Gierl & Thomas M. Haladyna (Eds) (2013). Automatic Item Generation. Theory and Practice. Routledge. [als eBook bij KB] info

Ben Wilbrink (2014). Al die teksten in onze eindexamens, waar komt dat fenomeen toch vandaan? Kan Sander Dekker precies 75 L zand in een kruiwagen scheppen? Van Twaalf Tot Achttien, Vakblad voor Voortgezet Onderwijs, 24, 28-30. concept

Kou Murayama, Reinhard Pekrun, Stephanie Lichtenfeld, Rudolf vom Hofe (accepted 2012). Predicting Long-Term Growth in Students' Mathematics Achievement: The Unique Contributions of Motivation and Cognitive Strategies. Child Development prepublication pdf

Establishes again the fact that every student is able to learn mathematics. I have yet to study the article. The data are from a German longitudinal study. I need to know what the authors' conception of ‘learning mathematics’ is. And I’d like to see the math items used in the research (not even one presented in the article itself).

David Bornstein (April 18, 2011). A Better Way to Teach Math The opninion pages of Opiniator webpage

Philip E. Ross (August 2006). The expert mind. Studies of the mental processes of chess grandmasters have revealed clues to how people become experts in other fields as well. Scientific American, 64-71 pdf

Ben Wilbrink (1998). Inzicht doorzichtig toetsen. In Theo H. Joostens en Gerard W. H. Heijnen (Red.). Beoordelen, toetsen en studeergedrag. Groningen: Rijksuniversiteit, GION - Afdeling COWOG Centrum voor Onderzoek en Ontwikkeling van Hoger Onderwijs, 13-29. html

This paper is of interest because it models the situation where the student has to be able to connect two or more separate bits of (knowledge) information in order to reach a correct answer. Retrieval from long-term declarative memory, for example. In terms of probabilities: the probability to answer the item (correctly) is the product of the separate probabilities of retrieving the fitting bits of information. Anyone knowledgeable about conjunctive chances will see that the difficulty of the multiple-bit item will be much, even very much, higher than the naive assessor might think it to be, taking the difficulty of retrieving one particular bit of information as a guide. Kind of a ‘framing’ effect, maybe? Well, the model might explain why naive assessors typically underestimate the difficulty of items in educational measurement, for example in Angoff-procedures to pinpoint the level of achievement that is just at the pass-fail point.

J.-A. LeFevre, D. DeStefano, B. Coleman & T. Shanahan (2005). Mathematical cognition and working memory. In Jamie I. D. Campbell: Handbook of Mathematical Cognition (361-378). abstract

No pdf available online; if you do not have access to the book, see instead Ashcraft & Krause 2007.

Mark H. Ashcraft & Jeremy A. Krause (2007). Working memory, math performance, and math anxiety. Psychonomic Bulletin & Review, 14, 243-248. pdf

Not a research article.

Jamie I. D. Campbell (2005). Handbook of Mathematical Cognition(361-378). Psychology Press. contents

Technical Appendix A. Quantifying the Reading Demands of the TIMSS 2011 Fourth Grade Mathematics and Science Items. pdf

Helpful. A superficial approach; useful in empiricist/routine research on ‘perceptive load’. Right? Cognitive load is something very different. Risk: focus on reading demands to obscure attention for cogn load. PISA-Math intentionally is more situationist than TIMSS-Math; therefore higher cognitive load?

Ina V.S. Mullis, Michael O. Martin, and Pierre Foy (2013). The Impact of Reading Ability on TIMSS Mathematics and Science Achievement at the Fourth Grade: An Analysis by Item Reading Demands. Prepared for IEA’s 4th International Research Conference in Singapore 2013. pdf

A lot of fuss, many countries involved. At the end of the day the results are as to be expected: grade 4 poor readers (as measured by PIRLS) are handicapped on the TIMSS-Math items because these items test the ‘construct’ solving math items in everyday contexts. Pseudoscience? I think so, but my thinking does not help all those kids around the world. Or the economies suffering from poor mathematical skills in the labor force (if that would be your criterion).

Daeun Park, Gerardo Ramirez & Sian L. Beilock (2014) The role of expressive writing in math anxiety. Journal of Experimental Psychology: Applied (online first) [I have no access to a pdf] abstract

This research shows that math anxiety impacts on capacity of short term memory available for problem solving.

Gerdineke van Silfhout (2014). Fun to read or easy to understand? Establishing effective text features for educational texts on the basis of processing and comprehension research. Proefschrift Utrecht. Landelijke Onderzoekschool Taalwetenschap. pdf ophalen

Erik de Corte & Lieven Verschaffel: De complexe relatie tussen redactie- en formule-opgaven. Enkele resultaten van een empirisch onderzoek in de aanvangsklas van het basisonderwijs. In G. de Zeeuw, W. Hofstee & J. Vastenhouw (Red.) (1983). Funderend onderzoek van het onderwijs en onderwijsleerprocessen. Onderwijs Research Dagen 1983. Swets & Zeitlinger. isbn 9026504969

Irwin Kirsch (2001). The International Adult Literacy Survey (IALS): Understanding What Was Measured. Research Report RR-01-25. Educational Testing Service. pdf

G. Greeno (1980). Some examples of cognitive task analysis with instructional implications. In Richard E. Snow, Pat-Anthony. Federico and William E. Montague (Eds.) (1980). Aptitude, learning and instruction. Volume 2: cognitive process analyses of learning and problem solving (1-21). Erlbaum. isbn 0898590469

An old cow?

Lucy Cragg & Camilla Gilmore (2014). Skills underlying mathematics: The role of executive function in the development of mathematics proficiency. Trends in Neuroscience and Education [online first] open access webpage or this pdf

Kelly Trezise & Robert A. Reeve (2014). Working memory, worry, and algebraic ability. Journal of Experimental Child Psychology, 121, 120-136. abstract [geen pdf tot mijn beschikking]

Nash Unswortha, Keisuke Fukudab, Edward Awha, Edward K. Vogel (2014). Working memory and fluid intelligence: Capacity, attention control, and secondary memory retrieval. Cognitive Psychology, 71, 1-26. abstract [geen pdf tot mijn beschikking]

Zach Shipstead, Dakota R.B. Lindsey, Robyn L. Marshall, Randall W. Engle (2014). The mechanisms of working memory capacity: Primary memory, secondary memory, and attention control. Journal of Memory and Language, 72, 116-141. [geen pdf tot mijn beschikking] abstract [geen pdf tot mijn beschikking]

Nash Unsworth & Gregory J. Spillers (2010). Working memory capacity: Attention control, secondary memory, or both? A direct test of the dual-component model. Journal of Memory and Language, 62, 392-406. [geen pdf tot mijn beschikking] abstract

Cai-Ping Dang, Johan Braeken, Roberto Colom, Emilio Ferrer & Chang Liu (2014). Why is working memory related to intelligence? Different contributions from storage and processing. Memory, 22, 426-441. [geen pdf tot mijn beschikking] abstract

Klaus Oberauer & Rheinholg Kliegl (2006). A formal model of capacity limits in working memory Journal of Memory and Language, 55, 601-626. abstract, pdf open access

Lex Borghans & Trudie Schils (draft Otober 13, 2012). The Leaning Tower of Pisa Decomposing achievement test scores into cognitive and noncognitive components. Paper presented at the 2012 NBER Summer Institute in Education Economics, Cambridge. draft & powerpoint

Deze onderzoekers hebben wel een heeel bijzondere variabele te pakken: in de loop van de afname van PISA-Math blijkt er slechter te worden gescoord, terwijl de mate waarin dat het geval is kan verschillen van land tot land. Ik heb dan onmiddellijk het vermoeden dat Nederlandse leerlingen deels beter scoren dan anderen omdat ze die contextrekenopgaven al hun hele onderwijsloopbaan intensief hebben ontmoet.

Lex Borghans, Leo Kockelkorn, Trudie Schils (March 1, 2013). Low stakes, high stakes: The predictive power of math achievement tests. pdf

Tom Siegfried (April 22, 2014). Doctors flunk quiz on screening-test math.

ScienceNews, Magazine of the Society for Science & the Public abstract

Some sloppy thinking is going on here. The question does not mention anything about the false negative rate. The text, using baseball player drugs use testing, suggests both ates to be the same, allowing one to fuzzily speak of a test being 95 percent correct.

F. S. J. Riemersma & J. Meijer (1983). Leren oplossen van wiskundige problemen: analyse van hardopdenk-protocollen. SCO-rapport 26.

Jacqueline Leighton & Mark Gierl (Eds.) (2007). Cognitive Diagnostic Assessment for Education: Theory and Applications. Cambridge University Press. [als eBook in KB] info

Graeme S. Halford, William H. Wilson & Steven Phillips (1998). Processing capacity defined by relational complexity: Implications for comparative, developmental, and cognitive psychology. Behavioral and Brain Sciences, 21, 803-831 abstract and pdf

The pdf also contains open peer commentaries (a.o. by Anderson, Lebiere, Lovett & Reder: ACT-R: A higher level account of processing capacity), and the reply by the authors.

Joanna S. Gorin & Susan E. Embretsen (2006). Item difficulty modeling of paragraph comprehension items. Applied Psychological Measurement, 30, 394-411. abstract

Sidney H. Irvine and Patrick C. Kyllonen (Eds) (2002). Item generation for test development  Mahwah, NJ [etc.] : Lawrence Erlbaum Associates, 2002. -  [ UB Leiden magazijn 3 9672 D 40, nog niet opgezocht ] questia

Mary Kay Stein, Barbara W. Grover and Marjorie Henningsen (1996). Building Student Capacity for Mathematical Thinking and Reasoning: An Analysis of Mathematical Tasks Used in Reform Classrooms. American Educational Research Journal, 33, 455-488 abstract

Stein, M., Smith, M., Henningsen, M., & Silver, E. (2000). Implementing standards-based mathematics instruction: A casebook for professional development. New York: Teachers College Press. [niet gezien] info

I do not expect this book to be helpful in any way. Moreover, its ideology seems to be constructivism.

Jacqueline P. Leighton and Mark J. Gierl (2007). Defining and Evaluating Models of Cognition Used in Educational Measurement to Make Inferences About Examinees' Thinking Processes. Educational Measurement: Issues and Practice, 26 #2, 3-16. paywalled abstract

Wim Van Dooren, Lieven Verschaffel, Brian Greer, and Dirk De Bock (2006). Modelling for Life: Developing Adaptive Expertise in Mathematical Modelling From an Early age. In Lieven Verschaffel, Filip Dochy, Monique Boekaerts and Stella Vosniadou (Eds) (2006). Instructional psychology: Past, present, and future trends. Sixteen essays in honour of Erik de Corte. Elsevier. [als eBook te leen in KB] info

Het boek is als eBook te leen in de KB, ik beschouw het dus maar als voor iedereen die dat wil voldoende toegankelijk. Het hoofdstuk begint met een soort beginselverklaring voor het situationisme dat we zo uitbundig terugvinden in onze rekentoetsen, in de PISA-rekentoetsen, en in het realistisch rekenen. Verschaffel heeft al wat langer onderzoek gedaan naar redactiesommen, en heeft een uitgesproken opvatting over contextopgaven in het rekenen. Ik ben zo vrij om een uitstekend voorbeeld in dit hoofdstuk, p. 92-93, volledig te citeren. Of misschien moet ik het in eigen woorden samenvatten? Eerst een stellingname die mij werd opgedrongen bij het bestuderen van de laatste sectie in dit hoofdstuk:

Stelling: ‘rekenen in contexten’ is een vorm van zelfontdekkend leren. Dat als doel voor het onderwijs stellen, zoals de auteurs hier doen unisono met de reform-gemeenschap, is het leren zelfontdekkend te leren als examineerbaar doel stellen.

Examens in de vorm van ‘rekenen in contexten’ testen ahw het vermogen tot zelfontdekkend leren (intellectuele capaciteiten)

Hoe werkt het brein? Enige dagen geleden vatte ik nog eens samen dat het probleem van transfer (volgens Stellan Ohlsson) geen afzonderlijk probleem is, maar dat hier sprake is van leren: een relatief algemene regel of set van regels aanpassen/verbijzonderen zodat ze passend zijn voor de nieuwe situatie. Dat is wat contextrekenopgaven vragen. Ik was daardoor onverwacht goed geprepareerd voor het volgende. In de op zich glasheldere — maar niet empirisch onderbouwde — visie van Verschaffel c.s. op het opstellen van rekenmodellen is het evident dat zij dat leren bij het oplossen van contextopgaven opvatten als zelfontdekkend leren, zonder dat zo te benoemen overigens. Ik had het al veel en veel eerder zelf moeten ontdekken (dat de visie van Verschaffel hierop neerkomt). Pro memorie: Lieven Verschaffel is in de tachtiger en negentiger jaren zo ongeveer de enige psycholoog geweest die Hans Freudenthal en zijn groep in Utrecht toejuichte, en daarmee in zekere zin legitimeerde wat de psychologie van het realistisch rekenen betreft. ‘Het nieuwe leren’. Verschaffel was vijf jaar geleden lid van de KNAW-commissie over het rekenonderwijs, en zal waarschijnlijk op 30 juni aanezig zijn in het Trippenhuis, bij het eerste jubileum van de commissie-Lenstra.

Van Dooren c.s. onderscheiden vier typen contextproblemen, in oplopende complexiteit en toenemend realisme, een voorstel dat zij ontleneen aan Galbraith & Stillman (2001, p. 301). Ik citeer het schema hierbeneden. Het vierde, meest ambitieuze niveau is kennelijk voor deze auteurs ook het ideaal voor het onderwijs (niet het promotieonderzoek, maar het basisonderwijs). Het lijkt mij gespeend van enig realistisch (pun intended) gevoel voor (verschillen in) menselijke intellectuele capaciteiten. Maar pluspuntje is: het maakt veel duidelijk over de ambities van de Leuvense hervormers.

Kenneth R. Koedinger, Albert T. Corbett & Charles Perfetti (2012). The Knowledge-Learning-Instruction Framework: Bridging the Science-Practice Chasm to Enhance Robust Student Learning. Conitive Science, 36, 757-798. abstract en/of full report

John R. Anderson & Christian D. Schunn (2000). Implications of the ACT-R learning theory: No magic bullets. In R. Glaser (Ed.), Advances in instructional psychology: 5 (pp. 1-34). Mahwah, NJ: Lawrence Erlbaum Associates. pdf pdf

Arthur C. Graesser and Rolf A. Zwaan (1995). Inference generation and the construction of situation models. abstract In Charles A. Weaver III, Suzanne Mannes, Charles R. Fletcher and Walter Kintsch (Eds) (1995). Discourse Comprehension: Essays in Honor of Walter Kintsch [als eBook in KB]

Arnoud Verdwaald (1998). Relational transformations in the process of discourse representation of simple word problems. Dissertation Catholic University of Nijmegen. info

Highly relevant research. [I have seen the dissertation, copied it, I have yet to study it thoroughly; no online version available?] Het onderzoek gaat over eenvoudige redactiesommen. Bedrieglijk eenvoudig, want ze blijken lastig, ook voor volwassenen wanneer deze onder druk moeten werken. Het helpt dus enorm voor het begrijpen van de moeilijkheden met sommige rekenopgaven-3F wanneer het lukt om cognitieve modellen voor de onderstaande eenvoudige woordproblemen experimenteel te onderzoeken. Verdwaald zal met Nederlandse opgaven hebben gewerkt, ik zie zo gauw niet de exacte teksten daarvan; ik heb zelf maar even het Engels vertaald. Merk hoe bij het oplossen van deze vraagstukjes de aandacht heen en weer schiet tussen de gegevens, zoowel de getallen als de exacte woorden. Het gaat dus ook over mentale belasting, maar de ingang lijkt allereerst een linguïstische te zijn.

E. C. D. M. van Lieshout (2010). Enkele lijnen in het onderzoek van basale rekenvaardigheden. Rede uitgesproken ter gelegenheid van zijn afscheid als hoogleraar Orthopedagogiek met betrekking tot onderwijsleerproblemen aan de faculteit der Psychologie en Pedagogiek van de Vrije Universiteit Amsterdam op 5 maart 2010. rede

Stanley Woll (2002). Everyday Thinking. Memory, Reasoning, and Judgment in the Real World. Erlbaum. [als eBook in KB]info

First, it is clearly difficult to pin downexactly what is meant by the terms real world and everyday. What is real or everyday to one person may not be for another. ( . . . ) Thus, any attempt to say what is and what is not realistic or everyday would seem to be doomed to failure because there exist so many different versions of the everyday.

p. 13-14

Paul Cornell, MonicaRiordan, Mary Townsend-Gervis & Robin Mobley (2011). Barriers to critical thinking. Workflow interruptions and task switching among nurses. The Journal of Nursing Administration, 41, 407-414. [researchgate download] abstract

Waarom verwijs ik hier naar, en waarom is het abstract van belang voor onze rekentoetsproblematiek? Welnu, wanneer kandidaten onder examencondities twee of drie minuten tijd hebben voor telkens weer een andere contextopgave, dan hebben we een vergelijkbare stress-conditie als voor deze verpleegkundigen. Overigens heb ik zo’n vermoeden dat wat dit artikel beschrijft, direct relevant is voor de problemen die de ontwikkelaars van toetsen voor verpleegkundig rekenen ontmoeten (de meeste verpleegkundigen uit de beroepspraktijk scoren ‘onvoldoende’ op deze mede door het Cito ontwikkelde toetsen).

Gerd Gigerenzer, Ralph Hertwig & Thorsten Pachur (Eds.) (2011). Heuristcs. The Foundations of Adaptive Behavior. Oxford University Press. [niet gevonden in KB bij de eBooks, 2014] info

In de index geen arithmatics of mathematics. Interessante gedachte: bij beslissingen in het dagelijks leven speelt rekenen, laat staan wiskunde, dus geen rol van enige betekenis? Laat ik het eens anders formuleren: bij het aanpakken van contextopgaven volgen kandidaten waarschijnlijk niet de rationele strategie die de ontwerpers van deze vragen verwachten, maar strategieën die in het dagelijks leven vaak en met succes gebruikt worden. Een goed voorbeeld uit die laatste categorie is Herbert Simon’ satisficing strategie: als opvallende informatie in de opgave voldoende lijkt om tot een oplossing te komen, dan is dat de voorkeursaanpak voor de kandidaat. En dus niet het onthecht eerst zorgvuldig bestuderen van alle informatie, de vraagstelling, en dan nog weer eens de informatie, om dan een mogelijk plan van aanpak te bedenken, uit te werken, uit te voeren, en te controleren of het resultaat inderdaad een antwoord id op de gestelde vraag. Of die laatste rationele procedure nu uit ten treure is getraind, of niet: als die contextopgaven iedere keer een vooral toch heel nieuw probleem stellen, dan is voorgaande training immers niet zo geweldig relevant voor deze weer nieuwe opgave. Lees dus Chapter 2: Gerg Gigerenzer & Daniel G. Goldstein: Reasoning the fast and frugal way: models of bounded rationality. Of een andere publicatie uit de indertussen zeer uitgebreide literatuur op deze thematiek (waaronder de bestseller van Daniel Kahneman).

Helen C. Reed (30 juni 2014). Mathematical Thinking, Learning and Performance. Insights and Interventions for Primary and Secondary Education. Vrije Universiteit.

L. N. Tronsky (2005). Strategy use, the development of automaticity, and working memory involvement in complex multiplication. Memory and Cognition, 33, 927-940. free access


J.R. Hayes & H.A. Simon (1974). Understanding written problem instructions. In Lee W. Gregg (Ed.) (1974). Knowledge and Cognition. Erlbaum. pdf. Reprinted in Herbert A. Simon (Ed.) (1979). Models of thought. New Haven: Yale University Press.

Hui-Yu Hsu (2010). The study of Taiwanese students' experiences with geometric calculation with number (GCN) and their performance on GCN and geometric proff (GP). Dissertation University of Michigan (Edward Silver, chair of promotion committee) pdf

Gerdineke van Silfhout (2014). Fun to read or easy to understand? Establishing effective text features for educational texts on the basis of processing and comprehension research. Leuk om te lezen of makkelijk te begrijpen? Een oogbewegings- en begripsonderzoek naar effectieve tekstkenmerken in schoolboeken. Proefschrift Universiteit Utrecht. pdf

Ruth C. Clark & Richard E. Mayer (2011). e-Learning and the Science of Instruction: Proven Guidelines for Consumers and Designers of Multimedia Learning. Second edition. Wiley. info [als eBook te leen in KB]

Leen VanBeek, Pol Ghesquière, Bert DeSmedt & Lieven Lagae (2014). The arithmetic problem size effect in children: an event-related potential study. Frontiers in Neuroscience 25 September 2014 ResearchGate or free access

I do not know what to make of this, weak models compared to those of ACT-R. Are there any cross-references tot the work of John Anderson and his colleagues?

Sian L. Beilock (2008). Math performance in stressful situations. Current Directions n Psycholgical Science, 17, 339-343. [Available from: [accessed Apr 5, 2015]]

Interesting prediction: students might learn nothing from exercise context math problems (PISA-like). From John Sweller (). Story of a research program. Education Review webpage tweet

april 2017 \ contact ben apenstaartje freelance advies ontwikkeling onderzoek

Valid HTML 4.01!