Word problems

An inventory

Ben Wilbrink

This page belongs to the broader issues treated in the mathematics education page. Publications in Dutch are mentioned and annotated in the separate web page wiskundeonderwijs, and in woordproblemen (en contextproblemen).

Nederlandstalige publicaties over redactiesommen, ingeklede vergelijkingen, of hoe ze ook ooit zijn genoemd: vooral geplaatst in woordproblemen (en contextproblemen).

Stephen K. Reed (1999). Word problems: Research and curriculum reform. Erlbaum. [als eBook in KB] Questia preview; reviewed by Lieven Verschaffel.

This is really a remarkable book, because cognitive scientist Stephen Reed, knowing very well the arguments of his colleagues Anderson, Reder & Simon, goes even further than Anderson c.s. already did in believing that constructivism and situationism might have a point, here and there. Well, I don't. Of course, the book now is 15 years old, and Stephen Reed may have changed his opinions as expressed in the book. Nevertheless, I will explore how and why it is that Reed sees some merit in the research on word problems done by members of the constructivist movement.

Chapter 10. Wor(l)d Problems

Yes, this is one of the articles of faith that is causing so much trouble and loss of quality in math education. The other article is that math education really should be aimed at learning to think (mathematically). Stephen Reed does not start his exposition with red flagging these notions; he seems to work on the notion ‘Well, let's see how far we can get on these NCTM-notions, there should at least be some scientific merit in them?’. For the record: of course the NCTM issued a revision of the standards in 2000, taking a less extreme constructivist position on math education. Stephen Reed apparently was not yet aware of the (extent of) the standards-revision.

Reed starts off on situated learning, a key protagonist article on the subject being Brown, Collins & Duguid (1989 text) (see f.e. the acknowledgement: Greeno, Lave, Schoenfeld). The term protagonist is mine, indicating that the authors in my opinion have an axe to grind — other than the scientific axe that is.

I am flabbergasted. Education, as far as I know, is such an ‘ordinary practice of the culture’ — yet it is not ‘authentic’ enough?

As not unusual, Whitehead (1929) is misused to make the point of much of school knowledge being inert knowledge. If you find Brown c.s. arguing the blatantly obvious, trust your own assessment, mistrust their claims of research evidence [by Vygotsky, Leontiev, and other activity theorists, see their note 1] for what always has been self-evident to, at the very least, psychological researchers. Controlling situations in the psychological laboratory does not imply situations are deemed inconsequential, quite the contrary.

Reed seems impresssed by the example of Schoenfeld (1985: Problem solving) teaching his college students to think mathematically through problem solving. Of course, students learn a lot this way. The question is, of course, is it a better way than conventional teaching of math? That is an empirical question that needs to be resolved by experiment (unless Schoenfeld concedes his method is not a general substitute for math courses). Where is the empirical evidence? Schoenfeld is a mathematician interested in the frontline of cognitive psychology at the time: work by Newell & Simon, for example. This is a good opportunity to check on Schoenfeld’s psychological thinking on what it is to think mathematically. I expect to be able to prove Schoenfeld a romantic thinker on thinking. I will come back to this issue later on. The question is: why does Reed uncritically go along with Schoenfeld’s thinking on problem solving?

Next stop: Magdalene Lampert (1986). Reed copies text from Brown cs.—with some alterations, of course. Why does he do that? Is he such a busy man that it is too much trouble to get the original article from Cognition and Instruction? Reed must have written his text in a hurry, which might explain why he refrains from critical comments on the thinking of researchers such as Brown, Collins & Guguid. My problem now is: Have Brown c.s. fairly rendered the analysis and results of Lampert (1986), and if they did not do so, did Reed correct the biased picture? Well, having read the closing sentences of the Lampert report 1986 (below), the question now is: why should Reed have cited a believer in construcivism? The Lampert report is a statement of belief, and has nothing whatsoever to do with sientific research. Lampert, speaking for herself:

Magdalene Lampert (2001). Teaching problems and the problems of teaching. New Haven: Yale University Press. [PEDAG. 47.b.99] [on problem based learning of 10 year olds, math only, with Magdalene as teacher (during 8 years). Lampert studied math, esp. intuitionism ;-) ] [Interesting study, skimmed it, brought it back. I do not know what to make of it, but I surely do not have the time to study the book in its entirety. There is nowhere a sign to be found that empirical testing of this approach might be in order. There is no reference made to the research literature on learning. And so forth. Disappointing? Yes. I do not think that Lampert specifies empirical data that could be used to evaluate the approach of PBI.]

Then: Carraher, Carraher & Schliemann, 1987. Reed: ‘A classic study of the relation between real-world knowledge and school knowledge investigated how problem context influenced the strategies used by a group of third graders from a poor area in Brazil’. The 1993 book: Street mathematics and school mathematics.

Way too much weight has been given by constructivists/situationists to this small study. One of the problems with it is that many assumptions stay implicit. Another notion that is lacking: of course in a new kind of situation it will take some time to get your math routines in order. Especially in vocational situations. Expertise in school math does not imply that one is expert in math in all kinds of vocational situations. Obvious, isn’t it? Most readers of superficial research like the Carraher, Carraher & Schliemann studies take the reported research conclusions for granted. At least the researchers will have thought carefully about the design en the analysis of their research? Of course they will have done so. That does not mean they have not overlooked any alternative interpretation of their results. So be careful.

Reed mentions a kind of replication study, by Baranes, Perry & Stigler (1989). At least they have been critical of the Carraher, Carraher & Schliemann results.

Kenneth R. Koedinger & Mitchell J. Nathan (2004). The real story behind story problems: Effects of representations on quantitative reasoning. The Journal of the Learning Sciences, 13, 129-164 abstract en pdf (scans). [Via KB reguliere pdf downloaden: JSTOR]

Story problems are believed to be difficult, more difficult than problems given in symbolic representations. Koedinger and Nathan articulate this theme, and present results of their research. Their article gives me hope to be able to solve the problem of context problems in reform math education. If I may say so.

Funny problem, from Hudson (1983):

What struck me in this example: the first phrasing is not a math problem at all: children are asked to subtract quantities in different ‘units’ from each other, a nonsense operation of course. The wording of the second problem is correct in the linguistic sense, but is this a math problem? What would make it a math problem: something with sets and a mapping of one set on the other? Quite another issue whether it is to be recommended to give problems in such a crude concrete form: read James Flynn on the progress mankind has made from thinking in concrete terms only to the ability to think in abstract terms. Presenting birds-and-worms problems locks children in a concrete mode their parents and great-parents learned to transcend.

Ik maak maar eens uitvoerige aantekeningen bij de uitvoerige discussie van Koedinger & Nathan. Ik heb het gevoel bij dit artikel dat het de eerste publicatie is waarbij ik een beetje grond onder mijn voeten voel, een vast punt van waaruit ik verdere verkenningen kan gaan maken. Natuurlijk, dit onderzoek heeft ook zo zijn beperkingen, al was het maar dat de groep leerlingen nogal specifiek van karakter is. Op zich vind ik de keuze trouwens heel goed: juist bij deze leerlingen is er een goede spreiding in oplossingen te verwachten. Maar die spreiding is dus niet generiek geldig. K & N stippen zelf aan dat verder onderzoek met choice - no-choice methodologie (in de groep van Verschaffel veel gebruikt) scherpere inzichten op kan leveren. Afijn, mijn eigen doelstellingen zijn ook al divers, in ieder geval deze twee: ik moet voor een nieuwe editie van Toetsvragen ontwerpen een adequate behandeling van zowel conventionele woordproblemen als contextproblemen geven; het Wilbrink-Kirschner-voorstel om de cognitieve belasting bij contextproblemen in kaart te brengen moet ook verder worden gebracht.

De moeilijkheid bij het bestuderen van dit artikel van Koedinger & Nathan is dat zij een nogal complex onderzoekdesign hanteren (gelukkig maar), waardoor de mentale belasting van de lezer voortdurend behoorlijk aan de tax is ;-) Veel herlezen dus. En dat zoveel mogelijk zonder literatuurverwijzingen op te volgen, anders komt het nooit klaar. Maar goed, ik zal nu toch ook de genoemde literatuur gaan checken, en daar iets over gaan melden.

Het globale design is gebouwd op de drie hypothesen over relatie tussen probleemformulering (problem representation) en probleemoplossen, vooral bij leerlingen in beginnend onderwijs in algebra.

1e hypothese Symbolisch is faciliterend (ik vertaal die termen maar niet): de symbolische vergelijking is transparanter en dus makkelijker te begrijpen dan het ermee corresponderende woordprobleem. Bij deze leerlingen blijkt dat dus niet het geval te zijn. Best verrassend. Maar ja, het blijkt dan ook uit dit onderzoek dat deze leerlingen de woordproblemen vooral niet-algebraïsch te lijf gaan, deze dus niet eerst reduceren tot een symbolische vergelijking. En dat lijkt me het springende punt te zijn: de empirie is totaal anders dan makkelijk opgeschreven ‘didactische logica’. Waar kwam ik dat vaker tegen in de literatuur? Was dat niet bijvoorbeeld een onderzoek van Joke Torbeyns naar oplossingen bij rekenopgaven die ‘handig’ kunnen maar typisch volgens een algemeen algoritme zijn gevonden? Daarom moeten we ook beslist weten hoe leerlingen, bijvoorbeeld vmbo basis-beroeps, de contextopgaven van de rekentoetsen aanpakken (dat kladpapier is goud waard, mag natuurlijk niet worden vernietigd, welke gekken hebben dat bedacht?). De vraag die zich dan opdringt: hoe zit het met problemen die zich niet anders dan langs de weg van de algebraïsche vergelijking laten oplossen? Of hebben we het dan niet meer over leerlingen die wat betreft de algebra nog naïef zijn?

2e hypothese Situatie/context is faciliterend. Dit is een idee afkomstig uit onderzoek naar situated cognition, waarvoor K & N refereren aan:

Het komt er dus op neer dat K & N deze hypothese — de situatie faciliteert — toeschrijven aan onderwijs-ideologisch onderzoek. Dat maakt natuurlijk niet uit: een hypothese is een hypothese. De hypothese wordt deels verworpen: weliswaar zijn in dit onderzoek de woordproblemen makkelijker dan de kale vergelijkingen, maar ook de woordvergelijkingen zijn dat. Het ligt dus niet aan de contexten als zodanig, maar er is meer aan de hand. Niet zo’n gek resultaat dus. Op naar de derde.

3e hypothese Taal/woorden zijn faciliterend. Tenminste, voor deze leerlingen die nog niet zo lang bezig zijn met algebra. Zij zijn meer vertrouwd met verbale dan met symbolische modelformulering. En zo blijkt. Maar ik wil toch wel een beetje los proberen te komen van deze heel specifieke situatie van leerlingen die nog niet goed met algebra vertrouwd zijn. Ik vermoed dat dit er niet echt veel mee te maken heeft: in het dagelijks leven lossen mensen hun problemen niet in eerste instantie met formele methoden op, maar zoeken ze een werkbare oplossing met zo weinig mogelijk gedoe. Herbert Simon noemde dat satisficing. Als je met wat proberen een redelijk antwoord op je probleem krijgt, waarom zou je er dan nog algebra van maken? Zoiets dus. Een enorme lijn van onderzoek, niet alleen als erfenis van Herbert Simon, maar ook van Tversky en Kahneman over decision making. Zodoende worden we teruggeworpen op de vraag: waartoe dient onderwijs? Het idee is dat onderwijs juist niet dient om allerlei gepruts en geklungel te praktizeren (zoals het situationisme wil), maar om toegang te krijgen tot methoden die een wetenschappelijke basis hebben en die in de wereld in feite overal worden gebruikt waar correctheid en berekenbaarheid telt. Dus niet in de winkel en bij de planning van de vacantie, maar wel bij financieel beheer en kwesties die gezondheid en welzijn raken, evenals satellitecommunicatie en ontwerpen van computer games.

Een heel andere benadering is mogelijk langs de lijn van self-explanation: onderzoek van Michelene Chi (zie haar website voor toegang tot pdf's van recente artikelen en hoofdstukken). Het laat zich immers denken dat die zelf-uitleg typisch faciliterend werkt bij de presentatie van problemen al dan niet in context/woorden/symbolen. Ergo: onderzoek van Michelene Chi moet ook antwoorden kunnen geven op de vele vragen die Koedinger & Nathan in hun artikel opwerpen, en nog veel meer vragen die zij hadden kunnen opwerpen maar dat niet deden (waarom eigenlijk niet?).

In dit experiment zijn drie typen strategieën van belang: terugredeneren (unwind), uitproberen (trail and error), en vergelijking oplossen. Bij het oplossen van vergelijkingen worden relatief veel fouten gemaakt (dat hoeft in andere situaties met andere proefpersonen natuurlijk niet zo te zijn). Terugredeneren is relatief robuust tegen fouten, en wordt makkelijk toegepast juist bij contextopgaven. Uitproberen is onhandig, maar levert wel oplossingen op, tenminste bij de in dit onderzoek gebruikte eenvoudige problemen. Dat in psychologisch onderzoek hiermee wordt gewerkt, zonder veel reflectie op wat een en ander betekent voor het onderwijs, valt wel te begrijpen. K & N benadrukken wel dat choice - no-choice een wenselijke volgende onderzoeksstap is, en dat is waarschijnlijk ondertussen ook wel gedaan (ik moet nog op zoek naar meer recent onderzoek). Wat hier op de achtergrond speelt is een ideologie dat het onderwijs er vooral is om leerlingen te leren denken, dat zelf ontdekken de preferentie manier van leren is, dat meerdere strategieën bedenken een goede zaak is. Kortom, een reeks geloofsartikelen — K & N sommen ze op in de vorm van publicaties en organisaties p. 154 — die niet allemaal even goed wetenschappelijk zijn onderbouwd to say the least. K & N trekken in hun onderzoek ook nog eens een steen uit dat empirisch fundament:

( . . . ) suggesting that "authentic" problem situations generally help students make sense of mathematics. In contrast, our results are consistent with those of Baranes et al. (1989) that situational effects are specific and knowledge related.

Heffernan & Koedinger (1998). A developmental model for algebra symbolization: The results of a difficulty factors assessment. In Proceedings of the Twentieth Annual Conference of the Cognitive Science Society (484-489). pdf scan.

De sectie Instructional implications gaat kort langs bij vier mogelijke instructieve benaderingen. Het onbevredigende hiervan is dat die benaderingen niet op solide theoretische gronden berusten, dus wat hebben we er dan aan? Als springplank naar empirische datavergaring, om alsnog een begin te maken met theorieontwikkeling? Maar dan gaan we het wiel opnieuw uitvinden. Dat de naam van Jan de Lange valt, in deze sectie, geeft te denken. Het bevalt me dus totaal niet wat ik hier lees, en ik zal het misschien nog een paar keer moeten lezen voordat mij duidelijk is wat precies de tekortkomingen zijn in deze instructietheorietjes van de koude grond. Een enkel idee heb ik al wel. Zo lijkt het me van eminent belang om het verschil helder te krijgen tussen symbolisch systeem, en een semantiek die erop past. Sterker nog: op ieder symbolisch systeem passen waarschijnlijk oneindig veel semantieken. Met andere woorden: algebra als een wiskundig systeem, leer je niet beheersen door er telkens semantiek in te mengen, maar juist door dat niet te doen. Het is dan aan de zaakvakken om specifieke semantiek over een bepaalde wiskunde heen te leggen, en zo een helder representatief systeem te bouwen. Ik begrijp dus niet hoe Koedinger en Nathan hier zo naïef kunnen zijn over semantiek en abstracte systemen. Expert blind spot? Eerder het omgekeerde: gebrek aan wiskundige expertise. Afijn, helemaal helder is het natuurlijk nog niet, maar iedereen kan in het gepruts van de ‘realistische wiskunde’ zien hoe ongelukkig die vermenging van abstractie en semantiek uitpakt. Voor abstracte systemen: kwestie van logica, grondslagen, Patrick Suppes dus [Patrick Suppes (2002). Representation and invariance of scientific structures. TheMIT Press. isbn 1575863332 http://cslipublications.stanford.edu/pdf/1575863332.rissbook.pdf ]. Semantiek: ik vermoed toch dat de literatuur over simulaties en vooral over modelleren van natuurverschijnselen (inclusief gedrag) daar helder genoeg over is. Modellen zijn waarschijnlijk altijd specifiek voor de betreffende systemen, ook al zijn ze door en door wiskundig en in die zin algemeen. Beheersing van wiskunde geeft niet vanzelfsprekend de mogelijkheid om snel voor allerlei fenomenen even modellen op te stellen (nog daarvan afgezien dat je die modellen ook weer empirisch moet testen). Ik kom iedere keer weer op hetzelfde uit: modelleren wordt door rekendidactici als iets simpels beschouwd, maar dat is volkomen ten onrechte. Wel degelijk een voorbeeld van expert blind spot, al is het wel een bijzonder voorbeeld, en heeft blinde vlek meer met misvattingen over psychologie te maken. Nou, dat is dus waar ik spijkerharde theorie en empirie bij wil hebben, en die moet al lang en breed beschikbaar zijn, schat ik zo in. Al in de middeleeuwen was de logica zeer ver ontwikkeld.

Alan H. Schoenfeld (1985). Mathematical Problem Solving. Academic Press. isbn 0126288704

The book still stands as his major publication (see his Berkeley webpage). As far as I know, the first edition from 1985 is also the last one. In 2012 Schoenfeld looked back on the book, in Seoul, Korea : How we think: A theory of human decision-making with a focus on teaching. pdf 5 Mb. In a 2013 publication (see below) he did some more looking back; quite revealing, I think. For example: it is an ego-document, in the sense that Schoenfeld presents his thinking as originating with Schoenfeld, apparently with no debt to other thinkers/experimenters on the subject. Amazing. Makes one think of Hans Freudenthal.

The word problem in primary education is an old format already known in Babylon.

de leeftijd van de kapitein

Er zijn 26 schapen en 10 geiten aan boord van een schip. Hoe oud is de kapitein?

Lieven Verschaffel, Brian Greer and Erik de Corte (2000). Making sense of word problems. Lisse: Swets & Zeitlinger. p. 4.

Scientific research is one thing, teaching word problems another. The following publication brings them togther in an interesting way: it shows how it is possible for a teacher to get to grips with word problems in sixth grade. I located the article by googling on the title of the Verschaffel c.s. book, of course.

Shigehiro Kinda (2012). Generating multiple answers for a word problem with insufficient information. Instructional Science, 40, 1021-1031. preview

Onderwijs-ideologisch gekleurd? De eerste zinnen van het artikel wijzen wel in die richting.

Santiago Vicente, Jose Orrantia & Lieven Verschaffel (2007). Influence of situational and conceptual rewording on word problem solving. British Journal of Educational Psychology, 77, 829-848. abstract

is dit wiskunde?

Wat is de volgende term in de reeks 3, 8, 15, 24, .... .

Milgram, R. J. (2007). What is mathematical proficiency? In A. H. Schoenfeld: Assessing mathematical proficiency (31-58). Cambridge University Press. p. 31-58. http://www.msri.org/communications/books/Book53/files/04milgram.pdf gezien 10-2009

Hoeveel ruimte tussen aardbol en touw?

Er zit een touw strak om de aarde, zoals een ring om een vinger. Het is een heel lang touw van meer dan 40 duizend kilometer. Nu knip je het touw door en doe je er 1 meter extra touw tussen. Dan til je het touw overal een beetje op, zodat het op elke plek even ver van het aardoppervlak is. Hoeveel ruimte is er nu tussen het touw en de aarde? Ongeveer zoveel als een elektron? Een bacterie? Een krant? Een kat? Een olifant?

Ionica Smeets (24 oktober 2009). Wiskundemeisjes. De Volkskrant, Kennis, p. 5

contexten en ‘realistisch rekenen’

Ik heb dit deel verplaatst naar een eigen webpagina contexten.htm. Zie overigens ook die voor het werk van Adri Treffers (hier), de Nederlandse auctor intellectualis van contexten (zijn proefschrift gaat er in zijn geheel over, overigens zonder ook maar een snipper empirisch onderzoek).

Lieven Verschaffel, Brian Greer and Erik de Corte (2000). Making sense of word problems. Lisse: Swets & Zeitlinger.

Lieven Verschaffel, Brian Greer, Wim Van Dooren and Swapna Mukhopadhyay (Eds.) (2009). Words and Worlds. Modelling Verbal Descriptions of Situations. Sense Publishers. preview: Introduction, Chapters 1, 2

Lieven Verschaffel, Wim Van Dooren, Brian Greer and Swapna Mukhopadhyay (2010). Reconceptualising Word Problems as Exercises in Mathematical Modelling, Die Rekonzeptualisierung von Textaufgaben als Übungen in mathematischer Modellierung. Journal für Mathematik-Didaktik, 31, 9-29. (From the issue entitled Empirical Research on Mathematical Modelling) abstract

Desoete, A., Roeyers, H., & De Clercq, A (2003). Can offline metacognition enhance mathematical problem solving? Journal of Educational Psychology, 95, 188-200. abstract

H. O. Pollak (1969). How can we teach applications of mathematics? Educational Studies in Mathematics, 2, 393-404. preview [Tijdschrift is ook toegankelijk via abonnement op de KB, behalve de meest recente 5 jaren]

Patrick Suppes, Elizabeth F. Loftus, Max Jerman (1969). Problem-Solving on a Computer-Based Teletype. Educational Studies in Mathematics, 2, 1-15. Publicaties van Patrick Suppes zijn integraal online beschikbaar, zoals ook deze.

Torulf Palm (2008). Impact of Authenticity on Sense Making in Word Problem Solving. Educational Studies in Mathematics, 67, 37-58 [nog geen pdf kunnen downloaden] [pdf via KB JSTOR] abstract

Kan interessant zijn vanwege empirisch materiaal over hoe leerlingen in klas 5 (groep 7) ‘realistische’ woordproblemen aanpakken. Daar isimmers niet zo gek veel informatie over beschikbaar.

Murad Eld Jurdak (2006). Contrasting perspectives and performance of high school students on problem soving in real world situated, and school contexts. Educational Studies in Mathematics, 63 #3, 283-301.

Olive Chapman (2006). Classroom practices for context of mathematics problems. Educational Studies in Mathematics, 62, 211-230

Lieven Verschaffel, Brian Greer and Erik de Corte (2000). Making sense of word problems. Lisse: Swets & Zeitlinger.

Cathy Claman (2003). 10 Real SAT’s. New York: College Entrance Examination Board.

Tolar, T. D., Fuchs, L., Cirino, P. T., Fuchs, D., Hamlett, C. L., & Fletcher, J. M. (2012, June 18). Predicting Development of Mathematical Word Problem Solving Across the Intermediate Grades. Journal of Educational Psychology. Advance online publication. doi: 10.1037/a0029020

Noriyuki Inoue (2005). The realistic reasons behind unrealistic solutions: the role of interpretive activity in word problem solving. Learning and Instruction, 15, 69-83. [I have not yet seen this article. I do not have access.

Carlo Dapueto and Laura Parenti Source (1999). Contributions and Obstacles of Contexts in the Development of Mathematical Knowledge. Educational Studies in Mathematics, Vol. 39, No. 1/3, also: Teaching and Learning Mathematics in Context (1999), pp. 1-21 [Genoa Group]

T. P. Carpenter, J. M. Moser and T. A. Romberg (Eds) (1982). Addition and subtraction: A cognitive perspective. Erlbaum. Not available in questia.com

Gerard van Essen (1991). Heuristics and arithmetic word problems : the effects of instructing heuristic strategies upon the ability of elementary school children to solve arithmetic word problems. Dissertation University of Amsterdam.

Arnoud Verdwaald (1998). Relational transformations in the process of discourse representation of simple word problems. Dissertation Catholic University of Nijmegen.

06ehar5.4.jpg Yeap Ban Har, Ho Siew Yin, Berinderjeet Kaur & Lee Ngan Hoe (2002?). Children making sense during word problem solving. pdf [no longer available? 2-2008] paper. The pictured non-standard word problem is from this research.

A board was sawed into two pieces. One piece was two-thirds as long as the whole board and was exceeded in length by the second piece by four feet. How long was the board before it was cut?

Think about it, what do you do [look here? This problem is from a study on differences between novices and experts in tackling problems:
J. M. Paige and Herbert A. Simon (1966). Cognition processes in solving algebra word problems. In B. Kleinmutz: Problem Solving (pp. 119-151). New York: Wiley. Reprinted in Herbert A. Simon (1979): Models of thought (pp. 201-229). New Haven: Yale University Press.

Erik De Corte , Lieven Verschaffel , and Brian Greer (2000). Connecting mathematics problem solving to the real world. In: Proceedings of the International Conference on Mathematics Education into the 21st Century: Mathematics for living (pp. 66-73). Amman, Jordan: The National Center for Human Resource Development. pdf

David H. Jonassen (2003). Designing Research-Based Instruction for Story Problems. Educational Psychology Review, 15, 267-296. pdf [not available any more 2-2008]

Jacobse, Annemieke E. and Harskamp, Egbert G.(2009) 'Student-controlled metacognitive training for solving word problems in primary school mathematics', Educational Research and Evaluation, 15: 5, 447 - 463

Archimedes The cattle problem. A quite complicated word problem which Archimedes solved in epigrams, and which he communicated to students of such matters at Alexandria in a letter to Eratosthenes of Cyrene. html site by Chris Rorres.

Alcuin’s ‘de merel en de slak’

Een slak werd door een zwaluw te eten gevraagd. Het nest van de zwaluw lag ongeveer een mijl verderop. De slak kon per dag niet meer dan het twaalfde deel van een voet afleggen. Zeg nu hoeveel dagen het duurde voor de slak op het diner verscheen.

Ademar van Chavannes (manuscript appr. 1000). Liber manualis, met aan Alcuin toegeschreven redactiesommen. Vertaling van deze opgave: W. P. Gerritsen (2007). Europa's leerschool: de zeven vrije kunsten in de Middeleeuwen. Een rondgang langs Leidse handschriften. Leiden: Primavera Pers. Afscheidscollege. p. 25.

A snail was asked for dinner by a swallow. The swallow's nest was a mile away. The snail could travel only a twelfth of a foot a day. Say now how many days it took the snail to appear at the dinner.

This word problem dates from approximately 800, it is by Alcuin, Europe's (Charles the Great's) first 'school' teacher, and it already illustrates one characteristic of many word problems: it really is an absurd question, demanding an absurd answer. Assume a mile to be 7000 feet ..... .

Why wasn't it absurd to Alcuin? Well, the goal of posing this kind of questions was to sharpen the boys' minds. In the restricted sense of exercising arithmetics only, of course. The means were seen as adequate to reach this goal .... . The pupils, of course, were not in a position to question the master's questions, as is the case for today's pupils in elementary education.

A medieval textbook writer using realistic word problems more often than slightly absurd ones is Fibonacci (see Sigler's (2003) translation of his voluminous work, mentioned below).


In 1630 moest Prins Frederik Hendrik met 1500 man aftrekken. Hoeveel bleven er over?

Een boer verkoopt een vette gans voor 50 cent het pond. De gans weegt tien pond plus de helft van zijn gewicht. Hoeveel krijgt de boer voor die gans?

Jan is geboren in 1905. Piet is drie jaar ouder dan Jan. Anna is tien jaar jonger dan Piet. Mina is twee jaar ouder dan Anna en Kees is twaalf jaar jonger dan Mina.

Een trein verterkt van Amsterdam om precies tien uur. Deze trein rijdt 60 km. per uur en rijdt in de richting Rotterdam zonder te stoppen. Een andere trein rijdt van Rotterdam naar Amsterdam met een snelheid van 40 km. per uur, ook zonder te stoppen. De afstand Rottedam-Amsterdam bedraagt 86 km.

Als nu de treinen elkaar passeren. welke trein is dan het verste van Amsterdam verwijderd?

De leeftijden: 90% van de studenten en onderwijzers begonnen eraan te rekenen, maar is er is geen raag gesteld. Ook de treinen-opgaaf brengt 'een groot aantal mensen' aan het rekenen. De prijs voor de gans bleek 'tientallen mensen, die jarenlang les hebben gegeven' te machtig: ze konden er niet mee uit de voeten, of komen na lang nadenken toch met een oplossing.

Uit een proef van Waterink, zoals vermeld in A. Leen (1961). De ontwikkeling van het rekenonderwijs op de lagere school in de 19e en het begin van de 20ste eeuw. Wolters. p. 132-133.

L. E. Sigler (2003). Fibonacci's Liber Abaci. A translation into modern English of Leonardo Pisano's Book of Calculation. Springer. isbn 0387407375. About this book

Marjolein Kool (1999). Die conste vanden getale. Een studie over Nederlandstalige rekenboeken uit de vijftiende en zestiende eeuw, met een glossarium van rekenkundige termen. Hilversum: Verloren. html audio

courier type word problems

"A hare is 150 paces ahead of of a hound, which pursues him. The hare covers 6 paces, while the hound covers 10. Required is to know how many paces the hound has made when overtakes the hare."

"... two young men setting off at the same time for Rome. The first travels six miles per day, and the scond progresses one mile the first day, two miles the second day, etc. It is required to find when the second traveler will overtake the first."

"If seventeen men build 2 houses in 9 days, how many days will it take 20 men to build 5 houses?"

Swets, 1987. p. 158 the courier problem, p. 160 gives the Hare problem, p. 163 the house problem (all from the Treviso arithmetic), p. 243 ff. on the courier type of problem in the earliest arithmetics books: the Chinese Chiu chang suan shu (250 B.C), Petzensteiner (1483) Bamberg arithmetic, Calandri (1491); p. 245 on the hare type problem: Alcuin of York (ca. 775) Propositiones and acuendos juvenes (manuscript presented to Charlemagne); p. 246 ff. on the houses type problem: Heron of Alexandria (75, pipes filling a fountain), Cataneo (1546, wild animals devouring shee0, Frisius (1540, a husband and wife drinking wine)

You will surely recognize in the courier type problem a well known contemporary type of word problem. What progress, then, have me made in the didactics of arithmetics sinse these Middle Ages? Remark that already in the 15th century this type of word problem was a traditional type of word problem, quite dissimular from the bulk of word problems in these arithmetics books, wich were explicitly vocational.

traditional word problem

"Three merchants have invested their money in a partnership, whom to make the problem clearer I will mention by name. The first was called Piero, the second Polo, and the third Zuanne. Piero put in 112 ducats, Polo 200 ducats, and Zuanne 142 ducats. At the end of a certain period they found that they had gained 563 ducats. Required is to know how much falls to each man so that no one shall be cheated."

The problem is from the Treviso arithmetic of 1478, "the earliest known printed mathematics book in the West" (Swets p. 24). This book was translated by Davif Eugene Smith, and is published for the first time in its entirety in Swets, 1987. The cited problem is from p. 138 in the translation.

gif/treviso.jpg Frank J. Swetz (1987). Capitalism & arithmetic. The new math of the 15th century. La Salle, Illinois: Open Court Publishing Company.


There is a square town of unknown dimensions. There is a gate in the middle of each side. Twenty paces outside the North Gate is a tree. If one leaves the town by the South Gate, walks 14 paces due south, then walks due west for 1775 paces, the tree will just come into view. What are the dimensions of the town?

Steen (2006) pdf. From the Chinese Nine Chapters on the Mathematical Art, the oldest Chinese book on mathematics, see wiki


Consider a group of people purchasing. Each person contributes 8, and 3 are left over; 7 are contributed, 4 is the deficit. How many people and what is the price? [Make it euro's: if each contributes € 8, € 3 is left; if each contributes € 7, € 4 is left]

Keith Wong (www accessed 2006; spet 2008 no longer available) http://www.math.sfu.ca/histmath/China/1stCenturyAD/Excess.html provides the solution method. He further comments:

This two-hypothesis method is known as the Method of Double False Position in Europe. It was widely used in the Middle Ages. The Italian mathematician Fibonacci in the 13th century was the first European described the method. Evidence suggests that this method was passed to the West through the Arab world. Please see Joseph Needham's book Science and Civilisation in China, Volume 3, page 118.

Lynn Arthur Steen (2006). Asking the right questions. In Lynn Arthur Steen (Ed.) (2006). Supporting Assessment in Undergraduate Mathematics. The Mathematical Association of America. The chapter itself as pdf. The whole book is online as pdf

Shen Kangshen, John Crossley and Anthony Lun (Trlts, Eds) (1999). The nine chapters on the mathematical art. Companion and commentary. Oxford University Press site & Being: Science Press, price: astronomical.

W. P. Workman, Geoffrey Bosson (Revision) (1965). The tutorial arithmetic (with answers). London: University Tutorial Press.

John F. Readence and David W. Moore (1983). Why questions? A historical perspective on standardized reading comprehension tests. Journal of Reading, 26, 306-313.

If some irrelevant aspect of an item causes it to be more difficult for a particular group of students, that item is biased for that of students.

The problem with the above definition of bias (for example in Bügel and Sanders, 1998, p. 1) is that aspects being 'irrelevant' is a subjective demarcation. In particular for the use of word problems, there is the important issue of word problems themselves being irrelevant to whatever it is that arithmetics should be. See Verschaffel, Greer and De Corte, 2000 for the relevant research literature. The problem gets even more serious, considering how bias in actuality is being tested for.

The bias of individual test items is determined by comparing it to the overall test result. In the case of learners with Dutch as a second language, this subgroup and the rest of the studnets scoring equally high on the test as a whole, should have approximately the same mean score on all of the test items separately. This is the DIF procedure (Holland and Wainer, 1993) as practiced by the Dutch institution Cito (Bügel and Sanders, 1998, p. 3).

The problem with the method is that is gets more insensitive to bias detection the more items 'really' are biased, i.e. may be proven to be biased by an independent procedure.

This is exactly what might be the case for the arithmetics test of the Cito Basistoets, at the end of primary education: most of the items are word problems. Therefore, what I am looking for in this web page is proof of Cito doing its utmost to show this danger not to exist in the case of the Cito Basistoets. For the time being, it must be feared that Cito has not adressed the issue at all, given the results observed by a student of Paul Leseman (see Leseman, 2007). A recent dissertation by Tamara van Schilt seemingly addresses the issue head on, yet does not seem to be conclusive.

Denny Borsboom (2006). The attack of the psychometricians. Psychometrika, 71, 425-440. pdf

Tamara van Schilt-Mol (2007). Differential Item Functioning en Itembias in de Cito-Eindtoets Basisonderwijs. Oorzaken van onbedoelde moeilijkheden in toetsopgaven voor leerlingen van Turkse en Marokkaanse afkomst. Dissertation Tilburg University, commercial edition: Uitgeverij Aksant

Denny Borsboom (2006). When does measurement invariance matter? Medical Care, 44, S176-S181. pdf

Hessen, D.J. Differential item functioning: Types of DIF and observed score based detection methods. Amsterdam: University of Amsterdam, 2003 (promotores: G.J. Mellenbergh & K. Sijtsma).

P. W. Holland and H. Wainer (Eds) (1993). Differential item functioning. Erlbaum. questia

Barry Cooper (2007). Dilemmas in Designing Problems in ‘Realistic' School Mathematics: A Sociological Overview and some Research Findings. Philosophy of Mathematics Education Journal No. 20 (online). pdf

Barry Cooper and Tony Harries (2005). Making sense of realistic word problems: portraying working class 'failure' on a division with remainder problem. International Journal of Research & Method in Education, 28, 147-169.

Second language

Word problems must be fair to students entitled to sit the test, yet speaking (reading) the language of the word problems as a second or foreign language.

Martiniello, Maria(2009) 'Linguistic Complexity, Schematic Representations, and Differential Item Functioning for English Language Learners in Math Tests', Educational Assessment, 14: 3, 160 - 179

A Framework for Test Validity Research on Content Assessments Taken by English Language Learners John W. Young Pages 122 - 138 (nog geen pdf opgehaald)

An Investigation of the Language Demands in Content Assessments for English Language Learners Mikyung Kim Wolf; Seth Leon Pages 139 - 159 (nog geen pdf opgehaald)

Elena L. Grigorenko, Robert J. Sternberg and Madeline E. Ehrman (2000). A Theory-Based Approach to the Measurement of Foreign Language Learning Ability: The Canal-F Theory and Test. The Modern Language Journal, 84, 390-405. pdf JStor

Patricia Dunkel, Grant Henning and Craig Chaudron (1993). The Assessment of an L2 Listening Comprehension Construct: A Tentative Model for Test Specification and Development. The Modern Language Journal, 77, 180-191. pdf JStor

Jay Mathews (2003). The Bias Question: In a Surprising Challenge to the SAT's Reputation as an Unbiased Measure of Student Learning, One Researcher Has Argued That Blacks Do Better Than Matched-Ability Whites on the Harder Questions of the SAT-Something He Believes Their Scores Should Reflect. The Atlantic Monthly, 292 #4, 130+. questia

Irene T. Miura (1987). Mathematics achievement as a function of language. Journal of Educational Psychology, 79, 79-82.

Miriam Ben-Yehuda, Ilana Lavy, Liora Linchevski and Anna Sfard (2005). Doing wrong with words: What bars students' access to arithmetic discourses. Journal for Research in Mathematics Education, 36, 176-247. doc

Looks like pseudoscience, is constructivism-situationism

Nancy C. Jordan (2007). Do words count? Connections between mathematics and reading difficulties. In Daniel B. Berch and Miché M. M. Mazzocco (Eds) (2007). Why is math so hard for some children? The nature and origins of mathematical learning difficulties (Ch. 6). Paul H. Brookes Publishing.

Rodney R. Cocking and Jose P. Mestre (1988). Linguistic and Cultural Influences on Learning Mathematics. Erlbaum. questia

Sarah R. Powell & Lynn S. Fuchs (2010). Contribution of Equal-Sign Instruction Beyond Word-Problem Tutoring for Third-Grade Students with Mathematics Difficulty. Journal of Educational Psychology, 102, 381-394.

Yan Ping Xin (2008). The effect of schema-based instruction in solving mathematics word problems: An emphasis on prealgebraic conceptualization of multiplicative relations. Journal for Research in Mathematics Education, 39, 526-551. abstract

F. Gärtner (1950). Methodik des Rechenunterrichts.

Joan Littlefield Cook & John J. Rieser (2005). Finding the Critical Facts: Children’s Visual Scan Patterns When Solving Story Problems That Contain Irrelevant Information. Journal of Educational Psychology, 97, 224-234. abstract

Pamela M. Seethaler, Lynn S. Fuchs, Douglas Fuchs, and Donald L. Compton (2012). Predicting First Graders’ Development of Calculation Versus Word-Problem Performance: The Role of Dynamic Assessment. Journal of Educational Psychology, 104, 224-234. abstract

Harry G. Wheat (1929). The relative merits of conventional and imaginative types of problems in arithmetic. Teachers College Record http://trove.nla.gov.au/work/17658335?selectedversion=NBD558826 [nog geen pdf opgehaald] Zie ook http://goo.gl/gBNCV [ er zijn herdrukken verschenen in 1972 en 1982?]

Stephen K. Reed, Sara Stebick, Brittany Comey & Donja Carroll (2012, February 13). Finding Similarities and Differences in the Solutions of Word Problems. Journal of Educational Psychology. Advance online publication. doi: 10.1037/a0027181 abstract get free pdf [visit https://newscenter.sdsu.edu/education/crmse/stephen_reed.aspx ]

Asha K. Jitendra & Edward J. Kameenui (1996). Experts' and novices' error patterns in solving part-whole mathematical word problems. Journal of Educational Research, 90, 42-51.

Hajime Yoshida , Lieven Verschaffel , Erik De Corte (1997). Realistic considerations in solving problematic word problems: Do Japanese and Belgian children have the same difficulties? Learning and Instruction, Volume 7, Issue 4, December 1997, Pages 329-338.

The results of the study revealed that Japanese pupils. similarly to Belgian children, have a strong tendency to neglect commonsense knowledge and realistic considerations during their solution of word problems. Moreover, a comparison of Japanese pupils with and without extra hints aimed at improving the disposition towards more realistic mathematical problem solving revealed that these extra hints had only a small effect.

Verschaffel, L., De Corte, E., & Lasure, S. (1994). Realistic considerations in mathematical modeling of school arithmetic word problems. Learning and Instruction, 4. 273-294. abstract

L. Verschaffel, E. de Corte, G. van Vaerenbergh, S. Lasure, H. Bogaerts & E. Ratinckx (1998). Leren oplossen van wiskundige contextproblemen in de bovenbouw van de basisschool. Studia Paedagogica, 22. Universitaire Pers Leuven. [beschikbaar in UB Tilburg, Nijmegen, UvA (centraal). Niet in de KB] [Ik heb dit boek dus nog niet gezien] Google (meeste blz weggelaten)

Het gaat over leren probleemoplossen, door heuristieken en plannen te leren. Woordproblemen van realistische snit. Experiment, met succes. Mijn vraag is: is dat generaliseerbaar naar het gewone onderwijs, en is het effect duurzaam?

Kurt Reusser & Rita Stebler (1997). Every word problem has a solution — The social rationality of mathematical modeling in schools.. Learning and Instruction, 7. 309-327.

Kenneth R. Koedinger & Benjamin A. MacLaren (1997). Implicit strategies and errors in an improved model of early algebra problem solving. In Shafto, M. G. & Langley, P.: Proceedings of the Nineteenth Annual Conference of the Cognitive Science Society (pp. 382-387). Erlbaum. pdf ophalen Zie ook target='_bank'>algebra.htm

Our empirical studies of early algebra have established a striking contrast between students' difficulties with symbolic algebra and their relative success with certain kinds of "intuitive" algebraic reasoning. Much to the surprise of most math teachers and educators (Nathan, Koedinger, & Tabachneck, 1996), high school students at the end of an algebra course are better able to solve certain algebra word problems (e.g., "A waiter gets $4.50/hr and $20 in tips one night. If he took home $38, how many hours did he work?") than the corresponding algebra equation (e.g., "4.5x + 20 = 38").

Dit is dus onderzoek op een belangrijk thema op het terrein van woordproblemen, en dus ook van contexten. Aan de andere kant zegt het onderzoek ook het een en ander over het oplossen van pure algebraopgaven, zie daarvoor de pagina target='_bank'>algebra.htm.

Stephen K. Reed (2006). Does unit analysis help students construct equations? Cognition and Instruction, 24, 341-366. abstract,

Stephen K. Reed (1999). Word problems. Research and curriculum reform. Erlbaum. questia. [eBook in KB]

Reviewed by Lieven Verschaffel & Brian Greer review. The review seems to be biased (rad the next to last passage).

Gail Ironson, Susan Homan & Ruth Willis (1984). The Validity of Item Bias Techniques with Math Word Problems. Applied Psychological Measurement, 8, 391-396.abstract

Albert C. Oosterhof & Pamela K. Coats (1984). Comparison of Difficulties and Reliabilities of Quantitative Word Problems in Completion and Multiple-Choice Item Formats. Applied Psychological Measurement, 8, 287-294.abstract

“The increased time required to develop and administer a multiple-choice test with reliability equal to that of a completion test suggests use of the latter even in classes with relatively large enrollments.”

Annemie Desoete & Marcel Veenman (Eds.) (2006). Metacognition in Mathematics Education. Nova Science Publishers.

Ik raak er maar niet van overtuigd dat ‘metacognitie’ een begrip is dat iets eigens voorstelt naast cognitie en/of intelligentie. Marcel Veenman verzekerde mij dat er een meerwaarde in dit begrip zit, juist ook van belang voor onderwijs. Dat komt dan misschien nog wel. Ik plaats dit boek onder het hoofdstuk woordproblemen, omdat onderzoek meest aan de hand van woordproblemen gaat, en er zo zijdelings enig licht wordt geworpen op dat aanpakken van woordproblemen. Hat gaat mij dus meer om zin en onzin van die woordproblemen, dan van de metacognitie.

Walter Kintsch & James G, Greeno (1985). Understanding and Solving Word Arithmetic Problems. Psychological Review, 92, 109-129. preview

Mary Hegarty , Richard E. Mayer , Carolyn E. Green (1992). Comprehension of arithmetic word problems: Evidence from students' eye fixations. Journal of Educational Psychology, [nog ophalen] abstract

J M Paige, H Simon (1966). Cognitive processes in solving algebra word problems. In B. Kleinmuntz (Ed.), Problem solving Wiley (51-110). Reprinted in Herbert A. Simon Models of thought. Yale University Press. (201-229)

Slava Kalyuga (2006). Rapid cognitive assessment of learners' knowledge structures. Learning and Instruction 16, 1-11.

Annemie Desoete & Herbert Roeyers (2006). Metacognitive macroevaluations in mathematical problem solving. Learning and Instruction 16, 12-25. abstract

Bruce Hedman (2000). Colin Maclaurin's Quaint Word Problems. The College Mathematics Journal, 31,, 286-289. pdf JStor

Sylvia Weber-Russell & Mark D. LeBlanc (2004). Learning by seeing by doing: Arithmetic word problems. The Journal of the Learning Sciences, 13, 197-220. [pdf via KB JSTOR]

Leest als een bijdrage van relatieve buitenstaanders die wel relevante literatuur hebben bestudeerd. Ik weet niet of dit artikel ergens nuttig voor is, maar ik heb het idee dat het best de moeite waard is om eens goed door te nemen (als een soort herhalingsoefening, bv.).

Meike Oostermeijer, Anton J. H. Boonen & Jelle Jolles (2014). The relation between children’s constructive play activities, spatial ability, and mathematical word problem-solving performance: a mediation analysis in sixth-grade students. Frontiers in Psychology. Educational Psychology. online 17 July Front. Psychol., 17 July 2014 | doi: 10.3389/fpsyg.2014.00782 free access pdf

The mathematical problems used: in the appendix to the article. They look more like items from an intelligence test, than like word problems testing math proficiency. I really should sort out what exactly the psychological literature calls quantitative intelligence. Sternberg, to begin with? Some oldies (but goodies) such as Edward Thorndike?

Anton J.H. Boonen, Menno van der Schoot, Floryt van Wesel, Meinou H. de Vries, Jelle Jolles (2013). What underlies successful word problem solving? A path analysis in sixth grade students. Contemporary Educational Psychology, 38, 271-279. pdf

Anton J. H. Boonen (2015). Comprehend, visualize & calculate: Solving mathematical word problems in contemporary math education. Dissertation msterdam: Free University. downloads

Discussie gestart op Twitter twitter thread

Catherine Thevenot and Pierre Barrouillet (2015). Arithmetic Word Problem Solving and Mental Representations 1pp 58-179 abstract In Roi Cohen Kadosh & Ann Dowker (Eds.) (2015). The Oxford Handbook of Numerical Cognition. Oxford University Press. [UB Leiden PSYCHO C6.-172]

Tinne Dewolf, Wim Van Dooren, Emre Ev Cimen & Lieven Verschaffel (2013). The Impact of Illustrations and Warnings on Solving Mathematical Word Problems Realistically The Journal of Experimental Education, 1-18. researchgate.net

Discussion of the reults also in terms of cognitive load theory. (split-attention effect)

Menso Folkerts (1978). Die älteste mathematische Aufgabensammlung in lateinischer Sprache: Die Alkuin zugeschriebenen Propositiones ad acuendos iuvenes. Überlieferung, Inhalt, Kritische Edition. Österreichische Akademie der Wissenschaften, Mathematisch-naturwissenschaftliche Klasse, Denkschriften 116, 1978, S. 13–80.

Alcuin. On internet more accessible presentations of the 53 or 56 puzzles, such as J J O'Connor and E F Robertson: Propositiones ad acuendos iuvenes by Alcuin webpage Lieven Verschaffel, Brian Greer and Erik de Corte (2000). Making sense of word problems. Lisse: Swets & Zeitlinger.

Summarizes research by the authors, while integrating the research of others on the subject of word problems.

Barry Garelick (March 17, 2017). Ed Speak, Dept. blog

‘To problem solve’: lingo of progressivism.

March, 2017 \ contact ben at at at benwilbrink.nl    

Valid HTML 4.01!   http://www.benwilbrink.nl/projecten/wordproblems.htm http://goo.gl/JaVJ7