Het belang van tekstbegrip in eindexamens: sterk overtrokken?

Naar analogie met het onderzoekje naar de zin en onzin van het meebeoordelen van taalverzorging in alle eindexamenonderdelen, is het de bedoeling hier een onderzoek te doen naar de mate waarin tekstbegrip bij meerdere examenonderdelen een bepalende factor is voor het te behalen resultaten, dat wil zeggen: tekstbegrip als verbale capaciteit en als zodanig te onderscheiden van vakinhoudelijke beheersing.

Dit goede voornemen is doorkruist door intensieve arbeid op het dossier ‘realistisch rekenen’ zie de rekenprojectpagina.

Ben Wilbrink, Denny Borsboom en Michel Couzijn (2010). Spelling, grammatica en interpunctie meebeoordelen op eindexamens? Examens. Tijdschrift voor de Toetspraktijk, 7, september, 5-9. pdf (van het hele nummer)

eindexamen: onbegrip over begrip van tekst?

“Ik kan alleen de examens Nederlands beoordelen, het vak waarin ik heb lesgegeven. Het Centraal Examen toetst samenvatten en tekstbegrip, cruciaal natuurlijk voor toekomstige studenten. Omdat een artikel van mij een paar jaar geleden als examentekst was gekozen, kon ik eens goed zien wat ‘tekstbegrip’ inhield.

Het viel niet mee. Op vragen ‘wat de auteur bedoelt’ moest de auteur het antwoord meermalen schuldig blijven. Bij de vraag naar het ‘doel’ van mijn tekst, waren volgens mij alle antwoorden—a. amuseren; b. informeren; c. beschouwen; d. betogen—goed. Kortom, ik begreep geen barst van mijn eigen verhaal: een dikke onvoldoende.

Was dat examen dus te moeilijk? Nee, want als ik ‘de stof’ een middagje had doorgenomen, had ik geweten dat het om foefjes ging, zoals het signaleren van verwijswoorden, en dat bij-die-en-die kenmerken geheid dat-en-dat etiket hoort.”

Aleid Truijens (20 mei 2008). Nog even over die schoolexamens .... . De Volkskrant dhtml

Een verwant thema is dat van nut en noodzaak van leesstrategieën in het primair onderwijs, zie hierbeneden Stoeldraijer (2011). Zijn stelling is eenvoudig, en ik ben geneigd om dat zonder meer te onderschrijven: het gaat bij het lezen om het lezen en de inhoud, niet om het leren van een strategie om de te lezen tekst te begrijpen. Fantastisch. Het Cito heeft in de PPON rapportage nr 35 (2007) (ophalen) aandacht besteed aan leesstrategieën, maar ik vermoed zonder daarbij de vraag naar nut en noodzaak te stellen.

abstract

Joanna S. Gorin & Susan E. Embretsen (2006). Item difficulty modeling of paragraph comprehension items. Applied Psychological Measurement, 30, 394-411. abstract

Ekaterina Ovchinnikova (2012). Integration of World Knowledge for Natural Language Understanding. Springer. [als eBook in KB] info

Sentence and Text Comprehension: Roles of Linguistic Structure. Annual Review of Psychology, 52, 167-196. abstract

Louis R. Ward (1956). Measuring comprehension in reading. College English, 17, 481-483. abstract

Jean François Rouet (2006). The Skills of Document Use. From Text Comprehension to Web-Based Learning. Erlbaum.

Amos van Gelderen, Rob Schoonen, Kees de Glopper, Jan Hulstijn, Annegien Simis, Patrick Snellings & Marie Stevenson (2004). Linguistic Knowledge, Processing Speed, and Metacognitive Knowledge in First- and Second-Language Reading Comprehension: A Componential Analysis. Journal of Educational Psychology, 96, 19-30. abstract

Kate Cain, Jane Oakhill & Peter Bryant (2004). Children’s Reading Comprehension Ability: Concurrent Prediction by Working Memory, Verbal Ability, and Component Skills. Journal of Educational Psychology, 96, 31-42. abstract

Sevgi Ozgungor and John T. Guthrie (2004). Interactions Among Elaborative Interrogation, Knowledge, and Interest in the Process of Constructing Knowledge From Text. Journal of Educational Psychology, 96, 437-443. abstract

Carol McDonald Connor, Frederick J. Morrison, and Jocelyn N. Petrella (2004). Effective Reading Comprehension Instruction: Examining Child × Instruction Interactions. Journal of Educational Psychology, 96, 682-698. abstract

“The effect of amount and type of instruction depended on children’s fall reading comprehension skills. Children with average to below-average reading comprehension skills in the fall achieved greater reading comprehension growth on average in classrooms with more time spent in teacher-managed explicit instruction and less in child-managed explicit instruction. In contrast, children with above-average reading comprehension skills in the fall achieved greater reading comprehension growth in classrooms with less time in teacher-managed explicit instruction and more in child-managed explicit instruction. Relatively small changes in daily amounts of teacher-managed explicit activities and child-managed explicit activities (about 4 min) predicted substantial changes in spring reading comprehension skills, especially for children with above-average or below-average fall reading comprehension scores.”

Matthew T. McCrudden, Gregory Schraw & Gretchen Kambe (2005). The Effect of Relevance Instructions on Reading Time and Learning. Journal of Educational Psychology, 97, 88-102. abstract

publicaties McCrudden over tekstbegrip

Panayiota Kendeou and Paul van den Broek (2005). The Effects of Readers’ Misconceptions on Comprehension of Scientific Text. Journal of Educational Psychology, 97, 235-245. abstract

Joanna P. Williams, Kendra M. Hall, Kristen D. Lauer, K. Brooke Stafford, Laura A. DeSisto & John S. deCani (2005). Expository Text Comprehension in the Primary Grade Classroom Journal of Educational Psychology, 97, 538-550. abstract

“The results provide evidence, heretofore lacking, that explicit instruction in comprehension is feasible and effective as early as the 2nd grade.”

Patricia D. Mautone & Richard E. Mayer (2007). Cognitive Aids for Guiding Graph Comprehension. Journal of Educational Psychology, 99, 640-652. abstract

“This study sought to improve students’ comprehension of scientific graphs by adapting scaffolding techniques used to aid text comprehension. ( .. ) Results are consistent with a cognitive model of graph comprehension.”

Oddny Judith Solheim & Atle Skaftun (2009): The problem of semantic openness and constructed response, Assessment in Education: Principles, Policy & Practice, 16, 149-164. abstract [PIRLS][korte open vragen]

Andrew T. Stull & Richard Mayer (2007). Learning by Doing Versus Learning by Viewing: Three Experimental Comparisons of Learner-Generated Versus Author-Provided Graphic Organizers. Journal of Educational Psychology, 99, 808-820. abstract

Schematiseren. Het punt is dat het zelf construeren van een schema extra mentale belasting oplevert die in de weg staat van het leerproces zelf. Cognitive load theory en activity theory voorspellen hier verschillende uitkomsten; de laatste theorie verliest het in dit experiment.

“General Conclusions
The conclusions of this study are that increased physical activity on the part of the learner (e.g., producing graphic organizers) should not be interpreted to indicate deeper learning. Asking learners to construct graphic organizers from scratch or to complete graphic organizer templates does not necessarily guarantee that they will engage in generative processing during learning. In addition, graphic organizers, when properly designed and placed in the margins of a textbook can promote generative processing that leads to superior knowledge transfer. Finally, the limits of the learner’s cognitive capacity should be addressed in the design of graphic organizers for textbook passage.”

Johannes Naumann, Tobias Richter, Jürgen Flender, Ursula Christmann & Norbert Groeben (2007). Signaling in Expository Hypertexts Compensates for Deficits in Reading Skill. Journal of Educational Psychology, 99, 791-807. abstract

“These results demonstrate that hypertexts equipped with hypertext-specific signals may compensate for deficits in reading skill.”

Signals are textual devices that do not contribute to the content of a text but make the semantic and topical structure of a text more explicit to readers (R. F. Lorch, 1989; Meyer, 1975). Topic overviews, headings, typographical cues such as boldface or italics, preview or summarizing statements, pointer expressions, and sometimes also linguistic markers of semantic or rhetorical relations (Meyer, 1975) have all been referred to as textual signals that may provide guidance to the learner’s processing of text contents. A broad definition of the term might even encompass specific types of topic overviews, such as tables of contents or advance organizers (Ausubel, 1968).

In particular, the theory assumes that signals make it easier for learners to select the information that is relevant for a given learning goal, to organize pieces of information into a coherent representation, and to integrate this information with prior knowledge (Mautone & Mayer, 2001).

When implemented effectively, both types of signals, global navigational aids and hyperlinks that mirror the conceptual structure of the content domain, may ease the problems of disorientation and additional cognitive load that have been associated with hypertext use. Stated positively, these types of signals promise to provide learners with the opportunity to make full use of the advantages of hypertexts for constructive and self-regulated learning without having to accept their potential disadvantages.

NB: Een bijlage die het experimentele materiaal behandelt is gedeponeerd, de link staat op een toegevoegde blz. bij het artikel: http://supp.apa.org/psycarticles/supplemental/edu_99_4_791/Text_structure_and_reading_abilities_supplemental_materials.pdf

Helena P. Osana, Guy L. Lacroix, Bradley J. Tucker, Einat Idan & Guillaume W. Jabbour (2007). The Impact of Print Exposure Quality and Inference Construction on Syllogistic Reasoning Journal of Educational Psychology, 99, 888-902. abstract

“Additionally, the ability to comprehend highinference-load texts was related to solving syllogisms that were inconsistent with world knowledge, indicating an overlap in deductive reasoning skill and text comprehension processes.”

Amos van Gelderen, Rob Schoonen, Reinoud D. Stoel, Kees de Glopper & Jan Hulstijn (2007). Development of Adolescent Reading Comprehension in Language 1 and Language 2: A Longitudinal Analysis of Constituent Components. Journal of Educational Psychology, 99, 477-491. abstract

Jeffery D. Nokes, Janice A. Dole & Douglas J. Hacker (2007). Teaching High School Students to Use Heuristics While Reading Historical Texts. Journal of Educational Psychology, 99, 492-504. abstract

“Findings highlight the importance of reading multiple texts to deepen content knowledge and facilitate the use of heuristics that historians typically use.”

Als de docent vervolgens tentamenvragen ontwerpt die specifiek zijn voor de opgegeven tekst, zijn de studenten die ook andere teksten hebben gelezen waarschijnlijk in het nadeel. Hoe zit dat hier? Zijn de auteurs zich bewust van dit mogelijke effect?

Joop Stoeldraijer (2011). Dominante rol onderwijsinspectie bij keuze methode. Leesstrategieën werken niet bij begrijpend lezen. Plein Primair, 9 december, 21-24. [Ik heb wel een pdf, maar op de website pleinprimair.nl lijkt deze niet vrij op te halen]

Paulien Meijer (1999). Teacher’s practical knowledge. Teaching reading comprehension in secondary education. Proefschrift Rijksuniversiteit Leiden. [niet online beschikbaar?]

Besproken door Jaap Buitink, in Tijdschrift voor Onderwijsresearch, 2000, 24, 164-166. online

Yasuhiro Ozuru, Kyle Dempsey & Danielle S. McNamara (2009). Prior knowledge, reading skill, and text cohesion in the comprehension, of science texts. Learning and Instruction, 19, 228-242. abstract

Nadine Spörer, Joachim C. Brunstein & Ulf Kieschke (2009). Improving students’ reading comprehension skills: Effects of strategy, instruction and reciprocal teaching. Learning and Instruction, 19, 272-286. abstract

Menno van der Schoot (2011). ‘De vegetariër genoot van een hamburger.’ Begripscontrole bij goed en matig begrijpende lezers in het basisonderwijs. De Psycholoog, 46, 39-47. [geen abstract of pdf online beschikbaar]

J. Land, T. Sanders & H. van den Bergh (2008). Effectieve tekststructuur voor het vmbo. Een corpus-analytisch en experimenteel onderzoek naar tekstbegrip en tekstwaardering van vmbo-leerlingen voor studieteksten. Pedagogische Studiën, 85, 76-94. pdf

P. Karen Murphy, Ian A. G. Wilkinson, Anna O. Soter, Maeghan N. Hennessey & John F. Alexander (2009). Examining the effects of classroom discussion on students’ comprehension of text: A meta-analysis. Journal of Educational Psychology, 101, 740-764. pdf

Joanneke Prenger (2005). Taal telt! Een onderzoek naar de rol van taalvaardigheid en tekstbegrip in het realistisch wiskundeonderwijs. Proefschrift RU Groningen. html of meteen de complete tekst als pdf

Een ongemakkelijk onderwerp: voor het leren van wiskunde moet je eerst je taal leren. Zie ook mijn pagina eerlijkrekenen.htm.
Prenger lijkt een aanhanger van het constructivisme, realistisch rekenen en realistische wiskunde te zijn, ze neemt er in ieder geval geen afstand van. Dat hoeft geen beletsel voor zinvol onderzoek te zijn, maar maakt wel argwanend.
“Succes bij het probleemoplossen wordt alleen bereikt als in de eerste fase een exacte representatie gemaakt wordt door de oplossende leerling. Het oplossen van problemen, en daarmee dus ook het oplossen van wiskundeproblemen, is daarom een activiteit waarin lezen en tekstbegrip een belangrijke rol spelen (Nathan, Kintsch en Young, 1992): het oplossen van een wiskundeprobleem is in feite een oefening in zowel tekstbegrip als wiskundevaardigheden. In onderzoek naar het begrijpen van dit soort ‘word-problems’ is daarom bijvoorbeeld gekeken naar de invloed van de semantische structuur van deze opgaven op het begrip van leerlingen (DeCorte, Verschaffel, Van Coillie, 1989) of naar de vraag of de moeilijkheid van ‘word problems’ bepaald werd door de hoeveelheid ambigue en abstracte taal die werd gebruikt (Cummins, Kintsch, Reusser en Weimer, 1988). Bovendien bleek uit dit soort onderzoek dat kinderen die de ‘word problems’ in hun tweede taal maakten, anders presteerden dan kinderen die de wiskundeproblemen in hun eerste taal maakten. Sindsdien is de aandacht voor culturele en linguïstische factoren bij de prestaties bij wiskunde toegenomen (Bishop, 1988).

Uit het onderzoek naar de rol van taal bij ‘word problems’, is dus gebleken dat niet alleen rekenkundige kennis maar ook allerlei taalkundige en conceptuele kennis een rol speelt bij het begrijpen van wiskundeopgaven. Hoewel er vanuit de wiskunde veel onderzoek is gedaan naar de rol van taal en tekstbegrip bij deze traditionele redactiesommen (zie bijvoorbeeld Hegarty, Mayer en Monl, 1995; Basurto, 1999; Peled en Wittrock, 1990; Søvik, Frostrad en Heggberget, 1999) is er nog weinig onderzoek gedaan naar opgaven uit de realistische wiskundedidactiek.”
blz. 11
Prenger veronderstelt als vanzelfsprekend dat contextopgaven geen redactiesommen zijn. De eerste zijn veel taliger. Zij stelt dan ook (blz. 11-12) dat tekstbegrip nog belangrijker is geworden dan het bij redactiesommen al was.

A. C. Hendrix (1997). Taalkunde getoetst. De validatie van een vakonderdeel taalkunde in het schoolvak Nederlands. Een wetenschappelijke proeve op het gebied van de Letteren. Proefschrift, KUN. zie hier voor download proefschrift

Margot de Wit (2007). Waarom de docent Nederlands het schoolvak Nederlands niet verkwanseld heeft. Levende Talen doc

Eindrapport Expertgroep Doorlopende leerlijnen Rekenen en Taal. hier. samenvatting

Reactie van het Sectiebestuur Nederlands (door Margot de Wit en Patrick Rooijackers) hier

Dit is een reactie die bestaat uit instemmende en afkeurende opmerkingen. Dat zet geen inhoudelijke zoden aan de dijk. b.w.

Helge Bonset; Martine Braaksma. Een inventarisatie van onderzoek van 1997 tot en met 2007. SLO In samenwerking met: Instituut voor de Lerarenopleiding van de Universiteit van Amsterdam, Nederlandse Taalunie, Stichting Lezen. pdf

José Noijons en Erna van Hest (2009). Het ERK en de examens leesvaardigheid. Een Europees referentiekader voor talenexamens: een utopie? Examens. Tijdschrift voor de Toetspraktijk, #3 pdf

Figuur 1 geeft de verschillende niveaus. Die zijn allemaal geformuleerd in termen van begrijpen (onder andere). In ben dus razend benieuwd wat daar de wetenschappelijke onderbouwing van kan zijn. Het Cito is al een tijd in de slag met dit ERK, diverse publicaties.
bv. niveau A1: Kan vertrouwde dagelijkse uitdrukkingen en basiszinnen gericht op de bevrediging van concrete behoeften begrijpen en gebruiken. Kan zichzelf aan anderen voorstellen en kan vragen stellen en beantwoorden over persoonlijke gegevens zoals waar hij/zij woont, mensen die hij/zij kent en dingen die hij/zij bezit. Kan op een simpele wijze reageren, aangenomen dat de andere persoon langzaam en duidelijk praat en bereid is om te helpen.
bv. niveau C2: Kan vrijwel alles wat hij hoort of leest gemakkelijk begrijpen. Kan informatie die afkomstig is van verschillende gesproken en geschreven bronnen samenvatten, argumenten reconstrueren en hiervan samenhangend verslag doen. Kan zichzelf spontaan, vloeiend en precies uitdrukken en kan hierbij fijne nuances in betekenis, zelfs in complexere situaties onderscheiden.
Kortom, tussen A1 en C2 ligt een waanzinnig breed gebied.

Jennifer G. Cromley, Lindsey E. Snyder-Hogan & Ulana A. Luwic-Dubas (2010). Reading comprehension of scientific text: A domain-specific test of the direct and inferential mediation model of reading comprehension. Journal of Educational Psychology, 102, 687-700.

Scott G. Paris, Karen K. Wixson & Annemarie S. Palincsar (1986). Instructional approaches to reading comprehension. Review of Research in Education, 13, 91-128. preview

In this chapter, we consider the progressive reconceptualizations of comprehension instruction in America during the past 80 years.
Dat is interessant. Is er iets terug te vinden van het Flynn-effect?
This brief historical review suggests that the 1925 NSSE Yearbook has influenced the instructional agenda in reading for many years (cf., Mason, 1985). With each ensuing decade, skills became more specified and valued, instruction became more systematic and dependent upon basal materials, and learning to read became a process of skill mastery beginning with "lower order" literal comprehension and proceeding to "higher order" thinking. By the mid-1960s, skills-based programs had come to define the goals of reading and reading instruction. As the curriculum narrowed and became more focused on learning to read instead of reading to learn, teachers became managers of basal readers, workbooks, small groups, and directed reading activities. Doyle (1983) has characterized the classroom as a workplace, and indeed the emphasis on reading skills encouraged teachers to become managers of materials, records, and skills, and students to become piece-work laborers. [p. 99]
Dat is een intrigerend zinnetje: meer leren lezen dan lezen om te leren.
Ik zie een lijn in de beschreven ontwikkeling die inderdaad het lezen zelf psychologiseert, en abstraheert van wàt er wordt gelezen. Zie bijvoorbeeld het volgende citaat:
Reading is not a simple mechanical skill; nor is it a narrow scholastic tool. Properly cultivated, it is essentially a thoughtful process. However, to say that reading is a "thought-getting" process is to give it too restricted a description. It should be developed as a complex organization of patterns of higher mental processes. It can and should embrace all types of thinking, evaluating, judging, imagining, reasoning, and problem-solving. (Gates, 1949, p. 3)
The Yearbook Committee noted that a complete classification of attitudes, habits, and skills had never been made, but that a sufficient number had been distinguished by research on learning to serve as a guide to teachers. Included among the "habits of intelligent interpretation" listed in the 1925 Yearbook were the following: concentrating attention on the content, associating meanings with symbols, anticipating the sequence of ideas, associating ideas together accurately, recalling related experiences, recognizing the important elements of meaning, deriving meanings from context and from pictures. They also noted skills used when reading for particular purposes such as analyzing or selecting meanings (e.g., to select important points and supporting details), associating and organizing meanings (e.g., to grasp the author's organization), evaluating meanings (e.g., to interpret critically), and retaining meanings. One need only examine lists of skills in contemporary instructional programs to understand the impact that the habits presented in the 1925 Yearbook have had on reading instruction.
Intrigerend. Hier is op zich natuurlijk het Flynn-effect niet direct in herkenbaar, behalve dan in de vorm dat leraren meer nadruk gaan leggen op begrijpen van wat toevallig de inhoud van tekst is, dan op het onthouden/verwerken van de bewust gekozen inhoud. Voor de Flynn-stelling is het ook nodig om te kijken naar de teksten die dan werden gebruikt in dat onderwijs: evolueerden die teksten van opsommingen van feitelijkheden tot beschouwingen van meer abstracte aard?

Richard L. Venezky (1986). Steps toward a modern history of American reading instruction. Review of Research in Education, 13, 129-167. preview

Equally important, major differences of opinion exist on a number of topics central to this history. Among these are the causes and timing of the shift in instructional emphasis from oral to silent reading; the primary influences on reader content; the effectiveness of public school reading instruction, particularly in the 19th century; and the extent to which comprehension was taught prior to the modem era.
Razend interessant, mogelijk ook wel voor de Flynn-stelling. Maar wat dat laatste betreft: de boeren die door Luria werden bevraagd, waren waarschijnlijk helemaal niet naar school geweest. In de negentiende eeuw was er nog niet overal sprake van leerplicht, de mate van scholing zal zich vaak niet verder hebben uitgestrekt dan tot leren lezen en schrijven in heel rudimentaire vorm, en de catechismus uit het hoofd leren, of zo. Kortom: de school was nog geen venster op de buitenwereld, waar mogelijk ook witte beren rond kunnen lopen.

John F. Readence and David W. Moore (1983). Why questions? A historical perspective on standardized reading comprehension tests. Journal of Reading, 26, 306-313.

woordproblemen

We planted three trees in a row. The first one was nine feet tall and the last one was three feet shorter than the first one. The middle one was two feet taller than the last one. How tall was the middle one?
uit The Kansas Silent Reading Test. F. J. Kelly (1916). The Kansas Silent Reading Tests. Journal of Educational Psychology, 7, 63-80. Zoals geciteerd in Readence en Moore (1983).
Interessante beschouwing over de begintijd van gestandaardiseerd testen op tekstbegrip, dat is: circa 1920 in de VS. Met voorbeelden. Drie typen vragen waren prominent: (exact) reproduceren van gelezen tekst, oplossen van woordproblemen (solving written puzzles) waaronder dus ook rekenopgaven, en vragen beantwoorden. Heel interessant dat woordproblemen hier bedoeld zijn om tekstbegrip toetsen, niet rekenen.

N. A. Broer, C. A. J. Aarnoutse, F.K. Kieviet en J. F. J. van Leeuwe (2001). Leren schema’s maken Een onderzoek naar de effecten van een lessenserie ‘Schema’s maken’ voor de hoogste groep van het basisonderwijs pdf

Kintsch, W. & Dijk, T.A. van (1978). Toward a model of text comprehension and production. Psychological Review, 85, 363-394.

Leon, J. A. & Carretero, M. (1995). Intervention in comprehension and memory strategies: knowledge and use of text structure. Learning and Instruction, 5, 203-220.

Michael B. W. Wolfe & Joshua M. Woodwyk (2010). Processing and memory of information presented in narrative or expository texts. British Journal of Educational Psychology, 80, 341-362.

Een handige ingang op de literatuur: “A continuing question in comprehension research involves the extent to which readers vary their comprehension strategies under different circumstances, and what consequences these strategies have in terms of how information is remembered and used.”

Ben Wilbrink (in herziening). Toetsvragen ontwerpen bij tekst. Hoofdstuk 6 in Toetsvragen ontwerpen, herziening (in uitvoering) van 1983 Toetsvragen schrijven (Aula 809). html

L. Melse (1987). Tekstsamenvatting als tekstbegriptoets, verslag van onderzoek. Arnhem: Cito. 75 blz. (Specialistisch bulletin Nr.61); [niet in mijn bezit] [bibliotheek POW: 88/175]

p.m. VOCL cohortonderzoek bevat toets tekstbegrip Nederlands.

Commissie-Meijerink (2007). Verslag Interviews Commissie rekenonderwijs basisschool Geïnterviewde Marisca Milikowski, De Rekencentrale en Stichting Goed Rekenonderwijs

Vindt u handig rekenen belangrijk? Moet handig rekenen als een luxe worden beschouwd? Handig rekenen is belangrijk, maar de voorwaarden zijn dat het goed geautomatiseerd gebeurt en dat een leerling voldoende rekenintelligentie heeft. Het zou geen luxe moeten zijn, maar het werkgeheugen zou ontlast moeten worden door automatismen. Dit is zeker met minder intelligente kinderen van belang. Hier kan een parallel getrokken worden met tekstbegrip: niet iedereen kan dat leren, maar als je niet technisch kunt lezen is het helemaal niet aan te leren.

Hans Hulshof (2002). Vormen van taalkennis. Over grammatica, taalbeschouwing en taalkundige vorming in het onderwijs Nederlands. Rede. Universiteit Leiden. pdf

Amos van Gelderen (2008). Nadruk op technisch lezen is verkeerde insteek. Didaktief, 38 #9 38-39.

"Het hardop lezen van woorden is ook een slechte gewoonte. Het is cognitief erg belastend en staat tekstbegrip in de weg. Tegelijkertijd verklanken en begrijpen wat je leest, is alleen weggelegd voor de goede lezers."
"Leerlingen die teksten goed begrijpen, zijn dus vaak geen goede technische lezers. Ook omgekeerd geldt: goede technische lezers zijn vaak geen goede begrijpende lezers. (...) Veel oefening in technisch lezen in de laatste jaren van het basisonderwijs is daarom zinloos."
"Ook in het voortgezet onderwijs is onderzoek ter zake gedaan. In een onderzoek dat ik samen met anderen heb uitgevoerd blijkt dat de vaardigheid in technisch lezen geen noemenswaardig aandeel heeft in het begrijpend lezen, als rekening wordt gehouden met de kennis die leerlingen hebben over strategieën voor lezen en schrijven."

J. B. Hoeksma & K. de Glopper (1990). Het oog van de meester: opstelbeoordeling door schrijvers en leerkrachten. Tijschrift voor Onderwijsresearch, 15, 153-161.

diversen

Huub van den Bergh (1987). Open en meerkeuzevragen tekstbegrip: een onderzoek naar de relatie tussen prestaties op open en meerkeuze-vragen. Tijdschrift voor Onderwijsresearch, 12, 304-313

Huub van den Bergh (1990). On the Construct Validity of Multiple- Choice Items for Reading Comprehension. Applied Psychological Measurement, 14, 1-12.abstract

Hilda Hacquebord (1989). Tekstbegrip van Turkse en Nederlandse leerlingen in het voortgezet onderwijs. Foris Publications.

H. Hacquebord (1997). Constructie en evaluatie van een tekstbegriptoets voor de brugklas. Een instrument voor signaleren en typeren van leesproblemen. Tijdschrift voor Onderwijsresearch, nr 2, 37-53. pdf van hele jaargang

K. Bügel (1993). Sekseverschillen in tekstbegrip bij moderne talen. Proefschrift. [niet gezien]

Maarten van Gils (1977). De onbetrouwbaarheid van selektieve tekstbegriptoetsen. Pedagogiche Studiën, 54, 52-61.

Dit is een artikel van een buitenstaander die zich vertilt aan de psychometrie. De inhoud lijkt mij echt irrelevant. Het artikel is wel interessant omdat het een helder voorbeeld kan zijn van hoe buitenstaanders zich kunnen vertillen aan de methodologie van die voor hen vreemde discipline. Zoals ook Freudenthal doet. De keerzijde daarvan is: de toetserij van het Cito raakt alle burgers, dat zijn vooral buitenstaanders, dus het Cito heeft wel een probleem om te legitimeren wat zij doet. Doet Djien Thio dat goed, in zijn reaktie?
K. D. Thio (1977). CITO-commentaar op Van Gils’: ‘De onbetrouwbaarheid van selectieve tekstbegriptoetsen’. Pedagogiche Studiën, 54, 62-67.

H. W. F. Stellwag (1949). De waarde der klassieke vorming. Een cultuur-historische paedagogisch-psychologische en didaktische inleiding. Groningen: Wolters.

Begint met essays ‘Cultuurhistorisch overzicht der opvoeding’ en ‘Historische ontwikkeling der Latijnse scholen in Nederland.’ Stellwag behandeld vier thema’s: De waarde der grammaticale methode. De formeel-vormende waarde der klassieken. Over denken en denk-scholing. De overdraagbaarheid der vorming (met experiment I). De culturele vorming (met experiment II).
De experimenten zijn opdrachten tekstbegrip voor gymnasiasten zesdeklassers, zeer gedetailleerd verslagen. Alleraardigst materiaal.
Het boek is overigens een goed gedocumenteerde studie over (het idee van) 'vorming' of 'vormende waarde' van de klassieke studie, de veronderstelde overdracht (transfer) van in de klassieke studie verkregen inzichten naar hun brede toepassing in de samenleving. Of is dit onzin? Lees het boek.

Stuart Katz, Richard L. Marsh, Christopher Johnson & Erika Pohl (2001). Answering quasi-randomized reading items without the passages on the SAT-I. Journal of Educational Psychology, 93, 772-775. pdf

Vragen naar tekstbegrip kunnen tt op zekere hoogte ook goed worden beantwoord als de betreffende tekst onbekend is, blijkt uit onderzoek. Verschillen tussen leerlingen correleren dan hoog met hun scores op wat een volledige toets zou zijn, dus inclusief de teksten waarover vragen worden gesteld. Het onderzoek van Katz e.a. is wat technisch, en gaat niet op alle vragen en aspecten in, maar het is een goede ingang tot literatuur over dit fenomeen. Het fenomeen: de wankele validiteit van vragen naar of over tekstbegrip.

D. E. Powers & S. W. Leung (1995). Answering the new SAT Reading Comprehension Questions without the passages. Journal of Educational Measurement, 32, 105-129.

Belooft iets aardigs: onderzoek naar de mate waarin het mogelijk is tekstbegripvragen goed te beantwoorden zonder de tekst gezien te hebben. Blijkt toch wat marginaal.
Abstract
Voor meer recent onderzoek zie Katz, Marsh, Johnson & Pohl 2001 pdf
Online beschikbaar: Donald E. Powers & Susan T. Wilson (1993). Passage dependence on the new SAT Reading Comprehension Questions. College Board Report no. 93-3 ETS RR no 93-60 pdf

P. C. Meijer, N. Verloop & D. Beijaard (2000). Praktijkkennis van ervaren talendocenten. Verschillen en gemeenschappelijkheden in praktijkkennis op het gebied van tekstbegriponderwijs in de bovenbouw van het VWO Pedagogische Studiën, 77, 85- . blz. 91 (voor volgende bladzijden: URL telkens 1 ophogen)

Jukka Hyönä, Robert F. Lorch, Jr., & Johanna K. Kaakinen (2002). Individual Differences in Reading to Summarize Expository Text: Evidence From Eye Fixation Patterns. Journal of Educational Psychology, 94, 44-55. pdf

Eason, S. H., Goldberg, L. F., Young, K. M., Geist, M. C., & Cutting, L. E. (2012, February 13). Reader’ Text Interactions: How Differential Text and Question Types Influence Cognitive Skills Needed for Reading Comprehension. Journal of Educational Psychology. Advance online publication. doi: 10.1037/a0027182 abstract

Howard Wainer & David Thissen (1996). How is reliability related to the quality of test scores? What is the effect of local dependence on reliability? Educational Measurement: issues and Practices, spring, 22-29. abstract

Dit is van belang voor analyse van tekstbegrip.htm in eindexamens, waar bij een gegeven casus meerdere vragen worden gesteld ( = local dependence).
Sireci, S. G., Thissen, D., & Wainer, H. (1991). On the reliability of testlet-based tests. Journal of Educational Measurement, 28(3), 237-247. abstract
We demonstrate how to calculate the reliability of a testlet-based test. We show that traditional reliabilities calculated on two reading comprehension tests constructed of four testlets are subtsantial overestimates.
Een artikel dat wel online beschikbaar is: April L. Zenisky, Ronald K. Hambleton, and Stephen G. Sireci (2003). Effects of Local Item Dependence on the Validity of IRT Item, Test, and Ability Statistics. pdf [paper AAMC]

Sanne Schaap, Pauline Vos, Ton Ellermeijer en Martin Goedhart (2011). De vertaalslag van een situatie naar een wiskundige formule; een studie naar vraagstellingen en leerlingprestaties op het centraal examen wiskunde B1. Tijdschrift voor Didactiek der β-wetenschappen, 28, 3-31.

J. H. Boonman & W. A. M. Kok (1986). Kennis verwerven uit teksten. Onderzoek naar factoren die van invloed zijn op het verwerven van kennis door leerlingen van de achtste groep van de basisschool. Proefschrift RU Utrecht

Voor de volledigheid hier genoemd. Het lijkt me wel relevant, maar is mede door zijn omvang voor mij vrijwel onleesbaar. [proefschrift niet meer beschikbaar]

Paul van den Broek, Yuhtsuen Tzeng, Kirsten Risden, Tom Trabasso & Patricia Basche (2004). Inferential Questioning: Effects on Comprehension of Narrative Texts as a Function of Grade and Timing. Journal of Educational Psychology, 93,521-529. pdf

Rebekah George Benjamin (2012). Reconstructing Readability: Recent Developments and Recommendations in the Analysis of Text Difficulty.Educational Psychology Review, 24, 63-88. abstract

Helge I. Strømsø, Ivar Bråten & Marit S. Samuelstuen (2003): Students' Strategic Use of Multiple Sources During Expository Text Reading: A Longitudinal Think-Aloud Study. Cognition and Instruction, 21, 113-147. abstract

Mikyung Kim Wolf, Amy C. Crosson, and Lauren B. Resnick (2006). Accountable Talk in Reading Comprehension Instruction. CSE Technical Report 670. pdf

Robert L. Linn, Michael V. Levine, C. Nicholas Hastings & James L. Wardrop (1981). Item Bias in a Test of Reading Comprehension. Applied Psychological Measurement 5, 159-173.abstract

Kate Cain and Jane Oakhill (2007). Children's comprehension problems in oral and written language. A cognitive perspective. The Guilford Press. [eBook KB]

In het po tekstbegrip vooral als vaardigheid, in het vo en ho als inhoudelijk. De analyse van de vaardigheden kan heel verhelderend zijn voor de dimensies die ook voor het begrijpen van inhouden van belang zijn.

Jane Oakhill & Kate Cain: Introduction to comprehension development. Zij leggen de nadruk op vaardigheden, niet op inhouden. Veel correlationeel onderzoek is hier aan de orde, maar is dat relevant, dan?
. . . Markman (1979) used texts that were logically inconsistent. The younger children were poor at spotting even blatant contradictions, and even the oldest (sixth-grade) children made many errors, although there was an improvement with age.
Ellen M. Markman (1979). Realizing that you don’t understand: Elementary school children’s awareness of inconsistencies. Child Development, 50, 643-655. Zie aantekening. preview
Following the pioneering work of Paris and his coworkers in this area (see, e.g., Paris & Lindauer, 1976; Paris, Lindauer, & Cox, 1977), a number of other researchers sjhowed that the ability to make variious kinds of inferences increases with age (Ackerman, 1986, 1988), though Ackerman (1988) and Ackerman and McGraw (1991) report results that led them to suggest that younger children may be making different inferences, nut not necessarily fewer inferences, than older chiildren and adults. Ackerman (1986) discusses some of the potential reasons for age-related differences in inference making. ( . . ) Ackerman (1988) has attempted to look in more detail at the reasons why younger children fail to make some types of inferences.
p. 24

Brian P. Ackerman (1986). Referential and causal coherence in the story comprehension of children and adults. Journal of Experimental Child Psychology, 41, 336-366. abstract

Some reasons children have more difficulty establishing referential coherence than adults are suggested by the above analysis. One reason is that children have to do more effortful inferential processing of discourse material to establish coreference than adults because children have smaller functional working memory capacities (cf. Ackerman, 1984a, 1984b). The end result is that children may be required more often than adults to search long-term memory for an antecedent and are less likely to rely on more automatic referent priming and matching processes in working memory. Alternatively, children may be less knowledgeable about the textual devices used to establish referential coherence and the structure of information in discourse. Current evidence (cf. Ackerman, 1984a, 1984b) supports both possibilities. In the sense that familiarity speeds processing, and so frees processing resources and memory capacity, these explanations are not mutually exclusive.
p. 362
Zie verder ook Cain & Oakhill (2007) hier, voor integrale behandeling van de thematiek

Brian P. Ackerman (1988). Reason inferences in the story comprehension of children and adults. Child Development, 59, 1426-1442. read online free

Wendy Lehnert (1977). Human and computational question answering. Cognitive Science, 1, 47-73. pdf

Vragen naar tekstbegrip, wat is dat?

The question answering problems that arise in a story-understanding system are discussed. Some solutions are described and illustrated by a conputer program which reads stories and answers questions.

James M. Royer & Donald J. Cunningham (1981). On the theory and measurement of reading comprehension. ContEdPs, 6, 187-216. abstract; technical report

Arthur M. Glenberg, Alex Cherry Wilkinson & William Epstein (1982). The illusion of knowing: failure in the self-assessment of comprehension. Memory & Cognition, 10, 597-602. free pdf

Michael P. Ryan, (1984). Monitoring text comprehension: individual differences in epistemological standards. Journal of Educational Psychology, 76, 248-258. abstract

Arthur C, Graesser, Keith K. Millis & Rolf A. Zwaan (1997). Discourse comprehension. Annual Review of Psychology, 48, 163-189. abstract

A. H. van der Hoeve, Ph. Kohnstamm & G. van Veen (1935). Stil-lees-stof als denk-materiaal en denk-maatstaf. Een onderzoek aangaande de vorming en toetsing van 'theoretische intelligentie'. J. B. Wolters' Uitgeversmaatschappij. Mededelingen van het Nutsseminarium voor Paedagogiek aan de Universiteit van Amsterdam. [aanwezig: KB; UB Leiden in de reeks Mededelingen van het Nutsseminarium] 208-245 - 246-261 - 262-288

Gerdineke van Silfhout (2013). Daarom hebben we zoveel moeite met die studieteksten! Over tekstbegrip in het Voortgezet Onderwijs. webpagina

Meer publicaties uit dit promotietraject hier

J, Ricardo García & Kate Cain (2014). Decoding and Reading Comprehension: A Meta-Analysis to Identify Which Reader and Assessment Characteristics Influence the Strength of the Relationship in English Review of Educational Research March 2014, Vol. 84, No. 1, pp. 74–111 download

Maximilian Pfost, John Hattie, Tobias Dörfler (2014). Individual Differences in Reading Development: A Review of 25 Years of Empirical Research on Matthew Effects in Reading. Review of Educational Research June 2014, Vol. 84, No. 2, pp. 203–244 DOI: 10.3102/0034654313509492 © 2014 AERA. http://rre.aera.net download

Debra L. Jong, Jeanette Wilson, Ryan Hurley & Chantel S. Prat (2006). Assessing text representations with recognition: The interaction of domain knowledge and text coherence. Journal of Experimental Psychology, Learning, Memory, and Cognition, 32, 816-827. [+ Appendix: Sample Stories and Recognition Items] pdf

Maarten Huygen (5 september 2016). Scripties en tentamens vol taalfouten. Hoger onderwijs. Studenten beheersen het Nederlands onvoldoende. Hun docenten nemen de taak van de middelbare school over.NRC Handelsblad pagina

De spreker kreeg een staande ovulatie

Huub van den Bergh Veranderingen in examens Nederlands havo en vwo. Levende Talen Magazine. ophalen

Daniel T. Willingham & Gail Lovette (September 26, 2014). Can Reading Comprehension Be Taught? webpage

Daniel Willingham (2012). School time, knowledge, and reading comprehension. blog

Daniel Willingham (2006/07). The Usefulness of Brief Instruction in Reading Comprehension Strategies. American Federation of Teachers, winter, 39-50. pdf

Paulina A. Kulesz, David J. Francis, Marcia A. Barnes & Jack M. Fletcher (2016). The influence of properties of the test and their interactions with reader characteristics on reading comprehension: An explanatory item response study. Journa of Educational Psychology, Advance online publication abstract

Ruth Wattenberg (September 2016). Inside the Common Core Reading Tests: Why the best prep is a knowledge-rich curriculum. blog

E. D. Hirsch, Jr. (2016). Why knowledge matters. Rescuing our children from failed educational theories. Harvard Education Press. isbn 9781612509525 prologue pdf

Pauline Reijners (2016). Retrieval as a cognitive and metacognitive study technique to learn from expository text. dissertation Open University Heerlen. (promotores: Kirschner & Kester) [PEDAG 48.a.550] Geen online tekst beschikbaar (feb. 2017). Misschien aardig overzicht van deze specifieke thematiek, maar ik heb het boek teruggebracht.

Anne Helder (2016). Monitoring the coherence of texts. Coherence-break detection across development. Dissertation Leiden. pdf's in repository (ch 5 [Sources of Comprehension Problems During Reading Anne Helder, Paul van den Broek, Linda Van Leijenhorst, and Katinka Beker] seems to be in embargo indefinitely, it is a chapter in: Unraveling the behavioral, neurobiological, and genetic components of reading comprehension

Unraveling reading comprehension. Behavioral, neurobiological, and genetic components. info [niet in UBL, niet in KB]

Charlotte's examens Frans tweet

analyse fouten Charlotte

opgaven vwo Frans 2017 2e tijdvak

bijlagen (tekstfragmenten)

correctievoorschrift

Charlotte's examens Frans vraag 33 etc tweet

juni 2017 \ contact ben apenstaartje benwilbrink.nl

http://www.benwilbrink.nl/projecten/tekstbegrip.htm#Willingham_Lovette http://goo.gl/yDAcsY