Literatuur over toetsvragen (ontwerpen)


Ben Wilbrink

Ben Wilbrink (1983/in bewerking). Toetsvragen ontwerpen html









André A. Rupp, Jonathan Templin & Robert A. Henson (2010). Diagnostic Measurement. Theory, Methods, and Applications. info [als eBook in KB] supplemental materials website




Sean H. K. Kang, Harold Pashler, Nicolas J. Cepeda, Doug Rohrer, Shana K. Carpenter & Michael C. Mozer (2011). Does incorrect guessing impair fact learning? Journal of Educational Psychology, 103, 48-59 pdf




Robert V. Lindsey, Jeff D. Shroyer, Harold Pashler & Michael C. Mozer (accepted for publication 2013). Improving students' long-term knowledge retention through personalized review. Psychological Science Hal Pashler website


Goes further than the title suggests: might present a model for adaptive/formative testing too. Might be a nice technique to study effects of changes in rules for combination of grades into and-of-course grades [Dutch: examenreglingen die meer of minder compensatorisch zijn met al dan niet vrijstellende deeltoetsen]



Yoonhee Jang, Hal Pashler & David E. Huber (submitted 2014). Manipulations of choice familiarity in multiple-choice testing support a retrieval practice account of the testing effect. Journal of Educational Psychology Hal Pashler website




Stephen E. Newstead, Peter Bradon, Simon J. Handley, Ian Dennis & Jonathan St. B. T. Evans (2006). Predicting the difficulty of complex logical reasoning problems. Thinking & Reasoning, 12, 62-90. abstract


Lijkt me de moeite waard. Wie heeft een pdf voor me? [Aangevraagd via Research Gate]



David Bartholomae (1986). Words from afar. Introduction; in Anthony R. Petrosky & David Bartholomae The Teaching of Writing (1-7). NSSE, University of Chicago Press


The largest portion of Hudelson’s book, however, is concerned with measurement, not with aims or methods. In the course of his study, Hudelson sent out selected student essays for teachers to comment on and rank and, to his horror, he found that there was little agreement. ¶lsquo;When three teachers of English composition rank ten anonymous themes in order of merit,’ and when they not only fail to agree but when a single essay receives both the highest and the lowest ranking, then, Hudelson concluded, ‘obviously something is wrong.’

Earl Hudelson (1923). English composition: its aims, methods, and measurement. Twenty-second Yearbook of the National Society for the Study of Education, Part I. Dit boek is moeilijk te vinden/verkrijgen, ik heb het niet, helaas. mentioned, not available online, however



Theo Thijssen (1929). De examen-idioot of De kinderexamens van 1928. Overdruk uit De Bode. orgaan van de Bond van Ned. Onderwijzers. Bondsdrukkerij "De Volharding". scan 24 Mb.


De examenidioot: in de titel een verbindingsstreepje.



David R. Krathwohl (2002). A revision of Bloom's taxonomy: An overview. Theory into Practice, 41, 212-264. pdf




Hanneke Geerlings, Wim J. van der Linden and Cees A. W. Glas (2013). Optimal Test Design With Rule-Based Item Generation. Applied Psychological Measurement, 37, 140-161. abstract




Hee-Sun Lee, Ou Lydia Liu & Marcia C. Linn (2011). Validating Measurement of Knowledge Integration in Science Using Multiple-Choice and Explanation Items. Applied Measurement in Education, 24, 115-136. abstract




Thomas P. Hogan and Gavin Murphy (2007). Recommendations for Preparing and Scoring Constructed-Response Items: What the Experts Say. Applied Measurement in Education, 20, 427-441. abstract



Mark J. Gierl & Thomas M. Haladyna (Eds.) (2013). Automatic Item Generation. Theory and Practice. Routledge. site



Dorothea P. Simon (1976). Spelling - a task analysis. Instructional Science, 5, 277-302. abstract


Dit artikel is misschien historisch interessant, maar verder toch niet.



J.R. Hayes & H.A. Simon (1974). Understanding written problem instructions. In Lee W. Gregg (Ed.) (1974). Knowledge and Cognition. Erlbaum. pdf. Reprinted in Herbert A. Simon (Ed.) (1979). Models of thought. New Haven: Yale University Press.




Louis M. Hsu (1979). Ordering Power of Separate versus Grouped True-False Tests: Interaction of Type of Test with Knowledge Levels of Examinees. Applied Psychological Measurement 3, 529-536. abstract



Robert B. Frary (1980). The Effect of Misinformation, Partial Information, and Guessing on Expected Multiple-Choice Test Item Scores. Applied Psychological Measurement 4, 79-90. abstract



Henk Blok & Wim E. Saris (1983). Using Longitudinal Data to Estimate Reliability. Applied Psychological Measurement 7, 295-301.abstract



Isaac I. Bejar (1983). Subject Matter Experts' Assessment of Item Statistics. Applied Psychological Measurement, 7, 303-310.abstract



Albert C. Oosterhof & Pamela K. Coats (1984). Comparison of Difficulties and Reliabilities of Quantitative Word Problems in Completion and Multiple-Choice Item Formats. Applied Psychological Measurement, 8, 287-294.abstract

“The increased time required to develop and administer a multiple-choice test with reliability equal to that of a completion test suggests use of the latter even in classes with relatively large enrollments.”



David V. Budescu (1987). Open-Ended Versus Multiple-Choice Response Formats—It Does Make a Difference for Diagnostic Purposes. Applied Psychological Measurement, 11, 385-395.abstract



David V. Budescu (1988). On the Feasibility of Multiple Matching Tests — Variations on a Theme by Guiliksen. Applied Psychological Measurement, 12, 5-14.abstract



Terry A. Ackerman & Philip L. Smith (1988). A Comparison of the Information Provided by Essay, Multiple-Choice, and Free-Response Writing Tests. Applied Psychological Measurement, 12, 117-128.abstract



A.H.G.S. van der Ven & F.M. Gremmen (1992). The Knowledge or Random Guessing Model for Matching Tests. Applied Psychological Measurement,16, 177-194.abstract



Menucha Birenbaum, Kikumi K. Tatsuoka & Yaffa Gutvirtz (1992). Effects of Response Format on Diagnostic Assessment of Scholastic Achievement. Applied Psychological Measurement,16, 353-363.abstract


In het geval van opgaven algebra.

Using Messick’s (1989) definition of construct validity as ”an integration of any evidence that bears on the interpretation or meaning of the test scores” (p. 17), the results of the present study suggest that compared to the MC format, the OE format provides a more valid measure for the purpose of diagnostic assessment.



Klaas Sijtsma & Anton C. Verweij (1999). Knowledge of Solution Strategies and IRT Modeling of Items for Transitive Reasoning. Applied Psychological Measurement, 23, 55-68. abstract


Onderzoek waarbij de leerlingen hun antwoorden op de toets hebben moeten motiveren. Zie ook hoofdstuk 2 van Toetsvragen ontwerpen hfdst 2.



Randy Elliot Bennett, Mary Morley & Dennis Quardt (2000). Three Response Types for Broadening the Conception of Mathematical Problem Solving in Computerized. Applied Psychological Measurement, 24, 294-309. abstract



Joanna S. Gorin & Susan E. Embretson (2006). Item Difficulty Modeling of Paragraph Comprehension Items. Applied Psychological Measurement, 30, 394-411. abstract [vraagvormen, item forms]



Jimmy de la Torre (2009). A cognitive diagnosis model for cognitively based multiple-choice options. Applied Psychological Measurement, 33, 163-183. abstract


Het gebruikte voorbeeld is een breukenopgave 2 4/7 - 7/12. Het lijkt me wel interessant en van belang om te zien hoe dit ‘cognitief-psychologisch’ wordt geanalyseerd. De psychometrie van een en ander is meer arcaan van karakter, wat mij betreft met weinig realiteitswaarde. WILLIAM R. CgAWFOgD



Sarah-Jane Leslie, Sangeet Khemlani & Sam Glucksberg (2011). Do all ducks lay eggs? The generic overgeneralization effect. Journal of Memory and Language 65, 15-31. pdf



P. J. Cosijn (1915). Oefeningen bij de Nederlandsche spraakkunst. Bezorgd door R. Zuidema. De Erven F. Bohn. — negende druk 120 blz. ingenaaid Met nog een voorwoord van Cosijn, uit 1994, bij gelegenheid van een nieuwe druk (welke) die door Zuidema werd verzorgd. Opmerkelijk aan dit boek is dat het een soort cloze-test opgaven zijn, met meest aangeboden tweekeuzen (zoals tussen lange ij en korte ei). Ik zal het meteen in hoofdstuk 2 opnemen.



Ruurd Taconis, Monica Ferguson-Hessler & Gerrit Verkerk (1997). Physics problem solving and the transition from general secondary education to higher education. Tijdschrift voor Onderwijsresearch, 123-144. Bij dit onderzoek valt de vraag te stellen of problem solving skills wel bestaan, los van intelligentieverschillen, en zo ja, of deze domeinspecifiek zijn, of generiek. Een klein onderzoekje op dat laatste vraagstuk is gedaan door Veenman & Verhey 2001 Learning and Individual Differences. Maar ik moet niet zeuren. Dit artikel bevat een schat aan informatie over vaardigheden in het prbleemoplossen rond overgangsproblematiek vo-ho.



Susan E. Embretson (1998). A Cognitive Design System Approach to Generating Valid Tests. Psychological Methods, 3, 380-396. abstract



Raymond S. Nickerson (1996). Ambiguities and Unstated Assumptions in Probabilistic Reasoning. Psychological Methods, 3, 380-396.



Amos Tversky (1964). On the optimal number of alternatives at a choice point. Journal of Mathematical Psychology, 1, 386-391. abstract




Haladyna, T. M., & Downing, S. M. (1989). Validity of a taxonomy of multiple-choice item-writing rules. Applied Measurement in Education, 2, 51-78.abstract




Janine Swaak & Ton de Jong, T. (1996). Measuring intuitive knowledge in science: the development of the what-if test. Studies in Educational Evaluation, 22, 341-362. pdf


Learning in discovery environments, such as simulations. Inzicht?



Robert D. Tennyson & Ok-Choon Park (1980). The teaching of concepts: a review of instructional design research literature. Review of Educational Research, 50, 55-70. abstract




N. G. Verhoeven & C. H. Beuk (mei 1983). Het construeren van meerkeuzevragen. Arnhem: Cito; 56 blz. (Algemene publikatie Nr 29)


Niet meer verkrijgbaar?



Howard Wainer, J. R. Jefferson Wadkins & Alfred Rogers (1984). Was there one distractor too many? Journal of Educational Statistics, 9, 5-24 abstract & read online free JSTOR


This incident is known as "the rolling circle problem". [Ik heb er een tweet aan gewijd.] Wainer c.s. tried to find out more about this question. Would adding the true answer to the alternatives make a difference? It did not. Meaning: this SAT item is way too difficult because of its wording. In the correct version it would not therefore be acceptable as SAT item.



William P. Wallace (1980). On the use of distractors for testing recognition memory. Psychological Bulletin, 88, 696-704.




Kenneth L. Watson & Michael J. Lawson (1995). Improving access to knowledge: the effect of strategy training for question answering in high school geography. British Journal of Educational Psychology, 65, 97-112. abstract


toetstraining probleemoplossen



Howard I. Weinberg, John Wadsworth & Robert S. Baron (1983). Demand and the impact of leading questions on eyewitness testimony. Memory & Cognition, 11, 101-104. abstract


Voor het ontwerpen van toetsvragen is dit relevant onderzoek, want het voorschotelen van suggestieve vragen en zeker van suggestieve alternatieven in keuzevragen komt in de toetspraktijk nogal eens voor. Het is de vraag wat daarmee wordt getoetst. En of dat dus wel valide is. De leerling als ooggetuige van het eigen geheugen, zeg maar.



Richard T. White (1974). The validation of a learning hierarchy. American Educational Research Journal, 1, 121-136. abstract




Richard T. White (1973). Research Into Learning Hierarchies. Review of Educational Research, 43, 361-375.abstract




P. H. Winne (1979). Experiments relating teachers' use of higher cognitive questions to student achievement. Review of Educational Research, 49, 13-50.



Ton de Jong (1980). Correctievoorschriften en interbeoordelaarsbetrouwbaarheid. Cito Bulletin 6.



Ton de Jong (1981). Correctievoorschriften voor de beoordeling van open vragen en interbeoordelaarsbetrouwbaarheid. Tijdschrift voor Onderwijsresearch, 6, 217-229. pdf




Guda Oly (2002). Meer over meer hoofdstukken vermogensrecht voor bedrijfseconomen. Faculteit der Rechtsgeleerdheid UvA.



Kevin Crehan & Thomas M. Haladyna (1991). The validity of two item-writing rules. Journal of Experimental Education, 59, 183-192.



Diamond, J., & Evans, W.J. (1973). The correction for guessing. Review of Educational Research, 43(2), 181-191.




Christa S. C. Asterhan and Baruch B. Schwarz (2007). The effects of monological and dialogical argumentation on concept learning in evolutionary theory. Journal of Educational Psychology, 99, 626-639.



J. T. Dillon (1984). The classification of research questions. Review of Educational Research, 54, 327-361.




Dillon (1982). Cognitive correspondence between question statement and response. AERJ, 19, 540-551.



Dillon, J. T. Dillon (1982). The multidisciplinary study of questioning. Journal of Educational Psychology, 74, 147-165. abstract


Vooral interessant waar het gaat om vragen van de leraar, dus vragen waarop het antwoord al bekend is, vragen van een ander in plaats van van jezelf. Dus: Hoeveel botjes heeft een leeuw?



Dillon, J.T., The remedial status of student questioning. J.of Curr. Studies 20, 1988, 197-210






J. A. Fodor, M. F. Garrett, E. C. T. Walker & C. H. Parkes (1980). Against definitions. Cognition, 8, 1-105. pdf



Edward J. Furst (1981). Bloom's taxonomy of educational objectives for the cognitive domain: philosophical and educational issues. Review of Educational Research, 51, 441-453. abstract






Robert M. Gagné(1976). The content analysis of subject matter. a dialogue between Robert M. Gagné and M. David Merill. The computer as an aid in the design of criterion-referenced tests. Instructional Science, 5, 1-28.abstract


Basically is dit dezelfde stuff als Klausmeier, Markle & Tiemann, Merrill & Tennyson. Ik denk niet dat dit een nuttige bijdrage is, behalve dan in historische zin.



A. C. Graesser, M. Singer and T. Trabasso (1994). Constructing inferences during narrative text comprehension. Psychological Review, 101, 371-395. pdf




Mary Hegarty, Marcel Adam just & Ian R. Morrison (1988). Mental models of mechanical systems: Individual differences in qualitative and quantitative reasoning. Cognitive Science, 20, 191-236. abstract



Robert R Hoffman, Nigel R. Shadbolt, A. Mike Burton & Gary Klein (1995). Eliciting knowledge from experts: a methodological analysis. Organizational Behavior and Humans Decision Processes, 62, 129-158. pdf




Jill H. Larkin & Herbert A. Simon (1987). Why a diagram is (sometimes) worth ten thousand words. Cognitive Science, 11, 65-99. schema, probleemoplossen abstract [oudere jaargangen vrij te downloaden op http://csjarchive.cogsci.rpi.edu/contents.html (behalve de allereerste)]




Wendy Lehnert (1977). Human and computational question answering. Cognitive Science, 1, 47-73. pdf


Vragen naar tekstbegrip, wat is dat?



Frederic M. Lord (1977).  Optimal number of choices per item: a comparison of four approaches.  Journal of Educational Measurement, 14, 33-38. preview



Jill H. Larkin & F. Reif (1976). Analysis and teaching of a general skill for studying scientific text. Journal of Educational Psychology, 68, 431-440. abstract



Richard Meisner, Richard Luecht & Mark Reckase (1993). The comparability of the statistical characteristics of test items generated by computer algorithms. ACT Research Report Series 93-9. pdf



Michener, E.R. (1978). Understanding understanding mathematics. Cognitive Science, 2, 361-383. [free download http://csjarchive.cogsci.rpi.edu/contents.htm ] Geeft een mooie reeks heuristieken voor inzicht, en dus ook voor inzichtvragen. abstract




Gregory L. Murphy & Douglas L. Medin (1985). The role of theories in conceptual coherence. Psychological Review 92, 289- pdf



Gregory L. Murphy (1988). Comprehending complex concepts. Cognitive Science, 529-562. [free download http://csjarchive.cogsci.rpi.edu/contents.html]



Michael C. Rodriguez (2005). Three Options Are Optimal for Multiple-Choice Items: A Meta-Analysis of 80 Years of Research. Educational Measurement: Issues and Practice, 24 summer, 3-13. abstract




Steven M. Downing and Thomas M. Haladyna (Eds) (2006). Handbook of test development. Erlbaum. site [heel kostbaar] [Editie 2011, editors: Suzanne Lane, Mark Raymond, Steven M. Downing & Thomas S. Haladyna. eBook in KB]




J. C. Powell (1968). The interpretation of wrong answers from a multiple choice test. Educational and psychological Measurement, 28, 403-412. [geen abstract]


De stelling van Powell is eigenlijk deze; de formule voor corrigeren voor raadkansen gaat ten onrechte uit van weten of raden; zoals ik in mijn hoofdstuk 2 aangeef: leerlingen kunnen het antwoord ook gewoon fout weten.



Henry A. Alker, Julia A. Carlson & Margaret G. Hermann (1969). Multiple-choice questions and student characteristics. JEP, 60, 231-243. abstract




Michael C. Rodriguez & Thomas M. Haladyna (2013). Writing selected-response items for classroom assessment. In James H. McMillan (Ed.) (2013). SAGE Handbook of Research on Classroom Assessment (293-311). SAGE. [UB Leiden PEDAG. 51.e.85] [3 juni 2013 nog niet als eBook beschikbaar, dus ook niet in KB] site


Weinig nieuws?



Anthony P. van Antwerpen (1981). Evalueren met meerkeuzevragen. Een studie over het logisch analyseren van meerkeuzevragen. Proefschrift Leiden.


Een merkwaardig onderzoek, kennelijk als medewerker van het Cito gedaan. De meerkeuzevragen zijn toetsvragen scheikunde mavo. Dat logisch analyseren moet letterlijk worden opgevat. Ik zie geen analyses waar psychologie aan te pas komt. Afijn, er zijn hier empirische data gegeven met de bijbehorende meerkeuzevragen, best interessant materiaal. Ik kreeg dit boek pas 2013 in handen.



Joseph Raymond Gerberich (1956). Specimen objective test items. A guide to achievement test construction. New York: Longmans, Green and Co. [Niet in UB Leiden]




Frank Kok (1988). Vraagpartijdigheid. Methodologische verkenningen. Proefschrift UvA (Mellenbergh, co: Van der Flier).




Norman Frederiksen (1984). The real test bias. Influences of testing on teaching and learning. American Psychologist, 39, 193-202. abstract



Brent Bridgeman and Rick Morgan (1996). Success in College for Students With Discrepancies Between Performance on Multiple-Choice and Essay Tests. Journal of Educational Psychology, 88, 333-340. abstract




Richard E. Mayer, J. Larkin & J. B. Kadane (1984). A cognitive analysis of mathematical problem solving ability. In Robert J. Sternberg: Advances in the psychology of human intelligence, volume 2 (231-273). Erlbaum




Fons Vernooij (1993). Het leren oplossen van bedrijfseconomische problemen. Didactisch onderzoek naar kostprijs- en nettowinstvraagstukken in het voortgezet onderwijs. Proefschrift Erasmus Universiteit Rotterdam. free access


Een belangrijk thema is dat inconsistenties in de leerstof doorwerken op de pogingen van leerlingen om inconsistente vraagstellingen te beantwoorden (dat alles terwijl de beoordelaars de inconsistenties niet signaleren).



Debra Dhillon (). Predictive models of question difficulty. A critical review of the literature. Centre for Education Research and Policy. pdf




Katz, I. R., Bennett, R. E., & Berger, A. (2000). Effects of response format on difficulty of SAT mathematics items: It’s not the strategy. Journal of Educational Measurement, 37(1), 39-57.




Katz, I. R. & Berger, A. (1995). Strategies underlying score differences on SAT mathematical items. Paper presented at the annual meeting of the American Educational Research Association, San Francisco, CA., April.




Katz, I. R., Lipps, A. W., & Trafton, J. G. (2002). Factors Affecting Difficulty in the Generating Examples Item Type (GRE Board Professional Report No. 97-18P). Princeton, NJ: Educational Testing Service.




Malpas, A. J. & Brown, M. (1974). Cognitive demand and difficulty of GCE O-level mathematics pretest items. British Journal of Educational Psychology, 44(2), 155-162.




Nhouyvanisvong, A. & Katz, I. R., & Singley, M. K. (1997). Toward a unified model of problem solving in well determined and underdetermined algebra word problems. Paper presented at the annual meeting of the American Educational Research Association, Chicago, March.




Pollitt, A., Entwistle, N., Hutchinson, C., & de Luca, C. (1985). What Makes Exam Questions Difficult? Edinburgh: Scottish Academic Press.




Tabachneck, H. J. M., Koedinger, K. R., & Nathan, M. J. (1995). A cognitive analysis of the task demands of early algebra. In Proceedings of the Seventeenth Annual Conference of the Cognitive Science Society. Mahwah, NJ: Lawrence Erlbaum Associates.




Peter van Bart, Johan Kerstens & Arie Sturm (1998). Een grammatica van het Nederlands. Een inleiding. Amsterdam University Press.


Is deze zin (vraagstelling) grammaticaal? Hoe complex? Is hij mis te verstaan? Natuurlijk niet geschreven om toetsvragen te analyseren. http://www.lotpublications.nl/fun-to-read-or-easy-to-understand-fun-to-read-or-easy-to-understand-establishing-effective-text-features-for-educational-texts-on-the-basis-of-processing-and-comprehension-research



Gerdineke van Silfhout (2014). Fun to read or easy to understand? Establishing effective text features for educational texts on the basis of processing and comprehension research. Proefschrift Utrecht. Landelijke Onderzoekschool Taalwetenschap. pdf ophalen




Janet Gail Donald (2002). Learning to think. Disciplinary perspectives. Jossey-Bass info and review by William Peirce; Another review by Perry Klein


Lijkt me een heel aardig boek. Niet vanwege de diepgang (die is er geloof ik niet), maar vanwege de breedte over disciplines heen (maar juist wel mèt de disciplines, inhoudelijk disciplinair dus). Ik heb er geen tijd voor. Het boek is voor mij eigenlijk te oppervlakkig: een enorme bak details, verbonden in oppervlakkige categorieën. Het meeste weet ik toch al wel, het zou mij dus gaan om de diepere lagen; en die lijken hier te ontbreken. De auteur is geen Stellan Ohlsson, zal ik maar zeggen.



Dan Dimaggio (2010). The loneliness of the long-distance test scorer. web page




Jeanette Lubbers & Jan Muthert (1991). Cijferen of ontcijferen. Wiskunde A of tekstverklaring? Euclides, 66, 275-284. pdf






Steven Rasmussen (March 2015). The Smarter Balanced Common Core Mathematics Tests Are Fatally Flawed and Should Not Be Used. pdf




Laura S. Hamilton, E. Michael Nussbaum & Richard E. Snow (1997). Interview procedures for validating science assessments. Applied measurment in Education, 10, 181-200. researchgate.net




Greg A. Perfetto, John D. Bransford and Jeffery J. Franks (1983). Constraints on acces in a problem-solving context. Memory & Cognition, 11, 24-31. fc in map tvr pdf


(oude aantekening:)Transer. Leuke experimentjes. Vooral ook: zonder informatie over elevantie van ander materiaal, worden inadequate oplossingen gegenereed, die blijken later alsnog als blokkade te werken.



A. P. van Antwerpen (1981). Evalueren met meerkeuzevragen. Een studie over het logisch analyseren van meerkeuzevragen. Proefschrift RU Leiden.


Merkwaardig betoog over keuevragen. Lijkt me geen promotieonderzoek, maar is toch zo afgestempeld door promotor Len de Klerk, die zal Van Antwerpen dan wel opdracht hebben gegeven ook nog wat citaten uit een stapel toetsliteratuur te plukken. Van Antwerpen maakt het allemaal wel een beetje ingewikkeld, zonder ergens enige kern aan te raken. Dat is bij doorbladeren mijn indruk, en dan stopt het: want waarom zou ik dit gaan bestuderen?



Seymour Sudman & Norman M. Bradburn (1982 8th). Asking questions. A practical guide to questionnaire design. San Francisco: Jossey-Bass. isbn 0875895468




G. M. Ruch (1929). The objective or new-type examination: an introduction to educational measurement. Chicago : Scott, Foresman. [not online]




Brenda Jennison and Jon Ogborn (Eds) (1994). Wonder and delight. Essays in science education in honour of the life and work of Eric Rogers 1902-1990. Bristol: Institute of Physics publishing. isbn 0750303158


A wonderful book with anecdotes and exemplars, also of exam questions and exam questioning practice. Rogers had strong opinions on achievement test items and the way to design them. He is the only one, or at least one of the very few, item designers that I probably would call a real expert. (see my 'Designing test items' 2.6)



M. Gall, B. Dunning en R. Weathersby (1971). Minikursus Denkvragen stellen. Groningen: Wolters-Noordhoff. Ned. bewerking: P. L. v. d. Plas en W. J. M. de Roos, 1977. isbn 9001588905


Ideologisch boek. Ik heb dat destijds niet onderkend (heb dit boek destijds ook niet echt bekeken). De lezer wordt op geen enkele manier egwaarschuwd voor de ideologische basis. Het lijkt dan een boek te zijn dat berust op het werk van Bloom c.s. over een cognitieve taxonomie, maar ook dat is een ideologisch werkstuk, op zich weer gericht tegen eenzijdig behaviorisme in bepaalde geschriften over onderwijs. Nou ja. Ik volsta met de allereerste zin te citeren, dan is het wel duidelijk welk bezwaar er tegen dit boek is. Hier is evident sprake van een vakgroep onderwijskunde (aan de Rijksuniversiteit te Leiden) die de kluit aan het belazeren is, natuurlijk netjes in de termen van de taxonomie. Maar zoiets als het denkvermogen ontwikkelen bestaat dus niet, tenzij het bestaan wordt bewezen. En dat laatste is tot op heden nog niet gebeurd. Wie verbaasd is over mijn stelling: merk op dat het hier gaat om denkvermogen in generieke zin, losgekoppeld van domeinkennis. Onderwisjkunde Nijmegen heeft vertaling van bijbehorend deel 2 verzorgd: Effektief vragen stellen.



G. J. Mellenbergh (1971). Studies in studietoetsen. Amsterdam: Psychologisch Laboratorium van de Universiteit van Amsterdam. Proefschrift (promotor A. . de Groot). (offset)




H. F. M. Crombag (1970). Vergelijking van een examen met open vragen en een meerkeuze-toets. Nederlands Tijdschrift voor de Psychologie, 25, 349-358.




R. F. van Naerssen (1970). Tweekeuze-items in studietoetsen. Nederlands Tijdschrift voor de Psychologie, 25, 393-403.




Teelen Kennismanagement (2012 5e). Toetsontwkkeling in de praktijk. Hoe maak ik goede vragen en toetsen? isbn 9789081679404 info




Martin Nuy (1994). Toetsen voor cijfers: proefwerken, schoolonderzoeken, tentamens. Nijkerk: Intro. isbn 9022661916


Mooi cursusboek, kort, helder, overzichtelijk, veel voorbeelden, vooral over het ontwerpen van toetsvragen. Ik heb na doorbladeren het vermoeden dat hij mijn Toetsvragen schrijven goed heeft gelezen, wat heel mooi is.



Arthur C. Graesser & John B. Black [Eds] (1985). The psychology of questions. Lawrence Erlbaum. isbn 0898594448




Don Nix (1985). Notes on the efficacy of questioning. In Arthur C. Graesser and John B. Black (Eds) (1985). The psychology of questions. Hillsdale, New Jersey: Lawrence Erlbaum.




Paul van den Broek, Yuhtsuen Tzeng, Kirsten Risden, Tom Trabasso & Patricia Basche (2001). Inferential questioning: Effects on comprehension of narrative texts as a function of grade and timing. Journal of Educational Psychology, 93, 521-529. researchgate.net




H. De Neve en P. J. Janssen (1992). Succesvol examineren in het hoger onderwijs. Leuven: Acco. isbn 9033426668




Rob van Hattum en Hein Meijers (1998). De Nationale Wetenschapsquiz. Vragen & antwoorden. Antwerpen: Kosmos. isbn 9021530848




F. M. Austin (1949). The art of questioning in the classroom. London: University of London Press.


Leuk boekje, gaat over vragen van kleine kinderen, meer dan over vragen aan kinderen. Een paar heel andere manieren om tegen vragenstellen aan te kijken.



C. W. Odell (1928). Traditional examinations and new-type tests. New York: The Century Co. (Selected and annotated bibliography p. 439-469)




G. M. Ruch (1929). The objective or new-type examination: an introduction to educational measurement. Chicago : Scott, Foresman. review




Benjamin S. Bloom, J. Thomas Hastings & George F. Madaus (1971). Handbook on formative and summative evaluation of student learning. isbn 070061149




Nuel D. Belnap Jr. and Thomas B. Steel Jr. (1976). The logic of questions and answers. Yale University Press. isbn 0300019629




John Nolt, Dennis Rohatyn & Achille Varzi (1998). Schaum's outline of theory and problems of logic. 2nd edition. Schaum's Outline Series, McGraw-Hill. isbn 0070466491


For example, refutation trees p. 68-79.

  • The book is a gold mine for the critical achievement test item designer, not because it has the rules the designer should follow—it does not—but because logical formats might match the format of particular test items. In such a case, there is available a logical handle on the quality of the test item&mash;or the lack of quality in the case that the logic involved definitely is not what the test item or the course is about.



    Samuel Guttenplan (1986/1991). The languages of logic. An introduction to formal logic. Blackwell. isbn 0631146253 info


    Verrassend boek, qua opzet van de behandeling van de predicatenlogica. Zet een handvat op contexten: vertalen in Predicate, de predicatenlogica.



    Karel Lambert (Ed.) (1969). The logical way of doing things. Yale University Press. lccc 69-15450 — 325 pp. cloth, dj











    oktober 2015 \ contact ben at at at benwilbrink.nl      

    Valid HTML 4.01!       http://www.benwilbrink.nl/literature/toetsvragen.htm http://goo.gl/KfJVp