Dominique Sluijsmans, Sabine van Eldik, Desirée Joosten-ten Brinke & Linda Jakobs (2014). Bewust en bekwaam toetsen Wat zouden lerarenopleiders moeten weten over toetsing? pdf
Jo-Anne Baird, Therese N. Hopfenbeck, Paul Newton, Gordon Stobart & Anna T. Steen-Utheim (2014). Assessment and learning. State of the field review. Norwegian Knowledge Center for Education. pdf
An interesting vhapter 7 on PISA tests. Everything about them gets criticized, except its constructivist bias, even though the constructivisme/situationism of the PISA tests has been described adequately.
- The OECD PISA study has developed what the OECD calls the literacy-oriented approach, where the test items are developed to measure what the 15-year-old students in participating countries are able to do at the end of their schooling, and how they are able to apply their knowledge in autentic situations, solving problems that they have not yet experienced (Nardi, 2008 [Cultural biases: a non-Anglophone perspective. Assessment in Education: Principles, Policy & Practice, 15 (3), 259-266]). This approach focuses more upon skills than content, although it is obviously very difficult to separate the two completely, conceptually or in practice. From a Norwegian perspective, the PISA approach hes been describes by some scholars to be a more modern approach for the future, since the main goal of the study is to measure 'what students are able to do in tomorrow's world' (OECD 2012), while TIMSS, which is based upon the curriculum approach, tends to be seen as traditional, less able to change and not fit for the future (Østerud, 2006 [not in English]).
p. 74.
George F. Madaus (1988). The influence of testing on the curriculum. In Laurel N. Tanner (Ed.) (1988). Critical issues in Curriculum (83-121). NSSE. [onmiddellijk daarop volgend: Daniel Tanner (1988). The textbook controversies. pp 122-147. [feedforward, backwash, washback] paywalled
James E. Carlson & Matthias von Davier (2013). Item response theory. ETS SPC-13-05 pdf
- abstract Few would doubt that ETS researchers have contributed more to the general topic of item response theory (IRT) than individuals from any other institution. In this report, we briefly review most of those contributions, dividing them into sections by decades of publication, beginning with early work by Fred Lord and Bert Green in the 1950s and ending with recent work that produced models involving complex structures and multiple dimensions.
Saskia Wools (2007). Evaluatie van een instrument voor kwaliteitsbeoordeling van competentieassessments. pdf
Michèle Lamont (2009). How professors think. Inside the curious world of academic judgment. Harvard University Press. isbn 9780674057333 info
Matthew Jensen Hays, Nate Kornell & Robert A. Bjork (2013). When and why a failed test potentiates the effectiveness of subsequent study. Journal of Experimental Psychology: Memory, and Cognition, 39, 290–296. abstract
Stefan Johansson , Eva Myrberg & Monica Rosn (2012) Teachers and tests: assessing pupils' reading achievement in primary schools, Educational Research and Evaluation: An International Journal on Theory and Practice, 18:8, 693-711. abstract
- Data come from Sweden’s participation in the Progress in International Reading Literacy Study (PIRLS) 2001, for Grades 3 and 4. For pupils at the same achievement levels, as measured by PIRLS 2001 test, teachers’ judgements of pupils’ achievement levels varied from one teacher to another. Moreover, there were significant differences between teachers’ judgements in Grades 3 and 4. Teachers in Grade 3 who had taught their pupils for almost 3 years showed higher correspondence between their judgements and pupil achievement within classrooms than 4th-grade teachers who, typically, had only taught their pupils for approximately 1 semester at the time of the data collection.
from the abstract
Marjorie C. Kirkland (1971). The effects of tests on students and schools. Review of Educational Research, 41, 303-350.
Yigal Attali & Don Powers (2010). Immediate Feedback and Opportunity to Revise Answers to Open-Ended Questions. Educational and Psychological Measurement, 70, 22-35 abstract
Dit is nu eens een intrigerend idee: geef kandidaten meteen na het antwoorden op een toetsvraag informatie over de jusitheid, en geef ze ook de gelegenheid om het antwoord te verbeteren! Dat ik daar zelf nog nooit aan heb gedacht. Ik heb het ongetwijfeld al wel eens zien langskomen in de vorm van ‘the answer-until-correct method for MC items (Pressey, 1926)’.
- In conclusion, advances in automated scoring technology open an intriguing possibility to provide immediate feedback to examinees and allow them to revise their answers. This study found that allowing such interactivity in the testing environment was beneficial to examinees’ scores and contributed to the reliability of the scores. These results suggest that this interactivity allows additional cognitive processing of the test items that is not usually manifested in a static test and is beneficial to the measurement of test-takers’ ability.
Gregory Ethan Stone, Kristin L. K. Koskey and Toni A. Sondergeld (2011). Comparing Construct Definition in the Angoff and Objective Standard Setting Models : Playing in a House of Cards Without a Full Deck. Educational and Psychological Measurement, 71 942abstract
Dit is een onderzoeklijn van Gregory Stone. Het bevalt me helemaal niet dat hij spreekt van objectief afgeleide standaarden. Ik moet daar zeker eens een keer goed naar kijken. De enige juiste methode is die welke ik in 1980 in het TOR heb beschreven. Zo moeilijk is dat trouwens niet, voor een selectiepsycholoog met enige affiniteit met besliskunde.
- Typical validation studies on standard setting models, most notably the Angoff and modified Angoff models, have ignored construct development, . . .
Stone compared the Angoff and objective standard setting (OSS) models and found that Angoff failed to define a legitimate and stable construct.
George Engelhardt, Jr. (2011). Evaluating the Bookmark Judgments of Standard-Setting Panelists.
David Spendlove (2009). Putting Assessment for Learning into Practice. Continuum. site Misschien een heel aardig boekje, maar de aanbevelingen zijn autoritair, dat is: zonder enige bronvermelding. Er is wel een lijstje met verder te lezen publicaties. Dat is misschien een keuze die past bij een boekje met tips, van bescheiden omvang, maar ik prefereer toch tips met een specifieke bronvermelding zodat de lezer zelf kan nagaan wat de strekking/onderbouwing van de tip is.
Natalia Karelaia & Robin M. Hogarth (2008). Determinants of Linear Judgment: A Meta-Analysis of Lens Model Studies. Psychological Bulleting, 134, 404-426. pdf
Grant Wiggins (1994). The immorality of test security. Educational Policy, 8, 157-182. abstract
Grant P. Wiggins (1993). Assessing student performance. Exploring the purpose and limits of testing. Jossey-Bass. isbn 1555425925
Ron J. Pat El (2012). Lost in Tranlation. Congruency of teacher and student perceptions of assessment as a predictor of intrinsic motivation in ethnodiverse classrooms. Proefschrift Universiteit Leiden. availability of chapters; samenvatting De promovendus schrijft over ‘eikpunten’, wat niet wijst op een overdreven mate van zorgvuldigheid. De ideologie is die van het sociaal-constructivisme, wat mij toch wat minder passend lijkt bij een academisch werkstuk. Maar ja, de hoofdstukken zijn deels al gepubliceerd in gerefeerde wetenschappelijke tijdschriften. Wie tekenen er voor dit proefschrift: promotoren Paul Vedder en Mien Segers, co-promotor: Harm Tillema. Commissieleden: Roel Bosker, P. van den Broek, P. den Brok, C. Espin. Grote afwezige in dit onderzoek: de vakinhouden van het onderwijs. Dit is een overbodig onderzoek., en dan druk ik mij vriendelijk uit (onvriendelijk zou zijn: dit is een schadelijk onderzoek, het bevestigt wanbeleid in het onderwijsveld).
Dirk Ifenthaler, Deniz Eseryel & Xun Ge (Eds.) (2012). Assessment in Game-Based Learning. Foundations, Innovations, and Perspectives. Springer.
Lorrie A. Shepard (2000). The role of classroom assessment in teaching and learning. CSE Technical Report 517 Published in V. Richardson (Ed.) (2001), Handbook of research on teaching (4th ed). Washington, DC: American Educational Research Association. pdf" target='_blank'>pdf
Robert L. Brennan (Ed.) (2006). Educational Measurement. National Council on Measurement in Education; American Council on Education.
[geen online bestanden beschikbaar?] Editor¿s Preface 1. Perspectives on the Evolution and Future of Educational Measurement Robert L. Brennan Part I: Theory and General Principles 2. Validation Michael T. Kane 3. Reliability, Edward H. Haertel 4. Item Response Theory Wendy M. Yen and Anne R. Fitzpatrick 5. Scaling and Norming Michael J. Kolen 6. Linking and Equating Paul W. Holland and Neil J. Dorans 7. Test Fairness Gregory Camilli 8. Cognitive Psychology and Educational Assessment Robert J. Mislevy Part II: Construction, Administration, and Scoring 9. Test Development Cynthia B. Schmeiser and Catherine J. Welch 10. Test Administration, Security, Scoring, and Reporting Allan S. Cohen and James A. Wollack 11. Performance Assessment Suzanne Lane and Clement A. Stone 12. Setting Performance Standards Ronald K. Hambleton and Mary J. Pitoniak 13. Technology and Testing Fritz Drasgow, Richard M. Luecht, and Randy E. Bennett Part III: Applications 14. Old, Borrowed and New Thoughts in Second Language Testing Micheline Chalhoub-Deville and Craig Deville 15. Testing for Accountability in K-12 Daniel M. Koretz and Laura S. Hamilton 16. Standardized Assessment of Individual Achievement in K-12 Steve Ferrara and Gerald E. DeMauro 17. Classroom Assessment Lorrie A. Shepard 18. Higher Education Admissions Testing Rebecca Zwick 19. Monitoring Educational Progress With Group-Score Assessments John Mazzeo, Stephen Lazer, and Michael J. Zieky 20. Testing for Licensure and Certification in the Professions Brian E. Clauser, Melissa J. Margolis, and Susan M. Case 21. Legal and Ethical Issues S. E. Phillips and Wayne J. Camara Index
Satomi Mizutani (2009). The Mechanism of Washback on Teaching and Learning. A thesis submitted in partial fulfilment of the requirements for the degree of Doctor of Philosophy in Educational Psychology, The University of Auckland, 2009. (supervisors: Professor John Hattie, Dr. Christine Rubie-Davies, and Dr. Jenefer Philp) pdf
Greaney, V., & Kellaghan, T. (1996). Monitoring the learning outcomes of educational systems. Washing D. C.: The World Bank. [geen directe aandacht voor washback]
Kathleen M. Bailey (1999). Washback in language testing. Educational Testing Service MS-15 june 1999 pdf
Eleana Shohamy, Smadar Donitsa-Schmidt & Irit Ferman (1996). Test impact revisited: washback effect over time. Language Testing, 13, 298-317. abstract
Mary Spratt (2005). Washback and the classroom: the implications for teaching and learning of studies of washback from exams. Language Teaching Research, 9, 5-29. abstract Er is een bestand op internet beschikbaar: pdf
Shahrzad Saif (2006). Aiming for positive washback: a case study of international teaching assistants. Language Testing, 23, 1-34 abstract
Ana P. Muñoz and Marta E. Álvarez (2010). Washback of an oral assessment system in the EFL classroom. Language Testing, 27, 33-49. abstract
M. L. Smith (1991). Put to the test: The effects of external testing on teachers. Educational Researcher, 20(5), 8-11. eerste pagina
M. L. Smith and C. Rottenberg (1991). Unintended consequences of external testing in elementary schools. Educational Measurement: Issues and Practice, 10(4), 7-11. [Zie ook Gregory J. Cizek (2011). More unintended consequences of high-stakes testing. Educational Measurement: Issues and Practice, 20, 19-27 final draft]
David R. Krathwohl (2002). A revision of Bloom’s taxonomy: An overview. Theory into Practice, 41, 212-264. pdf
Ineke Huibregtse en Wilfried Admiraale (2000). D score op een ja/nee-woordenschattoets: correctie voor raden en persoonlijke antwoordstijl. TOR, 24, 110- . online
F. M. Edens, F. Rink & M. J. Smilde (2000). De studentenrechtbank: een evaluatieonderzoek naar beoordelingslijsten voor prestatievaardigheden. Tijdschrift voor Onderwijsresearch, 24, 265-274. online
Mary E. Lunz, Betty A. Bergstrom & Richard C. Gershon (1994). Computer adaptive testing. International Journal of Educational Research, 21, 623-634. [Relevant voor de rekentoets, WisCat, etc.]
Martin Brunner, Cordula Artelt, Stefan Krauss, Jürgen Baumert (2007). Coaching for the PISA test. Learning and Instruction. 18, 321-336.
P. Vedder (1992). Het Cito-leerlingvolgsysteem. Pedagogische Studiën, 69, 284-290. Met repliek: P. Gillijns & P. Verhoeven (1992). Het Cito-leerlingvolgsysteem: met het oog op de praktijk. Pedagogische Studiën, 69, 291-296.
Hartmut von Hentig (1980). Die Krise des Abiturs und eine Alternative. Klett-Cotta. Stuttgart, Ernst Klett.
Harold L. Kleinert, Diane M. Browder & Elizabeth A. Towles-Reeves (2009). Models of Cognition for Students With Significant Cognitive Disabilities: Implications for Assessment. Review of Educational Research, 79, 301-326.
Maarten van Gils (1977). De onbetrouwbaarheid van selektieve tekstbegriptoetsen. Pedagogiche Studiën, 54, 52-61.
- Dit is een artikel van een buitenstaander die zich vertilt aan de psychometrie. De inhoud lijkt mij echt irrelevant. Het artikel is wel interessant omdat het een helder voorbeeld kan zijn van hoe buitenstaanders zich kunnen vertillen aan de methodologie van die voor hen vreemde discipline. Zoals ook Freudenthal doet. De keerzijde daarvan is: de toetserij van het Cito raakt alle burgers, dat zijn vooral buitenstaanders, dus het Cito heeft wel een probleem om te legitimeren wat zij doet. Doet Djien Thio dat goed, in zijn reaktie?
- K. D. Thio (1977). CITO-commentaar op Van Gils’: ‘De onbetrouwbaarheid van selectieve tekstbegriptoetsen’. Pedagogiche Studiën, 54, 62-67.
Willem K. B. Hofstee (2009). Promoting intersubjectivity: a recursive-betting model of evaluative judgments. Netherlands Journal of Psychology, 65. abstract
Aantekeningen: toetsmodellen.htm#Hofstee_intersubjectivity
Jean-Yves Rochex (2006). Social, Methodological, and Theoretical Issues Regarding Assessment: Lessons From a Secondary Analysis of PISA 2000 Literacy Tests Review of Research in Education January 2006 30: 163-212,
Maarten Pinxten, Bieke De Fraine*, Jan Van Damme and Ellen D’Haenens Causal ordering of academic self-concept and achievement: Effects of type of achievement measure British Journal of Educational Psychology (2010), 80, 689- -709 download UBUw
Ana Maria Pazos Rego (2009?). The aphabetic principle, phonics, and spelling. In Jeanne Shay Schumm: Reading assessment and instruction for all learners. The Guilford Press.
Elana Shohamy (2008). Assessment in multicultural societies: Applying democratic principles and practices to language testing. In Charles A. MacArthur, Steve Graham & Jill Fitzgerald: Handbook of writing research. The Guilford Press. 72-92.
Evert Gijsbert Harskamp & Conradus Johannes Maria Suhre (1997?). Toetsen basisvorming: Een onderzoek onder scholen, ouders en leerlingen.. GION. isbn 9789066904446 SVO-project 96080 (ik heb dat aanbesteed)
Paul Black & Dylan Wiliam (2009). Developing the theory of formative assessment. Educational assessment, evaluation and accountability, 21 concept
- Abstract Whilst many definitions of formative assessment have been offered, there is no clear rationale to define and delimit it within broader theories of pedagogy. This paper aims to offer such a rationale, within a framework which can also unify the diverse set of practices which have been described as formative. The analysis is used to relate formative assessment both to other pedagogic initiatives, notably cognitive acceleration and dynamic assessment, and to some of the existing literature on models of self-regulated learning and on classroom discourse. This framework should indicate potentially fruitful lines for further enquiry, whilst at the same time opening up new ways of helping teachers to implement formative practices more effectively.
Paul E. Newton (2012). Clarifying the Consensus Definition of Validity. Measurement: Interdisciplinary Research and Perspectives, 10, 1-29. abstract
- Randy Elliot Bennett (2012): Consequences That Cannot Be Avoided: A Response to Paul Newton, Measurement: Interdisciplinary Research and Perspectives, 10:1-2, 30-32
- Paul Black (2012): EPMA Professionals—Servants or Masters?, Measurement: Interdisciplinary Research and Perspectives, 10:1-2, 33-37
- Denny Borsboom (2012): Whose Consensus Is It Anyway? Scientific Versus Legalistic Conceptions of Validity, Measurement: Interdisciplinary Research and Perspectives, 10:1-2, 38-41. To link to this article: http://dx.doi.org/10.1080/15366367.2012.681971
- Michael Kane (2012): All Validity Is Construct Validity. Or Is It?, Measurement: Interdisciplinary Research and Perspectives, 10:1-2, 66-70 To link to this article: http://dx.doi.org/10.1080/15366367.2012.681977
- Suzanne Lane (2012): Consequences of Assessment and Accountability Systems Are Integral to the Argument-Based Approach to Validity, Measurement: Interdisciplinary Research and Perspectives, 10:1-2, 71-74 To link to this article: http://dx.doi.org/10.1080/15366367.2012.679160
- Krista D. Mattern , Jennifer L. Kobrin & Wayne J. Camara (2012): Promoting Rigorous Validation Practice: An Applied Perspective, Measurement: Interdisciplinary Research and Perspectives, 10:1-2, 88-92. To link to this article: http://dx.doi.org/10.1080/15366367.2012.677355
- Robert J. Mislevy (2012): The Case for Informal Argument, Measurement: Interdisciplinary Research and Perspectives, 10:1-2, 93-96. To link to this article: http://dx.doi.org/10.1080/15366367.2012.682525
Robert J. Mislevy, Linda S. Steinberg and Russell G. Almond (2003). On the structure of educational assessments. CSE Technical Report 597 pdf.
James W. Pellegrino, Naomi Chudowsky, and Robert Glaser (Eds.) (2001). Knowing what students know. The Science and Design of Educational Assessment. The Science and Design of Educational Assessment. Board on Testing and Assessment, Center for Education, Division of Behavioral and Social Sciences and Education, National Research Council. pdf van heel het boek hier ophalen Shepard, L. (1991). Psychometricians’ beliefs about learning. Educational Researcher, 20, 2-16. (Integraal online als html of direct te downloaden pdf)
Harry Torrance (2012): Formative assessment at the crossroads: conformative, deformative and transformative assessment, Oxford Review of Education, 38:3, 323-342 To link to this article: http://dx.doi.org/10.1080/03054985.2012.689693
Caroline V. Gipps (1994). Beyond testing. Towards a theory of educational assessment. Falmer Press. [boek niet meer beschikbaar]
- Reviewed in Journal of Educational Measurement 1995, 32(4), 420. “It is very difficult to recommend this book for any purpose whatsoever.'”Misschien heb ik het daarom juist nodig. Gipps praat heel parmantig over een paradigm shift die zij wel even onder woorden zal brengen. Geeft denk ik wel goede overzichten van wat er aan kritische literatuur over testen in relatie tot onderwijs is verschenen van de hand van Linn, Shepard, e.d., toch bepaald niet de eersten de besten. Maar Caroline Gipps gaat er warrig mee om. Het boek is meer een pamflet met zin en onzin, dan dat het een samenhangende visie geeft op beoordelen in het onderwijs. Post-modern? Het probleem met dit type literatuur over beoordelen is dat het bij warhoofden in constructivistische kringen makkelijk wordt aangegrepen om er in te winkelen naar wat van constructivistische gading is. Ook al is Gipps kritisch op dat constructivisme.
Tom Dousma & Ad Horsten (1989). Tentamineren. Wolters-Noordhoff. isbn 9001243908
John Gardner (Ed.) (2012 2nd). Assessment and Learning. Sage. http://www.uk.sagepub.com/books/Book235374 Ik heb geen tijd om dit te lezen. Het is allemaal niet strak. Is het gericht op docententrainers?
- o.a. Paul Black & Dylan Wiliam: Assessment for Learning in the Classroom sample pdf (Wel interessant: niet beoordelen met cijfers, maar volstaan met inhoudelijke terugkoppeling waar de leerling dan ook iets mee moet doen)
- Richard Daugherty, Paul Black, Kathryn Ecclestone, Mary James & Paul Newton: Alternative Perspectives on Learning Outcomes: Challenges for Assessment
- Paul Black & Dylan Wiliam: Developing a Theory of Formative Assessment
- Gordon Stobart: Validity in Formative Assessment
- Paul Black & Dylan Wiliam: The Reliability of Assessments
Greet Fastré (2011). Improving sustainable assessment skills in vocational education. proefschrift open universiteit. pdf
Neal Kingston & Brooke Nash (2011). Formative assessment: a meta-analysis and a call for research. Educational Measurement: Issues and Practice, 30 #4, 28-37. abstract
De effecten zijn veel kleiner dan in de literatuur vaak beweerd. Ik moet dit nog vergelijken met Hattie, zou een leuk onderwerp zijn.
AERA, APA & NCME (1999). The Standards for Educational and Psychological Testing. zie hier - niet geautoriseerde samenvatting
Mary E. Lunz, Betty A. Bergstrom & Benjamin D. Wright (1992). The Effect of Review on Student Ability and Test Efficiency for Computerized Adaptive Test. Applied Psychological Measurement,16, 33-40.abstract
Ronald K. Hambleton (1980). Contributions to Criterion-Referenced Testing Technology: An Introduction. Applied Psychological Measurement 4, 421-424. abstract
Rand R. Wilcox (1980). Determining the Length of a Criterion-Referenced Test. Applied Psychological Measurement 4, 425-446. abstract
Lorrie Shepard (1980). Standard Setting Issues and Methods. Applied Psychological Measurement 4, 447-467. abstract
Wim J. van der Linden (1980). Decision Models for Use with Criterion-Referenced Tests. Applied Psychological Measurement 4, 469-492. abstract
George B. Macready & C. Mitchell Dayton (1980). The Nature and Use of State Mastery Models. Applied Psychological Measurement 4, 493-516. abstract
Ross E. Traub & Glenn L. Rowley (1980). Reliability of Test Scores and Decisions. Applied Psychological Measurement 4, 517-545. abstract
Robert L. Linn (1980). Issues of Validity for Criterion-Referenced Measure. Applied Psychological Measurement 4, 547-561. abstract
Ronald A. Berk (1980). A Framework for Methodological Advances in Criterion-Referenced Testing. Applied Psychological Measurement 4, 563-573. abstract
Samuel Livingston (1980). Comments on Criterion-Referenced Testing. Applied Psychological Measurement 4, 575-581. abstract
Alan D. Mead & Fritz Drasgow (1993). Equivalence of Computerized and Paper-and-Pencil Cognitive Ability Tests: A Meta-Analysis. Psychological Bulletin, 114, 449-458. abstract
Angus S. McDonald (2002). The impact of individual differences on the equivalence of computer-based and paper-and-pencil educational assessments. Computers & Education, 39, 299-312. abstract
Shudong Wang, Hong Jiao, Michael J. Young, Thomas Brooks & John Olson (2008). Comparability of Computer-Based and Paper-and-Pencil Testing in K–12 Reading Assessments. A Meta-Analysis of Testing Mode Effects. Educational and Psychological Measurement, 68, 5-24. abstract
Friedrich Scheuermann & Angela Guimarães (Eds.) (2008). Towards a Research Agenda on Computer Based Assessment. Challenges and needs for European Educational Measurement. European Commission; Joint Research Centre; Institute for the Protection and Security of the Citizen. abstract " target='_blank'>pdf
Romain Martin: New Possibilities and Challenges for Assessment through the Use of Technology................................................................................ 6 Julius Björnsson: Changing Icelandic national testing from traditional paper and pencil based tests to computer based assessment: Some background, challenges and problems to overcome......................................... 10 Denise Whitelock: Accelerating the Assessment Agenda: Thinking outside the Black Box............................................................................... 15 Martin Ripley: Technology in the service of 21st century learning and assessment – a UK perspective........................................................... 22 René Meijer: Stimulating Innovative Item Use in Assessment.............................................. 30 Dave Bartram: Guidelines and Standards for Psychometric Tests and Test Users.......... 37 Mark Martinot: Examinations in Dutch secondary education - Experiences with CitoTester as a platform for Computer-based testing........................ 49 Annika Milbradt: Quality Criteria in Open Source Software for Computer-Based Assessment................................................................................. 53 Nicola Asuni: Quality Features of TCExam, an Open-Source Computer-Based Assessment Software............................................ 58 Thibaud Latour & Matthieu Farcot: An Open Source and Large-Scale Computer Based Assessment Platform: A real Winner....................................................................... 64 Friedrich Scheuermann & Angela Guimarães Pereira: Which software do we need? Identifying Quality Criteria for Assessing Language Skills at a Comparative Level......... 68 Oliver Wilhelm & Ulrich Schroeders: Computerized Ability Measurement: Some substantive Dos and Don’ts............................................................................ 76 Jim Ridgway & Sean McCusker: Challenges for Research in e-Assessment.................... 85 Gerben van Lent: Important Considerations in e-Assessment: An Educational Measurement Perspective on Identifying Items for an European Research Agenda........ 97
Spencer S. Swinton & Donald E. Powers (1983). A study of the effects of special preparation on GRE analytical scores and item types. Journal of Educational Psychology, 75, 104-115 abstract en pdf ophalen
feedforward coaching toetstraining
Joop Hendricx, Jan de kanter & Gerrit Roest (z.j.). Centraal schriftelijke examens 1979 natuurkunde. Cito-memo nr. 398. Projekt open vragen. 171 blz. offset quarto.
J. M. Wijnstra: Verantwoording Eindtoets Basisonderwijs 1981 (met een historisch overzicht over de periode 1966-1980). Cito, januari 1984. Specialistisch Bulletin nr. 25. [ zie ook hier
Veel informatie, maar niets van enig belang over de toetsvragen zelf. Hoe kom ik erachter welke vragen er typisch in de Citoetsen van de zeventiger jaren zaten?
Andrew C. Porter, Robert L. Linn, & C. Scott Trimble (2005). The Effects of State Decisions About NCLB Adequate Yearly Progress Targets. Educational Measurement: Issues and Practice, 24 winter, 32-39. pdf en
- Having increasingly large numbers of schools failing to meet AYP has implications for state resources. Title I schools are identified for improvement if they fail AYP for two consecutive years. Such schools must provide their students with the option to transfer to another public school in the district that has not been identified for improvement. The school must develop a school plan forimprovement covering a 2-year period that draws on research-based practices for improving teaching and learning in core academic subjects. The district must provide technical assistance as the school develops and implements the school plan. Schools identified as in need of improvement who continue to fail AYP must be provided even more technical assistance, including supplemental educational services, and may ultimately be restructured. Presumably, these remedial strategies are affordable and manageable by states and districts only if some reasonably small fraction of the total number of schools in the state is identified. The three design decisions investigated here may prove pivotal in the years to come in terms of a state’s ability to provide required service to all schools identified and schools’ ability to continue to exist.
James H. McMillan (Ed.) (2013). SAGE Handbook of Research on Classroom Assessment. SAGE. [UB Leiden PEDAG. 51.e.85] [3 juni 2013 nog niet als eBook beschikbaar, dus ook niet in KB] site - detailed contents. (maar voor auteurs zie de de contents op de site)
Het ziet er allemaal heel indrukwekkend uit. Wel 544 bladzijden dichte informatie, literatuurverwijzingen ook. Het is bedoeld om verder onderzoek uit te lokken, dus niet als voorlichting aan leraren. Ik krijg wel een beetje de indruk, al bladerend, dat van leraren veel te veel wordt verwacht. De vele schetsen van tekortkomingen in beoordelen en toetsen in school zijn wel terecht, maar daar volgt mijns inziens niet uti dat deze kwalen te verhelpen zouden zijn door betere opleiding, begeleiding, en instrumenten, hoewel dat alles natuurlijk wel enig nut zal hebben. Dit beoordelen in de klas is een rampgebied waar betere technieken helemaal niets aan gaan veranderen, andere onderwisjculturen waarschijnlijk wel. Een stap in de goede richting is ongetwijfeld het benadrukken van formatieve beoordeling ten koste van summatieve testerij. Maar er is veel meer nodig. Ik ben juist bang dat de horden onderzoekers die zich op het beoordelen in het onderwijs storten, leiden tot bevestiging van bestaande beroerde praktijken, in plaats van radicale veranderingen daarin. De macht van de getallen zal hier de doorslag geven, niet de kwaliteit van het onderzoek van enkelingen.
- Hoofdstuk 11 en 14 zijn vrij beschikbaar zie hier
- Hoofdstuk 11: Margaret Heritage: Gathering evidence of student understanding. 179-195 (gaat over formatieve toetsing in de Black & Wiliam stijl). pdf
- Hoofdstuk 14: Connie M. Moss: Research on Classroom Summative Assessment. 235-255 pdfThe studies reviewed in this chapter reveal areas of need and areas of promise regarding teachers’ summative assessment practices. Although teachers are interpreting more test results and testing more frequently, many teachers are underprepared and insufficiently skilled. This leads to summative judgments that are often inaccurate and unreliable. Yet teachers commonly report positive beliefs about and high levels of confidence in their assessments skills and competence despite evidence to the contrary gathered through observations and teacher self-reports (Black et al., 2010; Rieg, 2007). Many teachers misinterpret student achievement or misestimate students’ abilities (Kilday et al., 2011). Frequently teachers arrive at their judgments of student achievement through idiosyncratic methods and interpret assessment results using flexible criteria. These tendencies allow teachers to pull for students who deserve better grades or adjust scores down for students with poor attitudes or behavior (Wyatt-Smith et al., 2010). Traditional and routine practices are common across the board with low-level recall and objective tests figuring prominently in the assessment arsenals of teachers regardless of grade level or subject area. Low-level testing can be found in many classrooms where it impacts both the quality of the learning that happens there and the motivation of the students who must engage in those assessments (McKinney et al., 2009). Sadly, the impact of this practice cuts even deeper in class- rooms with poorer or less able students. Yet even when teachers recognize effective assessment practices, they often see the realities of their classroom environments and other external factors imposed on them as prohibitive (McMillan & Nash, 2000).
p. 252
- Heidi L. Andrade: Classroom assessment in the context of learning theory and research 17-34
- Interessant thema dat zij aansnijdt: Learning progressions. Of ook: learning trajectories, Wright maps, construct maps, construct models. Hoofdstuk 11 gaat daar dieper op in, zie hierboven.
- Robin D. Tierney: Fairness in classroom assessment 125-144
- Heel problematisch. Maar ook heel complex, dus dat het problematisch is hoeft niet te verbazen.
- Susan M. Brookhart: Grading 257-271
- Beperkt nuttig, want beperkt tot de VS
- Michael C. Rodriguez & Thomas M. Haladyna: Writing selected-response items for classroom assessment 293-311
- Carol Ann Tomlinson & Tonya R. Moon: Differentiation and classroom assessment 415-430
- Enthousiaste verwijzingen naar constructivistische literatuur, waaronder Dochy en Segers.
- Maggie B. McGhata & William S. Bush: Classroom assessment in mathematics 449-472
- Ik zie niet zo gauw hoe dit hoofdstuk iets zinnigs heeft te bieden over de wiskunde, ondanks de veelbelovende titel.
Mary Henning-Stout (1994). Responsive Assessment. A New Way of Thinking About Learning. Jossey-Bass. isbn 155542645X
Dit boek lijkt constructivisme te ademen. Ik citeer de eerste alinea uit het hoofdstuk dat veelbetekenend Mathematical reasoning heet.
- The debate surrounding mathematics instruction and assessment is much like that in reading and literacy. The fundamental question seems whether it is better to concentrate on basic component skills (the more conventional approach) or to encourage informal and formal mathematical reasoning processes. From the first perspective, component mathematical operations are considered the building blocks that must be formed individually before meaningful mathematical reasoning can occur. From the second perspective, the active formation of theories about how numbers and quantification work is fundamental to the way a learner interacts with the environment. Because learners will work to structure knowledge and experience into understandable theories [homunculus!, b.w.], mathematics instruction will be most effective when it connects with and extends the theories learners build.
p. 178
Chester W. Harris, Marvin C. Alkin, & W. James Popham (Eds.) (1974). Problems in criterionreferenced measurement. (CSE Monograph no 3). Los Angeles: Center for the study of evaluation, University of California.
- Anthony J. Nitko: Problems in the development of criterion-referenced tests: the IPI Pittsburgh experience -
- Chester W. Harris: Problems of objectives-based measurement -
- W. James Popham: Thus spake Psychometrika .... -
- Chester W. Harris: Some technical characteristics of mastery tests -
- Frederick B. Davis and James J. Diamond: The preparation of criterion-referenced tests -
- Melvin R. Novick and Charles Lewis: Prescribing test length for criterion-referenced measurement -
- J. Ward Keesling: Empirical validation of criterion-referenced measures
Henny Uiterwijk (1994). De bruikbaarheid van de Eindtoets Basisonderwijs voor allochtone leerlingen. Cito. Proefschrift KUB. pdf
P. Holmes (2002). Multiple evaluation versus multiple choice. Feasibility, reliability and validity in practice. Enschede: Universiteit Twente, 2002, proefschrift, 140 pagina’s ISBN 90 3651757 5. pdf
Trefwoorden: raadkansen, raden, zekerheidsscoring, Shuford, Dirkzwager
- Uitvoerig besproken door Dato de Gruijter, in Pedagogische Studiën, 79, 410-413
A. H. van der Hoeve, Ph. Kohnstamm & G. van Veen (1935). Sil-lees-stof als denk-materiaal en denk-maatstaf. Een onderzoek aangaande de vorming en toetsing van 'theoretische intelligentie'. J. B. Wolters' Uitgeversmaatschappij. Mededelingen van het Nutsseminarium voor Paedagogiek aan de Universiteit van Amsterdam. [aanwezig: KB; UB Leiden in de reeks Mededelingen van het Nutsseminarium] 208-245 - 246-261 - 262-288
Mary Ann Dzuback (1991). Robert M. Hutchins. Portrait of an educator. University of Chicago Press. [boek is ondertussen naar Amnesty gegaan]
The tweede geciteerde passage hierbeneden vind ik toch wel heel treffend: intensief contactonderwijs, en dan toch afsluitende toetsen houden, terwijl de staf in de gaten heeft dat al dat toetsen kostbare instructietijd afsnoept. Kennelijk de geest van de tijd: toetsgekte. Ralph Tyler kwam op deze manier mooi binnen in de universiteit, waar hij lang zou blijven.
- ( . . ) his vision of what the university should be has given shape to twentieth-century debates over the content and function of education in the United States
- In 1937 the college faculty adopted the four-year course of study to operate alongside the two-year college. To complete the program, students were required to pass fifteen comprehensive examinations. ( . . )
( . . )Because total enrollments were low, classes were small, allowig a high level of contact between students and instructors and a variety of pedagogical approaches, inclusing discussions and laboratory work in the sciences.
The program was never free from faculty criticissm. For example,divisional examinations, faculty members argued, provided a limited basis for grading studnets and required a great deal of faculty time to design. In addition, administering them reduced the number of class meetings in the spring. Despite the criticism, there was enough support for the examinations to keep and improve them. Hutchins recruited Ralph Tyler to head the department of education in 1938 and to act as university examiner. Tyler worked with the divisional faculty to redesign examinations that tested the objectives of their courses.
p. 128-129
Crombag, Hans F., & Dato N. De Gruyter (Eds) (1974). Contemporary issues in educational testing. The Hague: Mouton. isbn 9027975213.
- Interessante bijdragen De Groot: The problem of evaluating national educational systems; Postlethwaite: National evaluation of eductional systems: A recent study on the evaluatio of 20 educational systems by the international Association for the Evaluation of Educational Achievement 28-65; Richard M. Wolf: National evaluation of educational systems: New roles and new methods. 66-80; J. Stanley Ahmann National Assessment of Educational progress: The measurements of change in achievement 81-86; Djien K. Thio: Foundation, functions and future of CITO, the National Institute for Test Development in the Netherlands 87-99 , Henrysson: The criterion-refernce test: Its meaning and difficulties 101-107; Samuel Messick: The role of values in evaluation: Methodological strategies for educational improvement 165-177; Wynand H. Wijnen: Formative evaluation and educational practice 178-191; Richard E. Snow: Aptitude-treatment interactions in educational research and evaluation 229-24; Gaviel Salomon: ATI research: For better psychological insights or for better educational ractice? 248-255. Crombag on product and process.
Ik heb aan dit congres deelgenomen, als ik me goed herinner: de dollar werd gedevalueerd of kelderde in waarde, waardoor veel congresdeelnemers acuut in problemen raakten.
The Effect of Testing Versus Restudy on Retention: A Meta-Analytic Review of the Testing Effect. Rowland, Christopher A. Psychological Bulletin, Aug 25 , 2014, No Pagination Specified. abstract
Frederic M. Lord & Martha L. Stocking (1976). An interval estimate for making statistical inferences about true scores. Pm 1976, 41, 79-87. preview pp 79-80
Moreland, R., J. Miller, & F. Laucka (1981) Academic achievement and self-evaluations of academic performance. Journal of Educational Psychology 1981, 73, 335-344. [studieresultaten voorspellen] abstract
Klein aantal ppn, dus meer interessant vanwege theoretisch kader.
Robert F. van Naerssen (1978). A systems approach to examinations. Annals of Systems Research, 6, 63-72. scan
OAT Announces QTI® Compliance for Its TAO Open Source Assessment Platform.
Kyle Silera, Kirby Leeb & Lisa Beroc (2014). Measuring the effectiveness of scientific gatekeeping. PNAS (ahead of print)abstract
Darren Grant & William B. Green (2009). The simple economics of thresholds: grades as incentives. Sam Houston State University, Department of Economics and International Business, Working Paper Series No. 09-01. Via Researchgate William Green
Fabienne M. Van der Kleij, Jorine A. Vermeulen, Kim Schildkamp & Theo J.H.M. Eggen (2015): Integrating data-based decision making, Assessment for Learning and diagnostic testing in formative assessment. Assessment in Education: Principles, Policy & Practice (published online) abstract
Daniel Koretz (2008). Measuring up. What educational testing really tells us. Harvard University Press reviewed by Paul W. Holland. And another review by Mark Fetler.
Hoofdstuk 1 gelezen. Helemaal oké. Dekt ongeveer de inhoud, lijkt me. Hier ben ik dusgehinderd door een gebrek aan kennis van achtergronden van Koretz. Zie o.a. een review door Philip Staradamskis: here [via Richard Phelps]"authentic assessment
- “One evening some years ago, several students who had taken one of my courses in educational measurement attended a lecture given by one of the nation’s most important education policy-makers. The students were angered by his presentation, less because of his claims about educational testing were dead wrong than because he presented them with so much certainty and self-assurance nonetheless.”
p. 345
- Een interessante opmerking van Holland citeer ik hier maar even. Hetzelfde punt is gemaakt door Van Naerssen, ooit in een ver verleden: de zak-slaaggrens ligt daar waar het geen verschil maakt om te laten zakken danwel slagen. Maar dat is toch iets ingewikkelder dan het op het eerste gezicht al is: het veronderstelt een besliskundige benadering, en daar hebben geleerden behoorlijk valse slagen gemaakt (de literatuur over criterium-gerefereerd toetsen).
“Substantively, in his discussion of how performance standards are set, he misses an opportunity to show just how counterintuitive performance standards are. Koretz only mentions those standard-setting methods in which majority rule is used to determine the ‘cut points’ between designations such as basic and proficient. The counterintuitive fact is that a cut point should be set at a performance level where there is maximal disagreement; that is, where there is the largest number of people arguing for both of the options.”from the review by Holland
James A. Bovaird, Kurt F. Geisinger & Chad W. Buckendahl (Eds.) (2011). High-stakes testing in education. Science and practice in K-12 settings. American Psychological Association. info
- contents
- Current State of High-Stakes Testing in Education Barbara S. Plake
- Local Development of a High-Stakes Assessment Program: Lessons Learned and Research Results Gained John Crawford and Patricia Crum
- Setting Performance Standards on Alternate Assessments for Students With Disabilities Abdullah A. Ferdous, Sue Bechard, and Chad W. Buckendahl
- Assessing English Language Skills in Education: Implications for Students With Limited English Proficiency Anja Römhild and James A. Bovaird
- Student Achievement and Adequate Yearly Progress Within the Indiana Charter School System W. Holmes Finch, Brian F. French, and Mary Baker
- Revising a Large-Scale College Placement Examination Program: Innovation Within Constraints Kristen Huff and Gerald J. Melican
- A Role for College Admissions Tests in State Assessment Programs Sherri Miller and Jay Happel
- Finding Validity Evidence: An Analysis Using the Mental Measurements Yearbook Gregory J. Cizek, Heather K. Koons, and Sharyn L. Rosenberg
- A Model of Examinee Test-Taking Effort Steven L. Wise and Lisa F. Smith
- Validity Arguments for High-Stakes Testing and Accountability Systems Deborah L. Bandalos, Amanda E. Ferster, Susan L. Davis, and Karen M. Samuelsen
- Testing and Measurement From a Multilevel View: Psychometrics and Validation Bruno D. Zumbo and Barry Forer
- A High-Stakes Use of Intelligence Testing: A Forensic Case Study Chad W. Buckendahl and Brett P. Foley
- High-Stakes Education Research: Enhanced Scrutiny of the Education System and Its Consequences James A. Bovaird and Natalie A. Koziol
- The Future of High-Stakes Testing in Education Kurt F. Geisinger
Richard P. Phelps (2009). Correcting fallacies about educational and psychological testing.
Richard P. Phelps (2007). The source of Lake Wobegon. Nonpartisan Education Review, 1 #2. pdf
Richard P. Phelps (2003). Kill the messenger. The war on standardized testing. isbn 0765801787 < info
Reviewed by Howard Wainer in JEM 2006, zie wainer.2006
Richard P. Phelps (Ed.) (). Defending standardized testing. Educational Testing Service. [eBook in KB]
- a.o.:
- 1. Persistently Positive: Forty Years of Public Opinion on Standardized Testing Richard P. Phelps
- 3. The Rich, Robust Research Literature on Testing's Achievement Benefits Richard P. Phelps
- 8. Teaching For the Test: How and Why Test Preparation is Appropriate Linda Crocker
- 9. Doesn't Everybody Know That 70% is Passing? Barbara S. Plake
- 10. The Testing Industry, Ethnic Minorities, and Individuals With Disabilities Kurt F. Geisinger
- Appendix A: Polls and Surveys That Have Included Items About Standardized Testing: 1954 to Present
- Appendix B: Some Studies Revealing Testing Achievement Benefits, by Methodology Type
Kim J. H. Dirkx (2014). Putting the testing-effect to the test. Thesis Open University Heerlen. PEDAG 70.A.56 pdf of summary and references download
I don’t know; is this useful? The references list contains interesting items, however.
- Guideline 1: Use short-answer questions According to the New Theory of Disuse, the more difficult and active the retrieval process is, the better it works. This has been found in many studies comparing the effects of MC questions versus SA questions (e.g., Butler & Roediger, 2007 [Testing improves long-term retention in a simulated classroom setting. pdf]; Hamaker, 1986 [The effect of adjunct questions on prose learning. abstract]; Kang et al, 2007 [Test and corrective feedback modify the effect of testing on long-term retention pdf]; McDaniel, Anderson, Derbish, & Morrisette, 2007 [Testing the testing-effect in the classroom. https://goo.gl/ZgMi0X]; Smith & Karpicke, 2013 [Retrieval practice with short-answer, multiple-choice, and hybrid tests. pdf ]). While MC questions often involve recognizing and selecting a correct response among alternatives, SA questions require recalling and actively reproducing the correct answer. In one study by Kang, et al. students were asked to study journal articles by means of initial study and answering SA questions or MC questions (with feedback). Three days later, students were given a final retention test with SA questions and MC questions. The results showed better performance on both the MC and SA questions when students initially answered SA questions.
p. 15
J. H. Dijkhuis (1961). Het beoordelen in de psychologie. Utrecht: Bijleveld. Proefschrift Utrecht. 160 blz. (144 blz in handelsuitgave), stellingen, ex-lib,
De Utrechtse aandacht voor kwaliteit van het beoordelen is waarschijnlijk best wel belangrijk geweest voor ontwikkelingen in de Nederlandse psychologie. Daar kan het onderwijsveld nog een puntje aan zuigen, vermoed ik (zowel beoordelen van leerlingen, als van leraren, en niet te vergeten: van lessen).
Dominique Sluijsmans, Desirée Joosten-ten Brinke, Tamara van Schilt-Mol (Red.) (2015). Kwaliteit van toetsing onder de loep. Handvatten om de kwaliteit van toetsing in het hoger onderwijs te analyseren, verbeteren en borgen. Apeldoorn: Garant. isbn 9789044132403
De auteurs benaderen het onderwerp veel te abstract, op een systemisch niveau, en onkritisch wat betreft volgen van de Amerikaanse literatuur op dit gebied en volgen van psychometrische halve waarheden. Ik had graag een boek gezien gevuld met glasheldere casuïstiek van wat er zoal in de praktijk vaak helemaal fout gaat en toch eenvoudig is te voorkomen of onder controle te krijgen. In discussie dan maar, met de auteurs.
Patricia Broadfoot (1996). Education, assessment and society. Buckingham: Open University Press. [als eBook in KB]
Vergelijkende studie Engeland-Frankrijk. Toetsen in de nationale context Assessment and the emergence of modern society. Lijkt me een prachtig boek.
Andrew Davis (1998) The Limits of Educational Assessment. Oxford: Blackwell. isbn 0631210202. Special Issue: The limits of educational assessment. Journal of Philosophy of Education, 32(1), 1-155. full contents
- "Education is increasingly expected to support the flourishing of competitive industrial economies. It is held to account by means of assessment in an attempt to ensure that it delivers the goods. This book argues that assessment cannot in principle detect much of the real learning required in this scenario."
Er is een kritiek op gepubliceerd (Randall Curren (2004) Educational measurement and knowledge of other minds Theory and Research in Education 2 3 pp 235 -253), en een dupliek: http://k1.ioe.ac.uk/pesgb/x/Davis,%20A..pdf.
Het is wel amusant te lezen hoe iemand van een andere planeet tegen high stakes testing aan kijkt. Maakt op mij geen geweldige indruk, maar wie ben ik? Wel nuttig eens door een heel andere bril naar toetsen te kijken.
Adriaan D. de Groot & Robert F. van Naerssen (Red.) (1969). Studietoetsen construeren, afnemen, analyseren. Mouton.
- A. D. de Groot: Waarom 'meerkeuzevragen'. 3-8
- A. D. de Groot: Een definitie en verdere kenmerken. 9-17
- A. D. de Groot: Gebruik en nut van studietoetsen. 18-26
- A. D. de Groot: Onderwijskundige aspecten van de toetsvorm. 27-31
- A. D. de Groot: Psychomtrische aspecten: itemanalyse. 32-42
- A. D. de Groot: Testanalyse: de toets als instrument. 43-56
- Enkele items ter inleiding. 57-63
- W. Lans & G. J. Mellenbergh: Constructie en beoordeling van items: formele aspecten. 65-89
- S. Sandbergen: Constructie en beoordeling van items: een procesbeschrijving. 90-125
- Jan Timmer: Enkele ervaringen met het schrijven van wiskunde-items voor de lagere klassen van het middelbaar nderwijs. 126-157
- S. Sandbergen: De samenstelling van een studietoets. 158-173
- S. Sandbergen: Vermenigvuldiging, afnemen en scoren van toetsen. 174-195
- R. F. van Naerssen: Van ruwe score tot standaardscoe. 197-210
- R. F. van Naerssen: Correlatie. 211-223
- R. F. van Naerssen: Betrouwbaarheid. 224-239
- R. F. van Naerssen: Validiteit. 240-247
- R. F. van Naerssen: De interpretatie van indices. 248-258
- R. F. van Naerssen: Meer gecompliceerde scoringswijzen. 259-271
-
R. F. van Naerssen: De caesuur voldoende/onvoldoende en het geven van cijfers. 272-288
Enkele items over de laatste hoofstukken. 299-310
S. Sandbergen: Appendix I. Eenvoudige itemanalyse: bewerkingsrecepten. 311-320
S. Sandbergen: Appendix II. Voorbeelden van items over verschillende vakken. 321-345
Appendix III De juiste alternatieven van items. 346-348
- a.o.: W. V. Clemans: Test administration - F. B. Baker: Automation of test scoring, reporting, and analysis - Lee J. Cronbach: Test validation - R. Fitzpatrick and E. J. Morrison: Performance and product evaluation - R. Glaser and A. J. Nitko: Measurement in learning and instruction - J. R. Hills: Use of measurement in selection and placement - L. V. Jones: The nature of measurement - D. R. Krathwohl and D. A. Payne: Defining and assessing educational objectives - J. C. Stanley: Reliability - R. L. Thorndike: Reproducing the test - R. L. Thorndike: The problem. of guessing - W. H. Angoff: Scales, norms, and equivalent scores
- Abstract An important problem in education is determining cutting scores on educational tests consisting of items that can be answered right or wrong. Students with the number of items answered correctly that is equal to or greater than the cutting score pass the test. The others must study the subject again and take a new test later. This problem is comparable to determining the cuttinq score on a selection test in applied psychology, for instance accepting people for a job, psychotherapy, treatment, and so on. An extra requirement that cutting scores for these procedures should meet, is that they should be fair with respect to the various categories represented amonq the applicants. A decision theoretic approach with a linear loss function, which results in a simple procedure for determining optimal scores, is dscussed.
- A value on the latent variable is fixed in advance; examinees above this value are ‘suitable’ and those below are ‘not suitable.’
- The primary problem in the new instructional models, such as individually prescribed instruction, is one of determining, if πi, the student's mastery level, is greater than a specified standard πo. Here, πi is the ‘true’ score for an individual i in some particularly well-specified content domain. It may represent the proportion of items in the domain he could answer successfully. Since we cannot administer all items in the domain, we sample some small number to obtain an estimate of πi, represented as E(πi). The value of πo is the somewhat arbitrary threshold score used to divide individuals into the two categories described earlier, i.e., Masters and Nonmasters.
Basically then, the examiner's problem is to locate each examinee in the correct category. There are two kinds of errors that occur in this classification problem: false positives and false negatives. A false-positive error occurs when the examiner estimates an examinee's ability to be above the cutting score when, in fact, it is not. A false-negative error occurs when the examiner estimates an examinee's ability to be below the cutting score when the reverse is true. The seriousness of making a false-positive error depends to some extent on the structure of the instructional objectives. It would seem that this kind of error has the most serious effect on program efficiency when the instructional objectives are hierarchical in nature. On the other hand, the seriousness of making a false-negative error would seem to depend on the length of time a student would be assigned to a remedial program because of his low test performance. (Other factors would be the cost of materials, teacher time, facilities, etc.) The minimization of expected loss would then depend, in the usual way, on the specified losses and the probabilities of incorrect classification. This is then a straightforward exercise in the minimization of what we would call threshold loss.
p. 4
- The situation to be modeled is that of pass-fail scoring, failed students will have to resit the test after some extra preparation time.
- The goal variable is mastery, the latent trait or true score that is.
- The utility function on mastery is a threshold funtion, f.e. it is zero below the point of sufficient mastery, one above it.
- The exact ‘point of sufficient mastery’ is assumed to be known! This is unacceptable, but at this point I will go along with this assumption. A complete decision theoretic approach, of course, should not hinge on this kind fuzziness, but instead resolve it. For example, by using a utility function that is derived from or identical with the learning curve for mastery.
- Somehow costs are relevant too according to the authors; they do not explicitly model it, however. Fuzziness again. I will leave costs out of the model altogether.
- The model may be applied in the case there is only one student, as well as in the case of groups (in the latter case some Bayesian statistics might be used forfine tuning)
- The question then is: given the individual’s test score X=x, should she be passed, or failed?
- Some mapping of observed score on the mastery variable is needed. I prefer using a binomial model here, so there is a definite likelihood function on the mastery variable (SPA-model)
- Expected utility for the pass decision under threshold utility E(u1) then simply is the probability this individual is a master.
- Now the question is: what is the expected utility of the fail-decision? The Hambleton-Novick model is thoroughly fuzzy on this point. Let me try to be specific, then
- Assume there is only one resit (it is always possible to extend the model to more resits, see, f.e., Van Naerssen’s tentamenmodel)
- After the resit, given de raw score on the resit, the expected utility E(u2) is, again, the probability of mastery.
- The problem then becomes: what is the prediction of the score on the resit, given de score on the first test? For an immediate resit the prediction function is the betabinomial function. The situation is more complicated than that, however: the student will spend time learning, heightening her mastery score. This will soon get way too complicated to model abstractly, however.
- Assume empirical data to be available — as they should be, of course (a validation study) (otherwise: do the experiment to obtain them) — on the resit-scores given the score on the first test.
- Assume a betabinomial distribution (n, a, b) fitted to the resit-score distribution given the score of our individual student X = x. The density function on mastery then is a beta function on parameters a and b, the expected utility E(U2) under threshold utility then is the probability of mastery.
- The expected utility of the fail decision given X = x now is E(u2), and that value, of course, is always higher than E(u1) barring extreme contingencies. Therefore: always fail all students, unless X = n.
- Wow. How further? Is there only fuzziness?
- Plot E(u2) - E(u1) for X = 0, 1 .. n. For an impression of this kind of plot, see the figure.
-
-
A good criterion now might be to set the cutting/passing score X=c at the score c where the difference in expected utilities E(u2) - E(u1) is smaller than the corresponding difference for X = c-1. Assume the plot of differences to be decelerating in the range of interest, and deceleration first to increase and then to decrease. The optimum passing score then is the score corresponding to the inflection point: the number correct at the righ end of the steepest strech. Is this a procedure resulting in the optimal cutting score, within the restrictions of the situation as given? No, but it obviates fuzzy talk about costs. Call this solution ‘satisficing’ (Herbert A. Simon): it is evidently the case ‘better’ models can be developed, but this solution in many cases will do perfectly.
- Simon introduced the distinction maximizers - satisficers in 'Rational choice and the structure of the environment. Psychological Review, 1956, 63, 129-138 (repr in his Models of thought as well as in his Models of man, social and rational. Wiley, 1957.
- Observe that in the above exposition there is no need for talk about ‘false negatives’ or ‘false positives’, or ‘incorrect decisions’. Also this kind of terminology does not belong in science: it is value-laden, better get rid of it.
- To estimate a person's π value under threshold loss, first write down the losses associated with the two kinds of incorrect decisions. [my emphasis, b.w.]
- Men zou de kwaliteit van de toets primair kunnen beoordelen aan het aantal ten onrechte geslaagden en gezakten. Het aantal van dergelijke missers overigens geeft een veel konkretere aanwijzing over die kwaliteit dan een betrouwbaarhedskoëfficiënt. Over dat aantal nu vallen redelijke schattingen te maken.
- Two simple classes of mastery scores which are suitable for hand calculations are presented for beta-binomial test score distributions combined with linear and cubic referral success. The models provide a simple way to explore the consequences of selecting an arbitrary mastery score. Such assessment would be useful whenever the test user is not willing to post a priori a loss ratio, but wishes to look at the various consequences before aiming at a particular score.
abstract
- Single administration (beta-binomial) estimates for the raw agreement index p and the corrected- for-chance kappa index in mastery testing are compared with those based on two test administrations in terms of estimation bias and sampling variability. Across a variety of test score distributions, test lengths, and mastery (cutoff) scores, the beta-binomial estimates tend to underestimate the corresponding population values. The percent of bias is small (about 2.5%) for p and somewhat larger (about 10%) for kappa. Both beta-binomial estimates have standard errors about one-half the size of the standard errors of estimates based on repeated test administrations. Though the beta-binomial estimates presume equality of item difficulty, the data presented indicate that even gross departures from equality of item difficulty do not affect the amount of bias of the estimates.
- It should be noted that personal standards for self-evaluation are not identical with level of aspiration, which has been studied extensively as a result rather than as a determinant of achievement motivation (Atkinson & Litwin, Heckhausen).
- In een expert-meeting voor dit project bracht Hofstee een scherp discussiestuk n: ‘Het paard achter de wagen: Korte notitie naar aanleiding van het concept Model gedragscode beoordelen en beslissen in het voortgezet onderwijs’. Als ik het mij goed herinner, is na deze expertsessie het Model drastisch herzien. Eveneens op basis van mijn feilbare geheugen: het staat mij bij dat het stuk van het projectteam dat in de expert-sessie ter bespreking stond, vooral psychometrisch gedachtengoed (betrouwbaarheid, validiteit) bevatte, losgezongen van het onderwijs waar het om gaat. Mijn functie in dit geheel was vanuit SVO, de opdrachtgever van dit project [ik was daar destijds gedetacheerd, en had dit onderzoek itgezet].
- oa
- H. J. M. van Berkel: Psychometrische indicatoren voor toetsen 16-28
- D. N. M. de Gruijter: De scoring van open vragen 43-51
- D. Joosten-ten Brink: SYS: het toetsservicesysteem van de open Universiteit nederland 53-60
- M. J. J. M. van de Ven: Etude, een modern en integraal toetssysteem 61-68
- Schuwirth, van der Vleuten e.a.: Voortgangstoetsing, itembanking en ICT 69-75
- G. J. J. M. Straetmans: Adaptieve toetspakketten voor het opsoren van deficiënties op het gebid van rekenen en wskunde 76-87
- J. W F. van Tartwijk, A. Pilot & T. Wubbels: Naar een digitaal portfolio 136-145
- L. W. T. Schuwirth & C. P. M. van der Vleuten: Toetsing van pobleemoplossend vermogen, computergestuurde casusgerichte toetsing 155-161
- Jelle van Lenthe (1993). An interactive elicitation technique for subjective probablility distributions. Organizational Behavior and Human Decision Processes, 55, 379-413. fc
- Jelle van Lenthe (1994). Scoring-rule feedforward and the elicitation of subjective probability distributions. Organizational Behavior and Human Decision Processes, 59, 188-209. fc t
- Boekkooi-Timminga, E. (1990). Toetsconstructie met behulp van de computer. IDEE, 11, 176-178.) Boekkooi-Timminga, E. (1990). A cluster-based method for test construction. APM 14, 341-354.
- Ven, A.H.G.S. van der An error score model for time limit tests. TOR 1976, 1, 215226. http://objects.library.uu.nl/reader/resolver.php?obj=000739914
- Ven, A.H.G.S. van der The reliability of speed and precision in timelimit tests. TOR 1976, 1, 6873. http://objects.library.uu.nl/reader/resolver.php?obj=000739914
- Ven, A.H.G.S. van der, & Gremmen, F. M. (1992). The knowledge or random guessing model for matching tests. APM, 16, 177-194.
-
Wayne H. Holtzman (Ed.) (1970). Computer-assisted instruction, testing, and guidance. Harper & Row. lccc 77-84078 [UB Leiden 2038 A 12]
- a.o.:
- Donald Bitzer & D. Skaperdas: The economics of a large-scale computer-based education system: Plato IV 17-29
- Robert Glaser: Psychological questions in the development of computer-assisted instruction 74-93
- Frederic M. Lord: Some test theory for tailored testing 139-183
- Robert F. Simmons: Linguistic analysis of constructed student responses 203-21
- Patrick Suppes and Mona Morningstar: Four programs in computer-assisted instruction 233-265 pdf
- Gail S. Young: Comments n social, psychological, and mathematical aspetcts of the Suppes-Morningstar chapter 266-276
- Stanford programs in arithmetic, logic, and Russian: Discussion 277-281
- Carl B. Sheley & Vaughn Groom: The Apollo Flight Controller Training System concept and its educaional implications 313-335
- Allan B. Ellis & David D. Tiedemann: Can a machine counsel? 345-373
- Emmanuel G. Mesthene: 384-391
This leads me to perhaps the most dangerous pitfall of all, which is the unconscious reinforcement of the values of efficiency and achievement that can result from technological improvement of present educational processes.
( . . . )
The power of truth—of technology, science, knowledge—is very great these days. Those who seek after it, therefore, have a duty to measue their contribution in the context of truths that often transcend the two-valued logic of the computer.
p. 391 [Emmanuel G. Mesthene (1970). Computers and purposes of education, in Wayne H. Holtzman: Computer-assisted instruction, testing, and guidance. Harper & Row.]
Ronald K. Hambleton (Ed.) (1989). Applications of item response theory. Special Issue International Journal of Educational Research, 13 #2, 121-220.
- Gideon J. Mellenbergh: Item bias and item response theory 127-144abstract
- Ronald K. Hambleton & H. Jane Rogers: Solving criterion-referenced measurement problems with item response models 145-160abstract
- Wim van der Linden & Michael A. Zwarts: Some procedures for computerized ability testing 175-188 pdf
- Susan E. Embretson: Latent trait models as an information-processing approach to testing 189-204abstract
Geva M. Blenkin en A. V. Kelly (Eds.) (1992). Assessment in early childhood education. London: Paul Chapman. isbn 1853961531
- Op de flap: "Assessment has always been a major feature of education in the early years. It has been a planning toll, employed internally by schools and teachers to develop forms of curriculum appropriate to pupils' needs. It has been formative rather than summative, judgemental rather than statistical, holistic rather than incremental, building on strengths rather than identifying weaknesses. However, the National Curriculum with its elaborate arrangements for assessment, has imposed a different assessment model on early education, a model which is incremental, summative, externally directed and designed to measure rather than guide the performance of pupils, teachers and schools. There is thus a conflict between these two approaches to assessment. In this context, the authors of this book set out to do three things - to identify the essential features of forms of assessment which will be genuinely supportive of education in the early years; to help teachers in their search for such forms; and to evaluate the likely impact of the systems of external assessment currently being imposed." Dit boek is, gezien het afsluitende hoofdstuk, een aanklacht tegen stompzinnige politiek die een centraliserende greep op het onderwijs probeert te krijgen en daar gedetailleerde voorschriften voor centrale toetsen voor gebruikt. Dat alles in het kader van 1988 National Curriculum. Malmberg annotatie: Een voorbeeld van hoe de kwaliteit van het basisonderwijs kan bezwijken onder de last van centraal opgelegde toetsen biedt Engeland sinds de 'Education Reform Act' van 1988 (beschreven in Harris, N. (1990). The law relating to schools. London: Fourmat). Door de overheid voorgeschreven gestandaardiseerde toetsen leggen een loden last op de onderwijzende staf in zowel het primaire onderwijs als de kleuterscholen. Het afnemen van deze toetsen kost zeer veel tijd die inderdaad ten koste gaat van de beschikbare onderwijstijd: hiermee vergeleken kost het afnemen van de Nederlandse toetsen basisvorming heel wat minder tijd. Veel ingrijpender is echter dat de scholen goede prestaties op deze toetsen moeten laten zien, om in de lead tables een behoorlijk figuur te slaan in de vergelijking met andere scholen. De betekenis is namelijk dat in het onderwijs de nadruk komt te liggen op die cognitieve vaardigheden die in de landelijke toetsen worden gevraagd. Het hoeft geen betoog dat variabelen die van belang zijn voor een goed schoolklimaat in deze landelijke toetsen geen plaats hebben. Het effect van deze centralistisch opgelegde toetsing is dat de didactisch verantwoorde beoordelingsmethoden die in Engeland juist een behoorlijke vlucht hadden genomen (de 'Records of Achievement' benadering), nu in feite worden weggedrukt, tot wanhoop van de leraren. Dit is al met al een casus hoe didactisch onverantwoordelijke methoden van beoordelen de kwaliteit van het onderwijs, maar ook van het schoolklimaat, bedreigen. Overigen werkt een en ander ook politiek destructief, omdat tenminste één verantwoordelijke staatssecretaris hierom al het veld heeft moeten ruimen (nl. John Patten, zie Harrison, C. (1995). Youth and White paper: The politics of literacy assessment in the United Kingdom. English Journal, feb 1995, 115-119).
Kate Ashcroft and David Palacio (1996). Researching into assessment and evaluation in colleges and universities. London: Kogan Page. isbn 0749417692
Een wonderlijk boek, ik heb er zelf denk ik niets aan, maar het zou aardig kunnen zijn als handleiding voor docenten die iets met hun beoordelen willen gaan doen in onderzoekende zin?
Harold F. O’Neill, Jr. (Ed.) (1979). Procedures for Instructional Systems Development. Academic Press.
- H. L. O'Neal, G. W. Faust & A. F. O'Neal: An author traiing course 1-38
- Russel E. Schulz: Computer aids for developing tests and instruction 39-66
- Gale Roid: The technology of test-item writing 67-94
- Jane Close Conoley & Harold F. O'Neil, Jr.: A primer for developing test items 95-128
- David J. Weiss: Computerized adaptive achievement testing 129-164 recenter 2004
- M. David Merrill, Charles M. Reigeluth & Gerald W. Faust: The instructional quality profile: A curriculum evaluation and design tool 165-204
- Robert J. Seidel & Harold Wagner: A cost-effectiveness specification 233-252
- Donald R. Gentner: Toward an intelligent computer tutor 253-272
Benoît Dompnier, Céline Darnon, Emanuele Meier, Catherine Brandner, Annique Smeding, Fabrizio Butera (2015 accepted). Improving Low Achievers' Academic Performance at University by Changing the Social Value of Mastery Goals. American Education Research Journal, 52, 720-749. abstract
Charles W. Daves (Ed.) (1984). The uses and misuses of tests. Examining current issues in educational and psychological testing. Jossey-Bass.
- John T. Casteen III: The public stake in proper test use.
- Melvin R. Novick: Importance of professional standards for fair and appropriate test use.
- Anne Anastasi et al: Commentaries on the development of technical standards for educational and psychological testing.
- Anthony J. Alvarado: Role of testing in developing and assessing early childhood education programs.
- Diane Ravitch: Value of standardized tests in indicating how well students are learning.
- Fred A. Hargadon: Responding to charges of test misuse in higher education.
- Franklyn G. Jenifer: How test results affect college admissions of minorities.
- Donald N. Bersoff: Legal constraints on test use in the schools
David Owen (1999). None of the above. The truth behind the SATs. Revised and updated. New York: Rowman & Littlefield. isbn 0847695077
- inserted:
- CEEB (1965, 1968). Effects of coaching on Scholastic Aptitude Test scores. 28 pp brochure;
- Robert L. Bangert-Drowns, James A. Kulik, and Chen-Lin C. Kulik (1983). Effects of coaching programs on achievement test performance. Review of Educational Research, 53, 571-585;
- Donald E. Powers and Donald A. Rock (1999). Effects of coaching on SAT I: Reasoning test scores. Journal of Educational Measurement, 36, 93-118, fc of abstract page
W. James Popham (2005). America's 'failing' schools. How parents and teachers can cope with No Child Left Behind. Routledge. isbn 0415451283
-
The reason that educators test children is to make an inference about the knowledge or skills that a child possesses.
Popham 2005, p. 49The remarkable thing in the above informal definition is that Popham knows bloody well that the kind of testing and especially of test questions, will determine what it is that the students will prepare for. Therefore, the purpose of testing would be to make sure that students learn the right kind of thing. Calling that 'inference making' does not seem to be one hundred percent truthful.
And the resulting inferences are then used by teachers to make instructional decisions about their students.
Popham 2005, p. 50Popham is keeping all options open here. The restriction is to in-school testing.
... educational testing is far less precise than most parents (and numerous educators) think it is.
Popham 2005, p. 54-55A most important point, and Popham is so right to mention it in the forceful way he does. He does however not try to explain that it is inherent in the character of assessment - sampling right-wrong items from the student's imperfect mastery - that there are relatively large swings possible in the test result for the individual student. This radically and fundamentally differs from the prototypical kind of measurement in the physical world: that of length and weight.
W. James Popham (2001). The truth about testing. An educator's call to action. Association for Supervision and Curriculum Development ASCD. isbn 0871205238, 167 pp. paperback belangrijke hoofdstukken online beschikbaar; ook beschikbaar in questia
Martin V. Covington (1992). Making the grade: a self-worth perspective on motivation and school reform. Cambridge University Press. isbn 052134803X
Dominique Sluijsmans, Desirée Joosten-ten Brinke & Cees van der Vleuten (2013). Toetsen met leerwaarde. Een reviewstudie naar de effectieve kenmerken van formatief toetsen. pdf
Robert Reinier Gras (1967). Studietoetsen voor moderne talen. Proefschrift RU Utrecht (Promotor A. D. de Groot).
Het 'talenproject' stond onder supervisie van A. D. de Groot.
- "Naast het maken en beproeven van een serie studietoetsen, is het onderzoek ook geworden een exploratie van de mogelijkheden en moeilijkheden die bij de introductie van studietoetsen te verwachten zijn. (...) een introductie tot de studietoetsmethode , en is er mogelijk zelfs een handleiding tot het zelf samenstellen van studietoetsen aan te ontlenen."
Alexander W. Astin (1993). Assessment for excellence: the philosophy and practice of assessment and evaluation in higher education. American Council on Education / Oryx series on higher education. isbn 0897748050
Nicholas Lemann (1999). The big test. The secret history of the American meritocracy. Farrar, Strauss and Giroux. isbn 0374299846
De geschiedenis van Educational Testing Service in Princeton, mede gebaseerd op de archieven van ETS zelf. Nicholas Lemann interview op de html 'secrets of the SAT.'
Henk van Berkel (1999). Zicht op toetsen. Toetsconstructie in het hoger onderwijs. Van Gorcum. isbn 9023234642
Dylan Wiliam (3 September 2015). On formative assessment. youtube 13:25 minutes
Here Dylan Wiliam emphasizes teacher work quality; flipside: students learn more, are more attentive, in this formative approach. The interview ends on the small ‘difference’ made by schools/teachers. Do not forget, though, the absolute level: take teachers out of school and results then will drop to near nothing. Flipside: there is unexpected room for better results. This is a clear exposition, in a few minutes, of some strong points of formative questioning in class. Must see.
Het pedagogisch opstel. Leidraad bij 't maken van pedagogische opstellen voor hoofdakte-candidaten en de hoogste klassen der kweekschool. Purmerend: J. Muusses.
Bevat door zijn vele onderwerpenschma’s feitelijk een overzicht van het pedagogisch-didaktisch denken begin dertiger jaren in Nederland.
Ton Luijten (1993). Het Cito tussen Schiermonnikoog en Maastricht. Ton Luijten in gesprek met A. D. de Groot en Wynand Wijnen over 25 jaar Cito en andere zaken. Cito. geen isbn, geen pdf op de website van het Cito.
- Wij zijn inderdaad jaren lang hard aan het ijveren geweest voor een meer objectieve vorm van beoordelen. Dat was ook hard nodig. Maar ‘onlosmakelijk’? Dat was niet ònze definitie, maar zo voelde men het vooral toen het besluit was genomen de minder objectieve beoordelingswijze af te schaffen bij de examens moderne talen. Ik heb mezelf bij de invoering van toetsen wel sterk gemaakt voor alleen maar vierkeuzetoetsen, deels op grond van onderzoek, maar vooral ook om onnodige complicaties te vermijden. Wij waren echter niet voor een complete vervanging van de vertaling door een objectieve tekstbegriptoets. Dat voorstel kwam destijds van de inspectie. Ik vind het eigenlijk heel slecht dat dat gebeurd is. Zo'n vertaling is toch ook redelijk objectief te beoordelen. De te vertalen tekst fungeert als een vrij objectief criterium. Op zich zou een tekstbegriptoets naast en niet in plaats van de vertaling een goede aanvulling geweest zijn. Maar voor een betrouwbare beoordeling van de vertaling waren op zijn minst twee beoordelaars nodig. De overheid wilde dat niet. Bezuinigingen hebben altijd de overhand bij dat soort beslissingen.
blz. 12, De Groot
- Het allereerste RITP-project, in ‘57 dus, kwam voort uit een aanvraag van een commissie die zich bezighield met de didactiek van het aanvankelijk wiskunde-onderwijs. Daar moest iets aan veranderd worden, vonden ze. Ik heb de commissie en daarmee ook O. en W., dat het onderzoek subsidieerde, er toen van kunnen overtuigen dat zo'n probleem zonder objectieve toetsing van leerprestaties niet te onderzoeken viel. In dit kader ontwikkelde het RITP in feite zijn eerste, nog vrij gebrekkige achievementtest. [geen publicatie hierover in het convoluut van De Groot’ publicaties http://www.ppsw.rug.nl/~biblio/convoluutdegroot.htm. Mogelijk heeft Jan Timmer dat werk bij het RITP gedaan, zie bijvoorbeeld het door hem geschreven hoofdstuk 10 'Enkele ervaringen met het schrijven van wiskunde-items voor de lagere klassen van het middelbaar onderwijs.' in De Groot & Van Naerssen 1969, Studietoetsen construeren, afnemen, analyseren, maar dat is toch veel later in 1969. Ik heb geen flauw idee welke commissie dat destijds geweest kan zijn, misschien is er in Euclides iets over te vinden. b.w.]
blz. 12, De Groot
- Schooltoetsen
TL Was de Amsterdamse Schooltoets niet de voorloper van wat later de Citotoets aan het einde van het basisonderwijs is geworden?
Dat is juist. De oorsprong lag in het toen veel besproken aansluitingsprobleem van leerlingen van de zesde klas lagere school naar het VHMO. Door heerste veel onvrede over. Er was soms een forse discrepantie tussen de adviezen van het schoolhoofd en de behaalde prestaties bij toelatingsexamens. Ik meen dat medio zestiger jaren bij Koninklijk Besluit bepaald werd dat naast het advies van het schoolhoofd een ander, zo objectief mogelijk gegeven aanwezig moest zijn. De precieze formulering weel ik niet meer, maar P.J. Koets, die toen al een paar jaar voorzitter was van het RITP-bestuur, wees ons erop dat onder die formulering de uitslag van een schoolvorderingentest kon vallen. Koren op onze molen natuurlijk. Koets stond erachter dat wij zo'n toets zouden samenstellen in en voor de Amsterdamse scholen. Haast was geboden. Wij gingen aan de slag met enkele onderwijzers als producenten van item-onderwerpen en als adviseurs. Alleen, zonder medewerking van pedagogen konden wij zo'n toets niet presenteren. Op de valreep is daar een oplossing voor gevonden doordat wij professor ldenburg ervan konden overtuigen dat zijn Kohnstamminstituut moest meedoen aan de operatie. Zo kwam de eerste Amsterdamse schooltoets tot stand: haastwerk en nog vrij amateuristisch van opzet. Maar er was een begin en ook een betere relatie met de pedagogiek trouwens.
Er was, al jarenlang trouwens, een niet aflatende animositeit tussen psychologen en pedagogen. Pedagogen vonden dat psychologen van het onderwijs af moesten blijven. Dat was hun gebied. Die strijd heeft heel lang geduurd totdat de onderwijskunde er kwam, met twee ‘ingangen’ om het zo maar uit te drukken. Die strijd laait ook nu nog wel eens op trouwens.Allerlei weerstanden moesten overwonnen worden. Het Amsterdamse schoolparlement bijvoorbeeld was faliekant tegen: ‘hef kind in de computer’, je kent die kreten wel, ze worden nog steeds geslaakt. Onder pedagogen was weinig waardering te vinden. Selectie lag ook politiek niet lekker. Hoe dan ook: met de steun van ldenburg kwamen we toch een heel eind. We hadden goede argumenten, daar lag het niet dan. Uiteindelijk slaagden we. In ellenlange vergaderingen konden de belangrijkste bezwaren worden weggenomen. Prachtige vergaderingen konden de belangrijkste bezwaren worden weggenomen. Prachtige vergaderingen, je zou daarvan nu nog eens de verslagen moeten lezen.
In die periode was ook Ko van Calcar bij ons gekomen. Die was in Amsterdamse kringen onverdacht links van signatuur en hij betekende een goede steun voor ons. Hij maakte dan wel niet op onze manier reclame voor de nieuwe ontwikkeling, maar toch. Uiteindelijk wilde het Amsterdamse schoolparlement dan wel meewerken, zij het onder protest.
blz. 14, De Groot
- Een centraal instituut
TL De Amsterdamse schooltoets was in feite nog steeds een regionaal gebeuren. Hoe kwam het Cilo uiteindelijk in beeld?
Dat was achter de schermen al in beeld. Vergeet niet dat de Amsterdamse schooltoets het zo veelsie RITP project was. Wiskunde en taaltoetsprojecten - de laatste gericht op eindexamen niveau - waren eraan voorafgegaan of nog in gang. De idee van toetsen was in de eerste helft van de jaren zestig in VHMO kringen en in Den Haag al niet zo vreemd meer. Aan de Universiteit van Amsterdam werd hard gewerkt aan psychometrica en dan toetsconstructie in het bijzonder. We hadden daar een afdeling Examen-Techniek, waar onder meer het vroege werk van Van Naerssen en Mellenbergh tot stand kwam. We kregen invloed.Op een ander niveau was het ontstaan van SVO belangrijk. Dat was voornamelijk ldenburgs werk, en daarin heb ik hèm gesteund. Onder meer als lid van een soort lobby-groep bij O. en W., bestaande uit vijf hoogleraren. Toen SVO er eenmaal was - ldenburg werd voorzitter, ik medebestuurslid - werd al vrij snel de oprichting van het Cito aangepakt. Op dat moment kon ik dat oude verhaal uit 1958 weer tevoorschijn halen, het acroniem CITO stond er al in!
In die jaren kon er veel. Het onderwijs was in beweging, de Mammoetwet werd van kracht en er was plotseling ook politieke steun voor de oprichting van het Cito. Bij de politiek moet je het juiste moment afwachten om zoiets van de grond te krijgen.
Wat de Amsterdamse schooltoets betreft: die kon meteen worden overgenomen. En dat moest ook. Het RITP was een instituut voor onderwijsresearch en voor ons was toetsontwikkeling in de eerste plaats een hulpmiddel. Bovendien waren wij niet toegerust om het blijvend en grootschalig - landelijk - aan te pakken. Zo'n taak hoort ook niet bij een universiteit. Daar kwam nog bij het verschijnen van 'Vijven en Zessen' in 1966. Het samenvallen van gunstige factoren was voor een deel het gevolg van onze strategie. Voor een ander deel - zoals altijd - van een dosis geluk, met name wat het politieke klimaat betreft.
TL Was Grosheide toen niet staatssecretaris van Onderwijs?
Ik dacht het wel ja. Hij was de politiek verantwoordelijke bewindsman. Den Haag wilde een centraal instituut, zo los mogelijk van de Amsterdamse Universiteit. Arnhem leek een geschikte neutrale plaats ervoor. En zo ontstond in 1968 - ik zat zelf een jaar in Amerika en, zoals bekend, deed Sjeng Kremers het oprichtingswerk - de Stichting Centraal Instituut voor Toelsontwikkeling, gevestigd te Arnhem.
TL Als je nu terugkijkt naar de ideeën van toen. Hoe zijn je gevoelens daar dan nu over?
Het Cito leek en lijkt mij nog steeds een zeer geslaagde onderneming. Het pakte onder Solberg de zaken aan zoals ik die toen ook beoogde. De eindexamens kwamen in beeld. Eerst experimenteel, later officieel. In een later stadium ontstond het periodiek peilingsonderzoek. Dat vond ik met name een schitterend initiatief: beleidsinformatie en publieksinformatie over leerlingenprestaties. Zoiets betekende toch een grote winst voor het onderwijs, vergeleken met de jaren daarvoor.blz. 14-15, De Groot
- Kritiek
TL Er klinkt enthousiasme door in zijn uitspraken. Het is daarom met enige terughoudendheid dat ik hem vraag of zijn gevoelens louter positief zijn.
Niet over de hele linie. Punten van kritiek heb ik ook wel. De belangrijkste vraag in dit verband is of het Cito de afgelopen vijfentwintig jaar wel voldoende geijverd heeft voor de verbreiding van de verworven meer algemene inzichten die het werk heeft opgeleverd. Ik denk hierbij aan inzicht in de grote verschillen in prestatievermogen van leerlingen die telkens weer uit scoreverdelingen naar voren komen. En dan de onmiskenbare hoofdoorzaak daarvan: grote verschillen in leervermogen, in aanleg. De tijd van het geloof in ‘iedereen kan alles leren’ - door veel wereldvreemde intellectuelen en bureaucraten, inclusief beleidsmakers, heftig beleden - is weliswaar voorbij, maar de egalitaire wensdroom is nog lang niet uitgewerkt. En juist die droom staat een goed onderwijsbeleid in de weg.De aarzeling om verschillende prestatieniveaus te erkennen leeft nog steeds: in de basisvorming, maar ook in het hoger onderwijs, WO versus HBO is er een voorbeeld van. Ook de neiging het onderwijs de schuld te geven als blijkt dat grote aantallen leerlingen heel ‘eenvoudige’ dingen niet geleerd hebben, komt uit die droom voort. Het Cito, dat tenslotte de hele dag bezig is met het differentiëren tussen prestaties van leerlingen, ook in predictieve zin, had daar best wat meer tegengas kunnen geven. Bijvoorbeeld alleen al door meer concrete informatie te verstrekken - op itemniveau dus - over hoe moeilijk een aantal ‘eenvoudige’ dingen blijkt te zijn. Leraren uit het voortgezet onderwijs, van VBO tot en met Gymnasium, weten dat, maar politici nog steeds niet, vrees ik.
TL De terughoudende stellingname van het Cito is onder andere het gevolg van de positie die het instituut inneemt: het mede uitvoering geven aan het onderwijsbeleid. Zo wordt in Zoetermeer ook tegen het Cito aangekeken.
Ja, dat is natuurlijk waar wat je zegt. ‘Het Cito moet gewoon doen wat wij willen’, dat is de overheidsgedachte geworden, begrijp ik. Niet het onderwijsbeleid kritisch volgen en als dat nodig is van minder welkome data voorzien, maar het beleid uitdragen en uitvoeren en verder geen onzin. Niettemin: als er dan weinig speelruimte geboden wordt dan zou het Cito die zelf moeten creëren. En aan de andere kant vind ik dat de overheid zijn eigen instrumentarium beter moet benutten.Wat ik ook jammer vind - en dat hangt met het voorgaande samen - is dat het Cito zelf zich zo weinig met doelstellingenonderzoek heeft beziggehouden. In de discussie over en in die rare ontwikkeling van de basisvorming heb ik de stem van het Cito niet gehoord. Vanuit jullie expertise in differentiatie en in vragen naar de haalbaarheid van doelstellingen had toch iets verstandigs, iets waarschuwends gezegd kunnen worden? Bijvoorbeeld over de aanvankelijk beloofde ‘algehele verhoging van het peil van het jeugdonderwijs’ en over de nadruk op het midden van de ‘leervermogen-verdeling’ die in de opzet besloten ligt, zonder veel aandacht voor de ‘top-10%’ en de ‘bottom-20%’.
blz. 16, De Groot
Gertrude N. Smit (1995). De beoordeling van professionele gespreksvaardigheden. Constructie en evaluatie van rollenspel, video- en schriftelijke toetsen. Baarn: Nelissen. Proefschrift RU Groningen. 195 blz. (promotoren o.a. Hofstee) (ingevoegd: Gertrude Smit (1994). De beoordeling van professionele gespreksvaardigheden. De Psycholoog, 266-269. "Trainingen in gespreksvaardigheden maken bij tal van opleidingen deel uit van het curriculum. Toetsen om na te gaan of studenten na afloop van de training in staat zijn de geleerde gespreksvaardigheden adequaat toe te passen zijn vaak niet voorhanden. In dit artikel wordt de constructie van een mogelijke toetsvorm besproken: de rollenspeltoets. Ook wordt verslag gedaan van een eerste onderzoek naar de betrouwbaarheid en begripsvaliditeit van deze toets.")
Wat mij verbaast: ik zie geen discussie over de vraag of toetsen wel verstandig is. Het gaat tenslotte om een practicum-activiteit, mag ik aannemen (boekenwijsheid toetsen lijkt hier toch wel buiten de orde, of vergis ik me daarin?). De docenten voor dit vak gespreksvaadigheid moeten on the fly knnen beoordelen waar de student nog aan moet werken. Waarom zou dat niet voldoende zijn? Kortom: ik mis een uiteenzetting met de opvatting van A.D. de Groot over P- en H-onderdelen (uit mijn hoofd: dat staat in zijn Selektie vor en in het hoger onderwijs, 1972. Dat is inderdaadniet genoemd in de literatuurlijst van Smt). Het verbaast ook hierom: promotor Wim Hofstee staat niet bekend als voorvechter van onnodig toetsen. Maar nut en noodzaak zijn in dit proefschrift geen onderwerp van discussie/onderzoek.
William D. Hedges (1966). Testing and evaluation for the sciences in the secondary school. Wadsworth. lccc66-13465
- loads of examples
- the tradtional psychometric approach is endorsed, as is Bloom and others' taxonomic system
W. H. F. W. Wijnen (1972). Onder of boven de maat; een methode voor het bepalen van de grens voldoende onvoldoende bij studietoetsen. Amsterdam: Swets & Zeitlinger.
Kurt Ulbricht (1979). Theorie und Praxis lernzielorientierter Prüfungen in Schule und Hochschule. Frankfurt a/M: Peter Lang. isbn 3820463313 (mastery learning, criterion referenced testing)
A. D. Groot (1966). Vijven en zessen. Cijfers en beslissingen: het selectieproces in ons onderwijs. Groningen: J. B. Wolters.
- Ad doorzichtigheid: Wat de leerling daarentegen nodig heeft, is: voor hem/haar begrijpelijke informatie over hoe hij het gedaan heeft. Er moet ‘feedback’ zijn, zeggen we tegenwoordig graag, en de teruggekoppelde informatie moet duidelijk zijn. Juist bij afwezigheid van objectieve normen (studietoetsen b.v.) is de informatie die in de cijfergeving ligt voor de leerlingen essentieel. De leraar deelt in belangrijke mate via zijn cijfers mee, hoe zijn beoordelingsnormen liggen, wat hij als bijzaken en wat hij als hoofdzaken beschouwt, waar hij de grens tussen voldoende en onvoldoende trekt, hoe hij een rapportcijfer samenstelt - kortom: hij deelt via zijn cijfers mee, waar de leerlingen zich aan te houden hebben. Die mededelingen nu zijn alleen goed bruikbaar als ze ’doorzichtig’ zijn, d.w.z. als ze consequent volgens een voor de leerling doorzichtig systeem worden gegeven. Die doorzichtigheid ontbreekt: als het systeem zo ingewikkeld is dat het niet meer te doorzien valt; als de leraar zelf niet precies weet, hoe hij het doet, daardoor niet consequent kan zijn - maar dit als zijn soevereine ‘vrijheid’ beschouwt; als een deel van de gegevens aan de leerlingen wordt onthouden: het ‘geheime’ cijferboekje en de ‘geheime’ formule - tekenen van een machtsopvatting van het ambt en/of van een slecht geweten. Die doorzichtigheid nu wordt principieel aangetast als men het principe loslaat, dat een cijfer (een rapportcijfer met name) aan zo goed mogelijke weerspiegeling van de geleverde prestaties moet zijn; dus: zodra men bijkomende factoren gaat verdisconteren. Die bijkomende factoren - op grond van pedagogische overwegingen - zijn namelijk voor de leerling goeddeels onvoorspelbaar. Hij kan ze, als methode, nooit goed leren doorzien. Niet alleen wat de overgangsbeslissing betreft, maar zelfs al - geheel onnodig - daarvóór, bij de opstelling van de rapportcijfers, moet hij maar ‘afwachten wat ze met hem zullen doen.’
blz. 149
Charles Tilly (2006). Why? What happens when people give reasons . . . and why. Princeton University Press. isbn 9780691125213 info
Daniel Starch (1916). Educational measurements. New York: Macmillan. https://archive.org/details/educationalmeas01stargoog
Grappig boek, bevat veel opgaven, weinig tekst. De diverse hoofdstukken gaan over het meten van abilities (!), van schrijven, spellen, rekenen, latijn, duits, natuurkunde etc. Overlap van abilities tussen klassen (p. 41)
Banesh Hoffmann (1962/78). The tyranny of testing. Crowell-Collier. Reprint 1978. Westport, Connecticut: Greenwood Press. isbn 0313200971 kind of a review?
Obituary http://www.nytimes.com/1986/08/06/obituaries/banesh-hoffmann-an-author-and-collaborator-of-einstein.html
A. R. Gilliland, R. H. Jordan & Frank S. Freeman (1931 2nd). Educational measurements and the class-room teacher. The Century Co. archive.org online
- Ch. I (The need for more adequate methods of grading)
-
Ch. IX Arithmetic 182-207.
- Importance and problems of instruction in arithmetic types of arithmetic tests
- Courtis Standard Research Tests, Scries B
- Courtis Standard Practice Tests in Arithmetic
- Compass Diagnostic Tests in Arithmetic
- Cleveland Survey Arithmetic Tests
- Woody-McCall Mixed Fundamentals
- Monroe Diagnostic Tests in Arithmetic
- Monroe's Standardized Reasoning Tests in Arithmetic
- Ch. XIII Secondary school mathematics 261-279
- The problem of measurement in mathematics
- Rogers test of Mathematical Ability
- Kelley Mathematical values Test Alpha
- Hotz First Year Algebra Scales
- Douglass Standard Diagnostic Tests for Elementary Algebra
- Illinois Standardized Algeba Tests
- Minnick Geometry Tests
- Schorling-Sanford Achievement Test in Plane Geoetry
- Columbia Resaerch Bureau Plane Geometry Test
Charles W. Odell (1927). Educational tests for use in high schools, second revision. University of Illinois Bulletin, 24 No. 33. pdf
G. M. Ruch and George D. Stoddard (1927). Tests and measurements in high school instruction. New-York: World Book Company. [not available online]
- The present status of measurement in secondary schools 1-7
- Uses and limitations of tests in the high school 8-41
- Criteria for the selection of educational tests
- Descriptions of high school tests by subjects 71-250
- Informal objective examination methods 251-300
- The construction of educational and mental tests 301-376
Cor Sluijter (1998). Toetsen en beslissen: Toetsing bij doorstroombeslissingen in het voortgezet onderwijs. Proefschrift Universiteit van Amsterdam. pdf
N. v.d. Gaag (1990). Empirische utiliteiten voor psychometrische beslissingen. Proefschrift UvA 22 november 1990 (promotor: Don Mellenbergh).
mijn notitie d.d. 4-2002: Dan blijkt dat van proefpersonen heel vreemde dingen worden gevraagd, en dat ze keurige antwoorden geven die bij benadering lineaire nutsfucnties (inderdaad: twee, over ware beheersing) opleveren. Dit zijn experimenten die heel bruikbaar zijn om te illustreren hoe volgzaam proefpersonen zijn (niet alle proefpersonen, trouwens, er is wel een enkele opstandige proefpersoon geweest). Bijzonder problematisch, maar dat gaat al terug tot op het onderzoek van Vrijhof (1981) (zie Psychon aanvraag, 1986, van Mellenbergh), is dat studenten, als student, en docenten, als docent, tot dezelfde nutsfuncties komen. Dat suggereert dat de resultaten van deze onderzoeken artefactueel kunnen zijn
- par 2.3: ‘De houding ten opzichte van risico heeft zijn weerslag op de utiliteiten. Er zijn verscheidene maten ontwikkeld om deze risicohouding te meten. De Pratt-Arrow maat geniet hiervan de meeste bekendheid. (zie o.a. Pratt, 1964; Krzysztofowicz, 1983 en Pope, 1983).’
Dit moet ik uitzoeken, want risico is nu juist inbegrepen in de nutsfunctie (Keeney & Raiffa! Bv. risicomijdende, risicozoekende functies). vd Gaag gaat uit van de misvatting dat voor besliskundige cesuurbepaling de cesuur op de onderliggende trek to al bekend moet zijn. Hfdst. 3:
‘Met behulp van de psychometrische besliskunde kan een waarde voor c worden bepaald die optimaal is, gegeven de gekozen waarde voor to.’vd Gaag gaat ook uit van de bijzondere opvatting over wat utiliteit is (einde par. 3.1):
‘Voorwaarde hierbij is dat utiliteiten worden gespecificeerd als functie van de behandeling en het criterium.’vd Gaag behandelt in par. 3.2 kort en m.i. onvolledig het verschil tussen extensive forms [sic] analysis en normal forms analysis. vd Gaag vermengt in par. 3.3 het nut over de onderliggende trek met een soort verliesfunctie gegeven de genomen beslissing. Dat is één van de fundamentele problemen in de literatuur in de school van van der Linden, als ik dat zo even mag aanduiden (de misvatting komt in de literatuur al eerder voor, ik zal een onderzoekje doen wie ermee is begonnen). vd Gaag haalt in 4.1 een platonische misvatting binnen:‘De criteriumscore op zich is echter een vaststaand gegeven.’Dat is beggging the question. In par. 4.5 weer verwoord dat de ware cesuur al bekend moet zijn:
‘Voor het bepalen van de optimale cesuur op de test is het van belang dat het punt op he criterium waarbij de utiliteitsfuncties voor beide beslissingen (slagen en zakken, dan wel aannemen en afwijzen) elkaar snijden (‘het snijpunt’), bekend is. Als de beslisser zelf de standaard to op het criterium heeft vastgesteld, dan is het aannemelijk dat de functies elkaar in dit punt snijden. Als dit niet het geval is, dan is het mogelijk dat het snijpunt niet samenvalt met de standaard to. De exacte waarde van het snijpunt kan worden bepaald door rechtsstreeks te vragen naar het punt op het criterium waarbij beide beslissingen hetzelfde worden gewaarderrd.’Nou ja.
éénmaal fout gestart, blijft het behelpen. par. 4.6:
‘Om tot één unieke optimale waarde voor de cesuur te komen is het noodzakelijk dat de utiliteitsfuncties voor de beslissingen slagen en aannemen monotoon niet-dalende functies zijn, en de utiliteitsfuncties voor de beslissingen zakken en afwijzen monotoon niet-stijgende functies.’Hfdst. 5: het is mij een raadsel wat de rechtvaardiging is om studenten te vragen nutsfuncties te specificeren voor beslissingen die zij zelf niet nemen of hoeven te nemen. Ook heel wonderlijk is dat bij de vage opdrachten die de proefpersonen voorgelegd krijgen, in het merendeel van de gevallen keurige functies verschijnen die in overeenstemming zijn met de foute theorie (geven eerdere publicaties over dit type experimentjes misschien een aanwijzing of er uiteindelijk methoden gekozen zijn die opleveren wat ervan werd verwacht?). p. 66 onderaan: ik begrijp niets van het makkelijke switchen van testscores naar onderliggende trek. Leuke opmerking is hier:
‘Twee personen hebben aangegeven dat de functies voor slagen en zakken elkaar niet behoren te snijden. Zij waarderen de beslising slagen altijd meer dan de beslissing zakken, onafhankelijk van de criteriumscore.’Hier zit misschien ook een aanwijzing voor wat de manco is in de methode: de proefpersonen waarderen de mogelijke uitkomst van de beslissing. Je hebt dat hele gedoe met nutsfuncties nu juist nodig om die beslissing te kunnen nemen. par. 5.2.4 vd Gaag voelt nattigheid:
‘Het is immers voor de meeste studenten altijd aantrekkelijker om te slagen dan om te zakken, onafhankelijk va de hoeveelheid kennis die zij hebben.’Ze zegt daarmee in het tweede vooronderzoek rekening gehouden te hebben, maar dat ontgaat mij toch. Ik denk dat de ‘methode Direct’ gewoon niet deugt:
‘Voor de methode Direct krijgen de beslissingen slagen en zakken bij een gegeven kennisniveau altijd dezelfde utiliteitswaarde met een tegengesteld teken toegewezen (bijvoorbeeld +3 voor slagen en -3 voor zakken).’Ik vind dit wonderlijk, en enkele proefpersonen ook:
‘Niet alle personen konden op deze manier hun mening goed tot uiting brengen. In het tweede vooronderzoek werd dit probleem verholpen door beide beslissingen in één opgave apart te laten beoordelen.’par. 5.3.1 De methode Bechtel leidt dan tot de volgende vraag aan proefpersonen:
‘U BENT GESLAAGD. Geef aan in welke mate u meer waarde aan deze beslissing hecht bij het ene kennisniveau dan bij het andere kennisniveau: 40% 9 8 7 6 5 4 3 2 1 0 1 2 3 4 5 6 7 8 9 70 %.’Dat is een merkwaardige vraagstelling. Er is immers maar één waar kennisniveau, en dat is onbekend. Wat zou er omgaan in de grijze hersencellen van deze proefpersonen? par. 9.2, p. 122:
‘Van den Brink (1982) verdedigt het individuele standpunt, waarbij de prestaties van de groep geen invloed hebben op de beslissing voor een gegeven persoon.’par. 9.4, p. 125:
‘Een serieuze belemmering bij de toepassing wordt gevormd door het feit dat de beslissingen voor individuele personen afhankelijk zijn van de prestaties van de groep waartoe zij behoren. Voor selectiebeslissingen valt dit vanuit het instituut gezien nog wel te verdedigen, maar voor beheersingsbeslissingen is dit op zijn minst een aanvechtbare strategie.’Jammer dat dit opmerkingen na afloop van het onderzoek zijn. Ik heb onvrede met het soort beslissingen waar dit type onderzoek over gaat: dat zijn guillotine-beslissngen, keuzen tussen dood of leven: eenmaal dood, altijd dood. Dat is niet realistisch genoeg, het tentamenmodel van Van Naerssen is dan toch een heel eind verder op de goede weg.
-
G. J. Mellenbergh, W. P. van den Brink, & N. van der Gaag (1986). Utiliteitsfuncties voor psychometrische beslissingen. Psychon-aanvraag (promotieonderzoek van der Gaag). Bij deze aanvraag de volgende aantekeningen Op p. 2 wordt verwezen naar een overzichtsartikel van Wim van der Linden (1984). Decision theory in educational research and testing. In T. Husen & T. N. Postlethwaite (Eds) International ecyclopedia of education: research and studies. Oxford: Pergamon Press. Hij onderscheidt daarin vier typen psychometrische beslissingssituaties: classificatie, plaatsing, selectie, en beheersing, waarbij er bij de laatste een ‘intern criterium’ is, de mate van ‘ware’ kennis van de stof. Het probleem dat ik met deze formulering heb is dat de actor hier de psychometricus is, niet degene over wie wordt beslist. That goes against the grain of decision theory, al kun je er natuurlijk expliciet voor kiezen te optimaliseren vanuit de optiek van de docent. De grote vraag is dan wat voor zin het heeft studenten nutsfuncties te laten aangeven, zoals zowel in de onderzoeken van Vrijhof als van Van der Gaag gebeurt (naast docenten als proefpersonen). Op p. 3 blijkt dat Don Mellenbergh zich wel van het onderscheid bewust is, maar er geen consequenties uit trekt: ‘Een alternatief is degenen, die beslissingen nemen of ondergaan, zelf hun utiliteitsfunctie te laten specificeren.’ (mijn cursivering).
Deze uitspraak getuigt ook overigens van een hoog ivoren toren gehalte, wat juist voor besliskundige analyses niet nodig is.
In deze aanvraag wordt op p. 3 kort het onderzoek van Vrijhof weergegeven, waarbij studenten nutsfuncties moeten specificeren voor een kunstmatige situatie van geslaagd of gezakt te zijn (vignet-methode), waarvan ik de zin niet kan inzien. Bijzonder probleem is voor de beslissing gezakt en ook voor de beslissing geslaagd (alsof het om twee verschillende beslissingen zou gaan!) een nutsfunctie wordt aangegeven (maar het APM-artikel 1983 laat zien wat daar de voorgeschiedenis van is). Boeiend is de samenvatting bovenaan blz. 4 van de onderzoeken van Vrijhof en van der Gaag (scripties): (1) nutsfuncties specificeren kan betrouwbaar gebeuren (maar wat is de zin daarvan, wat is de validiteit?), (2) er zijn geen systematische verschillen tussen de nutsfuncties van docenten en leerlingen (dat verbaast mij; waarom zou je verwachten dat deze actoren identieke nutsfuncties hebben?; (3) minstens 70% van de empirisch bepaalde utiliteitsfuncties kan redelijk benaderd worden met een lineaire functie (dat is unbelievable).
G. M. Ruch (1924). The improvement of the written examination. New York: Scott, Foresman and Company. [not online]
- This book is a program to exchange the essay examination for the new objective type test. The test may be teacher-made.
Functions of written examinations 1-12
The criteria of a good examination 13-39
Sources of error in written examinations 40-64
Types and construction of the newer objective examinations 65-105
Experimental sudies of several types of objective examinations 106-130
Statistical considerations related to examination technique 131-148
appendices 154-190
- p. 10: "The next step is obviously that of refining the examination to a point where it will begin to approach the accuracy of measurement in physics, chemistry, and the quantitative sciences generally." This is a momentous misconception, the kernel of Odell's mental model on assessment.
- The book, then, attempts to carry out the program hinted at in the p. 10 citation. The list of quality criteria on p. 11 looks familiar, except for the fourth item which expresses the contrast with labor intensive scoring and grading of essay-type tests:
- Validity
- Reliability
- Objectivity
- Ease of adminsitration and scoring
- Standards.
R. F. van Naerssen (1971). Het mondelinge examen als sekwentiële beslissingsprocedure. Nederlands Tijdschrift voor de Psychologie, 26, 568-579. [hardcopy ] Omstandigheden waarin het mondeling de voorkeur verdient.
W. K. B. Hofstee (1971). Begripsvalidatie van studietoetsen: een aanbeveling. Nederlands Tijdschrift voor de Psychologie, 26, 491-500.
D. N. M. de Gruijter (1971). Het handhaven van normen bij studietoetsen door toetsvergelijking. Nederlands Tijdschrift voor de Psychologie, 26, 480-490.
Wat halen we ons toch een hoop gedoe op de hals door net te doen alsof studietoetsen psychologische tests zijn. Een goede studietoets gaat immers over de kern van de stof, een kern die de studenten uiteraard horen beheersen. Het handhaven van normen is hier helemaal niet aan de orde!
R. F. van Naerssen (1968). Het bepalen van de caesuur voldoende/onvoldoende. Memorandum AET-245. stencil in bak ex ces
R. F. van Naerssen (1968). Waarom de kernitemmethode faalt en hoe deze verbeterd kan worden. AET memorandum 253. Stencil in bak ex ces.
R. F. van Naerssen (1974). Psychometrische aspecten van de kernitemmethode. Nederlands Tijdschrift voor de Psychologie, 29, 421-430.
Tegenkracht organiseren. Lessen uit de kredietcrisis. RMO. pdf
Over de Cito-Eindtoets-Basisonderwijs, over de rekenmethode Wizwijs, zie blz. 28 e.v.
- Vergelijkingen met de voorbeelden uit de financiële sector dienen zich aan. Ook voor dit voorbeeld geldt dat we de waarde van de Citomethode niet willen bagatelliseren. Het is immers in essentie een productief instru ment om de prestaties van leerlingen te meten. Wel vragen we aandacht voor de manier waarop deze methode – en dat kan ook gelden voor verge lijkbare leerlingvolgsystemen – de structuur van het basisonderwijs over heerst. Juist omdat iedereen zo veel waarde aan de toets hecht, bestaat het risico dat het onderwijs zich alleen nog ten dienste stelt van het behalen van een hoge score. En dat is iets anders dan het nastreven van onderwijs doelen. Het onderwijsprogramma past zich aan de structuur van het toet singssysteem aan en ook het onderwijsmateriaal richt zich op het behalen van een goede score op de toets (Bokhove 2008). Bovendien verwordt de Citoscore tot een nieuwe werkelijkheid om mee te meten, beoordelen en vergelijken. De Citoscore staat als het ware model voor de kwaliteit van een school of de capaciteiten van een leerling. De opbrengstgerichtheid in het onderwijsbeleid zwakt deze tendens niet af. Net als in de financiële sector schuilt hierin het gevaar dat er een vereenzelviging plaatsvindt met de classificatie: het kind of de school wordt vervat in de score, en de score is de basis voor ouders om een schoolkeuze te maken of voor scholen voor voort gezet onderwijs om kinderen toe te laten.
p. 30-31
Ronald K. Hambleton, Hariharan Swaminathan, James Algina& Douglas Bill Coulson (1978). Criterion-referenced testing and measurement: a review of technical issues and developments. Review of Educational research, 48, 1-47. JSTOR read online free
Authors think in terms of classification. Philosophers would call this an category mistake. The better approach: decision-theoretic without artificial classificatory cutting scores.
Hambleton & Powell (1981). Standards for standard setters. paper AERA. [I have dumped my hardcopy; is of no use for me]
Hambleton, R. K., Swaminathan, H., Algina, J. & Coulson, D.B. Criterion referenced testing and measurement: a review of technical issues and developments. RER 1978, 48, 147.
Category mistake: thinking in terms of ckassification, while there are no classes (other than being artificially so defined).
Wim J. van der Linden (1980). Psychometric contributions to the analysis of criterion-referenced measurements. Doctoral dissertation, University of Amsterdam. (promotor: Don Mellenbergh)
Repeats the important misconceptions regarding utility functions, and classification as a model. The category mistake is that testees would belong to different categories—they do not. They get sorted into different categories (treatments), something different altogether. The category mistake does not help to identify the misconception regarding utility functions: not distinguishing between utility functions proper, and expected utility functions; see, f.e., chapter 7 or Psychometrika p. 261 “For the purpose of this paper, it is sufficiently general to consider the utility U as a function of the criterion Y, which is allowed to assume a different shape for each treatment.”. On the goal variable Y there can be, of course, only ONE utility function. Trying to specify treatment-dependent utility functions is messing up the one utility function on the goal variable with fuzzy costs or utilities really belonging to other goal variables. Van der Linden and any researchers with hem have not been able to se that they artificually and cruelly are reducing problems with multiple goal variables (treated extensively by Keeney and Raiffa, 1976) to problems with only one goal variable. Unbelievable. Didn‘t I explain the problem to Van der Linden and Mellenbergh, then? Sure, I did, in discussing my own 1980 papers in the working group headed by Van der Linden.
- Introduction and overview.
- Decision models for mastery testing. [van der Linden, W. J. (1980). Decision models for use with criterion-referenced tests. Applied Psychological Measurement, 4, 469-492]
- Binomial test models and item difficulty [van der Linden, W. J. (1979). Binomial test model and item difficulty. Applied Psychological Measurement, 3, 401-411.]
- Estimating the parameters of Emrick's mastery testing model. [van der Linden, W. J. (1981). Estimating the parameters of Emrick's mastery testing model. Applied Psychological Measurement, 5, 517-530. pdf]
- Forgetting, guesing and mastery: The Macready and Dayton models revisited and compared with a latent trait approach. van der Linden, W. J. (1978). Forgetting, guessing, and mastery: The Macready and Dayton models revisited and compared with a latent trait approach. Journal of Educational Statistics, 3, 305-318. pdf ]
- A latent trait look at pretest-posttest validation of criterion-referenced test items. [van der Linden, W. J. (1981). A latent trait look at pretest-posttest validation of criterion-referenced test items. Review of Educational Research, 51, 379-402. ]
- Using aptitude measurements for the optimal assignment of subjects to treatments with and without mastery score [van der Linden, W. J. (1981). Using aptitude measurements for the optimal assignment of subjects to treatments with and without mastery score. Psychometrika, 46, 257-274. pdf] “When several consequences of the decision outcomes have to be taken into account, among which less tangible consequences as, for instance, psychic well-being or societal effects, the assessment of utilities may be extremely complicated and not possible without additional assumptions. On the other hand, when only a few clearly defined consequences are deemed important, the situation resembles those in business applications of which many successful illustrations are available [e.g., Keeney & Raiffa, 1976]. Elsewhere [van der Linden, 1980] we have indicated that in choosing a utility function fit to the decisionmaker's utilities should not be the only requirement. The choice of a utility function ought to be a compromise between at least three requirements: (a) fit to the decisionmaker's utilities; (b) fit to the psychometric model relating test scores to true future states; and (c) robustness of results with respect to its parameters. ” [p. 270]
27 september 2015 \ contact ben at at at benwilbrink.nl
http://www.benwilbrink.nl/literature/toetsen.htm#Luijten_1993
http://goo.gl/1K3Uc
Gaea Leinhardt (1980). Modeling and measuring educational treatment in evaluation. Review of Educational Research, 50, 393-420. abstract
Niels H. Veldhuijzen (1980). Difficulties with difficulties. On the betabinomial model. TOR 1980, 5, 145- online
Shows that equal item difficulties are not required for the beta-binomial model to hold.
Niels H. Veldhuijzen (1979). Cesuurbepaling in het beta-binomiale model. Cito no. 4 bulletinreeks online
Kent nut toe aan vier beslissingsuitkomsten bij zakken/slagen. Goochelt met formules, maar is begripsmatig duister. Onnodig ingewikkeld.
Robert Ladd Thorndike (1971). Educational Measurement. Washington: American Council on Education. isbn 0826812716
Gideon J. Mellenbergh & Wim J. van der Linden (1978). Decisions based on tests: Some results with a linear loss function. Paper presented at the European Meeting on Psychometrics and Mathematical Psychology, University of Uppsala, Uppsala, Sweden, June 15-17, 1978. Kwantitatieve Methoden, 4, 51-61.
Two questions, reading the abstract: 1) is the resit properly modeled in decision-theoretic terms? 2) Is it really the case that personnel selection is an analogue?
Ad 1.1: the intention is to predict on the basis of the raw test scores.
Ad 1.2. No, correction. The to be ‘predicted’ scores turn out to be true scores of a variable ‘suitable’. How is it possible to predict platonic scores?
Ad 1.3 Introduces a linear loss function, following Mellenbergh & Van der Linden (1977). I will first annotate that one!
Mellenbergh, G.J., & Van der Linden, W.J. (1981). The linear utility model for optimal selection. Psychometrika, 46, 283 - 293.
Wim J. van der Linden & Gideon J. Mellenbergh (1977). Optimal cutting scores using a linear loss function. Applied Psychological Measurement, 1, 593-599.pdf
This is an exercise in reliability, as Wim van der Linden will call it later (1980, Applied Psychological Measurement). Does finding ‘optimal’ cutting scores, given one has ‘fixed in advance’ a latent cutting score solve any real problem? The article might present some useful techniques, or demonstrate some techniques to be not useful at all. Let’s see.
References: Hambleton & Novick (1973); Meskauskas (1976); Huynh (1976).
The analysis will be over the total group of testees. This particular choice is not discussed by the authors. An alternative analysis is to consider only the testees scoring x = c, c being the particular cutting score considered for analysis. Would that model choice have made a difference? Sure: an order of magnitude, much and much simpler, better transparency. See my 1980 in Tijdschrift voor Onderwijsresearch.
Reference to Huynh (1976) & Mellenbergh, Koppelaar & Van der Linden (1976) for threshold loss analysis: minimizing the risk. I will have to annotate these articles, too: searching for the ancestry of the concepts of loss and risc as used by Mellenbergh & Van der Linden. A shorcut: Mellenbergh & Gode 2005, last chapter on decision-theoretic analysis.
G. J. Mellenbergh & M. Gode (2006). Beslissend testgebruik. In W. P. van den Brink & G. J. Mellenbergh: Testleer en testconstructie (399-427). Boom. isbn 9053522395 info boek
I will comment in English, even though the book is in Dutch. The reason is that I expect the problematic aspects in this chapter to be typical of the decision-theoretic literature in the field of educational measurement.
The chapter identifies Cronbach & Gleser’s classification, allocation and selection, as well as Van der Linden’s (1985) mastery. In the latter case the prediction is of the latent trait or true score. Wow! This is 1977. Totally unacceptable, because is does not offer any practical solution? Let’s see. Mellenbergh & Gode here define allocation as classification; classification with Cronbach & Gleser is categorical (with the testee, not with the treatment): man/woman; healthy/cancer. I really am disappointed, already on the first page of the chapter. Will have to talk to Don about this, I suppose. The Van der Linden ‘mastery’ category is phoney and therefore superfluous (I have shown as much in my 1980 articles). The chapter does not treat the mastery decision at all; why then introduce this dubious distinction?
Utility functions get introduced on p. 405. Regrettably, this introduction is faulty. The text states: “A utility function represents what the ‘results’ are of the selection procedure’ [my translation, b.w.]. Expected utility gets mistaken voor utility. These concepts are categorically different! This is the kind of mistake that is rather typical of the literature on decision making in testing situations, regrettably.
The next problem is dat suitability is declared to be absolute: either the employee turns out to be suitable, or not. This kind of rationalizing is not unusual in selection psychology, yet it is very clumsy and above all it is unnecessary. It is also unnecessary if one has to take pass-fail decisions, as will be the case in, f.e., the situation depicted in Figure 12.1.
Here threshold loss gets introduced. The reference is Hambleton & Novick 1973. I will now annotate that one, it is pretty basic to pretty much all that has been published later on utility models for achievement tests.
Wim J. van der Linden (1985). Decision theory in educational research and testing. In T. Husen & T. N. Postlethwaite (Eds.), International encyclopedia of education: Research and studies (pp. 1328-1333). Oxford: Pergamon Press.
Lee J. Cronbach & Goldine C. Gleser (1957/1965 ). Psychological tests and personnel decisions. University of Illinois Press.
Ronald K. Hambleton & Melvin R. Novick (1972). Toward an integration of theory and method for criterion-referenced tests. ACT Research Report 53. Journal of Educational Measurement, 1973, 10, 159-170. pdf
The basic paradigm, believe or not, is sketched verbally in the following citation. It has been followed stubbornly by many researchers not asking some critical but simple questions. The formal apparatus follows the next description (see the report).
The formal model then gets presented in a formalistic way that makes it rather difficult to understand. Let me therefore first report in my own words what the authors propose here, and the extensions of the model that in my opinion are necessary to avoid any fuzziness..
The figure is from Wilbrink 1980b, Figure 3. It illustrates the situation pretty well. I did not succeed in 1980 to get rid of the fuzzy ‘costs’ of the resit, however ;-)
The test supposedly is a rather short one, the authors never suggest a specific number of items, however. Yet the model has been used in later years for more serious testing in, for example, higher education. Will that make a difference? Supposedly so, but I do not know of any analyses on the subject (they should be available in the literature, I suppose).
Let me first take a look at the following: “Basically then, the examiner's problem is to locate each examinee in the correct category.” This is problematic, it runs counter to the intention to find an acceptable utility function on the goal variable that is relevant to the situation. The goal variable is not correct classification, it is mastery. The problem then is to optimize the level of mastery, using the instrument of extended instruction/learning and a second test., implying a cutoff score on the first test.
Another problem here is the decision to reduce the criterium variable ‘mastery’ to a dichotomy, for no good reason whatsoever. In fact, no reason is given at all, except implicitly that the talk of the town has it that there should be a very special point on the dimension of mastery: so special, in fact, that we speak of masters for those above this magical point, and non-masters for those still below it. I ridicule the thinking of Hambleton and Novick here, because they are smuggling in threshold utility. A mortgage on the house of decision theoretic test psychology. Categories are, f.e., man-woman; cancer yes-no; cat or dog. What Hambleton and Novick are doing is introducing a pseudo category that seems to come in handy in a situation where pass-fail decisions have to be taken.
See here above also the already familiar mistake of calling an expected utility (or loss) simply utility (or loss). Yet these are fundamentally different. Utility is a function over the goal variable, in this case the goal variable is mastery. Expected utility is what obtains for the options in your decision problem, in this case passing or retaining students with a score X=c. In fact it is really simple: whether the decision is to pass or fail this person, her mastery π stays the same and has one definite utility. Meaning also: there is no way to construct a loss here, there are no differences in utility at all, for this person. Therefore the decision model needs to be developed further: failing the student means she has to sit the test again, after some extra time spent in preparation and thus ameliorating her mastery π. The loss in passing this student is then the absolute difference between the utilities of both levels of mastery.
Allow me one more comment on the sentence cited above. The authors have it that (some) decisions are ‘incorrect’. How can that be? Should other decisions have been taken? This is all very clumsy. If decisions have been taken reckoning with the information available, how is it that they can be ‘incorrect’? Herbert Simon was quite explicit on this point: if two alternatives have expected utilities near each other, choose the one with the somewhat higher expected utility. It might turn out that the outcome is disappointing; does that make the decision ‘incorrect’? I don’t think so. There is quite another problem yet with this decision model: the decision maker is not the student. Yet students will adapt their preparation strategies contingent on where the cutting score will be placed (assuming the difficulty of the test will remain the same). See Van Naerssen (1970), or on this website my SPA-model. For the student as decision maker, the model is also one of threshold utility; assuming a pass will have utility 1, a fail utility 0, expected utility for the student is simply the probability to pass. That probability depends on her mastery. For the institution or the teacher the optimalization problem therefore is quite another one than Hamilton and Novick try to let us believe: it is to find that threshold on the test as well as the retest that will result in the highest mastery (for individuals or for the group of testees) in some sense (expected utility that is).
W. K. B. (1970). De betrouwbaarheid van slaag-zak-beslissingen. Nederlands Tijdschrift voor de Psychologie, 25, 380-383.
Mooi ondoordacht gebruik van terminologie ‘missers’. Wim Hofstee mist hier de kans om de beperkingen van het model van terecht/onterecht beslissen te signaleren. Hij stipt wel aan dat studietoetsen steekproeven zijn, maar trekt daar niet de consequenties uit zoals Edgeworth dat eind 19e eeuw al wel deed: rond de aftestgrens zijn belsissingen niet inhoudelijk te rechtvaardigen, maar in dit type situaties is het wel het geval dat betere voorbereiding de kans op slagen verhoogt.
John S. J. Hsu, Tom Leonard & Kam-Wah Tsui (1991). Statistical inference for multiple choice tests. Psychometrika, 56, 327-348. preview
Huynh Huynh (1977). Two simple classes of mastery scores based on the beta-binomial model. Psychometrika, 42, 601-608. !--hardcopy bak toetsen betabinomiaal--> preview
See Huynh (1976) on the idea of the referral task.
Huynh Huynh & Joseph C. Saunders (1980). Accuracy of two procedures for estimating reliability of mastery tests. Journal of Educational Measurement, 17, 351-358. abstract
I do not think it correct that the betabinomial presumes equal item difficulties. Is that also true in appliations to groups of studens?
Huynh Huynh (1976). On the reliability of decisions in domain referenced testing. JEM , 13, 265-276. preview
bivariate beta-binmial model. In fact, an exercise in threshold loss with criterion referenced tests.
Huynh Huynh (1980). Statistical inference for false positive and false negative error rates in mastery testing. Psychometrika, 45: 107-120. abstract
Huynh Huynh (1982). Assessing efficiency of decisions in mastery testing. JESt, 7, 47-63. preview
False positive error, false negative error. The torture never stops.
Huynh Huynh (1976). Statistical consideration of mastery scores. Psychometrika, 41, 65-78. Ik heb hier uitvoerig aantekeningen bij gemaakt (16 juni 1979). Dit stuk moet ik nog doorwerken abstract
Huynh Huynh (1982). A Bayesian procedure for mastery decisions based on multivariate normal test data. Psychometrika, 47: 309. abstract
Huynh Huynh (1980). A non-randomized minimax solution for passing scores in the binomial error model. Pm, 45, 167. abstract
Huynh Huynh (1979). Statistical inference for two reliability indices in mastery testing based on the beta-binomial model. JESt, 4, 231-246. preview
Huynh Huynh (1976). On the reliability of decisions in domain-referenced testing. Journal of Educational Measurement, 13, 253-264 . abstract
Goro Ishii & Reiko Hayakawa (1960). On the compound binomial distribution. AmInstStMath, 12, 69-80. abstract
Michael T. Kane & Robert L. Brennan (1980). Agreement coefficients as indices of dependability for domain-referenced tests. APM, 4, 105-126. (loss functions) pdf
Koretz, D., Stecher, B., Klein, S., & McCaffrey, D. (1994). The Vermont portfolio assessment program: findings and implications. Educational Measurement, fall, 5-16. (performance assessment) fc nog even gehouden map t/srm abstract
Julius Kuhl (1978). Standard setting and risk preference: an elaboration of the theory of achievement motivation and an empirical test. Psychological Review, 85, 239-248. abstract
J. B. Kuhlemeier, E. J. J. Kremers & F. G. M. Kleintjes. Gebruik en moeilijkheidsgraad van de eerste generatie afsluitingstoetsen basisvorming in het schooljaar 1994/95 / J.B. Kuhlemeier, E.J.J. Kremers en F.G.M. Kleintjes. - Arnhem : Cito, 1996. - 54 p. : Niet beschikbaar op website Cito
Wouter Schoonman (1989). An applied study on computerized adaptive testing. Amsterdam: Swets & Zeitlinger. isbn 9026510470 abstract
10 Real SAT's. New York: College Entrance Examination Board, 2003, 685 blz. quarto pb, monsterachtig, bizar ook.
L. M. C. M. Cremers-van Wees, J. W. M. Knuver, H. J. Vos, & W. J. M. Van der Linden (1998). Model gedragscode toetsen, beoordelen en beslissen in het voortgezet onderwijs. Enschede: OCTO. isbn 9036510899.
Cremers-van Wees, L. M. C. M., Knuver, J. W. M., Vos, H. J., & Van der Linden, W. J. M. (1998). Toetsen, beoordelen en beslissen in het voortgezet onderwijs. Ontwikkeling van een gedragscode voor leraren. Enschede: OCTO.isbn 9036510902.
Hans Kuhlemeier & Huub van den Bergh (1989). De Proefpeiling Nederlands: een onderzoek naar de haalbaarheid van peilingsonderzoek in het Voortgezet Onderwijs.Cito Bulletinreeks nr 74. -- 363 + 102 blz. quarto (zie o.a.: http://taalunieversum.org/onderwijs/onderzoek/publicatie/195/de_proefpeiling_nederlands )
Gerard Heijnen en Sanne Meeder (Red.) (1999). Toetsen en ICT in het hoger onderwijs. Stichting SURF. isbn 9074256104
Starren, J. Starren, S. J. Bakker, en A. Van der Wissel (Red.) (1988 1e; 1995 2e). Inleiding in de onderwijspsychologie. Bussum: Coutinho. isbn 9062837158
Rob Schoonen (1991). De evaluatie van schrijfvaardigheidsmetingen. Een empirische studie naar betrouwbaarheid, validiteit en bruikbaarheid van schrijfvaardigheidsmetingen in de achtste groep van het basisonderwijs. proefschrift UvA. [promotor: Don Mellenbergh]
Jelle van Lenthe (1993). ELI. The use of proper scoring rules for eliciting subjective probability distributions. dissertation Groningen. Leiden: DSWO-Press.
Dit werk past slecht op mijn ATM (Algemeen ToetsModel, zie SPA model), omdat onzekerheden in hetgeen bij Van Lenthe wordt geschat eigenlijk geen rol spelen: dat zijn CBS-statistieken. Voor het voorspellen van de eigen tentamenscore is er dus een heel andere situatie. Voor docenten zou e.e.a. wel bruikbaar kunnen zijn. Ik moet nagaan of het afbeelden van proper scoring rules als alternatief voor het laten zien van aannemelijkheid of voorspellende toetsverdeling overweging verdient (ik denk het niet). Trouwens, de aannemelijkheid is al een soort functie die halverwege een kansverdeling en een 'proper scoring rule' plot staat! I.v.m. risico-attitude, p. 63 3e a.: 'subjects appeared to be remarkably cautious.' Daar staat dan weer tegenover (p. 68, 2e a.): the widely observed overconfidence bias (Fischer). p. 70, 2e a. eind: het onderzoek dat er is over proper scoring rules gaat over heel beperkte situaties. p. 81 3e a.: 'score representation of uncertain knowledge more compatible with the capabilities of the human judge than a probability representation'. Is dat relevant voor het ATM? Ik denk het niet, want ik gebruik niet de verdelingen zelf, maar hun gewogen verwachte waarde.
Ik zie het dus voorlopig zo: wat in het ATM telt, tegen de achtergrond van deze proper scoring rules, is: het hele stochastische apparaat zit onder de motorkap, de input is een inschatting van de huidige beheersing (proeftoetsresultaat) en het leertraject (hoeveel ronden al gedaan), de output is een functie van verwacht nut, die afgezet kan worden tegen functis van verwacht nut voor alternatieve tijdbesteding. Het is natuurlijk denkbaar om experimenten op te zetten waarin scholieren met hulp van het programma van Van Lenthe voorspellingen doen, terwijl ook de ATM-voorspelling wordt gegenereerd. Die twee kunnen een leuk contrast opleveren. Er zijn meer experimenten of grappen mogelijk: pp laten kiezen tussen twee verschillende voorspellende toetsscoreverdelingen of curven van verwacht nut, de ene de ATM-voorspelling, de andere een verstoring daarvan. Dat zou zelfs kunnen uitmonden in een trainingsprogramma waarin leerlingen of leraren leren om daarin steeds fijnere onderscheidingen te maken.
Ellen Boekkooi-Timminga (1989). Models for computerized test construction. De Lier: Academisch Boeken Centrum. isbn 9072015398 (ingevoegd: Boekkooi-Timminga, E. (1990). Toetsconstructie met behulp van de computer. IDEE, 11, 176-178.) Boekkooi-Timminga, E. (1990). A cluster-based method for test construction. APM 14, 341-354.
Ven, A. H. G. S. van der Ven (1969). The binomial error model applied to time-limit tests. Proefschrift K.U. Nijmegen.
Hans Verheij (1992). Measuring utility, a psychometric approach. Proefschrift UvA (Mellenbergh, co: Van den Brink). 130 blz pb-->
Willingness to pay for dentistry treatments with uncertain outcomes.
Brink, W. P. van den Brink (1982). Binomiale modellen in de testleer. Proefschrift (Mellenbergh; coreferenten: Molenaar Van Naerssen) Universiteit van Amsterdam.
W. J. van der Linden (1985). tumblr. 400-411. In Testtheorie. Themanummer Nederlands Tjdschrift voor de Psychologie en haar Grensgebieden, 40, 379-451.
- Een interessante opmerking van Holland citeer ik hier maar even. Hetzelfde punt is gemaakt door Van Naerssen, ooit in een ver verleden: de zak-slaaggrens ligt daar waar het geen verschil maakt om te laten zakken danwel slagen. Maar dat is toch iets ingewikkelder dan het op het eerste gezicht al is: het veronderstelt een besliskundige benadering, en daar hebben geleerden behoorlijk valse slagen gemaakt (de literatuur over criterium-gerefereerd toetsen).