<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN"
"http://www.w3.org/TR/html4/loose.dtd">
<HTML lang="en"><head><title>
Ben Wilbrink: logica van vragen en antwoorden</title>
<link rel="stylesheet" type="text/css" href="../style.css">
<link rel="alternate stylesheet" type="text/css" href="../genealogie.css">
<link rel="alternate stylesheet" title="plain" type="text/css" href="../plain.css">
<link rel="alternate stylesheet" title="txt" type="text/css" href="../txt.css">
<link rel="alternate stylesheet" title="dark" type="text/css" href="../dark.css">
<link rel="alternate stylesheet" title="dark" type="text/css" href="../special.css">
<LINK rel="Start" title="Projecten Ben Wilbrink digitaal beschikbaar"
type="text/html" href="projecten.htm">
<style type="text/css"></style></head><body>
<div class="menu">
<ul>
<li title='Startpagina van de website.'><a href="../">thuis</a></li>
<li title="List of pages and documents on this website."><a href="../sitemap.htm">sitemap<!--[if IE 7]><!--></a><!--<![endif]-->
<!--[if lte IE 6]><table><tr><td><![endif]-->
<ul>
<li><a href="../sitemap.htm#publicaties">publicaties</a></li>
<li><a href="../sitemap.htm#projecten">projecten</a></li>
<li><a href="../sitemap.htm#literature">annotatiess</a></li>
<li><a href="../sitemap.htm#genealogie">genealogie</a></li>
</ul>
<!--[if lte IE 6]></td></tr></table></a><![endif]-->
</li>
<li><a href="toetsvragen.1.htm">toetsvragen ontwerpen<!--[if IE 7]><!--></a><!--<![endif]-->
<!--[if lte IE 6]><table><tr><td><![endif]-->
<ul>
<li><a href="toetsvragen.1.htm">eerder werk gepubliceerd<!--[if IE 7]><!--></a><!--<![endif]-->
<!--[if lte IE 6]><table><tr><td><![endif]-->
<ul>
<li><a href="../publicaties/06begintermenexamens.htm">Begintermen. Toetsen op veranderd begrip.</a></li>
<li><a href="../publicaties/04Toetsopvattingen.htm">toetsopvattingen van docenten</a></li>
<li><a href="../publicaties/97AssessmentStEE.htm">History, 1997</a></li>
<li><a href="../publicaties/95HistoryAssessmentEARLI.htm">History, 1995</a></li>
<li><a href="../publicaties/95LerenWaarderenSVO.htm">Geschiedenis, 1995</a></li>
<li><a href="../publicaties/92KeuzevragenOntwerpenATW.pdf">Handreiking ontwerpen</a></li>
<li><a href="../publicaties/84ToetsvragenOvO.htm">In <i>Onderzoek van Onderwijs</i> 1984</a></li>
<li title="Toetsvragen schrijven. Aula 809"><a href="http://www.benwilbrink.nl/publicaties/83ToetsvragenAula.pdf">Toetsvragen schrijven. Aula 809, 1983. Als pdf 1.4 Mb</a></li>
<li><a href="../publicaties/81KeuzevragenUenH.htm">In Universiteit en Hogeschool, 1981</a></li>
<li><a href="../publicaties/79toetsen.workshop.cowo.htm">workshop 1979</a></li>
<li><a href="../publicaties/79toetsen.cowo.htm">Cursus 10. Toetsen 1979</a></li>
<li><a href="../publicaties/77KeuzevragenORD.htm">ORD 1977 over keuzevragen</a></li>
</ul>
<!--[if lte IE 6]></td></tr></table></a><![endif]-->
</li>
<li><a href="toetsvragen.1.htm">1. Inleiding<!--[if IE 7]><!--></a><!--<![endif]-->
<!--[if lte IE 6]><table><tr><td><![endif]-->
<ul>
<li><a href="toetsvragen.1.htm#1.1">1. ontwerpen</a></li>
<li><a href="toetsvragen.1.htm#1.2">2. uitgangspunten</a></li>
<li><a href="toetsvragen.1.htm#1.3">3. inhoudsoverzicht</a></li>
<li><a href="toetsvragen.1.htm#1.4">4. literatuur</a></li>
</ul>
<!--[if lte IE 6]></td></tr></table></a><![endif]-->
</li>
<li><a href="toetsvragen.2.htm">2. Vraagsoorten<!--[if IE 7]><!--></a><!--<![endif]-->
<!--[if lte IE 6]><table><tr><td><![endif]-->
<ul>
<li><a href="toetsvragen.2.htm#2.1">1. korte open vragen</a></li>
<li><a href="toetsvragen.2.htm#2.2">2. keuzevragen</a></li>
<li><a href="toetsvragen.2.htm#2.3">3. open vragen</a></li>
<li><a href="toetsvragen.2.htm#2.4">4. doorzichtigheid</a></li>
<li><a href="toetsvragen.2.htm#2.5">5. vraagvormen</a></li>
<li><a href="toetsvragen.2.htm#2.6">6. validiteit</a></li>
<li><a href="toetsvragen.2.htm#2.7">7. literatuur</a></li>
<li><a href="toetsvragen.2.htm#geschiedenis">geschiedenis</a></li>
</ul>
<!--[if lte IE 6]></td></tr></table></a><![endif]-->
</li>
<li><a href="toetsvragen.2.6.htm">2.6. validiteit</a></li>
<li><a href="toetsvragen.3.htm">3. Kennis<!--[if IE 7]><!--></a><!--<![endif]-->
<!--[if lte IE 6]><table><tr><td><![endif]-->
<ul>
<li><a href="toetsvragen.3.htm#3.1">1. het waarneembare</a></li>
<li><a href="toetsvragen.3.htm#3.2">2. abstracte begrippen</a></li>
<li><a href="toetsvragen.3.htm#3.3">3. theoretische begrippen</a></li>
<li><a href="toetsvragen.3.htm#3.4">4. verknooptheid</a></li>
<li><a href="toetsvragen.3.htm#3.5">5. definities</a></li>
<li><a href="toetsvragen.3.htm#3.6">6. literatuur </a></li>
</ul>
<!--[if lte IE 6]></td></tr></table></a><![endif]-->
</li>
<li><a href="toetsvragen.4.htm">4. Begrippen<!--[if IE 7]><!--></a><!--<![endif]-->
<!--[if lte IE 6]><table><tr><td><![endif]-->
<ul>
<li><a href="toetsvragen.4.htm#4.1">1. vertalen</a></li>
<li><a href="toetsvragen.4.htm#4.2">2. definiëren</a></li>
<li><a href="toetsvragen.4.htm#4.3">3. voorbeelden geven</a></li>
<li><a href="toetsvragen.4.htm#4.4">4. voorbeelden benoemen</a></li>
<li><a href="toetsvragen.4.htm#4.5">5. formele leerstof</a></li>
<li><a href="toetsvragen.4.htm#4.6">6. beschrijven </a></li>
<li><a href="toetsvragen.4.htm#4.7">7. literatuur </a></li>
</ul>
<!--[if lte IE 6]></td></tr></table></a><![endif]-->
</li>
<li><a href="toetsvragen.5.htm">5. Relaties<!--[if IE 7]><!--></a><!--<![endif]-->
<!--[if lte IE 6]><table><tr><td><![endif]-->
<ul>
<li><a href="toetsvragen.5.htm#5.1">1. vertalen</a></li>
<li><a href="toetsvragen.5.htm#5.2">2. onderscheiden</a></li>
<li><a href="toetsvragen.5.htm#5.3">3. classificaties</a></li>
<li><a href="toetsvragen.5.htm#5.4">4. routines</a></li>
<li><a href="toetsvragen.5.htm#5.5">5. wetmatige relaties</a></li>
<li><a href="toetsvragen.5.htm#5.6">6. literatuur </a></li>
</ul>
<!--[if lte IE 6]></td></tr></table></a><![endif]-->
</li>
<li><a href="toetsvragen.6.htm">6. Tekstvragen<!--[if IE 7]><!--></a><!--<![endif]-->
<!--[if lte IE 6]><table><tr><td><![endif]-->
<ul>
<li><a href="toetsvragen.6.htm#6.1">1. participatie-controle</a></li>
<li><a href="toetsvragen.6.htm#6.2">2. thema’s</a></li>
<li><a href="toetsvragen.6.htm#6.3">3. analyse</a></li>
<li><a href="toetsvragen.6.htm#6.4">4. inferentie</a></li>
<li><a href="toetsvragen.6.htm#6.5">5. de niet-expert</a></li>
<li><a href="toetsvragen.6.htm#6.6">6. literatuur </a></li>
</ul>
<!--[if lte IE 6]></td></tr></table></a><![endif]-->
</li>
<li><a href="toetsvragen.7.htm">7. Problemen stellen<!--[if IE 7]><!--></a><!--<![endif]-->
<!--[if lte IE 6]><table><tr><td><![endif]-->
<ul>
<li><a href="toetsvragen.7.htm#7.1">1. problemen</a></li>
<li><a href="toetsvragen.7.htm#7.2">2. inventarisatie</a></li>
<li><a href="toetsvragen.7.htm#7.3">3. ontwerpregels</a></li>
<li><a href="toetsvragen.7.htm#7.4">4. literatuur </a></li>
</ul>
<!--[if lte IE 6]></td></tr></table></a><![endif]-->
</li>
<li><a href="toetsvragen.8.htm">8. Kwaliteit<!--[if IE 7]><!--></a><!--<![endif]-->
<!--[if lte IE 6]><table><tr><td><![endif]-->
<ul>
<li><a href="toetsvragen.8.htm#8.1">1. beginselen</a></li>
<li><a href="toetsvragen.8.htm#8.2">2. controle-punten</a></li>
<li><a href="toetsvragen.8.htm#8.3">3. onafhankelijke oordelen</a></li>
<li><a href="toetsvragen.8.htm#8.4">4. lijstjes </a></li>
<li><a href="toetsvragen.8.htm#8.5">5. literatuur </a></li>
</ul>
<!--[if lte IE 6]></td></tr></table></a><![endif]-->
</li>
<li title='Toetsvragen ontwerpen. 9 Toetsvragen over Toetsvragen [in opbouw]'><a href="toetsvragen.9.htm">9. Vragen over vragen</a></li>
<li title='Toetsvragen ontwerpen. Collegiale toetsing van toetsvragen'><a href="toetsvragen.checklist.htm">collegiale toetsing<!--[if IE 7]><!--></a><!--<![endif]-->
<!--[if lte IE 6]><table><tr><td><![endif]-->
<ul>
<li title='Toetsvragen ontwerpen. Collegiale toetsing van toetsvragen uitgebreid'><a href="toetsvragen.checklist.plus.htm">collegiale toetsing uitgebreide versie</a></li>
</ul>
<!--[if lte IE 6]></td></tr></table></a><![endif]-->
</li>
<li title='Toetsvragen ontwerpen. a Aantekeningen voor de herziening, annotaties bij de literatuur, meer literatuur'><a href="toetsvragen.a.htm">extra materiaal</a></li>
<li title='Item writing. English summaries and examples'><a href="06examples1.htm">examples in English<!--[if IE 7]><!--></a><!--<![endif]-->
<!--[if lte IE 6]><table><tr><td><![endif]-->
<ul>
<li title='Item writing. English summaries and examples, 1. Introduction'><a href="06examples1.htm">examples ch. 1</a></li>
<li title=' 2 Item types, transparency, item forms and validity'><a href="06examples2.htm">examples ch. 2</a></li>
<li title=' 3 Course content inventory '><a href="06examples3.htm">examples ch. 3</a></li>
<li title=' 4 Questions on individual terms'><a href="06examples4.htm">examples ch. 4</a></li>
<li title='5 Questions on relations between terms'><a href="06examples5.htm">examples ch. 5</a></li>
<li title='6 Questions of text'><a href="06examples6.htm">examples ch. 6</a></li>
<li title=' 7 Posing problems '><a href="06examples7.htm">examples ch. 7</a></li>
<li title=' 8 Quality control '><a href="06examples8.htm">examples ch. 8</a></li>
</ul>
<!--[if lte IE 6]></td></tr></table></a><![endif]-->
</li>
</ul>
<!--[if lte IE 6]></td></tr></table></a><![endif]-->
</li>
<li><a href="projecten.htm">verwante projecten<!--[if IE 7]><!--></a><!--<![endif]-->
<!--[if lte IE 6]><table><tr><td><![endif]-->
<ul>
<li><a href="">beoordelen
<!--[if IE 7]><!--></a><!--<![endif]-->
<!--[if lte IE 6]><table><tr><td><![endif]-->
<ul>
<li><a href="measurement.htm">measurement</a></li>
<li><a href="../literature/testingdefined.htm">testing defined</a></li>
<li><a href="../literature/validity.htm">validity</a></li>
<li><a href="raden.htm">raden</a></li>
<li><a href="beoordeeld.htm">beoordeeld!</a></li>
<li><a href="meritranking.htm">merit ranking</a></li>
<li><a href="examen.vanbijsterveldt.2008.htm">eindexamen Van Bijsterveldt</a></li>
<li><a href="toetsen_examens.htm">toetsen en examens</a></li>
<li><a href="toetsen_examens_literatuur.htm">idem literatuur</a></li>
<li><a href="exwereld.htm">exwereld</a></li>
<li><a href="objectiefsubjectief.htm">objectief/subjectief?</a></li>
<li><a href="../literature/bias.htm">partijdigheid</a></li>
</ul>
<!--[if lte IE 6]></td></tr></table></a><![endif]-->
</li>
<li><a href="">instructional science
<!--[if IE 7]><!--></a><!--<![endif]-->
<!--[if lte IE 6]><table><tr><td><![endif]-->
<ul>
<li><a href="matheducation.htm">math education</a></li>
<li><a href="matheducation.dutch.htm">wiskundeonderwijs</a></li>
<li><a href="wordproblems.htm">word problems</a></li>
<li><a href="../literature/algebra.htm">algebra</a></li>
<li><a href="physicseducation.htm">physics education</a></li>
<li><a href="lifescienceseducation.htm">life sciences education</a></li>
<li><a href="languageeducation.htm">language education</a></li>
<li><a href="meno.htm">conceptual change</a></li>
<li><a href="verklaren.htm">verklaren</a></li>
<li><a href="logica.htm">question logic</a></li>
<li><a href="realistisch_kolomrekenen.htm">realistisch rekenen</a></li>
<li><a href="metacognition.htm">metacognitie</a></li>
<li><a href="../literature/stuffing.htm">Stuffing course content</a></li>
<li><a href="../literature/understanding_problems.htm">understanding problems</a></li>
<li><a href="../literature/thinking.htm">thinking</a></li>
<li><a href="beoordeeld.htm">beoordeeld!</a></li>
</ul>
<!--[if lte IE 6]></td></tr></table></a><![endif]-->
</li>
<li><a href="#ann">annotaties
<!--[if IE 7]><!--></a><!--<![endif]-->
<!--[if lte IE 6]><table><tr><td><![endif]-->
<ul>
<li><a href="../literature/belnap.steel.htm">Belnap & Steel</a></li>
<li><a href="../literature/bereiter2002.htm">Bereiter</a></li>
<li><a href="../literature/borsboom.2003.htm">Borsboom</a></li>
<li><a href="../literature/ellis.1965.htm">Ellis</a></li>
<li><a href="../literature/folkscience.htm">folk science</a></li>
<li><a href="../literature/freefall.htm">free fall</a></li>
<li><a href="../literature/groot70.htm">AD on transparancy</a></li>
<li><a href="../literature/hook.bishop.hook.htm">Hook Bishop Hook</a></li>
<li><a href="../literature/kuhn2005.htm">Kuhn</a></li>
<li><a href="../literature/richards.1988.htm">Richards</a></li>
<li><a href="../literature/steen2006.htm">Steen</a></li>
</ul>
<!--[if lte IE 6]></td></tr></table></a><![endif]-->
</li>
<li><a href="#beleid">beleid
<!--[if IE 7]><!--></a><!--<![endif]-->
<!--[if lte IE 6]><table><tr><td><![endif]-->
<ul>
<li><a href="hetnieuweleren.htm">het nieuwe leren</a></li>
<li><a href="../literature/competencelit.htm">competenties?</a></li>
<li><a href="kwaliteit.wo.htm">kwaliteit van het wo</a></li>
</ul>
<!--[if lte IE 6]></td></tr></table></a><![endif]-->
</li>
<li><a href="">het ontwerp van quizvragen
<!--[if IE 7]><!--></a><!--<![endif]-->
<!--[if lte IE 6]><table><tr><td><![endif]-->
<ul>
<li><a href="wetenschapsquiz1994.htm">wq ’94</a></li>
<li><a href="wetenschapsquiz1995.htm">wq ’95</a></li>
<li><a href="wetenschapsquiz2005.htm">wq ’05</a></li>
<li><a href="wetenschapsquiz2006.htm">wq ’06</a></li>
<li><a href="wetenschapsquiz2007.htm">wq ’07</a></li>
<li><a href="wetenschapsquiz2008.htm">wq ’08</a></li>
<li><a href="grotegeschiedenisquiz2006.htm">ggq ’06</a></li>
<li><a href="grotegeschiedenisquiz2007.htm">ggq ’07</a></li>
<li><a href="grotegeschiedenisquiz2008.htm">ggq ’08</a></li>
<li><a href="grotegeschiedenisquiz2009.htm">ggq ’09</a></li>
<li><a href="nationalerekentoets2006.htm">nrt ’06</a></li>
<li><a href="nationalerekentoets2007.htm">nrt ’07</a></li>
</ul>
<!--[if lte IE 6]></td></tr></table></a><![endif]-->
</li>
</ul>
<!--[if lte IE 6]></td></tr></table></a><![endif]-->
<li title="Publicaties integraal beschikbaar."><a href="../publicaties/publicaties.htm">publicaties</a>
<li title="Projecten in uitvoering."><a href="../projecten/projecten.htm"> projecten</a>
<li title='linkt naar de thuispagina, een link naar het email-adres'><a href="../index.htm#email">contact<!--[if IE 7]><!--></a><!--<![endif]-->
<!--[if lte IE 6]><table><tr><td><![endif]-->
<!--[if lte IE 6]></td></tr></table></a><![endif]-->
</li></ul>
</div>
<p><br>
<h1>Logica van vragen en antwoorden</h1>
<p><br>
Ben Wilbrink
<p><br>
<p class='changed'> 25 juni 2009. Vandaag Leighton (2004) gelezen. <a href="https://psycnet.apa.org/record/2004-00182-011" target='_blank'>abstract</a> Dat zet alles op deze pagina weer op zijn kop. Fantastisch. Een sleutelpublicatie op dit thema. Natuurlijk, ik kende een aantal van de thema's in Leighton natuurlijk wel, bijvoorbeeld uit Evans (1989) (o.a. over de Wason-taak). Maar het bijzondere is dat zij een en ander verbindt met een belangrijke standaard (1.8) uit de APA (1999) Standards, en dat heeft vergaande gevolgen voor bijvoorbeeld de ontwerpers van test- en toetsvragen. Bovendien beschrijft zij in feite in haar hoofdstuk een mechanisme dat er mede toe heeft geleid dat de wereld nu zucht onder de misvatting van het competentie-leren. Dat gaat zo: logica kan inhoud-vrij worden gemaakt, psychologen die onderzoek doen naar logisch redneren doen dat ook, zodat op de lange duur de indruk wordt gevestigd dat logisch redeneren niet direct met vakkennis heeft te maken. Maar dat is nonsens, moeilijk te weerleggen nonsens bovendien, omdat er maar weinig onderzoek is waarin die relatie met vakkennis wel degelijk wordt gelegd. De Groot's <b>Denken van den schaker</b> is zo'n onderzoek, maar dat is dan ook al meer dan zestig jaar geleden verdedigd (het is zijn proefschrift). <br>
Ik moet deze webpagina dus nog actualiseren, Leighton (2004) gelezen hebbende. Wel heb ik al op enkele plaatsen in <b>Toetsvragen ontwerpen</b> deze stof ingebouwd, zoals in de hoofdstukken 6 en 8. <p><br>
Another source, on deductive reasoning: <br>
Leighton, J. P., & Sternberg, R. J. (2012). Reasoning and Problem Solving. Handbook of Psychology, Second Edition. <a ref="http://sci-hub.tw/10.1002/9781118133880.hop204023" target='_blank'>pdf</a>
Chapter 23 on deductive reasoning:
Leighton & Sternberg 2012: Reasoning and Problem Solving. Handbook of Psychology, 2nd.
http://sci-hub.tw/10.1002/9781118133880.hop204023
Reasoning is not ‘just reasoning’, it is a complex phenomenon. Do you still want to test students on their reasoning abilities?
<p><br>
<div class='ex'><div class='color'><b>a of b?</b><p><br>
In het dagelijks leven is de betekenis van ‘a of b is het geval’ dat ofwel a, ofwel b het geval is. Als logici tegen elkaar zeggen dat a of b het geval is, bedoelen ze dat ofwel a, ofwel b, ofwel beide het geval zijn. Dat is een belangrijk verschil. Er zijn veel van dergelijke verschillen van betekenis tussen dagelijkse taal en logische taal, zie als ingang bijvoorbeeld Girotto (2002). Het laat zich raden dat de ontwerper van toetsvragen die zich van dat onderscheid niet bewust is, behoorlijk in problemen kan raken wanneer getoetste studenten zich wèl bewust zijn van het verschil, en aan de bel trekken. In de praktijk hebben studenten niet in de gaten, anders dan door een gevoel van onbehagen, dat zij ten onrechte zijn afgerekend op dagelijkse taal waar de ontwerper logische taal bedoelde, <p class='bron'>
Vittorio Girotto (2002). Task understanding. In Leighton & Sternberg (2002/2004), pp. 103-125. Zie elders op deze pagina.</div></div><p style='text-indent: 0em'>
<div class='ex'><b>logic's restricted playing field</b><p><br>
Is the following argument valid?<p><br><ol><li>
All fish fly<li>
Anything which flies talks<li>
So, all fish talk</li></ol><p class='bron'>
Lepore (2002) p. 11</div><p style='text-indent: 0em'>
Logica van vragen en antwoorden is een ander onderwerp dan validiteit van toetsvragen, laat dat van meet af aan duidelijk zijn. Toch is er een sterke en heel ongemakkelijke relatie tussen beide, glashelder beschreven door Leighton (2004) aan de hand van standaard 1.8 uit de AERA/APA/NCME (1999) <b>Standards</b>; Leighton (2004) is een sleutelpublicatie voor het thema van deze webpagina. Logisch gezien, is het argument in de bovenstaande box valide, omdat het niet zo kan zijn dat de premissen juist zijn en tegelijk de conclusie onjuist. Het antwoord op de daar gestelde vraag is dus eenvoudig en helder: 'Ja, dit argument is valide.' Natuurlijk, ieder van de drie uitspraken in de box is vals. <p>
Dit voorbeeld leert onmiddellijk dat een belangrijke bron van ontwerpfouten waarschijnlijk is te vinden in onuitgesproken opvattingen van de ontwerper over wat 'logisch' is bij het beantwoorden van toetsvragen. Vermenging van halfbakken logica met inhoudelijke vragen is een dodelijke mix, en voor de niet gewaarschuwde ontwerper of student waarschijnlijk heel lastig te diagnosticeren. De meest voorkomende variant is dat de ontwerper met zijn in concrete termen gestelde vraag desondanks bedoelt dat er een formeel antwoord moet komen. Een mooi voorbeeld daarvan is de volgende vraag uit de NWQ, een casus dat ook in hoofdstuk 8 van Toetsvragen ontwerpen is gebruikt.<p>
<div class="ex">
ONEINDIG FOUT<br><br>
<div class="colorex">Bouw een toren van vierkante stoeptegels die zo ver mogelijk naar een kant overhelt. De tegels mogen alleen op elkaar gelegd worden, niet naast elkaar. Hoe ver helt hij maximaal over?<br><br><ol class="a"><li>
Precies twee tegels.<li>
Ongeveer anderhalve tegel.<li>
Oneindig ver.</li></ol><p class='bron'>Wetenschapsquiz 2005 <a href="http://www.nwo.nl/nwohome.nsf/pages/NWOA_6J6BLY">www.nwo.nl/quiz</a></div><br>
Het goed bedoelde antwoord is c. Het is te vinden door a. en b. als onjuist af te strepen. Het probleem is dat c. ook evident onjuist is, want daar is een oneindig hoge stapel stenen voor nodig, en daar is het Heelal te klein voor. Al veel eerder groeit de stapel buiten de aantrekkingskracht van alleen de Aarde. Er zijn dan drie onjuiste antwoorden, is het de bedoeling het minst onjuiste te kiezen? Welke is dat dan? De ontwerper bedoelt dat alleen de wiskundige formule telt - dat gedoe met die stenen is letterlijk alleen voor de Bühne - maar dat is niet in de stam vermeld. Het probleem was in dit geval bij de ontwerper bekend, maar de redactie liet de vraag in deze vorm uitgaan. <p class='bron'>Eric W. Weisstein (2005?). <b>Book Stacking problem</b> <a href="http://mathworld.wolfram.com/BookStackingProblem.html">mathworld</a>, met literatuurlijst waarin de <i>cantilevered books</i> zijn behandeld, de oudste is 1953, maar het zal in de 18e eeuw ook al wel zijn bestudeerd. </div>
<p><br>
Terug naar de spanning tussen wat logisch, respectievelijk toetstechnisch valide is. Het gaat er niet om dat impliciete logica het ontwerp van toetsvragen ernstig onderuit kan halen, maar dat de logica van vragen en antwoorden een instrument is om bepaalde kwaliteiten van ontworpen toetsvragen op voorhand te kunnen controleren. Het idee is dat toetsvragen en hun mogelijke antwoorden altijd tenminste ook in logische termen formaliseerbaar zijn, en dat wat goed of fout wordt gerekend, niet met de logica in strijd mag zijn (behoudens de door Leigton, 2004, aangegeven categorie van beperkingen). Logische consistentie, om het zo maar even te noemen, is een noodzakelijke voorwaarde voor goede toetsvragen en hun antwoorden. Het is geen voldoende voorwaarde. Verre van dat, het is immers in veel vakken zo dat er maar weinig uitspraken zijn waarvan ondubbelzinnig vast staat dat ze waar zijn, danwel onwaar. De ontwerper die daar slordig mee omspringt, zal ongemerkt uitspraken gebruiken waarvan hij of zij stilzwijgend veronderstelt dat ze waar zijn, voor het doel van de vraag, maar waarvan de student weet dat waarheid of onwaarheid ervan niet 100% is. Dat is dus een recept voor groot onheil. <p><br>
Uit het bovenstaande volgt niet dat het in het dagelijks leven problematisch is dat logisch redeneren uitgaat van premissen die waar of onwaar worden verondersteld te zijn. Het is onvermijdelijk om zo te redeneren, het gaat niet aan om een eindeloze weg op te gaan van reduceren van onzekerheden in premissen. Absolute zekerheden bestaan er niet in dit ondermaanse, en zeker geen 'ware' wetenschappelijke theorieën die vanwege het waarheidskeurmerk de basis van ons redeneren zouden kunnen vormen. We moeten het met iets minder doen; we moeten omwille van de logica maar even aannemen dat theorie A juist is, zodat we daaruit, samen met de gegevens B tot conclusie C kunnen geraken. Het kan zijn dat dat niet gaat lukken, en dat kan er dan op wijzen dat theorie A enige aanpassing behoeft, of door theorie A' vervangen moet worden. Dat is vooruitgang. Als theorie A de naieve natuurkundige opvattingen van een leerling zijn, dan is de didactische uitdaging om die leerling van theorie A door te laten groeien naar de wetenschappelijk betere theorie A': <i>conceptual change</i>.
<p><br>
De eerste stap op de logische ladder is dan het vertalen van vragen en antwoorden van het Nederlands naar logische formalismen. Het boek dat daarbij mijn leidraad is: Belnap and Steel (1976) <b>The logic of questions and answers.</b> Yale University Press. Zij beloven in hun inleiding geen deductieve logica, lijken zoiets zelfs af te wijzen voor hun onderwerp, maar een op grammatica en betekenis gerichte benadering. Maar dat geeft niet, om een deductieve logica of bewijslogica op vragen en hun antwoorden toe te kunnen passen, moeten deze eerst in formeel-logische vorm worden vertaald. Voor dat laatste geven Belnap en Steel de nodige uitwerkingen en voorbeelden. Voor de bewijstheorie gaan we vervolgens verder met bijvoorbeeld Ernst Lepore (2002) <b>Meaning and argument. An introduction to logic through language.</b>. Blackwell Publishing. Lepore behandelt op begrijpelijke wijze de techniek van de <i>truth tree</i>, een razend doeltreffende variant op de <i>truth table</i> die vooral door de jonge Wittgenstein bekendheid heeft verkregen (in zijn Tractatus). <p><br>
<hr><p><br><p class='lit'>
<h4>Belnap and Steel (1976). The logic of questions and answers. </h4>
<p class='changed'>Ik weet nog niet hoe ik dit ga aanpakken. Ik wil hier de belangrijke punten uit het boek behandelen. Mogelijk wordt het zo uitvoerig dat ik het in een apart bestand moet onderbrengen. Ik doe het in het Nederlands, omdat dat sneller is, en het mij beter in de gelegenheid stelt eigen voorbeelden te maken. Ik interpreteer meteen naar mogelijk belang voor het ontwerpen van toetsvragen. Wat samenvattend uit Belnap en Steel is, en wat interpretatie, is voor een gewaarschuwde lezer doorgaans evident. <p>
Ik begin met een eerste ronde doorheen heel het boek, waarbij ik ga proberen de (voor mijn onderwerp) grote punten eruit te pakken. Een voorlopig lijstje begint dan zo:<p><br>
<ol><li>
Het gaat om het ontwikkelen van een taal waarin het mogelijk is zinvol over vragen en antwoorden te spreken. Dat is in ieder geval van het grootste belang voor de ontwerper van toetsvragen, hij of zij moet immers het ontwerp kunnen beargumenteren en communiceren. Niet iedereen kan evenwel Belnap en Steel bestuderen, dus gaat het erom op het stevige fundament van Belnap en Steel een minder streng maar onmiddellijk voor betrokkenen te begrijpen begrippenapparaat te bouwen. Daar zullen heel wat verrassende dingen in blijken te zitten, maar dat is 'logisch', nietwaar, anders zou het niet de moeite waard zijn deze weg te gaan. <li>
Bijvoorbeeld is de notie van wat geldt als een direct antwoord op een gegeven vraag van enorm belang. Alles wat hier onduidelijk of dubbelzinnig is, kan terugslaan op de ontwerper omdat studenten zullen protesteren tegen de scoring, etcetera. Tegelijk is dit mogelijk een heel lastig punt, omdat het nodig kan zijn door juiste formulering van de (stam van de) vraag ondubbelzinnig vast te leggen wat als directe antwoorden zal gelden, waardoor de taalgevoeligheid van de vragen zeker niet minder zal worden.<li>
Het idee van een onderscheid tussen directe antwoorden op een vraag, en antwoorden die niet direct zijn, lijkt mij tamelijk onbekend in de toetsliteratuur, misschien wel helemaal onbekend behalve bij enkele logici. Het is zeker interessant om er een korte studie aan te wijden, omdat het denkbaar is in de waardering van antwoorden onderscheid te maken naar directe maar mogelijk foute antwoorden, en niet directe antwoorden waarin mogelijk wel juiste informatie wordt gegeven maar waarin de draagwijdte van de vraag is miskend. Dit is dan het eerste voorbeeld van een nieuw begrip waarmee een zinvol onderscheid beschikbaar komt dat anders vaag zou zijn gebleven.
</li></ol>
<hr><p><br><p class='lit'>
Nuel D. Belnap, Jr., and Thomas B. Steel, Jr. (1976). <b>The logic of questions and answers</b>. London: Yale University Press.<ul><li><p class='bron'>Dit boek behandelt exact wat de titel ervan belooft: een logisch filosofische verdieping voor de kunst van het vragenstellen. Bevat een rijke bibliografie, opgedeeld in 'Logic and philosophy of language', 'Linguistics', 'Automatic question answering', & 'Psychology and pedagogy'.<li><p class='bron'>Zie ook het lemma <i>Epistemic knowledge</i> in de Stanford Encyclopedia of Philosophy <a href="http://plato.stanford.edu/entries/logic-epistemic/">html</a>.<li><p class='bron'>Debra Thomas Burhans (2002). <b>A question answering interpretation of resolution refutation.</b> A dissertation submitted to the Faculty of the Graduate School of State University of New York at Buffalo in partial fulfillment of the requirements for the degree of Doctor of Philosophy. Een recente studie in de lijn van Belnap en Steel <a href="http://www.cse.buffalo.edu/~burhans/debra.ps">PostScript</a></li></ul><p class='lit'>
Keith Stenning & Michiel van Lambalgen (2008). <b>Human reasoning and cognitive science.</b> MIT Press. isbn 9780262195836 [UB Leiden PSYCHO C6.1-281] <ul><li>Dit is een belangrijk boek voor de ontwerper van toetsvragen en de beoordelaar van (producten van) denkprocessen. Het is geen gemakkelijk boek, het vraagt een stevige investering van tijd, ook al is een deel van de besproken literatuur al wel bekend. Ik heb het dus weer terzijde moeten leggen, maar zal er later beslist in moeten duiken.</li></ul><p class='lit'>
Evert W. Beth (1955). Semantic entailment and formal derivability. <i>Mededelingen van de Koninklijke Nederlandse Akademie van Wetenschappen, Afdeling Letterkunde, N. R. Vol. 18</i>, no. 13 (Amsterdam), pp. 309-342, reprinted 1961. Reprinted in Jaakko Hintikka (1969). <b>The philosophy of mathematics</b> (pp. 9-41). Oxford University Press. <ul><li>Evert W. Beth (1962). <b>Formal methods. An introduction to symbolic logic and to the study of effective operations in arithmetic and logic.</b> Reidel. <li>De Nederlandse publicatie waarin de methode der semantische tableaus is uiteengezet, is het posthuum in 1969 (tweede druk) verschenen <b>Moderne logica</b>. Van Gorcum</li></ul><p class='lit'>
<a name="ESMC"></a><p><br><hr><p class='lit'>
Orlando Espino, Carlos Santamarıá, Enrique Meseguer &
Manuel Carreiras (2005). Early and late processes in syllogistic reasoning: Evidence from eye-movements. <i>Cognition, 98</i>, B1-B9. <a href="http://www.reasoning.es/files/COG05.pdf" target="_blank">pdf</a>
<p class='lit'>
Jacqueline P. Leighton (2004). The assessment of logical reasoning. In Jacqueline P. Leighton and Robert J. Sternberg: <b>The nature of reasoning</b> (291-312). Cambridge University Press. <a href="http://assets.cambridge.org/97805218/10906/sample/9780521810906ws.pdf">sample chapter 1</a> Het assessment chapter, zie voor een beperkt aantal bladzijden https://books.google.nl/books?hl=nl&lr=&id=ujoNZNZrZcoC&oi=fnd&pg=PA291&ots=ZMxfpx02CM&sig=BqmbvbebHNo-RHdDZeG3g7ZEhNM#v=onepage&q&f=false<p class='lit'>
<a name=""></a><p><br><hr><p class='lit'>
Marsh, B., Todd, P. M., & Gigerenzer, G. (2004). Cognitive heuristics: Reasoning the fast and frugal way. In J. P. Leighton & R. J. Sternberg (Eds.), The nature of reasoning (pp. 273-287). Cambridge: Cambridge University Press.<a href="http://library.mpib-berlin.mpg.de/ft/gg/GG_Cognitive_2004.pdf" target='_blank'>pdf</a><hr><p style='text-indent: 0em'>
<a name=""></a><p><br><hr><p class='lit'>
Jacqueline P. Leighton & Robert J. Sternberg (Eds.) (2003). <b>The nature of reasoning</b>. Cambridge University Press. <a href="https://www.cambridge.org/us/academic/subjects/psychology/cognition/nature-reasoning" target='_blank'>info</a><hr><p style='text-indent: 0em'><ol><li>contents<li>
Jacqueline P.Leighton: Defining and describing reason<li>
Anton E. Lawson: Reasoning and brain function<li>
Kenneth J. Gilhooly: Working memory and reasoning<li>
Jonathan St. B. T. Evans and Aidan Feeney: The role of prior belief in reasoning<li>
Vittorio Girotto: Task understanding<li>
Keith Stenning and Padraic Monaghan: Strategies and knowledge representation<li>
Philip N. Johnson-Laird: Mental models and reasoning<li>
David P. O'Brien: Mental-logic theory: what it proposes and reasons to take this proposal seriously<li>
Maxwell J. Roberts: Heuristics and reasoning: making deduction simple<li>
Barnaby Marsh, Peter M. Todd and Gerd Gigerenzer: Cognitive heuristics: reasoning the fast and frugal way<li>
Jacqueline P. Leighton: The assessment of logical reasoning<li>
Henry Markovits: The development of deductive reasoning<li>
Denise Dellarosa Cummins: The evolution of reasoning<li>
Keith E. Stanovich, Walter C. Sá and Richard F. West: Individual differences in thinking, reasoning, and decision making<li>
Raymond S. Nickerson: Teaching reasoning<li>
Robert J. Sternberg: What do we know about the nature of reasoning?</li></ol>
Ernest Lepore (2000). <b>Meaning and argument. An introduction to logic through language.</b> Blackwell. isbn 0631205829 <ul><li><p class='bron'>in het bijzonder de hoofdstukken over de methode van de <i>truth tree</i> <li>Ik blader het nog eens door, volgens mij is dit een uitstekende techniek om in te zetten bj kwalitetsbewaking van toetsvragen, maar dat moet ik dus nog onderzoeken. Ik zal het bij hoofdstuk 1 en 8 van Toetsvragen ontwerpen vermelden.</li></ul><p class='lit'>
John Nolt, Dennis Rohatyn & Achille Varzi (1998). <b>Schaum's outline of theory and problems of logic</b>. 2nd edition. Schaum's Outline Series, McGraw-Hill. isbn 0070466491 <!--322 pp. quarto paperback, mint--> <p class='lit'>
Jonathan Barnes (2007). <b>Truth, etc. Six lectures on ancient logic.</b> Oxford University Press. isbn 9780199282814 <!--eBook KB--> <!-- 551 pp. hardcover, dust jacket, near mint--> <ul><li>Six lectures (John Locke lectures) on ancient logic (enhanced in this book). Lijkt me een buitengewoon interessant boek, omdat het worstelingen laat zien over zaken die we vandaag te makkelijk vanzelfsprekend vinden. Vermoed ik. </li></ul> <p class='lit'>
<p class='lit'>
Wisniewski, Andrzej. The Posing of Questions: Logical Foundations of Erotetic Inferences. Kluwer Academic Publishers, 1995.
<p class='lit'>
MacMillan, C.J.B. A Logical Theory of Teaching: Erotetics and Intentionality. Kluwer Academic Publishers, 1988.
<p class='lit'>
Lehnert, W. The Process of Question Answering. Wiley, 1978.
<p class='lit'>
Kubinski, Tadeusz. An Outline Of the Logical Theory of Questions. Akademie-Verlag, 1980.
<p class='lit'>
Hintikka, Jaakko. The Semantics of Questions and the Questions of Semantics. North-Holland, 1976.
<p class='lit'>
Harrah, David, "A System for Erotetic Sentences," in A.R. Anderson et al. (eds.), The Logical Enterprise.
<p class='lit'>
Harrah, David, "The Logic of Questions," in Gabbay and Guenthner, vol. II.
<p class='lit'>
Aqvist, L.E. A New Approach to the Logical Theory of Questions, Part I. Filosofiska Foreningen, 1965.
<p class='lit'>
Ralph Hertwig, Björn Benz & Stefan Krauss (2008). The conjunction fallacy and the many meanings of <i>and</i>. <i>Cognition, 108</i>, 740-753. <a href="http://cds.unibas.ch/~hertwig/pdfs/2008/Hertwigetal2008_conjunction_fallacy.pdf" target="_blank">pdf</a>
<p class='lit'>
Geoffrey P. Goodwin & P. N. Johnson-Laird (2008). Transitive and pseudo-transitive inferences. <i>Cognition, 108</i>, 320-352. <a href="http://mentalmodels.princeton.edu/papers/2008pseudotrans.pdf" target="_blank">pdf</a>.
<p class='lit'>
James B. Freeman (2005). <b>Acceptable premises. An epistemic approach to an informal logic problem.</b> Cambridge University Press. <ul><li>p. 3: "When, if ever, is a premise — indeed a statement in general — acceptable? That is the central question of this book." ... "Is acceptance justified for a particular audience?"<li>Het belang voor de ontwerper van toetsvragen is onmiddellijk duidelijk: vrijwel iedere vraag veronderstelt heel veel, meest impliciet, vaak expliciet. Maar let op: hetzelfde geldt voor de student die een antwoord geeft, en dat nader verklaart.<//li></ul><p class='lit'>
Ron Ritzen <a href="http://www.drogredenen.nl/2009/04/zwalve-en-post-hoc-ergo-propter-hoc-274.html">drogredenen.nl</a> [nog naar kijken, op het eerste gezicht een goed verzorgde website over drogredenen] [deze specifieke pagina gaat over spellen, vroeger en nu, en hoe grootvader Ritzen daar als schoolmeester in stond]<p class='lit'>
<a name="WNG"></a><p><br><hr><p class='lit'>
Michael P. Weinstock, Yair Neuman, and Amnon Glassner (2006). Identification of Informal Reasoning Fallacies as a Function of Epistemological Level, Grade Level, and Cognitive Ability.
<i>Journal of Educational Psychology, 98</i>, 327-341. <a href="http://psycnet.apa.org/journals/edu/98/4/327/" target='_blank'>abstract</a>
<a name=""></a><p><br><hr><p class='lit'>
Kinga Morsanyi & Denes Szücs (2015). The link between mathematics and logical reasoning: Implications for research and education. In Steve Chinn (Ed.) (2015). <b>The Routledge International Handbook of Dyscalculia and Mathematical Learning Difficulties.</b> Routledge. (pp 101-114) <!--PEDAG 49.d.26--> [februari 2015: nog niet als eBook in KB]
<a href="http://www.routledge.com/books/details/9780415822855/" target='_blank'>info</a>. In Google een royale <a href="http://goo.gl/dPknHI" target='_blank'>preview</a><hr><p style='text-indent: 0em'>
<ul><li><div class='color'><p class='bron'></div></li></ul>
<a name=""></a><p><br><hr><p class='lit'>
Richard B. Angell (1964). <b>Reasning and logic.</b> New York: Appleton-CenturyCrofts. lccc 63-16209 <!--1st cloth 625 pp good--><p class='lit'>
<a href="" target='_blank'></a><hr><p style='text-indent: 0em'>
<a name="Blair_2001"></a><p><br><hr><p class='lit'>
J. Anthony Blair (2001). 'Argument' and 'logic' in logic textbooks. <a href="http://goo.gl/3EAyf0" target='_blank'>html</a><hr><p style='text-indent: 0em'>
<a name=""></a><p><br><hr><p class='lit'>
Keith E. Stanovich (1999). <b>Who is rational? Studies of individual differences in reasoning.</b> Erlbaum. [UBL FSW BF442 S73 1999] <a href="https://www.crcpress.com/Who-Is-Rational-Studies-of-individual-Differences-in-Reasoning/Stanovich/p/book/9780805824735" target='_blank'>info</a>, <a href="https://www.researchgate.net/publication/265235988_Who_Is_Rational_Studies_of_Individual_Differences_in_Reasoning" target='_blank'>reviewed by David Hitchcock</a> in <i>Informal Logic</i>
<hr><p style='text-indent: 0em'>
<ul><li><i>Separate chapters show how patterns of individual differences have implications for all of the major critiques of purported demonstrations of human irrationality in the heuristics and biases literature. In these critiques, it has been posited that experimenters have observed performance errors rather than systematically irrational responses; the tasks have required computational operations that exceed human cognitive capacity; experimenters have applied the wrong normative model to the task; and participants have misinterpreted the tasks.</i><li>
Stanovich p. 172 refers research literature on the bias effect in syllogistic reasoning:
Evans et al., 1983: On the conflict between logic and belief in syllogistic reasoning. Memory & Cognition, 11, 295-306.
Markovits & Nantel, 1989: The belief-bias effect in the production and evaluation of logical conclusions. Memory & Cognition, 17, 11-17.
Newstead et al. 1992: The source of belief-bias effect in syllogistic reasoning. Cognition, 45, 257-284.
Oakhill, Johnson-Laird & Garnhem, 1989: Believability and syllogistic reasoning. Cognition, 31, 117-140.
<li>
Can we think of assessment items here? Yes.
“All animals love water. Cats do not love water.
Therefore ‘Cats are not animals’ is: true/false.”
</li></ul>
<a name=""></a><p><br><hr><p class='lit'>
<a href="" target='_blank'></a><hr><p style='text-indent: 0em'>
<ul><li><div class='color'></div></li></ul>
<a name=""></a><p><br><hr><p class='lit'>
<a href="" target='_blank'></a><hr><p style='text-indent: 0em'>
<a name=""></a><p><br><hr><p class='lit'>
<a href="" target='_blank'></a><hr><p style='text-indent: 0em'>
<ul><li><div class='color'></div></li></ul>
<p><br><hr><div class="color">
October 2019 \ contact <a href="../index.htm#email">ben apenstaartje benwilbrink.nl</a>
</div><hr><p>
<a href="http://validator.w3.org/check?uri=referer"><img border="0"
src="http://www.benwilbrink.nl/gif/valid-html401-blue.gif"
alt="Valid HTML 4.01!" height="31" width="88"></a>
<small>http://www.benwilbrink.nl/projecten/logica.htm
</small><hr>
</body></html>