Logica van vragen en antwoorden


Ben Wilbrink


25 juni 2009. Vandaag Leighton (2004) gelezen. Dat zet alles op deze pagina weer op zijn kop. Fantastisch. Een sleutelpublicatie op dit thema. Natuurlijk, ik kende een aantal van de thema's in Leighton natuurlijk wel, bijvoorbeeld uit Evans (1989) (o.a. over de Wason-taak). Maar het bijzondere is dat zij een en ander verbindt met een belangrijke standaard (1.8) uit de APA (1999) Standards, en dat heeft vergaande gevolgen voor bijvoorbeeld de ontwerpers van test- en toetsvragen. Bovendien beschrijft zij in feite in haar hoofdstuk een mechanisme dat er mede toe heeft geleid dat de wereld nu zucht onder de misvatting van het competentie-leren. Dat gaat zo: logica kan inhoud-vrij worden gemaakt, psychologen die onderzoek doen naar logisch redneren doen dat ook, zodat op de lange duur de indruk wordt gevestigd dat logisch redeneren niet direct met vakkennis heeft te maken. Maar dat is nonsens, moeilijk te weerleggen nonsens bovendien, omdat er maar weinig onderzoek is waarin die relatie met vakkennis wel degelijk wordt gelegd. De Groot's Denken van den schaker is zo'n onderzoek, maar dat is dan ook al meer dan zestig jaar geleden verdedigd (het is zijn proefschrift).
Ik moet deze webpagina dus nog actualiseren, Leighton (2004) gelezen hebbende. Wel heb ik al op enkele plaatsen in Toetsvragen ontwerpen deze stof ingebouwd, zoals in de hoofdstukken 6 en 8.


a of b?


In het dagelijks leven is de betekenis van ‘a of b is het geval’ dat ofwel a, ofwel b het geval is. Als logici tegen elkaar zeggen dat a of b het geval is, bedoelen ze dat ofwel a, ofwel b, ofwel beide het geval zijn. Dat is een belangrijk verschil. Er zijn veel van dergelijke verschillen van betekenis tussen dagelijkse taal en logische taal, zie als ingang bijvoorbeeld Girotto (2002). Het laat zich raden dat de ontwerper van toetsvragen die zich van dat onderscheid niet bewust is, behoorlijk in problemen kan raken wanneer getoetste studenten zich wèl bewust zijn van het verschil, en aan de bel trekken. In de praktijk hebben studenten niet in de gaten, anders dan door een gevoel van onbehagen, dat zij ten onrechte zijn afgerekend op dagelijkse taal waar de ontwerper logische taal bedoelde,

Vittorio Girotto (2002). Task understanding. In Leighton (2002/2004), pp. 103-125. Zie eldersop deze pagina.

logic's restricted playing field


Is the following argument valid?


  1. All fish fly
  2. Anything which flies talks
  3. So, all fish talk

Lepore (2002) p. 11

Logica van vragen en antwoorden is een ander onderwerp dan validiteit van toetsvragen, laat dat van meet af aan duidelijk zijn. Toch is er een sterke en heel ongemakkelijke relatie tussen beide, glashelder beschreven door Leighton (2004) aan de hand van standaard 1.8 uit de AERA/APA/NCME (1999) Standards; Leighton (2004) is een sleutelpublicatie voor het thema van deze webpagina. Logisch gezien, is het argument in de bovenstaande box valide, omdat het niet zo kan zijn dat de premissen juist zijn en tegelijk de conclusie onjuist. Het antwoord op de daar gestelde vraag is dus eenvoudig en helder: 'Ja, dit argument is valide.' Natuurlijk, ieder van de drie uitspraken in de box is vals.

Dit voorbeeld leert onmiddellijk dat een belangrijke bron van ontwerpfouten waarschijnlijk is te vinden in onuitgesproken opvattingen van de ontwerper over wat 'logisch' is bij het beantwoorden van toetsvragen. Vermenging van halfbakken logica met inhoudelijke vragen is een dodelijke mix, en voor de niet gewaarschuwde ontwerper of student waarschijnlijk heel lastig te diagnosticeren. De meest voorkomende variant is dat de ontwerper met zijn in concrete termen gestelde vraag desondanks bedoelt dat er een formeel antwoord moet komen. Een mooi voorbeeld daarvan is de volgende vraag uit de NWQ, een casus dat ook in hoofdstuk 8 van Toetsvragen ontwerpen is gebruikt.

ONEINDIG FOUT

Bouw een toren van vierkante stoeptegels die zo ver mogelijk naar een kant overhelt. De tegels mogen alleen op elkaar gelegd worden, niet naast elkaar. Hoe ver helt hij maximaal over?

  1. Precies twee tegels.
  2. Ongeveer anderhalve tegel.
  3. Oneindig ver.

Wetenschapsquiz 2005 www.nwo.nl/quiz


Het goed bedoelde antwoord is c. Het is te vinden door a. en b. als onjuist af te strepen. Het probleem is dat c. ook evident onjuist is, want daar is een oneindig hoge stapel stenen voor nodig, en daar is het Heelal te klein voor. Al veel eerder groeit de stapel buiten de aantrekkingskracht van alleen de Aarde. Er zijn dan drie onjuiste antwoorden, is het de bedoeling het minst onjuiste te kiezen? Welke is dat dan? De ontwerper bedoelt dat alleen de wiskundige formule telt - dat gedoe met die stenen is letterlijk alleen voor de Bühne - maar dat is niet in de stam vermeld. Het probleem was in dit geval bij de ontwerper bekend, maar de redactie liet de vraag in deze vorm uitgaan.

Eric W. Weisstein (2005?). Book Stacking problem mathworld, met literatuurlijst waarin de cantilevered books zijn behandeld, de oudste is 1953, maar het zal in de 18e eeuw ook al wel zijn bestudeerd.


Terug naar de spanning tussen wat logisch, respectievelijk toetstechnisch valide is. Het gaat er niet om dat impliciete logica het ontwerp van toetsvragen ernstig onderuit kan halen, maar dat de logica van vragen en antwoorden een instrument is om bepaalde kwaliteiten van ontworpen toetsvragen op voorhand te kunnen controleren. Het idee is dat toetsvragen en hun mogelijke antwoorden altijd tenminste ook in logische termen formaliseerbaar zijn, en dat wat goed of fout wordt gerekend, niet met de logica in strijd mag zijn (behoudens de door Leigton, 2004, aangegeven categorie van beperkingen). Logische consistentie, om het zo maar even te noemen, is een noodzakelijke voorwaarde voor goede toetsvragen en hun antwoorden. Het is geen voldoende voorwaarde. Verre van dat, het is immers in veel vakken zo dat er maar weinig uitspraken zijn waarvan ondubbelzinnig vast staat dat ze waar zijn, danwel onwaar. De ontwerper die daar slordig mee omspringt, zal ongemerkt uitspraken gebruiken waarvan hij of zij stilzwijgend veronderstelt dat ze waar zijn, voor het doel van de vraag, maar waarvan de student weet dat waarheid of onwaarheid ervan niet 100% is. Dat is dus een recept voor groot onheil.


Uit het bovenstaande volgt niet dat het in het dagelijsk leven problematisch is dat logisch redeneren uitgaat van premissen die waar of onwaar worden verondersteld te zijn. Het is onvermijdelijk om zo te redeneren, het gaat niet aan om een een eindeloze weg op te gaan van reduceren van onzekerheden in premissen. Absolute zekerheden bestaan er niet in dit ondermaanse, en zeker geen 'ware' wetenschappelijke theorieën die vanwege het waarheidskeurmerk de basis van ons redeneren zouden kunnen vormen. We moeten het met iets minder doen; we moeten omwille van de logica maar even aannemen dat theorie A juist is, zodat we daaruit, samen met de gegevens B tot conclusie C kunnen geraken. Het kan zijn dat dat niet gaat lukken, en dat kan er dan op wijzen dat theorie A enige aanpassing behoeft, of door theorie A' vervangen moet worden. Dat is vooruitgang. Als theorie A de naieve natuurkundige opvattingen van een leerling zijn, dan is de didactische uitdaging om die leerling van theorie A door te laten groeien naar de wetenschappelijk betere theorie A': conceptual change.


De eerste stap op de logische ladder is dan het vertalen van vragen en antwoorden van het Nederlands naar logische formalismen. Het boek dat daarbij mijn leidraad is: Belnap and Steel (1976) The logic of questions and answers. Yale University Press. Zij beloven in hun inleiding geen deductieve logica, lijken zoiets zelfs af te wijzen voor hun onderwerp, maar een op grammatica en betekenis gerichte benadering. Maar dat geeft niet, om een deductieve logica of bewijslogica op vragen en hun antwoorden toe te kunnen passen, moeten deze eerst in formeel-logische vorm worden vertaald. Voor dat laatste geven Belnap en Steel de nodige uitwerkingen en voorbeelden. Voor de bewijstheorie gaan we vervolgens verder met bijvoorbeeld Ernst Lepore (2002) Meaning and argument. An introduction to logic through language.. Blackwell Publishing. Lepore behandelt op begrijpelijke wijze de techniek van de truth tree, een razend doeltreffende variant op de truth table die vooral door de jonge Wittgenstein bekendheid heeft verkregen (in zijn Tractatus).




Belnap and Steel (1976). The logic of questions and answers.

Ik weet nog niet hoe ik dit ga aanpakken. Ik wil hier de belangrijke punten uit het boek behandelen. Mogelijk wordt het zo uitvoerig dat ik het in een apart bestand moet onderbrengen. Ik doe het in het Nederlands, omdat dat sneller is, en het mij beter in de gelegenheid stelt eigen voorbeelden te maken. Ik interpreteer meteen naar mogelijk belang voor het ontwerpen van toetsvragen. Wat samenvattend uit Belnap en Steel is, en wat interpretatie, is voor een gewaarschuwde lezer doorgaans evident.

Ik begin met een eerste ronde doorheen heel het boek, waarbij ik ga proberen de (voor mijn onderwerp) grote punten eruit te pakken. Een voorlopig lijstje begint dan zo:


  1. Het gaat om het ontwikkelen van een taal waarin het mogelijk is zinvol over vragen en antwoorden te spreken. Dat is in ieder geval van het grootste belang voor de ontwerper van toetsvragen, hij of zij moet immers het ontwerp kunnen beargumenteren en communiceren. Niet iedereen kan evenwel Belnap en Steel bestuderen, dus gaat het erom op het stevige fundament van Belnap en Steel een minder streng maar onmiddellijk voor betrokkenen te begrijpen begrippenapparaat te bouwen. Daar zullen heel wat verrassende dingen in blijken te zitten, maar dat is 'logisch', nietwaar, anders zou het niet de moeite waard zijn deze weg te gaan.
  2. Bijvoorbeeld is de notie van wat geldt als een direct antwoord op een gegeven vraag van enorm belang. Alles wat hier onduidelijk of dubbelzinnig is, kan terugslaan op de ontwerper omdat studenten zullen protesteren tegen de scoring, etcetera. Tegelijk is dit mogelijk een heel lastig punt, omdat het nodig kan zijn door juiste formulering van de (stam van de) vraag ondubbelzinnig vast te leggen wat als directe antwoorden zal gelden, waardoor de taalgevoeligheid van de vragen zeker niet minder zal worden.
  3. Het idee van een onderscheid tussen directe antwoorden op een vraag, en antwoorden die niet direct zijn, lijkt mij tamelijk onbekend in de toetsliteratuur, misschien wel helemaal onbekend behalve bij enkele logici. Het is zeker interessant om er een korte studie aan te wijden, omdat het denkbaar is in de waardering van antwoorden onderscheid te maken naar directe maar mogelijk foute antwoorden, en niet directe antwoorden waarin mogelijk wel juiste informatie wordt gegeven maar waarin de draagwijdte van de vraag is miskend. Dit is dan het eerste voorbeeld van een nieuw begrip waarmee een zinvol onderscheid beschikbaar komt dat anders vaag zou zijn gebleven.


Nuel D. Belnap, Jr., and Thomas B. Steel, Jr. (1976). The logic of questions and answers. London: Yale University Press.

Keith Stenning & Michiel van Lambalgen (2008). Human reasoning and cognitive science. MIT Press. isbn 9780262195836 [PSYCHO C6.1-281]

  • Dit is een belangrijk boek voor de ontwerper van toetsvragen en de beoordelaar van (producten van) denkprocessen. Het is geen gemakkelijk boek, het vraagt een stevige investering van tijd, ook al is een deel van de besproken literatuur al wel bekend. Ik heb het dus weer terzijde moeten leggen, maar zal er later beslist in moeten duiken.
  • Evert W. Beth (1955). Semantic entailment and formal derivability. Mededelingen van de Koninklijke Nederlandse Akademie van Wetenschappen, Afdeling Letterkunde, N. R. Vol. 18, no. 13 (Amsterdam), pp. 309-342, reprinted 1961. Reprinted in Jaakko Hintikka (1969). The philosophy of mathematics (pp. 9-41). Oxford University Press.

    Jonathan St. B. T. Evans (1989). Bias in human reasoning; causes and consequences. Hove, East Sussex: Erlbaum.



    Orlando Espino, Carlos Santamar─▒á, Enrique Meseguer & Manuel Carreiras (2005). Early and late processes in syllogistic reasoning: Evidence from eye-movements. Cognition, 98, B1-B9. pdf

    Jacquiline P. Leighton (2004). The assessment of logical reasoning. In Jacqueline P. Leighton and Robert J. Sternberg: The nature of reasoning (291-312). Cambridge University Press. sample chapter 1

    Ernest Lepore (2000). Meaning and argument. An introduction to logic through language. Blackwell.

    John Nolt, Dennis Rohatyn and Achille Varzi (1998). Schaum's outline of theory and problems of logic. 2nd edition. Schaum's Outline Series, McGraw-Hill.

    Jonathan Barnes (2007). Truth, etc. Oxford University Press.

    Wisniewski, Andrzej. The Posing of Questions: Logical Foundations of Erotetic Inferences. Kluwer Academic Publishers, 1995.

    MacMillan, C.J.B. A Logical Theory of Teaching: Erotetics and Intentionality. Kluwer Academic Publishers, 1988.

    Lehnert, W. The Process of Question Answering. Wiley, 1978.

    Kubinski, Tadeusz. An Outline Of the Logical Theory of Questions. Akademie-Verlag, 1980.

    Hintikka, Jaakko. The Semantics of Questions and the Questions of Semantics. North-Holland, 1976.

    Harrah, David, "A System for Erotetic Sentences," in A.R. Anderson et al. (eds.), The Logical Enterprise.

    Harrah, David, "The Logic of Questions," in Gabbay and Guenthner, vol. II.

    Aqvist, L.E. A New Approach to the Logical Theory of Questions, Part I. Filosofiska Foreningen, 1965.

    Ralph Hertwig, Björn Benz & Stefan Krauss (2008). The conjunction fallacy and the many meanings of and. Cognition, 108, 740-753. pdf

    Geoffrey P. Goodwin & P. N. Johnson-Laird (2008). Transitive and pseudo-transitive inferences. Cognition, 108, 320-352. pdf.

    James B. Freeman (2005). Acceptable premises. An epistemic approach to an informal logic problem. Cambridge University Press.

    Ron Ritzen drogredenen.nl [nog naar kijken, op het eerste gezicht een goed verzorgde website over drogredenen] [deze specifieke pagina gaat over spellen, vroeger en nu, en hoe grootvader Ritzen daar als schoolmeester in stond]



    Michael P. Weinstock, Yair Neuman, and Amnon Glassner (2006). Identification of Informal Reasoning Fallacies as a Function of Epistemological Level, Grade Level, and Cognitive Ability. Journal of Educational Psychology, 98, 327-341. abstract



    Kinga Morsanyi & Denes Szücs (2015). The link between mathematics and logical reasoning: Implications for research and education. In Steve Chinn (Ed.) (2015). The Routledge International Handbook of Dyscalculia and Mathematical Learning Difficulties. Routledge. (pp 101-114) [februari 2015: nog niet als eBook in KB] info
















    19 februari 2015 \ contact ben apenstaartje benwilbrink.nl

    Valid HTML 4.01!   http://www.benwilbrink.nl/projecten/logica.htm