http://www.benwilbrink.nl/publicaties/81KeuzevragenUenH.htm
Het dilemma 'open-antwoord of keuzevragen' is rationeel oplosbaar, en doorgaans eenvoudiger dan via het empirisch onderzoek dat Hofstee als arbitrage aanbeveelt. Enkele overwegingen voor zo'n rationele analyse zal ik hier geven, en die betreffen zowel punten van overeenkomst, als punten van verschil tussen beide vraagvormen. Waar het gaat om objectiviteit als overeenstemming tussen deskundigen, zijn openantwoord en keuzevragen in beginsel aan elkaar gelijk. Amerikaanse auteurs geven dat aan door beide tot de objectieve vraagvormen te rekenen. Die objectiviteit wordt bereikt door een zorgvuldige voorbereiding, die er bij kortantwoordvragen uit bestaat dat deskundigen onafhankelijk van elkaar de vragen beantwoorden en daarin met elkaar overeen moeten stemmen (anders wordt de vraag niet in de toets opgenomen); bovendien moeten zij het met elkaar eens zijn wat de scoring van mogelijk door studenten te geven antwoorden betreft. Bij keuzevragen wordt nagegaan of deskundigen onafhankelijk van elkaar dezelfde alternatieven als de (meest) juiste aanwijzen; nog beter: deskundigen beantwoorden de vragen als open vragen, en dan moet blijken of de gegeven antwoorden overeenstemmen met het (meest) juiste alternatief. De zorgvuldige voorbereiding is in overeenstemming met de uiteenzetting van Hofstee, door hem meer in de context van empirisch onderzoek geplaatst. Ik benadruk liever dat het om routinematige controle vooraf gaat, zoals veel docenten die overigens al hanteren. 1)
Beide vraagvormen zijn even efficiënt wat betreft het aantal vragen dat studenten per uur kunnen beantwoorden. Er hoeft bij kort antwoordvragen nauwelijks geschreven te worden: één of twee woorden, een getal. Bij keuzevragen moet enige extra tijd besteed worden aan het afchecken van de onjuiste alternatieven. Op drie punten zijn er wél verschillen: keuzevragen hebben een ingebouwde raadkans, en dat is een handicap die kortantwoordvragen doorgaans niet hebben; beide vraagvormen zijn niet altijd even geschikt voor het soort vragenoverdestof waar het in dit speciale vak om gaat; en keuzevragen zijn vaak automatisch te scoren, waar tegenoverstaat dat kortantwoordvragen eenvoudiger te construeren zijn.
Raadkansen brengen een extra element van pechofgeluk met zich mee, en tasten de objectiviteit aan wanneer die omschreven is als de mate waarin een student niet net zo goed een ander cijfer had kunnen krijgen (Hofstee). Ik kan niet inzien waarom je bijvoorbeeld bij rekenopgaven de ellende van raadkansen binnen zou halen door keuzevragen te gebruiken. Dat raadkansen bar vervelend zijn is te begrijpen: voor veel keuzetoetsen geldt dat gemiddeld niet veel minder dan de helft van de vragen geheel of gedeeltelijk geraden wordt, en met een raadkans van zeg 1/3e per vraag levert dat een aardige loterij op.
De aard van de te stellen vragen kan vaker dan men denkt aanleiding vormen voor een voorkeur voor één van beide vraagvormen. Het ligt voor de hand dat keuzevragen juist dan goed te gebruiken zijn wanneer het gevraagde ook een keuzekarakter heeft. Aanwijzen op een kaart is een 'keuze,' evenals de vraag hoeveel 2 + 3 is (kleuterschool), of welke diagnose bij een gegeven ziektebeeld past (artsopleiding); hier wordt telkens uit een klein aantal mogelijke antwoorden gekozen, óók als de vraag als kortantwoordvraag gegeven zou worden. Raadkansen zijn hier al ingebouwd in de aard van de vraag, en niet te vermijden door kortantwoordvragen te gebruiken. In alle andere gevallen zal het zo zijn dat de kans dat de student in onwetendheid een goed antwoord produceert te verwaarlozen is, en dan gebruik je ook bij voorkeur kort antwoordvragen. Probeer liever niet om stof die zich moeilijk voor keuzevragen leent, toch in dat keurslijf te persen: het risico is dan aanwezig dat van de student kennis en inzichten gevraagd worden, namelijk het onderling vergelijken van goede en foute antwoordalternatieven, die niet als zodanig in het onderwijs aan de orde geweest zijn, of tot de doelstellingen van het onderwijs behoren.
Het bedenken van 'foute' alternatieven bij keuzevragen is vooral dán een heidens moeilijke zaak wanneer het gaat om het slag vragen dat niet 'van nature' een keuzekarakter in zich draagt, zoals wél het geval is bij klassificeren, diagnosticeren, aanwijzen, etcetera. Daarom zijn kortantwoordvragen doorgaans veel sneller, makkelijker, en zinvoller te maken dan keuzevragen: het zijn immers keuzevragen waarbij geen alternatieven aangegeven worden. Wat het nakijken betreft: bij een goede voorbereiding (scoringsvoorschrift, handige layout) kunnen kortantwoordvragen snel en objectief verwerkt worden, in niet veel meer tijd dan nodig is om de automatische scoring van keuzevragen administratief rond te krijgen (tenzij het om wel erg grote aantallen gaat).
Het zal al met al niet zo vaak voorkomen dat keuzevragen het pleit winnen, ook niet wanneer kostenbeheersing van belang is. Hetze1fde geldt voor landelijke toetsen, voorzover ze door leraar of onderwijzer nagekeken kunnen worden (en waarom zou dat niet kunnen?). Slechts in gevallen waarin er twijfel is, waarin het dilemma nog recht overeind is blijven staan, zou je kunnen grijpen naar het 'empirisch onderzoek' om een beslissing te brengen. Er zijn twee argumenten om dat onderzoek dan toch maar niet te doen. Wanneer de analysevooraf zorgvuldig is geweest, valt niet te verwachten dat een empirisch onderzoek duidelijke verschillen (in objectiviteit, daar gaat het hier om) tussen beide vraagvormen zal opleveren. Wanneer analysevooraf duidelijk heeft gemaakt dat verschillen niet groot kunnen zijn, is een empirisch onderzoek te kostbaar en is het beter om op basis van secundaire argumenten (voorkeur van studenten) te beslissen. Hofstee is het hier mogelijk niet mee eens, omdat zo'n analyse vooraf in hoge mate een kwestie is van ongewapend oordelen (er is geen empirisch onderzoek gedaan) met alle door hem opgesomde bezwaren van dien. Het antwoord daarop is dat zo'n analysevooraf al gebruik maakt van empirische gegevens die tenminste wat één van de overwogen vraagvormen betreft doorgaans al aanwezig zijn, dus helemaal ongewapend is het oordeel niet, en bovendien kan de docent het relatief meer gewapende oordeel van een onderwijskundige vragen.
De zwakheden van het ongewapende oordeel zoals Hofstee die opsomt zijn niet of nauwelijks op objectieve vragen van toepassing, wél op het opstel of werkstuk. Het opstel concurreert niet met objectieve vragen, want ófwel objectieve vragen kunnen het opstel vervangen en dan moet dat ook gebeuren, ófwel het opstel vraagt (compositie) vaardigheden die niet in de fragmentering van objectieve vragen overkomen en dan heeft het opstel zijn eigen verdienste. Wie het opstel gebruikt heeft er wel voor te zorgen dat de beoordeling ervan gebureaucratiseerd wordt in de zin van Hofstee: dat beoordeeld wordt op onderwezen vaardigheden en niets meer of anders. 1 )
Overigens vindt de onjuiste opvatting dat alleen keuzevragen objectief en daarom rechtvaardig zijn, zijn oorsprong bij De Groot, die er zelf weer de basis voor gelegd had door zijn behandeling van objectiviteit in de wetenschapsbeoefening. 2) Ook daar ligt in de visie van De Groot de nadruk op het werken met wat je 'scoringsregels' zou kunnen noemen, terwijl mogelijke subjectiviteit bij het formuleren van die regels niet als problematisch (de bedoelde objectiviteit bedreigend) wordt gesignaleerd.
Hoofdstuk 2 van 'Toetsvragen ontwerpen' (herziening 2006) geeft een betere uiteenzetting. html
http://www.benwilbrink.nl/publicaties/81KeuzevragenUenH.htm