http://www.benwilbrink.nl/projecten/toetsvragen.checklist.htm
In de ontwikkeling van landelijke toetsen is er een belangrijk stadium waarin anonieme collega’s zwakke punten in de ontworpen toetsvragen proberen te ontdekken. Docenten die hun eigen toetsvragen ontwerpen, kunnen dat ook doen, als het even kan voordat ze de toets afnemen en niet achteraf. Deze collegiale toetsing van toetsvragen is een vorm van intervisie, een rijke bron van goede ontwerpideeën bovendien. Het lijstje van zeven aandachtspunten kan deze intervisie een stevige structuur geven. Een korte theoretische onderbouwing volgt.
De vraag is mijn eigen bedenksel, maar de variant als open vraag is van Asterhan & Schwartz (2009), en is besproken in mijn ‘Toetsvragen ontwerpen’ 5.5 theorie.
Christa S. C. Asterhan & Baruch B. Schwarz (2009). Argumentation and explanation in conceptual change: Indications from protocol analyses of peer-to-peer dialog. Cognitive Science, 33, 374-400.
De algemene gedachte achter dit lijstje is dat de kracht van deelnemers aan de intervisie ligt in de kennis van het eigen vak, ook in de practische didactische kennis. De volgorde van aandachtspunten in de checklist is met zorg gekozen.
Wat op het eerste oog opvalt aan de voorgelegde vraag is altijd interessant om even te vast te leggen, maar hoeft de verdere analyse niet te sturen.
Wat de ontwerper kennelijk wil weten over de kennis van de kandidaat is maar een veronderstelling, en mogelijk niet juist (dat is dan het probleem van de ontwerper en komt in de dialoog wel boven water), maar stuurt wel de behandeling van de nog volgende punten.
Omdat de vorm van de vraag afhankelijk is van de inhoud, is eerst aan de orde of de inhoudelijke bedoeling van de ontwerper adequaat is, of misschien beter of anders kan (waarom en/of hoe; doe een voorstel).
Of de gekozen vorm van de vraag dan adequaat is, hangt mede af van de inhoudelijke analyse 2. en 3 (als het anders kan, doe een voorstel).
Ga dan uit van eventuele voorgestelde alternatieven bij antwoord 5: levert de vraag de bedoelde informatie werkelijk op? Zo niet, waarom is dat? Doe een verbetervoorstel.
Tot zover zou het zomaar kunnen dat voorgestelde toetsvragen leiden tot onbedoeld strategisch studiegedrag van kandidaten, vandaar vraag 6.
Tenslotte zijn er nog de vele mogelijke technische details, zoals duidelijkheid van de taal, waarop een vraag mogelijk is te verbeteren. Dus bezemwagen nummer 7.
Het kan allemaal net zo kort of net zo uitvoerig als gewenst, of naar beschikbare tijd. Bij de tweede of de twintigste toetsvraag gaat het allemaal wat sneller: herhaling van dezelfde opmerkingen kan immers achterwege blijven. De uitwerking in het bovenstaande voorbeeld lijkt ruim voldoende voor een vruchtbare dialoog tussen collega’s en ontwerper van de vraag.
Er ligt een concrete toetsvraag voor, zoals hij in een toets zou kunnen staan. Dus zonder het ontwerpidee, een modelantwoord, of statistische gegevens uit een eerdere afname.
Opmerkingen die bij eerder behandelde vragen al zijn gemaakt, hoeven niet telkens herhaald. Is dit de eerste te bespreken vraag, let dan meer op inhoud en vorm in algemene zin. Is het de derde of vierde vraag, dan kan alles korter, en let scherper op wat specifiek is bij de te bespreken vraag.
Meteen een begin maken. Mag intuïtief zijn: gééf die indruk, ook al kun je geen woorden vinden om de indruk te motiveren.
Dit is scherper dan alleen maar de bedoeling van de ontwerper, of wat een goed en wat een fout antwoord op deze vraag kan zijn. Meteen thuis: de toets hoort allereerst te gaan over wat en hoe de kandidaat weet van het vak. Kennis van het vak, en hoe studenten in die kennis groeien, is de kracht van de deelnemers aan de intervisie, benut dat.
Natuurlijk, aan de vraag is niet altijd te zien wat de ontwerper wil weten; geef aan wat je denkt dat de ontwerper mogelijk wil weten, en neem dat dan ook mee bij de volgende aandachtspunten.
Dit is de hamvraag over validiteit van toetsvragen, zie 2.6 ; de eigenlijke vraag is ‘Weet Marietje hoeveel botjes een leeuw heeft?’, de concrete vraag is ‘Hoeveel botjes heeft een leeuw?’.
Het kan zijn dat de vraag beroerd is geformuleerd, of de verkeerde vorm heeft, maar dat is hier niet het punt. Is dit inhoud die ertoe doet, die specifiek is voor het gegeven onderwijs? Gaat het om begrip, onderlinge verbanden leggen, kennis motiveren, weten waarom je weet wat je weet?
Er komt een standaardriedel bij: niet alleen maar wat roepen, maar daar dan ook een voorstel voor een alternatief ontwerp bij doen. En dat onderbouwen, motiveren, of uitleggen.
Het kan zijn dat bij 2) of 3) een andere draai is gegeven aan het inhoudelijke ontwerp-idee, ga daar dan ook vanuit bij analyse van de vorm van de vraag. Zet eventueel getob over randvoorwaarden van tijd en geld voor deze toets(afname) opzij, en bekijk wat een ideale vorm voor deze vraag zou zijn.
Past de inhoud goed bij de vorm van de keuzevraag, is de inhoud ideaal om een open vraag over te stellen. En waarom is dat dan? Leidt dit tot een wijzigingsvoorstel voor de vorm van deze vraag?
Zelfs bij simpele vragen zijn er vaak tal van mogelijkheden waarop kandidaten komen tot de verschillende antwoorden die ze geven. Wat daarbij voor de ontwerper van belang is, zou uit de antwoorden moeten blijken. Lukt dat bij dit ontwerp van de vraag? Wat zou dat kunnen verbeteren, en waarom?
Een toets mag wel eens mosterd na de maaltijd zijn, maar studenten uit de volgende lichting zullen eruit afleiden hoe zij zich er het best op kunnen voorbereiden, misschien met zo weinig mogelijk inspanning. Gaat dat goed, als deze vraag typisch is voor de meeste vragen in de toets?
Denk ook aan onbedoelde effecten: als rekenopgaven altijd een antwoord hebben, leren scholieren dat verwachten, alsof de wereld altijd kant-en-klare opgaven zal stellen; een artsexamen met veel keuzevragen geeft bepaald een verkeerd beeld van wat het is om medische kennis te gebruiken.
Dubbelzinnige tekst, moeilijke woorden, fouten in het Nederlands of de interpunctie, onbedoelde hints: het zijn allemaal kleinigheden die belangrijk kunnen zijn. Als laatste dan aandacht voor deze kleine zaken.
Over onderwijs en over toetsen bestaan bijna evenveel opvattingen als er docenten zijn. Het is niet dat dit noodzakelijk chaos oplevert, laten we zeggen dat er een vrolijke dialoog over mogelijk is. Helemaal onschuldig is dit alles niet, omdat immers studenten toch maar mooi afhankelijk zijn van al die verschillen in opvattingen. Voor een klein onderzoekje onder docenten, zie mijn (2003 concept). Zie verschillen in opvattingen bij collega’s als een bron van inspiratie bij het zelf ontwerpen van toetsvragen.
Natuurlijk zouden onderzoekers al heel lang een behoorlijke technologie voor het ontwerpen van toetsvragen moeten hebben, maar helaas is dat niet het geval. Het ligt ook wel voor de hand waarom dat lastig is: naast expertise in psychologie en methodologie is er ook nog kennis van natuurkunde nodig als toetsvragen over natuurkunde gaan, etcetera. Wie alles van wiskunde weet, zoals Hans Freudenthal ongetwijfeld deed, is daarmee nog geen briljant didacticus, dus ook langs die weg is het lastig. Ik ben zelf bezig om een ontwerptechnologie te ontwikkelen, en dat blijkt een bijna absurd interdisciplinaire onderneming te zijn (website). Vandaar de noodzaak om een sterkte te vinden van waaruit de ontwerper aan de slag kan: die kracht is de expertise in het eigen vak, en hoe dat vak te onderwijzen. Deze opvatting staat bepaald haaks op het huidige competentiedenken bij werkgevers en onderwijsmanagers. Maak vooral een lange neus naar alles wat ‘toetsdeskundigheid’ is, waarschijnlijk gaat deze deskundigheid over die heel andere wereld van landelijke toetsen zoals van het Cito. Neem bijvoorbeeld het raden bij keuzevragen: natuurlijk is dat een probleem, wat de literatuur ook anders wil suggereren. Doe er dus wat aan. Moeilijker is het om diep achterdochtig te zijn bij alles wat vertrouwd en gewoon is, maar waarvan bij nader inzien toch onbekend is wat er de rationele of empirische basis van is. Zoals: cijfergeven, keuzevragen, schema’s zoals ‘kennis — begrip — toepassing’, een model van het geheugen van studenten als een soort archiefkast, of het idee dat eerlijk beoordelen belangrijker is dan goed onderwijs geven. Betwijfel alles, behoud het goede. Minder is meer. Houd niet op met ‘Waarom?’ te vragen.
Misschien is de toets voor 1000 studenten en is het onontkoombaar om met keuzevragen te werken. Dat neemt niet weg dat het waarschijnlijk toch de bedoeling is dat een student na deze cursus een verstandig gesprek kan voeren over onderwerpen die tot het vak horen, op een bij nieuwelingen passend niveau. Welnu, probeer dat ideaal toch een beetje te benaderen door zinvolle open vragen te ontwerpen, en die in tweede instantie uit te bouwen tot keuzevragen. Ontwerp de alternatieven zorgvuldig zodat hoe de kandidaat de afweging maakt tussen de keuzealternatieven niet al te ver weg staat van wat er in dat verstandige open gesprek over de stof zou kunnen gebeuren. Laat de (wijze van beheersing van de) inhoud dus bepalend zijn voor de vorm van de vraag, in plaats van omgekeerd. Laat anderen maar denken dat vijftig keuzevragen altijd wel een goede toets opleveren (wat niet het geval is, en dat kan iedereen ook wel weten die maar een beetje twijfel bij zichzelf toelaat).
theorie: inhoud.
Nee, er is geen afgeronde theorie voor het inhoudelijk ontwerpen van toetsvragen. Dat wordt in de literatuur wel eens overdreven door te stellen dat het inhoudelijk ontwerpen een kunst is. Geloof die onzin niet. Er zijn tal van theorieën die op de een of andere manier van belang zijn voor de ontwerper. En helaas, het is voor de individuele ontwerper niet mogelijk om ook nog eens psycholoog, filosoof en taalkundige te zijn, om maar eens enkele relevante disciplines te noemen. Het kan helemaal geen kwaad om tenminste te weten wat je niet weet, om daar in bepaalde gevallen gericht aktie op te kunnen ondernemen.
Relevante theorie voor inhouden van toetsvragen, waar vind je die: cognitieve psychologie, wetenschapsgeschiedenis, wetenschapsfilosofie, kennisleer (epistemologie), onderwijsonderzoek. Dan is er voor het te toetsen vak zelf nog relevante theorie. Bijvoorbeeld voor natuurkunde: wat is het om inzicht te hebben in natuurkunde, om natuurkunde te beoefenen, te onderwijzen, inzicht in natuurkunde te toetsen (zie physicseducation.htm voor een literatuuroverzicht). Daar allemaal op ingaan is onmogelijk, dat lukt ook in ‘Toetsvragen ontwerpen’ niet (maar zie par. 2.6 en hoofdstuk 3). Als ik dan één onderwerp zou moeten noemen dat van enorm belang is, dan is dat: Volsta niet met alleen antwoorden, vraag/geef altijd ook uitleg, motivering, rechtvaardiging. Dat zijn de dingen die de ontwerper moet willen weten van de leerlingen. Deze kwaliteit maakt verschil tussen bijvoorbeeld goed (in China, Japan: leerlingen leggen uit) en rampzalig slecht wiskundeonderwijs (in de VS: leerlingen reproduceren kennis).
Als er een tip is die de ontwerper over de multidisciplinaire hordes heen kan helpen, dan kan dat deze zijn. Bezie de toetsvraag — ‘Hoeveel botjes heeft een leeuw?’ — niet alleen maar als de vraag of Marie een goed antwoord kan beredeneren, maar ga een paar stappen verder en verplaats je in de positie van Marie die de toetsvraag krijgt voorgelegd. Wat is er voor Marie nodig om bijvoorbeeld de bedoeling van de vraagsteller te begrijpen, de vraag in relatie tot de leerstof te begrijpen, en te begrijpen wat telt als een antwoord? Pas het ontwerp daar dan op aan. Dat is werkelijk drastisch anders dan de tekst van de opgegeven leerstof nemen, en daar maar wat vragen bij bedenken.
Zie voor een uitgewerkt voorbeeld de vraag over evolutietheorie in paragraaf 5.5.
theorie: vorm
Over vormen van toetsvragen is veel literatuur, ik noem als voorbeeld de eeuwige kwestie of open vragen hetzelfde ‘meten’ als keuzevragen doen. Er is geen afgeronde theorie, wel weer een verzameling ervaringen, mogelijkheden en inzichten, zie hoofdstuk 2. over vraagvormen. Maar ook stapels problemen, jurisprudentie, verkeerde gewoonten, zie bijvoorbeeld hoofdstuk 8. met checklists voor kwaliteit en voor mogelijke gebreken.
Ook bij vormkwesties is er voor de ontwerper tenminste één belangrijk houvast: verplaats je in de positie van de kandidaat die de vraag moet beantwoorden. Ik neem de keuzevraag als voorbeeld. Tot de spelregels hoort dat het beste alternatief goed is, ook als er geen duidelijk juist alternatief is. Dat betekent dat de kandidaat altijd alle alternatieven moet bestuderen, in hun onderlinge relatie. De ontwerper die zich dat niet realiseert kan werkelijk wrede meerkeuzevragen produceren.
Ik ben geneigd ook de moeilijkheid van de vraag als een vormaspect te zien: met kleine veranderingen en hints is die moeilijkheid vrijelijk omhoog of omlaag te brengen.
Aan het eind van de dag telt hoeveel informatie een toetsvraag in hoeveel tijd oplevert. Dat is een kwestie van samenspel tussen vorm en inhoud. Als keuzevragen op natuurlijke wijze passen bij wat de ontwerper wil weten over wat Marie weet, gebruik ze dan. Passen open vragen beter, doe dat dan.
http://www.benwilbrink.nl/projecten/toetsvragen.checklist.htm