http://www.benwilbrink.nl/projecten/toetsvragen.9.htm
Als 'Toetsvragen ontwerpen' een handboek is, waarover een kennistoets valt te af te nemen, hoe zou zo'n toets dan zijn te ontwerpen? Een gewetensvraag. Ik heb in de tachtiger jaren wel een aantal cursussen gedraaid, aan de hand van Aula 809, en daar ook wel een soort formatieve toetsen voor gebruikt. Ik zal dat materiaal nog eens bekijken, en het hier opnemen.
Dit hoofdstuk met opgaven over de voorgaande hoofdstukken, komt maar niet van de grond. Daar zijn tal van redenen voor: druk, druk, druk, geen duidelijke doelgroep voor deze opgaven, geen concrete aanleiding zoals een uitgebreide cursus waarin het hele boek over het ontwerpen van toetsvragen aan de orde is. Een belangrijke reden is dat bij praktische cursussen materiaal van de cursisten zelf wordt gebruikt ter bespreking, analyse, kritiek, uitwerking en verbetering. Toch maak ik wel aantekeningen om uiteindelijk een systematische aanpak te maken die bij ieder hoofdstuk een dekkende set opgaven op kan leveren. Bijvoorbeeld is een belangrijke bouwsteen dat zo'n set opgaven over bijvoorbeeld hoofdstuk 1 gebalanceerd moet zijn over Sternberg's categorieën: analytisch, creatief, praktisch, en wijs (zie Sternberg 2008 html).
Sternberg 2008 html
Op voorhand valt er het volgende over te zeggen, en dat gaat uiteindelijk een soort ontwerprichtlijn worden. De gepresenteerde ontwerptechnologie is razend moeilijk omdat de onderliggende theorie de meeste lezers niet erg vertrouwd is. Het ligt daarom in de lijn van de verwachting dat realistische kleine casus die het uitgangspunt voor de toetsvragen zijn, door de meeste lezers niet adequaat zijn te beantwoorden. Het is precies het soort probleem zoals door Deanna Kuhn (2005) beschreven in haar hoofdstuk over onderwijs gericht op (leren) denken. Alle lezers, zonder enige uitzondering, hebben sterke overtuigingen op het punt van toetsen, wat goede toetsvragen zijn, hoe je die ontwerpt, etcetera. Daarnaast is er de veel strakkere, op de cognitieve wetenschappen gebaseerde ontwerptechnologie zoals in de voorgaande acht hoofdstukken gepresenteerd. Daarom ligt het in de lijn van de verwachting dat zelfs bij relatief eenvoudige casus de lezers moeite zullen hebben om goede ontwerpkeuzes te maken, althans daar de juiste argumenten voor aan te dragen. De redenen voor de gegeven antwoorden zullen voorspelbaar voor een deel, misschien wel een groot deel, komen uit die eigen theorie over toetsvragen, in plaats van uit de theorie zoals in dit boek gepresenteerd. Ik zal daarom, als ontwerper van deze toetsvragen, een en ander zo in moeten richten dat ik die lezers help om dat onderscheid te maken: tussen redenen die berusten op eigene voorkennis (ervaring, intuïtie, dus mental model), en redenen die zij zich uit dit boek eigen hebben gemaakt. Zonder meteen te claimen dat alleen dit boek de juiste ontwerpregels in alle denkbare gevallen geeft, is het in beginsel zo dat alleen de met redenen omklede keuzen die berusten op hetgeen uit dit boek is begrepen, juiste antwoorden opleveren. Dat kan dus nog een tikje ingewikkeld worden, wat voor formatieve toetsvragen geen, voor summatieve toetsvragen mogelijk wel een probleem is.
Voordat er concreet toetsvragen zijn te ontwerpen, moeten een paar zaken toch wel op orde zijn: wat is de stof, wat zijn de opvattingen over toetsvragen ontwerpen waarmee lezers beginnen aan het bestuderen van het boek, hoe groeien lezers van hun aanvankelijke opvattingen naar meer gearticuleerde die dichter liggen bij wat de filosofie en technologie van 'Toetsvragen ontwerpen' is? Dus: een inventarisatie van de stof (de inhoudsopgave is een begin), en een inventarisatie van de mental models van de doelgroep (waarvoor uit de literatuur bekende problemen kunnen dienen, zoals deze volgen uit een niet goed gearticuleerd model over het ontwerpen van toetsvragen).
Er zijn natuurlijk onderdelen waarbij het tamelijk vanzelfsprekend is hoe een toets er uit kan zien. Bij paragraaf 8.2, de controle op (verborgen) gebreken, ligt het erg voor de hand om een aantal gebrekkige toetsvragen te verzamelen en deze voor commentaar voor te leggen. Veel soorten vragen zijn er mogelijk als meer gerichte varianten op de nogal open vraag 'geef uw commentaar.' In een cursus-situatie is een goede mogelijkheid om cursisten eigen toetsvragen in te laten leveren, en deze in een toets-achtige situatie door àndere deelnemers aan de cursus van commentaar te laten voorzien. Zoiets zal aan het eind van een cursus een ingrijpend ander resultaat opleveren dan bij de start ervan.
Het begin van alles zijn de bestaande opvattingen van docenten over beoordelen in het onderwijs. Met die opvattingen belast of gewapend, beginnen zij aan het lezen van (delen) 'Toetsvragen ontwerpen.' Er zijn veel onderwerpen waarbij het op voorhand wel duidelijk is wat gangbare opvattingen zijn, zoals over het aantal alternatieven waaruit keuzevragen bij voorkeur moeten bestaan. De meer beschouwelijke kanten van de toetsopvattingen zijn minder grijpbaar, al is er veel af te leiden uit wat er zoal in de literatuur aan opmerkingen worden gemaakt door docent-auteurs, en is er incidenteel inventariserend onderzoek naar bestaande opvattingen of praktijken. Zo is er een interview-onderzoek gedaan naar opvattingen bij docenten pedagogiek en onderwijskunde (Wilbrink, 2003 html). Over zittenblijven zijn veel opvattingen verzameld in Wald (1985), het zou interessant zijn deze eens te beoordelen op waar de 'schuld' wordt gelegd: bij de individuele leerling en/of haar omstandigheden, of het onderwijs.
De doelen van 'Toetsvragen ontwerpen' zijn globaal de volgende - in de loop van de tijd zal de lijst subtieler en mogelijk langer worden:
Refererend aan het werk van Bereiter (2002) is de stelling te verdedigen dat een theorie over het ontwerpen van toetsvragen een knowledge object is in de betekenis die Bereiter (met Popper) aan die technische term hecht. Zie dan vooral zijn hoofdstuk 8. De allereerste zowel als de ultieme opgave aan degene die van plan is dit boek over het ontwerpen van toetsvragen te bestuderen is dan als volgt. Nog beter zou zijn: opgave aan een groepje van would-be lezers samen.
Zoek uit en verklaar waarom een theorie over het ontwerp voor toetsvragen nodig kan zijn, in plaats van die toetsvragen gewoon voor de vuist weg te stellen? Wat is dat eigenlijk, een toetsvraag? Wie doet daar wat mee, en waarvoor? Het gaat om het ontwerpen van toetsvragen, dus er zijn zekere randvoorwaarden en condities, welke zouden dat kunnen zijn, en waarom? In de huidige onderwijspraktijk, hoe werkt dat toetsen eigenlijk uit, bijvoorbeeld op de kwaliteit van het onderwijs, op wat leerlingen uit het onderwijs meenemen, op hoe het onderwijs aansluit bij wat diezelfde leerlingen later in deze samenleving van pas komt, of juist niet? Hoe passen eigen ervaringen uit een mogelijk ver onderwijsverleden in deze bespiegelingen?
Het is toegestaan om informatie overal te zoeken waar dat zinvol kan zijn, inclusief het boek 'Toetsvragen ontwerpen' zelf. Doe het onderzoek hardop, laat een opnameapparaat dit registreren. Raffel het onderzoek niet af, maar besteed er dagelijks enige tijd aan, over een wat langere periode. Stop het onderzoek zodra er een enigszins afgerond knowledge object is ontstaan: u hebt uw eigen ontwerptheorie ontworpen. Daarmee bent u klaar om het boek door te nemen, als dat dan nog nodig is. Nee, een afsluitende toets is niet nodig: luister nog eens stukjes uit de opnamen terug, om u ervan te overtuigen dat dit zelf-onderwijs van de bovenste plank is geweest. Uw bevindingen even mailen, s.v.p.
De paragrafen 9.1 en verder sluiten aan bij de onderscheiden hoofdstukken en het daarin behandelde. De zo geordende vragen over de het ontwerpen zijn dan 'dat haalt je de koekoek' vragen, omdat op voorhand al bekend is over welk onderdeel van de stof ze gaan. Voor formatieve toetsing is dat heel adequaat. Maar uiteindelijk moet de ontwerper toch in staat zijn om zonder hints en handreikingen de adequate beslissingen te nemen: summatieve toetsen gaan over de hele stof, of over niet meteen verraden specifieke onderdelen ervan.
Zie voor een oefening van mijzelf hier
Er is een toepasselijke klasse van vragen over 'Ontwerpen van toetsvragen' waar ik nog enige bedenktijd voor nodig heb, maar die ik zeker moet gaan ontwerpen: wetenschapsquiz-achtige vragen in de goede zin van het woord, dus vragen die redelijk te beantwoorden zijn door wie over onderwijs pleegt na te denken, en 'Toetsvragen schrijven' heeft doorgenomen.
Tussen trekschuit en metro is geen directe relatie, zie de tweede vraag voor wat wèl een directe relatie is. Iedere kernenergiecentrale draait op stoom.
Zijn dit goede vragen? Dat hangt ervan af, vond u ze aardig? Ik zou ze niet in een summatieve toets gebruiken, u wel? De gein gaat er een beetje af wanneer leerlingen individueel dit soort vragen beantwoorden, laat ze er lekker met elkaar over overleggen. Zonder naar het waarom te vragen zouden deze vragen onnozel zijn; geldt dat niet voor veel keuzevragen?
Ik wil hier twee situaties onderscheiden, en zal dat mogelijk ook bij andere hoofdstukken doen: een ondervraging voorafgaand aan het lezen van het inleidende hoofdstuk 1, en een ondervraging na lezen/bestuderen van hoofdstuk 1.
Een vragenlijst voorafgaand aan het lezen van hoofdstuk 1 zou de vragenlijst kunnen zijn die in een eerder interviewproject is gebruikt. Ik heb deze vragenlijst nog niet geschikt gemaakt voor de website. Zie voorlopig het niet gepubliceerde artikel hier.
De onbevangen opvatting is waarschijnlijk dat 'concreet' het bedoelde antwoord is.
Wie denkt dat mijn voorbeeldvragen wel concreet zullen zijn, komt hier bedrogen uit.
De onbevangen opvatting is waarschijnlijk: 'ja, natuurlijk, toch?'
De onbevangen opvatting is dat 'vier' het beste antwoord antwoord, empirisch onderzoek wijst uit dat 'drie' praktischer is.
Bij de hoofdstukken vier tot en met zeven bestaan de ideale toetsvragen over deze stof uit vignetten - onderdelen van leerstof en doelen - met daarover vragen die zijn gericht op het proces om er toetsvragen bij te ontwerpen.
Ieder stukje tekst uit een gegeven cursus of tekstboek heeft een bepaalde functie, doet iets met de lezer, maakt het de leerling mogelijk iets te zien of te doen wat zij daarvoor niet kon, althans niet op die manier. Ieder stukje tekst empowers de lezer, geeft de lezer kracht, een vermogen om iets te doen, tot stand te brengen, te communiceren. Toetsvragen gaan daar dus over. Maar mogelijk niet alleen over het stukje tekst zoals in het vignet gegeven, maar ook over analyse van of inferentie uit die tekst, over relaties van de informatie in het vignet tot andere beschikbaar veronderstelde (daar gaat de toetsvraag over) informatie. Misschien komt er zelfs probleemoplossen aan te pas, een spel van opperen van veronderstellingen, testen van hun juistheid, en dan de best beschikbare actie ondernemen.
Wat het in dit stadium, aan het begin van een traject van het ontwerpen van toetsvragen over Toetsvragen, lastig maakt, is Blooker's cacaomeisje. Over welke stukjes tekst gaat het in bovenstaande alinea: niet die uit hoofdstuk 4 van 'Toetsvragen schrijven,' maar die uit een gegeven tekstboek waar toetsvragen over zijn te ontwerpen. Maar 'Toetsvragen schrijven' is zelf ook een tekstboek, en kan als uitgangsmateriaal dienen. De tekst die behandelt hoe toetsvragen over afzonderlijke begrippen zijn te ontwerpen, kan dienen als vignet voor te ontwerpen toetsvragen die zelf ook gaan over de stof van 'Toetsvragen ontwerpen.' Neem bijvoorbeeld het vertalen van termen. Als vignet voor toetsvragen over het ontwerpen van toetsvragen daarover, kan stof uit een tekstboek natuurkunde dienen. Wat de meta-toetsvragen toetsen is niet de natuurkunde, maar het ontwerpen van toetsvragen over natuurkunde. Ik moet dat misschien een keer tekenen, maar laat ik eerst proberen een reeks toetsvragen over het ontwerpen van toetsvragen over natuurkunde te maken. Die meta-toetsvragen - dat is de term die ik misschien moet blijven gebruiken - toetsen de stof uit 'Toetsvragen ontwerpen.' Het is nu wel duidelijk dat een poging om vignetten uit 'Toetsvragen ontwerpen' te gebruiken tot opperste verwarring kan leiden, een verwarring die er niet is met vignetten over natuurkunde. Het nadeel van de keuze voor natuurkunde - of Nederlands, geschiedenis - is dat niet iedere lezer van 'Toetsvragen ontwerpen' even goed thuis is in de stof van natuurkunde, maar misschien moet dat nadeel voor lief worden genomen.
Hoor en wederhoor Er is in Nederland uitgebreide jurisprudentie over bezwaren van studenten in het hoger onderwijs tegen hun beoordeling. Bijvoorbeeld het proefschrift van Job Cohen bevat veel casus. In beginsel is ieder casus geschikt om er een toetsvraag over 'hoor en wederhoor' van te maken: de uitspraak van het College van Beroep voor de Examens is immers bekend, evenals de argumenten die het College geeft. Prachtig materiaal. Ik weet nog niet of ik een serie van dergelijke vragen ga uitwerken. In de tussentijd: lees Studierechten van Job Cohen, of de rubriek meer van dergelijke casus in het tijdschrift Examens van de Vereniging voor Examens.
Ik heb elders een aantal bekende quizzen gedetailleerd besproken. Een relatief groot aantal vragen in deze quizzen gaat evident mank aan ontwerpfouten, soms ernstige ontwerpfouten. Daarnaast zijn er toch ernstige bedenkingen bij de validiteit van die quizzen, en dat begint al bij het ontbreken van een heldere formulering van wat nou precies de bedoeling is. Materiaal in overvloed om er heel veel toetsvragen passend bij dit hoofdstuk over kwaliteit mee te ontwerpen.
Bovenstaande opdracht is vanuit het oogpunt van de ontwerper wel wat gemakzuchtig, maar als er stevig grondwerk is verricht in de vorm van een eigen analyse van deze quizvragen, is dit wel adequaat. Om didactisch wat meer kracht te ontwikkelen, is het beter om belangrijke onderwerpen te kiezen, en daar een passende voorbeeldvraag bij te zoeken. 'Beter' dan een willekeurige vraag laten analyseren. Aan de andere kant: vermijd het wekken van een verwachting dat er bij iedere opgave ook werkelijk een ernstig probleem met de betreffende toetsvraag is, dat is immers de valkuil van de traditionele redactiesom.
Carl Bereiter (2002). Education and Mind in the Knowledge Age. Erlbaum. questia
Robert J. Sternberg (2008b). Assessing what matters. Educational Leadership, 65, 20-26. html
Alfred Wald (Red.) (1985). Een jaartje overdoen. Verslag van het SVO-symposium over zittenblijven in het voortgezet onderwijs. Den Haag: SVO.
Ben Wilbrink (2004 niet gepuliceerd). Toetsopvattingen van docenten. html
http://www.benwilbrink.nl/projecten/toetsvragen.9.htm