Collegiale toetsing van toetsvragen — plus-versie

voorbereiding — instructie

Voordat u ook maar iets leest van de te bestuderen toetsvragen: bedek alle antwoorden of maak een bestandje met de vragen zonder hun antwoorden of antwoordalternatieven. Werk alle thema-vragen uit deze lijst eerst door voor de vragen zelf, doe het daarna nogmaals maar dan met de antwoorden erbij.

      •  •  •
      •  •  •
      •  •  •

Voel u vrij om gek te doen, om eens vanuit heel andere hoeken naar de vragen te kijken dan u in eerste aanleg geneigd bent te doen. Voor de opgave in de box is dat ook nodig: doorbreek het idee dat die lijnen helemaal binnen de omtrek van die negen punten moeten vallen. Raak uw hoekigheid kwijt. Gebruik als het kan steekwoorden om kort en krachtig te zijn. Als een thema niet aanslaat bij een bepaalde vraag, laat het dan fijn open staan. Ga als het even kan eerst snel door de lijst heen, en daarna nog eens zorgvuldiger. Leg de stukken weg, en neem uw commentaar op een later tijdstip nog eens door, probeer er dwarsverbanden in te ontdekken, schrap de onzin, vat alles samen in een kernachtige stelling. OK! is kernachtig genoeg. Geef dit met de vuilnisman mee! is ook kort en krachtig, maar verplicht wel tot een handreiking over hoe dan wel de vraag opnieuw te ontwerpen. In beide gevallen: rechtvaardig de slotzin, als dat naast de al opgeschreven commentaar nog nodig mocht zijn.

1. globale indruk: op het eerste gezicht

niet eerst lezen, maar kijken hoe de layout eruit ziet:

• toelichting  
• neg. voorbeeld eindexamen vr 21  
•  

1. springen sleutelwoorden eruit
2. hoeveelheid tekst
   • pos. voorbeeld taalkunde
3. ondersteunende afbeelding/grafiek/tabel
   • pos. voorbeeld sorteermachine

2. globale indruk van de inhoud: wat zou de bedoeling van de vraagsteller zijn?

lees de vraag snel door

1. wat wil de vragensteller weten [in apart bestand de toelichtingen plaatsen, dus telkens een link ernaartoe maken] [toelichting: de vragensteller weet het antwoord al, daar is zij dus helemaal niet nieuwsgierig naar. Maar wat wil zij dan wèl weten? stel er komt een goed antwoord op de vraag, wat weet de vragensteller dan van de kandidaat?]
2. stel, de hele toets bestaat uit vragen zoals deze. Op welke manieren zou zo'n toets dan eenzijdig zijn?

3. beantwoord de vraag

verplaats je in de gedachten van de kandidaat

1. wat zou een goed antwoord op de vraag zijn
2. wat zouden evidente foute antwoorden kunnen zijn
3. is er een beter antwoord mogelijk dan wat je dnekt dat de bedoeling van de vraagsteller is
4. is het duidelijk welk antwoord de vragensteller wil hebben
5. kun je bedenken op welke manier de vraag dubbelzinnig is op te vatten

4. hoe doet deze vraag het bij afname in een groep?

heb je een idee over

1. percentage goede antwoorden, ontbrekende, foute antwoorden (de moeilijkheid)
2. hebben kandidaten zich op een vraag als deze goed kunnen voorbereiden, en hebben ze dat dan ook gedaan
3. weten kandidaten die deze vraag hebebn beantwoord van zichzelf of ze een goed/fout antwoord hebben gegeven, en waarom

5. globale indruk van kwaliteit

1. gaat over de kern van cursus
2. - bevestigt kandidaten in hun kennen en kunnen (Yes! Ik heb deze materie in mijn vingers!) komt niet los van de cursustekst zelf
3. nodigt de kandidaten uit om op een onbedoeld eenzijdige manier de stof te bestuderen (feedforward werking)

6. analyse: sterke/zwakke punten op de vorm

vragen kunnen op tal van subtiele manieren gebrekkig of briljant zijn, maar hier gaat het om wat u als problematisch of juist geweldig ziet, na ondertussen intensief met deze toetsvraag bezig te zijn geweest.

• voor puntenlijstjes op vormaspecten die de ontwerper gewoon langs kan lopen en af kan vinken, zie hoofdstukken 2 en 8

1. de vraag klopt (er is een goed antwoord op mogelijk, het goede antwoord komt onder de keuze-alternatieven voor)
2. over het door de vraagontwerper bedoelde goede antwoord is discussie mogelijk (bij keuzevragen: zouden vakgenoten hetzelfde alternatief als het juiste/beste aanwijzen?)
3. vraagstelling is glashelder, goed Nederlands, ondubbelzinnig
4. bevat onnodig moeilijke termen, een ontkenning, onzin-alternatieven (bij keuzevragen)
5. bevat een stelling die onjuist is (ja/nee vraag daarover) [meestal is dit een kwaliteitsprobleem]

7. analyse: sterke/zwakke punten op de inhoud

1. de vraag is abstract, dat zou anders kunnen/moeten
2. het gekozen voorbeeld is adequaat, er zijn legio andere voorbeelden beschikbaar voor varianten op deze vraag
3. het casus/vignet is gekunsteld
4. de vraag is evident een slag moeilijker dan de vragen waarop kandidaten in de cursus of in het cursusboek hebben geoefend

8. het ontwerp van de vraag

1. het ontwerp van de vraag is helder: de ontwerper zou heel doelmatig een groter aantal van dergelijke vragen kunnen produceren
2. -met een een enkele ingreep is het ontwerp van de vraag aanzienlijk te verbeteren (zodat het mogelijk is doelmatig een groter aantal van dergelijek vragen te produceren).

bedoeling

Deze thema-lijst is bedoeld voor gebruik door docenten die elkaars toetsvragen willen bespreken. Zo'n gesprek kan best gezellig zijn, maar zonder voorbereiding blijft het daar waarschijnlijk dan ook bij. Met deze thema-lijst in de hand, en zonder eerst stukken over het ontwerpen van toetsvragen te moeten lezen, is het mogelijk een paar toetsvragen van collega's van relevante commentaar te voorzien, bij voorkeur voorafgaand aan de gezamenlijke bespreking. Het gezellige gesprek, op deze manier voorbereid, is dan ook een gestructureerd gesprek, en levert de ontwerpers van de geanalyseerde toetsvragen waardevolle feedback op.

U heb al gezien dat er twee versies van de thema-lijst zijn gegeven. De eerste versie is de kale thema-lijst , voor wie onbelast met allerlei verwijzingen aan de klus wil beginnen, of voor wie het werken met de checklist al bekend is. De tweede versie op deze pagina is identiek, maar bevat verwijzingen in de vorm van links naar voorbeeldvragen, toelichting, of relevante literatuur.

De thema-lijst is niet toegesneden op bepaalde disciplines, typen leerstof, onderwijsniveaus, or whatever. Dat geldt natuurlijk niet voor de voorbeelden waarnaar is verwezen, maar ook al gaan die niet over uw vak, en over basisonderwijs terwijl u universitair werkt, dan hoeft dat hun voorbeeldfunctie niet te beperken.

De bedoeling van deze thema-lijst is niet om kwaliteit van toetsvragen te controleren, maar om de ontwerpers van de toetsvragen informatie te geven waarmee zij hun ontwerp kunnen aanpassen, aanscherpen, verbeteren, of misschien liever door iets heel anders vervangen. Over het ontwerpen van toetsvragen zie de webpagina's in de kop van deze pagina, in het bijzonder de hoofdstukken uit Toetsvragen ontwerpen, een herziening-in-uitvoering van een oud Aula'tje Toetsvragen schrijven, uit 1983.

onderbouwing

Onbevangen docenten buigen zich over een of meer toetsvragen van een of meer collega’s. ‘Onbevangen’: niet belast met theorie over toetsen of toetsvragen, anders dan al aanwezige opvattingen, beelden, ervaringen.

Zij gaan met die toetsvragen een creatief spel aan. Ik bedoel daarmee het volgende. Het ligt enorm voor de hand om eerst kennis te nemen van wat er zoal fout kan gaan met toetsvragen, en wat nodig is om kwaliteit in te bouwen. Maar dan ontstaat er een analytische blik, waardoor de onbevangenheid verloren gaat, de aandacht op details komt te liggen, en het zicht op de grote lijnen verloren dreigt te gaan.

Die grote lijnen zijn natuurlijk: verdraagt een toetsvraag zich goed met wat het doel van het onderwijs is, is hij noodzakelijk, is het een plezier om de vraag te maken, dragen mogeijke antwoorden op deze vraag nieuwe en belangrijke informatie aan over de wijze waarop de betreffende kandidaat wendbaar met de stof kan omgaan. Enzovoort.

Wat mij voor ogen staat is dat de docenten die zich over collegiale toetsvragen buigen, daar alle drie ‘intelligenties’ van Robert Sternberg (triarchic intelligence) voor gebruiken, zoals in hoofdstuk 6 van Toetsvragen ontwerpen aangegeven. Dus bijvoorbeeld zelf een vergelijkbare vraag ontwerpen, maar dan over de eigen stof. Zich verplaatsen in de wereld van de kandidaat die de vraag gaat beantwoorden, en op dat moment misschien ontdekt zich niet adequaat op dit soort vraag te hebben voorbereid. Een antwoord bedenken dat de ontwerper van de vraag zeker niet zal hebben verwacht. Een beeld schetsen van hoe de wereld eruit zou zien wanneer alle toetsen uit alleen dit soort vragen zouden bestaan (en leerlingen zich daar heel strategisch op voorbereiden). Etcetera.

toelichtingen

1a. layout

Het gaat om de eerste indruk:

• is de vraag overzichtelijk,
• is het meteen te zien waar het over gaat,
• zijn de alternatieven kort en helder (voorbeeld)
• of is er juist veel tekst in de alternatieven gestopt (bij keuzevragen),
• is het een puzzel hoe je erop moet antwoorden voorbeeld rijexamen theorie

Is die eerste indruk prettig? [De pagina met voorbeelden in de Handleiding pdf]
Of levert de eerste indruk irritatie op? [De pagina met afraders in de Handleiding pdf]
Zouden kandidaten er meteen nerveus van worden? (voorbeeld: dubbele juist/onjuist keuzevragen)?  

literatuur

  Evan Heit, Ulrike Hahn, and Aidan Feeney (2005). Defending Diversity. In Woo-kyoung Ahn, Robert L. Goldstone, Bradley C. Love, Arthur B. Markman, and Philip Wolff: Categorization inside and outside the laboratory (87-99). American Psychological Association. pdf (concept)

      http://www.benwilbrink.nl/projecten/toetsvragen.checklist.plus.htm