workshop handout Ben Wilbrink — 30 oktober Van Nelle-fabriek

In de volgende cases/casus zijn de vormaspecten nogal opvallend, maar zijn er ook inhoudelijke aspecten die aandacht vragen. Cases met een duidelijk inhoudelijke problematiek zijn in mijn materiaal niet veel aanwezig, maar zijn in algemene zin in de voordracht aan de orde geweest (tekst van de voordracht komt 30 oktober op de website beschikbaar http://www.benwilbrink.nl/projecten/30-10-09.htm).

Voor ieder casus bespreken we met elkaar in beginsel telkens de punten uit de 7-puntslijst (checklist intervisie http://www.benwilbrink.nl/projecten/toetsvragen.checklist.htm. Een checklist die bij het ontwerpen handig is, is onderaan deze webpagina te vinden, evenals de korte 7puntslijst

Een uitwerking per casus, aan de hand van het verloop van de twee workshops, is aan deze webpagina toegevoegd hier. Deze webpagina is weliswaar nu geanonimiseerd, maar zal desondanks maar beperkte tijd op mijn website blijven staan, zeg tot eind november.

Voor de workshop had ik ook abstracte vormen van de concrete casus geprepareerd. Ik ben van plan om aan de hand van deze abstracte vormen, uitgebreid tot een collectie die de meeste situaties dekt, een algemene handout te schrijven, met uitwerking van de diverse casus, die hier zal zijn te vinden. Op dit moment is het nog dezelfde 30-10-09 webpagina, maar de concrete voorbeelden gaan er dus uit, en de set abstracte voorbeelden wordt uitgebreid.

abstracte toetsvragen, zoals o.a. passend bij bovenstaande casus.

NB: hierbij ook voorbeelden die GEEN navolging verdienen. Dat is juist de sport: welke vormen zijn OK, welke niet? Of: in welke omstandigheden is een bepaalde vorm OK, in welke niet?

Voor de volledige versie zie http://www.benwilbrink.nl/projecten/toetsvragen.checklist.htm.

Intervisie op vraagontwerp: 7 aandachtspunten.

Er ligt een concrete toetsvraag voor, zoals hij in een toets zou kunnen staan. Dus zonder het ontwerpidee, een modelantwoord, of statistische gegevens uit een eerdere afname.

1. Eerste indruk van de vraag

2. Wat wil de ontwerper weten over de kennis van de kandidaat?

Natuurlijk, aan de vraag is niet altijd te zien wat de ontwerper wil weten; geef aan wat je denkt dat de ontwerper mogelijk wil weten, en neem dat dan ook mee bij de volgende aandachtspunten.

3. Is de vraag inhoudelijk adequaat? Kan het anders, beter? (Motiveer)

Het kan zijn dat de vraag beroerd is geformuleerd, of de verkeerde vorm heeft, maar dat is hier niet het punt. Is dit inhoud die ertoe doet, die specifiek is voor het gegeven onderwijs? Gaat het om begrip, onderlinge verbanden leggen, kennis motiveren, weten waarom je weet wat je weet?

4. Is de vorm van de vraag adequaat? Kan het anders, beter? (Motiveer)

Bekijk wat een ideale vorm voor deze vraag zou zijn.

Past de inhoud goed bij de vorm van de keuzevraag, is de inhoud ideaal om een open vraag over te stellen. En waarom is dat dan? Leidt dit tot een wijzigingsvoorstel voor de vorm van deze vraag?

5. Krijgt de ontwerper de bedoelde informatie? Kan het dan anders, beter? (Motiveer)

Zelfs bij simpele vragen zijn er vaak tal van mogelijkheden waarop kandidaten komen tot de verschillende antwoorden die ze geven. Wat daarbij voor de ontwerper van belang is, zou uit de antwoorden moeten blijken. Lukt dat bij dit ontwerp van de vraag? Wat zou dat kunnen verbeteren, en waarom?

6. Is het OK wanneer kandidaten zich gericht op vragen zoals deze gaan voorbereiden?

Een toets mag wel eens mosterd na de maaltijd zijn, maar studenten uit de volgende lichting zullen eruit afleiden hoe zij zich er het best op kunnen voorbereiden, misschien met zo weinig mogelijk inspanning. Gaat dat goed, als deze vraag typisch is voor de meeste vragen in de toets? Denk ook aan onbedoelde effecten: als rekenopgaven altijd een antwoord hebben, leren scholieren dat verwachten, alsof de wereld altijd kant-en-klare opgaven zal stellen; een artsexamen met veel keuzevragen geeft bepaald een verkeerd beeld van wat het is om medische kennis te gebruiken.

7. Overige punten van kwaliteit (zoals taal)

Dubbelzinnige tekst, moeilijke woorden, fouten in het Nederlands of de interpunctie, onbedoelde hints: het zijn allemaal kleinigheden die belangrijk kunnen zijn.

ontwerptips

tip 1. Laat de tekst van de vraag glashelder zijn.

tip 2. Zorg voor een goede balans tussen de tijd die voor het beantwoorden nodig is, en de informatie die het antwoord oplevert. Veel leestijd voor een tweekeuzevraag is heel, heel ondoelmatig (breng de leestijd terug, en/of vraag om het antwoord te motiveren). Een open vraag om in eigen woorden de werking van een geneesmiddel te beschrijven, is niet alleen heel doeltreffend, maar ook heel informatief, en spoort de kandidaten aan om de stof op een goede manier te bestuderen.

tip 3. Vraag twee of meer dingen tegelijk alleen als dat toegevoegde waarde heeft boven ieder afzonderlijk te vragen. Maak er anders afzonderlijke vragen van.

tip 4. Raadkansen verminderen de waarde van de informatie. Vraag om aangekruiste antwoorden te motiveren. Of geef een bonus voor onbeantwoord laten van keuzevragen die men niet weet. Over raden, zie par. 2.2 raden in ‘Toetsvragen ontwerpen’. Die tekst is knap lastig, ik weet het, maar omdat het onderwerp controversieel is moeten de argumenten volledig worden uitgeschreven.

tip 5. Vragen die in alle opzichten geslaagd zijn, lenen zich vaak ook voor hergebruik met andere voorbeelden (rompvragen, zie par. 2.5), of als sjabloon voor vragen over andere onderwerpen. Leg er een verzameling van aan.

tip 6. Vraag je altijd af: hoe wil ik dat kandidaten met hun kennis om kunnen gaan, en komt dat goed terug in de vragen die ik ze stel? Dat is heel wat anders dan cursustekst omvormen tot toetsvragen.

tip 7. Er is een asymmetrie tussen vragen over feiten en vragen over begrijpen: om feitelijke vragen te kunnen beantwoorden is begrip van de stof niet per se nodig, om inzichtelijke vragen te beantwoorden moet de kandidaat de feiten wel op een rij hebben. Buit die asymmetrie uit door meer inzichtelijke vragen te stellen, dan kan het aantal feitenvragen (veel) minder. Dat dwingt kandidaten ook om minder oppervlakkig te leren.

tip 8. Leg in ieder geval vragen waar je zelf twijfel bij hebt, ook eens aan een collega voor, voordat je ze in een toets gebruikt.

reflectie op de twee workshops 30-10-2009

De workshops duurden een uur, met vijf of zes deelnemers. Er was weinig materiaal ingezonden maar van vier deelnemers, en dat was waarschijnlijk vooral jammer voor de niet-inzenders. Ik kon uit het ingezonden materiaal toch een goede selectie maken waarin de belangrijke thema's aan de orde zouden komen. Het gevolg was wel dat enkele casus besproken werden zonder dat de auteur ervan aanwezig was. Ik had bij deze opzet tevoren wat aarzeling, reden om van de te behandelen casus ook abstracte versies te maken. Maar goed, het is natuurlijk altijd aansprekender om concrete casus te behandelen, dan abstracte. De betrokkenheid van de deelnemers is groter wanneer het gaat om een casus van een aanwezige deelnemer. Op een gegeven moment til ik de discussie dan toch naa een algemener niveau, en dan maakt het geen verschil meer of het een casus van een deelnemer is, of niet, of misschien een abstract casus.

De belangrijkste indrukken zijn ongeveer deze: het duurt even voordat de interactie goed op gang komt, maar dan is de discussie ook zeer betrokken, geanimeerd, en vrolijk. En dat terwijl de deelnemers elkaar merendeels niet kenden, dus geen directe collega's waren. Uit de groep kwamen goede analyses en suggesties, en op die basis bleek het heel goed mogelijk om meer principiëele punten in discussie te brengen. Ik zal dat laten zien aan de hand van de afzonderlijke casus.

Wat me verraste is dat deelnemers moeite hebben om de vragen te ‘plaatsen:’ waar gaat dit over. Wat betekent ‘Wat doe je’? Is dit niet veel te open? Kun je niet beter gericht vragen naar wat je precies wilt weten?

Het gaat de ontwerper van de vraag erom dat de kandidaat zeker stelt dat de aflezing voor de hoogte van de bloedglucose correct is, eventueel doorverwijst naar de huisarts, en zeker niet zelf een medisch advies geeft (mijn woorden, als ik et goed heb begrepen).

Mijn overweging om dit als eerste casus te nemen: het is een concrete situatie, ik noem dat telkens een vignet, maa dat is een term die onbekend is. Zo'n vignet, waarvan dit casus een eenvoudige vorm is, is een ideale manier van vragen, omdat het toetst op beschikbaarheid van kennis, onderlinge verbondenheid van kennis, in tegenstelling tot vragen om kennis te reproduceren. Gekoppeld aan de eerste opmerkingen over deze vraag: je hebt als ontwerper de keuze om gerichte korte vragen te maken, of een meer open vraag te stellen waarin de kandidaat moet komen met een adequaat antwoord zonder dat je in de vraagstelling zelf concrete aanwijzingen hebt gegeven waarover dat moet gaan.

Dan vinden deelnemers de open vorm van het vignet inderdaad beter, aantrekkelijker, maar doemt het probleem op van het beoordelen van de gegeven antwoorden. Dat kan dan spontaan leiden tot de suggestie dat je er een modelantwoord voor zou moeten maken (zoals in het laatste casus over prospectie en predictie).

Ik probeer dan discussie uit te lokken over de wenselijkheid van modelantwoorden. Dat kan dan aanleiding geven tot het bespreken van in ieder geval twee thema's: 1) dat modelantwoorden zo strak kunnen zijn dat ze ten nadele werken van kandidaten die creatieve antwoorden geven die correct zijn maar niet in het antwoordmodel staan, en dus is thema 2): de beoordeling moet los kunnen komen van een mogelijk te strak modelantwoord, het modelantwoord is voor de beoordeling dus niet echt nodig (tenzij bij landelijke toetsen). Het opstellen van een antwoodmodel kan wel heel functioneel bij het ontwerpen van de vraag omdat daarbij de ontwerper moet anticiperen op wat mogelijke goede en wat minder goede antwoorden zijn.

Over het antwoordmodel: in de de uitgave van 1983 ‘Toetsvragen schrijven’ prijs ik het antwoordmodel nog aan als noodzakelijk bij open vragen. Ik ben erop teruggekomen omdat ik mij sindsdien heb gerealiseerd dat er een overdreven nadruk is koemn te liggen op het zo eerlijk mogelijk nakijken van open antwoorden, vaak door twee onafhankelijk van elkaar oordelende docenten. Dat gebeurt niet alleen bij eindexamens, maar ook bij schriftelijke tentamens in het hoger onderwijs, waarbij er ofwel geen nabesprekingen zijn (eindexamens!), ofwel studenten al lang geen belangstelling meer hebben voor een nabespeking. Dat beekent dat al dat zorgvuldig nakijken geen onderwijsmmenten oplevert, en dat de daain geïnvesterde tijd dus in zekere zin is gestolen van de onderwijstijd. Een stukje kwaliteit van onderwijs is ingeruild voor meer eerlijkheid bij het nakijken. Wie is daar uiteindelijk dan bij gebaat? Precies. Beoordelaars moeten deskundig zijn, natuurlijk, maar dan ook snel en met lef kunnen beoordelen. In twijfelgevallen kan er alsnog een onafhankelijke beoordeling van derden worden ingezet.

Creatieve antwoorden van kandidaten zijn een zorg op zich, niet alleen bij vignetvragen. Het in eigen woorden proberen te begrijpen van de leerstof, ook nog andere boeken lezen dan wat is opgegeven, blijkt uit onderzoek vaak tot lagere cijfers te leiden, terwijl het evident is dat dit de betere studenten moeten zijn. (o.a. Hans Crombag en anderen, Tijschrift voor Onderwijsresearch, 1976; onderzoek in de propedeuse van vier faclteiten in Leiden).

Deelnemers zien niet meteen dat dit een rechtstreekse reproductievraag is. Er zou zomaar een antwoord van een kantje of wat kunnen komen. Op zich zou dat laatste te ondervangen zijn door een maximaal aantal woorden te noemen, of een dranghek te geven (een ruimte waarbinnen het antwoord moet passen).

Het is inderdaad een gewone reproductievraag. De vraag is dan: waarom niet een vignet geven, waarin het kennen van het verschil tussen beide cruciaal is? Dat is immers de relevante manier om te toetsen op deze kennis. Anders weet je nog niet of de kandidaat die het verschil kan reproduceren, in staat is in praktijksituaties deze kennis te benutten. Als het om het laatste gaat, probeer dan op dat niveau te vragen.

Dit lokt het bezwaar uit dat een fout antwoord op een vignetvraag mogelijk geen uitsluitsel geeft over de kennis die aanwezig is. Dat klopt, maar is dat een probleem dan? Kennis hebben, maar die op het passende moment niet gebruiken, dat is immers niet de bedoeling.

De bedoeling bij het opnemen van dit casus is om een discussie los te weken over dit dilemma: directe reproductie vragen, of vagen naar de kern van de zaak, de kennis weten te gebruiken waar en wanneer die aan de orde is. Of terugvragen, maar dan in zijn samenhang met andere kennis.

De reden om dit casus op te nemen is dan ook om aan de orde te hebben dat ja-neevragen, juist-onjuistvragen, of waar-onwaarvragen een aantal belangrijke bezwaren hebben. Die bezwaren komen niet echt spontaan uit de groep naar voren, er moeten wat hints aan te pas komen.

Een belangrijk bezwaar is dat je voor iedere als waar gesleutelde vraag, ook ongeveer een als onwaar gesleutelde vraag moet zien te bedenken. Bijvoorbeeld werd gesuggereerd: De aarde is plat. De deelnemers zijn dan wel snel aan de conclusie toe dat je dan het risico loopt dat de kandidaten onjuiste informatie oppikken en dus leren. Ik voeg er dan nog als extra bezwaar aan toe dat onjuiste informatie waarschinjlijk niet tot de leerstof behoort, en dan heb je wel een ernstig probleem.

Wie zulke scherpe kritiek heeft op voorgestelde waar-onwaarvragen moet, als het even kan, een goed alternatief aandragen. Ik gebruik dan het voorbeeld uit hoofdstuk 2 (Toetsvragen ontwerpen, website-versie), over de baan van de aarde om de zon. Maar het mag ook de vorm van de aarde zijn. Een goede oplossing zal vaak kunnen zijn er een tweekeuzevraag van te maken, waarbij de beide alternatieven pefect duidelijk amken wat de bedoeling is. Dus: Wat is de vorm van de aarde? a) plat, b) een bol. Wat is de baan van de aarde om de zon? a) een cirkel, b) een ellips. (Merk op dat de alternatieven in een natuurlijke volgorde staan: plat is simpeler dan bol, cirkel is eenvoudiger dan ellips.)

Een interessante gedachtenwisseling bij de eis dat in een toets het aantal ‘waar’ gesleutelde vragen ongeveer gelijk moet zijn aan het aantal ‘onwaar’ gesleutelde vragen. Een van de deelnemers komt met de anecdote van een die in zijn geheel uit ‘waar’ gesleutelde vragen bestaat. Dit is zo extreem, dat het kandidaten in verwarring zal brengen, en om die reden onethisch is. Maar dat argument wordt niet zomaar geaccepteerd. De logica schijnt immers te zijn, zoals ook aan de roulettetafel, dat voor de volgende vraag, als je die niet weet, de kans dat et ook een ‘waar’ gesleutelde vraag is, een half moet zijn. En dus ook: als je weet dat het antwoord ‘waar’ met zijn, en het is de laatste vraag na allemaal vragen die ‘waar’ zijn beantwoord, dan moet je gewoon nuchter ‘waar’ antwoorden. Maar zo zit de psychologie van de kandidaat niet in elkaar. De toets verandert zo van een toets op inhoud naar een toets op de psychologie van de kandidaat. Dat is zo oneigenlijk als het maar kan zijn. Mijn overtuiingskacht is in dit geval niet geweldig groot, ik krijg niet goed uitgelegd dat het niet aan de ontwerper van de toetsvragen is om maar te doen wat hem of haar goeddunkt. Heel apart, zou Dirk zeggen. Nog aparter is dat een andere deelnemer met eenzelfde verhaal komt: een toets met allemaal identiek gesleutelde meerkeuzevragen. Het is grappig, zeker, maar op deze manier mag je niet spelen met de kandidaten die zo’n toets moeten afleggen. Dit is een extreem voorbeeld van eigengereidheid van een docent, maar mildere vormen ervan komen natuurlijk dagelijks voor. Binnen redelijke grenzen draagt het bij aan de levendigheid van het toetslandschap, maar docenten die heel aparte regels en vormen gebruiken, gaan daarmee te ver. Dat schendt het vertrouwen dat kandidaten mogen hebben in een behoorlijke vorm van toetsing. De Groot (1970 http://www.benwilbrink.nl/publicaties/70degroot.htm) zou dat transparantie noemen. Job Cohen (1982), die bij De Groot promoveerde op Studierechten, zou dat kenbaarheid noemen. Toetsen moeten voldoen aan eisen van behoorlijkheid. Aan algemene beginselen van behoorlijk bestuur, en als het aan Cohen ligt dus ook aan algemene beginselen van behoorlijk onderwijs. Een interessant uitstapje.

Dit is dan de eerste meerkeuzevraag. De spontane suggestie, bij dit casus, is om er een open vraag van te maken, want dat is ook de praktijksituatie. Het casus nodig uit tot allerlei opmerkingen en suggesties die op zich niet met de thematiek van de meerkeuzevraag hebben te maken. Ik moet een volgende keer dus een ander casus gebruiken, of toevoegen. Iedeeen begrijpt, en dat blijkt ook de overweging van de ontwerper, dat het gaat om de rekenvaardigheid van het personeel dat de infuuspomp bedient. De suggestie is dan om een stuk of tien rekenopgaven in te voegen, die de rekenproblemen dekken die in de praktijk kunnen optreden (bijv. decimale getallen zoals 2,10 juist interpreteren in vergelijking tot bijv. 2,1).

Als context-som opgevat, kan de analyse zijn dat de opgave in twee delen uiteenvalt: een goed model opstellen en hanteren, en met dat model de goede berekening maken. Ik kan me, als buitenstaander, voorstellen dat dit type berekening altijd op dezelfde manier moet worden gemaakt (dus niet op ‘handige’ manieren die bij realistisch rekenen gebruikt mogen worden), schriftelijk vastgelegd, en expliciet gecontroleerd volgens een eveneens vast protocol. Maar goed, dit gaat heel erg in op de inhoud van dit casus.

Over de alternatieven is er natuurlijk ook nog een gedachtenwisseling mogelijk. Welk werk wil de ontwerper de alternatieven laten doen? En lukt dat dan? Voor een discussie over alternatieven is het volgende casus ook geschikt (of bijna willekeurig welke meerkeuzevraag).

De eeste indruk bij deze vraag zou kunnen zijn dat de tekst van de alternatieven een massief blok vormt tegenover een slanke stam van de vraag. Over de alternatieven buitelen de suggesties over elkaar heen, over verborgen aanwijzingen die erin zouden kunnen zitten, over de herhaling van teksten zoals 'lege zak alarm genereren'. Een duidelijke onbedoelde hint is het gebruik van detector in de stam van de vraag, en detectie in maar één van de antwoorden. Dat is inderdaad het juise alternatief. De ontwerper van de vraag ziet onmiddellijk dat 'druppeldetector' schrappen in de stam van de vraag dit probleem oplost. Ik wil daar dan nog aan toevoegen dat alleen de naam van het apparaat noemen [Easyclip] , het voor buitenstaanders ineens heel veel moelijker maakt om het juiste alternatief te zien: dit weglaten verbetert de specificiteit van de vraag, zoals dat in de vakliteratuur heet, dat is de mate waarin een vraag alleen goed is te beantwoorden voor wie de cursus heeft gevolgd.

Het is voor de deelnemers toch niet makkelijk te zien dat deze inkleding van de vier alternatieven een stevige mentale belasting oplevert, en daarom ongewenst. Evenmin dat ieder alternatief in feite bestaat uit twee afzonderlijke gegevens. Een belangrijk ontwerpprincipe is dat het meestal onhandig is om twee dingen tegeleijk te vragen, of zoals in dit geval, in ieder alternatief twee dingen tegelijk op te nemen. De vraag wordt dan gewoon lastiger te beantwoorden zonder dat dat iets met beheersing van de stof heeft te maken. Er ontstaan makkelijk misvestanden en dubbelzinnigheden.

Het alternatief ligt heel erg voor de hand: in de vier alternatieven van it casus komen vier afzonderlijke elementen voor, welnu, gebruik alleen die om vier alternatieven te maken, waarvan er meerdere goed kunnen zijn.

Een simpele reproductievraag, lijkt het. Deelnemers suggeren dan ook om er een open vraag van te maken. Het vermoeden bestaat dat de ontwerper de vraag stelt omdat de urethra en de ureter vaak niet goed uit elkaar worden gehouden. Dat blijkt inderdaad het ontwerp-idee te zijn. De suggestie komt dan, om het te laten bij de eerste twee alternatieven, en het alternatief 'het nefron' weg te laten.

Om de vraag uit te tillen boven het puur reproductieve karakter, zou je kunnen zoeken naar situaties waarin et verwarren van urethra en ureter voor kan komen, en daar een vignet van maken. Op die manier vraag je naar waar het uiteindelijk echt om gaat: dat de kandidaat zich in deze wereld niet in de luren laat leggen door deze twee zo op elkaar lijkende benamingen. De toetsvraag is dan ook heel veel scherper, want er zit niet de overduidelijke hint in: pas op, dit gaat over het onderscheid tussen urethra en ureter, hoe zit dat ok alweer, kruis de juiste naam aan.

Overigens is deze vraag, als tweekeuzevraag, wel een goede vorm, vergeleken met vaianten waarin de vorm van bijvoorbeeld de waar-onwaarvraag.

De dubbele juist-onjuistvraag komt veel voor, maar at is niet terecht. De vorm is heel bijzonder, gekunsteld, lastig om te beantwoorden. Het is goed te zien dat dit type vraag erop is gericht om vier alternatieven te hebben. De oorsprong van deze spuuglelijke vorm van vragen ligt dan ook, wat Nederland betreft, in de zestiger jaren In e Groot en Van Naerssen (1969) zijn er heel veel voorbeelden van te vinden, niet als voorbeelden om te vermijden, maar juist als voorbeelden van wathandig is om te doen. De kennelijke misvatting in die tijd moet zijn geweest dat computerscoring van een toets met vierkeuzevragen vereist dat alle vragen dan ook vierkeuze zijn, wat niet zo is. Programmatuur die vierkeuzevragen goed verwerkt, verwerkt zonder enige extra ingreep ook tweekeuzevragen goed. Het is dus helemaal niet nodig om om pragmatische redenen tweekeuzevragen te combineren tot dit soort hersenbrekes van vierkeuzevragen.

Niet iedere deelnemer ziet het zo, want als je gewoon bij iedere stelling aantekent of hij juist is of niet, dan kun je daarna rustig uitzoeken welk alternatief je dan moet aanstrepen. Inderdaad is het voordeel van deze koelbloedige strategie dat de mentale overload achterwege blijft. Het evidente probleem is dat de akndidaat bij deze afwijkende vraagvorm een andere strategie moet volgen bij het beantwoorden, en daar scherp op zijn is juist niet een doel van de betreffende cursus. Extra mentale belasting die volgt uit gekozen vormen voor de vragen, moet echt vermeden worden als dat maar even kan.

Gewoon splitsen dus, in twee afzonderlijke vragen. Maak van de stellingvragen als het even kan fatsoenlijke tweekeuzevragen. Als die afzonderlijke vragen te licht zijn voor ieder een heel punt, geef dan aan dat ze ieder een half punt opleveren.

De eerste spontane opmerkingen van de deelnemers bij deze vraag: als je één alternatief goed hebt, krijg je dat bij deze vraagvorm niet beloond. Dat is inderdaad zo, en dat is ook altijd een bezwaar van studenten geweest egen deze vraagvorm. Technisch is dat echt van ondergeschikt belang, maar voor het gevoel komt het als een tikje onrechtvaardig over.

Aan het laatste casus zijn we in geen van beide workshops toegekomen, zij het dat het maken van modelantwoorden op zich wel aan de orde is geweest.

Wat ik aan de deelnemers voor had willen leggen, als het niet spontaan op zou komen, is de vraag of prognostisch en predictief wel onderscheidbaar zijn op de manier zoals de ontwerper van de vraag in de modelantwoorden heeft aangeduid. Ik vermoed dat dit casus een voorbeeld is van vragen naar zaken of begrippen die idiosyncratisch zijn, waar kandidaten met een wat bredere achtergrond, of die dieper de stof in zijn gedoken, uist moeite mee zullen hebben. Idiosyncratisch: termen of definities die alleen door de betreffende auteur van een tekst- of cursusboek zo worden gebruikt. Of alleen in een specialisme binnen een vakgebied, maar niet in het vakgebied als zodanig. Of alleen bij ondedeel A, terwijl in onderdeel B een eigen betekenis aan dezelfde termen wordt gegeven. In de schooleconomie is er bijvoorbeeld sprake van inconsistent gebruik van termen en definities, waardoor het kan voorkomen dat in een en hetzelfde eindexamen met elkaar tegenstrijdige opgaven kunnen voorkomen (proefschrift Fons Vernooy). Het gaat hier dus bepaald niet om een zeldzaam verschijnsel. Het is tevens een mogelijke verklaring voor het eerder gesignaleerde fenomeen dat studenten die dieper de stof in duiken, zichzelf daardoor schaden in de cijfers die ze voor hun tentamens halen.

  http://www.benwilbrink.nl/projecten/30-10-09_workshop_handout.htm