Oorspronkelijke uitgave ‘Toetsvragen schrijven’ 1983 Utrecht: Het Spectrum, Aula 809, Onderwijskundige Reeks voor het Hoger Onderwijs ISBN 90-274-6674-0, nu in publiek domein, auteursrechten B. Wilbrink. Onderstaande tekst is een sinds 2006 in bewerking zijnde versie. Voor de oorspronkelijke 1983 tekst zie www.benwilbrink.nl/publicaties/83ToetsvragenAula.pdf.

Toetsvragen ontwerpen

Handreiking bij het maken van toetsvragen over de leerstof

8. Kwaliteit van toetsvragen

Ben Wilbrink

Zijn de toetsvragen in concept geschreven, dan is het tijd voor redactioneel polijsten en controle op ondubbelzinnige formulering, dekking van de onderwijsdoelen, mate waarin antwoorden objectief te beoordelen zijn, en dergelijke. Dat hele complex van wenselijkheden samen is ‘kwaliteit,’ het thema van dit hoofdstuk. Wie nog gemotiveerd wil worden voor dit hoofdstuk kan eerst wat grasduinen in de brochure ‘De Examenidioot’ van Theo Thijssen, uit 1929 pdf 24 Mb.

Figuur 1 Kwaliteitskaart.

Allereerst bevat de term ‘kwaliteit’ een normatieve suggestie: ‘meer’ kwaliteit is ‘beter,’ en wellicht zijn er ondergrenzen voor de verlangde kwaliteit van toetsvragen. Daarbij kan men denken aan zoiets als de efficiency van het onderwijs, waar kwalitatief goede toetsvragen het hunne aan kunnen bijdragen. Maar ook aan de rechten en plichten van docenten en studenten tegenover elkaar, en wat er vanuit dat meer juridische kader valt te zeggen over kwaliteit van toetsvragen. Omdat rechtmatigheid prioriteit heeft boven efficiëntie, mits niet te gek, is eerst in paragraaf 8.1 rechtmatigheid aan de orde. Het gaat om ‘studierechten in het wetenschappelijk onderwijs,’ zoals Job Cohen (1981) ze noemt (meer recent is het proefschrift van Noorlander, 2005, met aandacht gericht op het primair en voortgezet onderwijs).. De ‘rechten van studenten ten aanzien van het onderwijs dat zij volgen’ bepalen ook de grenzen aan het handelen van de docent, ofwel de verplichtingen die zij heeft tegenover de studenten. Dat leidt tot regels voor de procedure, de inhoud en de vorm van examens, en dus ook van toetsvragen.

In de literatuur is de kwaliteit van toetsen vaak welhaast een doel op zich, zoals in dit boek in de editie 1983 ook is aan te wijzen. Maar dat zou toch niet mogelijk moeten zijn. Immers, validiteit van toetsen is bijna een ultiem criterium voor kwaliteit, en in de uitwerking van dit begrip ‘validiteit’ moet in het ideale geval het doel van het onderwijs, en hoe de toetsing zich daartoe verhoudt, de beste plaats hebben. Hoe ook precies uitgewerkt, in algemene zin is het doel van onderwijs ‘groei’ van de bagage van de student, preciezer: groei door verandering (bijvoorbeeld Susan Carey, 2004). Toetsen dragen zelf niet bij aan die groei, zijn er mogelijk wel een voorwaarde toe — zoals uitgewerkt in tentamenmodellen, motivatietheorieën en wat niet al — en mogen daarom slechts een minimaal beslag op de beschikbare middelen leggen. Sterker nog, de validiteit en kwaliteit van toetsen staat of valt ook met de aanwezigheid van alternatieven die een minder groot beslag leggen op schaarse middelen, of die wèl een eigen bijdrage leveren aan de groei van de bagage van de student. Concreet voorbeeld is de langzamerhand fantastisch overdreven zorg voor ‘eerlijke’ beoordeling van examens — een kostbare en didactisch zinloze achteraf-operatie — waardoor studenten aanwijsbaar minder onderwijswaar voor hun geld en inspanning krijgen. De Groot schreef daar ooit over [Selektie voor en in het hoger onderwijs] dat beoordelen tijdens het onderwijs voldoende moet zijn om tot een goed eindoordeel te komen (H versus P, Handelings- versus Prestatieonderdelen). Ik geef zijn stelling in mijn eigen woorden weer. De Inspectie van het Onderwijs worstelt ook, zonder het zelf te weten, met de genoemde spanning tussen kwaliteit en validiteit van toetsen en examens, in zijn onderwijsverslag 2007/2008 dat aan die kwaliteit veel aandacht geeft. Voor het Hoger Onderwijs resulteert dat in de volgende kenschets, waaruit is op te maken dat dit hoofdstuk 8 als geroepen komt.

De paragrafen 8.2 en 8.3 behandelen het controleren van de kwaliteit van de ontworpen toetsvragen, de taakverdeling is dat 8.2 de punten opsomt waarop in het bijzonder is te letten, en 8.3 harde methoden geeft voor hoe dat ‘letten op’ in zijn werk gaat.

Het moment van de toetsafname bepaalt een natuurlijke tweedeling in de kwaliteitscontrole. Controle vooraf moet een redelijke garantie voor de kwaliteit van de toetsvragen opleveren, terwijl controle achteraf nodig is om toch in de toets terechtgekomen ondeugdelijke vragen alsnog te corrigeren of weg te laten. Veel van deze procedures zijn al routine. Toch zijn er vaak verbeteringen op mogelijk, bijvoorbeeld door collega’s onafhankelijk van elkaar de ontwerpvragen te laten beantwoorden, in plaats van ze plenair in de vakgroepvergadering te bespreken, een klassieke aanbeveling zoals ook in De Groot en Van Naerssen (1969) te vinden. De algemene strekking van de aanbevelingen is deze: verzamel liever ‘harde’ empirische gegevens dan af te gaan op meningsvormende onderlinge discussie. De Groot was altijd al een voorstander van empirische methodologie (1962), en criticus van onderlinge discussies in docentenvergaderingen (Vijven en zessen, 1966).

Wellicht ten overvloede: dit hoofdstuk gaat over de kleine schaal, docenten die zelf hun toetsen ontwerpen, maar ook de student die op problemen stuit bij een door het Cito ontworpen toets of examen, of docenten die toetsvragen ontwerpen voor door het Cito uit te brengen toetsen of examens. Het Cito zelf heeft bovendien kwaliteitszorgen die de grote schaal van zijn toetsen betreffen, zie daarvoor bijvoorbeeld Wild en Ramaswamy (2008). Een problematiek op zich is hoe studenten met specifieke handicaps tegemoet te treden; ik moet volstaan met een verwijzing naar een (Amerikaans) overzichtsartikel van Klein, Browder en Towles-Reeves, en naar specifieke regelingen die in het leven zijn geroepen voor bijvoorbeeld leerlingen met ernstige vormen van dyslexie.

onderstaande tekst van dit hoofdstuk is nog niet volledig herzien

8.1 Regels bij het examineren

Een vonnis van de voorzieningenrechter, 28 augustus 2017, geeft mij aanleiding om op meerdere plaatsen in deze sectie 8.2 scherpere formuleringen te kiezen. Die schoonheidsoperatie moet nog gebeuren. In tussentijd komen al wel een stuk in de WiskundE-brief van 17 september, en een blog voor Beroepseer beschikbaar, waarin de werkwijze van het CvTE kritisch tegen het licht wordt gehouden. Het CvTE is simpelweg niet op de hoogte van het feit dat het recht grenzen stelt aan het handelen van examinatoren, dus ook aan dat van het CvTE. Bovendien is bij het CvTE geen professionele kennis over examineren, toetsen en testen aanwezig, waardoor maatregelen van het CvTE niet alleen een hoog gehalte van amateurisme hebben, en dus ook de kwaliteit van de eindexamens en daarmee ook die van het onderwijs bedreigen.

Kwaliteit van toetsvragen is niet een absoluut kenmerk, maar context-afhankelijk. Context is bijvoorbeeld de ventilatie in de ruimte waarin men werkt, en dat is een serieus probleem. Veel klachten over eindexamens hebben met fysieke context te maken: licht, lucht en lawaai. Wonderlijk is dat schoolarchitecten kennelijk hun literatuur niet kennen: het belang van frisse lucht was eind 19e eeuw volop in de belangstelling.

Wat kwaliteit van toetsvragen is volgt onder andere uit de eisen die studenten daar rechtens aan kunnen stellen. De samenleving heeft ook eisen te stellen, maar die is daartoe in beginsel veel beter georganiseerd — de politiek, de inspectie, georganiseerde marktpartijen zoals de werkgevers, wetenschappelijk onderzoek — dan de individuele leerling is. De rechtsregels waar het hier vooral om gaat zijn de in het algemeen rechtsbewustzijn levende algemene beginselen van behoorlijk bestuur. Deze, vooral in de administratieve rechtspraak gearticuleerde rechtsregels zijn voor de onderwijsgevende van niet gering belang: ze geven aan tot hoever haar bevoegdheden tegenover de student reiken. Wilbrink (1977) koppelt deze algemene beginselen van behoorlijk bestuur aan wat behoorlijk is in onderwijs en beoordeling. Cohen (1981) werkt dit thema uit voor de eisen die aan de verzorging van het onderwijs in al zijn aspecten zijn te stellen. Hij presenteert regels of voorschriften voor procedure, vorm en inhoud van examens. Deze regels zijn gebaseerd op wettelijke regelingen of afgeleid van algemene beginselen van behoorlijk bestuur. Daarnaast laat Cohen aan de hand van beroepszaken (destijds ex art. 40 WUB) zien dat geschillencommissies deze regels in de praktijk al wel hanteren. De concrete betekenis van deze regels is dan ook dat schending ervan zal leiden tot beroepsprocedures (ex art. 40), die de docent dwingen alsnog voor behoorlijke kwaliteit van de toets(vragen) te zorgen. Dat geeft tevens de urgentie van een goede kwaliteitscontrole aan.

Over rechtsbeginselen zie ook Willem Witteveen (2001) hoofdstuk 5: 'Beginselen'.

er is beroep mogelijk

Het is misschien goed deze paragraaf te beginnen met een casus waarin er iets verschrikkelijk is misgegaan, zie de box. Niet alleen maakt een referent hier een blunder van het grootst denkbare formaat, maar bovendien sluiten de spelregels iedere vorm van beroep, tot en met publicatie elders, uit. De ontwerper is hier de ontwerper van de spelregels. Of bekijk het ook eens zo: een referent speelt in zekere zin een ontwerpersrol bij het beoordelen van een concept-artikel op relevantie voor het betreffende vakgebied. Die referent moet immers de validiteitskwestie (2.6) stellen voor de inhoud van het concept-artikel, en kan daar misslagen bij maken. Evenzo bij de beoordeling van opstellen in examens. De kwaliteit van die beoordeling is in dit hoofdstuk onderbelicht, en wel ten onrechte, want hier is de vakbekwaamheid van de beoordelaar in het geding. Of scherper geformuleerd: er zijn belangrijke verschillen in vakbekwaamheid tussen beoordelaars, en die verschillen mogen niet worden toegedekt wanneer dat ten nadele van de beoordeelden zou kunnen zijn. Dat is lastig, het is het vergeten paradigma van het onderwijsonderzoek (Shulman, 1986). Die ene referent van Waterston’s artikel was onvoldoende vakbekwaam voor zijn taak.

Voor het hoger onderwijs is beroep op examenbeslissingen in de wet geregeld, in 1983 was dat art. 40 van de WUB.

In 2018 is een belangrijke uitspraakgedaan door het Hof van Leeuwarden/Arnhem in de zaak an een eindexamenkandidaat tegen de Staat (het CvTE) over een verkeerde beoordeling bij een vraag in het vwo-examen Frans ('en effet'). Het Hof spreekt uit dat niets deze leerling in de weg stond om beroep op de bestuursrechter te doen, via de directeur van de school. Dat is nogal in sterk contrast met het tot dan bestaande algemene idee dat beoordelingen in po en vo uitgesloten zouden zijn van beroep op de bestuursrechter, zoals in het volgende geschreven. De zaak gaat nog dienen in hoger beroep bij de Hoge Raad. Zie ook mijn blog over dit casus en de absurde wijze waarop het CvTE denkt fouten-achteraf te kunnen 'corrigeren'.

Voor instellingen buiten het wetenschappelijk onderwijs is beroep op examenbeslissingen mogelijk bij de burgerlijke rechter op grond van artikel 1401 van het Burgerlijk Wetboek. Voor openbare onderwijsinstellingen is geen administratief beroep mogelijk: de Wet administratieve rechtspraak BES art 7 lid j. sluit beoordeling op examens of toetsen uit. (zie ook Cohen, 1981, blz. 37 voor vergelijkbare uitsluiting bij destijds de AROB).

Papieren beroepsregelingen waar benadeelden geen gebruik van weten te maken of kunnen maken zijn kwetsend voor het rechtsgevoel van betrokkenen. Hetzelfde geldt voor regelingen waarvan benadeelden geen gebruik willen maken omdat zij vrezen dat er bedoeld of onbedoeld nadelige consequenties uit voorvloeien omdat zij afhankelijk zijn en blijven van de betrokken leerkrachten. Zo bevatten leerlingenstatuten, als ze behoorlijk in elkaar steken, wel regelingen voor beroep, maar valt het leerlingen en hun ouders zwaar om daar daadwerkelijk gebruik van te maken. In die gevallen is het de dure plicht van aangesproken leerkrachten en directeuren om geschillen zorgvuldig af te handelen. In het algemeen is het zo dat individuele deelnemers en ook bepaalde groepen deelnemers aan examens in een zo kwetsbare positie kunnen verkeren, dat zij niet toekomen aan het gebruiken van hun recht op beroep, of dat recht niet kennen. Schrijnende voorbeelden kan iedereen wel bedenken, maar een concreet voorbeeld is de in het buitenland af te nemen inburgeringstoets, waar mogelijk benadeelden dat van zichzelf niet weten en geen schijn van kans hebben een beroepsweg te vinden (zie de box).

gebrekkige kwaliteit als beroepsgrond

Kan de student de kwaliteit van toetsvragen (van een bepaalde toetsvraag) als beroepsgrond aanvoeren? Cohen (1981, blz. 114): “Beroep tegen examenvragen zelf en de beoordeling daarvan in het algemeen staat eveneens open; de examenvragen en de beoordelingsnormen vormen de motiveringsgrondslag van de aangevochten beschikking [d.i.: het gegeven oordeel of cijfer, b.w.].” Hij wijst op een beroepszaak in de Leidse Faculteit der Rechtsgeleerdheid:

Een modelantwoord en een beoordelingsvoorschrift zijn geen vanzelfsprekende voorwaarden voor kwaliteit. Bij keuzevragen is het modelantwoord het juiste (of beste) alternatief, en is de scoring afhankelijk van de gekozen strategie in verband met raden (zie hoofdstuk 2). Bij opstelvragen in landelijke examens is het gebruikelijk om met modelantwoorden en beoordelingsvoorschriften te werken, om de uitslagen minder afhankelijk te maken van verschillen in beoordelingsgedrag van de nakijkers. Dat is wenselijk op grond van het algemene beginsel van behoorlijk bestuur: ‘gelijke gevallen gelijk behandelen, en verschillende naar de maat van hun verschil verschillend,’ het gelijkheidsbeginsel. Modelantwoord en beoordelingsvoorschrift maken het eenvoudiger om de uitslag te motiveren, wat het motiveringsbeginsel vraagt. Maar let op: een modelantwoord laat zich hier makkelijk misbruiken, door er als stoplap ‘regel is regel’ naar te verwijzen. Sterker nog, doorheen de geschiedenis van het beoordelen is er altijd druk geweest in de richting van vragen over kleinere onderwerpen en met een pseudo-objectief karakter om gezeur achteraf over de uitslag te kunnen smoren. Cohen (1981, blz. 88-89): de examinator moet desgewenst kunnen uitleggen waarom hij juist deze beslissing genomen heeft. “Het bestaan van een beroepsprocedure veronderstelt een motiveringsplicht: als er voor een examenbeslissing geen motivering gegeven hoeft te worden, kan een beroepscommissie de genomen beslissing immers niet beoordelen.” Het motiveringsbeginsel verlangt tevens dat de motivering de beslissing kan dragen. Cohen: “Het examen als zodanig bevat de motivering voor de beslissing; als dat examen verkeerd, want te beperkt van opzet is, betekent dat derhalve dat de motivering voor de beslissing gebrekkig is.”

In het bovenstaande is een belangrijk verschil met de 1983-editie dat het hebben van een modelantwoord bij open vragen niet meer als een vanzelfsprekende kwaliteit is aangemerkt. In de laatste decennia van de vorige eeuw is het streven naar eerlijke beoordeling mogelijk te ver doorgevoerd, ten koste van de tijd van docenten die beter aan het direct geven van onderwijs besteed zou zijn. Een diepere vorm van eerlijkheid is immers dat zo mogelijk iedereen bij de studie goede begeleiding krijgt; als eerlijker beoordelen van open vragen ten koste van die begeleiding gaat, dan is dat middel mogelijk erger dan de kwaal.

Een kleine wijziging ten opzichte van 1983 is dat bij keuzevragen niet meer vanzelfsprekend alleen maar nul of een punt opleveren, maar dat daar natuurlijk varianten op mogelijk zijn, in het bijzonder wanneer studenten niet meer gedwongen worden te raden op niet-geweten vragen. Zie paragraaf 2.2

Cohen zet het belang van dat beoordelingsvoorschrift mogelijk te zwaar aan, enige nuancering is wel op zijn plaats. Zo'n voorschrift moet natuurlijk een lichte toets hebben, als ik dat zo mag zeggen. Liever kort en bondig, dan proberen tevoren alles te bedenken wat studenten goed of verkeerd zouden kunnen doen. Liever een richtlijn die in individuele gevallen losgelaten wordt, dan een regel-is-regel benadering onder de misvatting dat dit gelijke behandeling garandeert en ‘objectief’ zou zijn.

er is inzagerecht

De student moet het beoordeelde werk kunnen inzien, dat is een kwestie van fair play. In het eerdere voorbeeld zou Jansen zonder inzagerecht de verwisseling van haar werk niet hebben kunnen constateren. Het fair play beginsel van behoorlijk bestuur houdt in dat de overheid haar bevoegdheden zo gebruikt dat burgers hun belangen kunnen behartigen. Het belang van de student is te kunnen beschikken over de informatie die voor een eventueel beroep nodig is.

De student moet in beginsel het beoordeelde werk met de beoordelaar te kunnen bespreken (Cohen, hierboven). Deze eis zal vrijwel altijd de anonieme beoordelaar uitsluiten. Komt anoniem beoordelen wel voor? Jazeker. Voor anonieme peer assessment zie Van Boxel, Reumer, Van Os en Boter (2008), die daar geen kritische kanttekening bij plaatsen. Voor anonieme beoordeling van docenten door hun studenten, zie Wilbrink & Hofstee (1984) die uitleggen waarom dat niet deugt (ook als het niet anoniem zou zijn, trouwens).

Een modelantwoord of een beoordelingsvoorschrift : alleen als dat wordt gehanteerd. Cohen laat doorschemeren dat de aanwezigheid van modelantwoorden en scoringsvoorschriften een kwaliteitseis is, maar dat kan niet waar zijn: modelantwoorden glijden te makkelijk af tot een vorm van pseudo-objectieve standaardisering. Als er een modelantwoord is, of een impliciet modelantwoord zoals dat bij meerkeuzevragen het geval kan zijn . . . , kan dat best ondeugdelijk zijn (al was het maar door een foutje van de zetter), en moet het ter inzage zijn. Dus ook die meerkeuzevragen moeten volledig ter inzage zijn.

Wie heeft inzage? De student kan iemand anders aanwijzen, bijvoorbeeld een andere docent zoals in een ‘second opinion’ variant. De instelling kan soms verlangen dat de student niet zelf het beoordeelde werk inziet; geheimzinnig doen over gestelde vragen is onverstandig, maar hoeft op zich het fair play niet altijd aan te tasten.

Amerika ging voor met het inzagerecht. De Universiteit van Amsterdam volgde rond 1980, wat tot protesten leidde van docenten die hun tentamenvragen niet meer geheim konden houden (dossier). Het probleem was natuurlijk dat die vragen toch al niet geheim meer waren, maar onderwerp van handeltjes. Hoe dat ook zij, de nood van docenten om meer vragen te moeten ontwerpen, is mede de reden geweest om aandacht aan het ontwerpen van toetsvragen te besteden, in tegenstelling tot het moeizame ‘bedenken’ van tentamenvragen, met dit boek als resultaat. Het strijdpunt bestaat overigens nog steeds, omdat ook voor psychologische tests het inzagerecht een issue is, zie Hofstee (2007). Ernstiger: de arrogantie van grote instellingen zoals het Cito en van met te veel macht belegde clubs van toetsamateurs zoals het College voor Toetsen en Examens gaat in deze tijd van digitalisering van examens alle perken te buiten door vragen van examens (in casu de rekentoetsen voor pabo's en vanaf 2013-2014 bij eindexamens in het vo) geheim te houden wanneer ‘ze’ (inclusief opdrachtgever OCW) dat beter uitkomt.

Let bij het casus hierboven ook even op de data: de fout bij het scoren van de in oktober afgenomen test blijkt pas in april van het jaar daarop. Bij minder geheimzinnig-doenerij hadden de kandidaten de scoringsfout binnen enkele dagen zelf kunnen constateren. Meer informatie hoort overigens niet bij de extra maatregelen die Caperton hier aankondigt om in de toekomst problemen te vermijden.

De blunder in het laatste casus is kostbaar: Educational Testing Service heeft elfmiljoen dollar in een schadeloosstellingsfonds voor de betreffende kandidaten moeten stoppen: zij hadden baankansen verloren door de dwaallichten van ETS.

Education Week, March 22, 2006: ETS to establish fund for damages in teacher-licensing-test mistake.

Ook in bovenstaand casus een bijzonder kostbare fout, aangenomen dat de numerus fixus zorgvuldig was vastgesteld: er zijn 28 kandidaten boventallig toegelaten. Maal hun opleidingskosten .... . Maar daar gaat het niet om: het punt is dat men onzorgvuldig gedane toezeggingen wel degelijk moet nakomen. De minister heeft hier ingegrepen voordat het College van Beroep voor het Hoger Onderwijs zich over deze zaak zou moeten buigen, en juist vanwege de numerus fixus tot een onbevredigende uitspraak zou moeten komen (zoals in een eerder casus pdf). Dat herinnert er nog eens aan dat geschonden recht niet altijd te repareren is.

vragen en opgaven blijven binnen de duidelijk omschreven omvang van de stof

• note. At issue, in the quote, is the matter of transfer: a curriculum-aligned assessment is strictly limited to ‘near transfer’’. How to define it? 1) It is possible. 2) For methods to do so see Singley & Anderson 1989 ‘The transfer of cognitive skill’, reviewed: http://jitm.ubalt.edu/II-1/JITM%20Vol%20II%20No.1-6.pdf On ‘far transfer’ see Barnett & Ceci 2002) ‘When and where do we apply what we learn? A taxonomy for far Transfer’ https://rapunselshair.pbworks.com/f/barnett_2002.pdf . Items testing far transfer (farther than near transfer) do not belong in high stakes educational assessment (they might be used in diagnostic testing or personnel selection). Testing for mathematics use in situations of daily life is testing far transfer (e.g. PISA Math, ‘Assessment nd analytical framework’ download). The Dutch math exam !! #rekentoets: far transfer.

Cohen baseert deze regel op het kenbaarheidsbeginsel, anderen — zoals De Groot (1970 html) — bepleiten doorzichtigheid, terwijl het ook verwant is aan het streven naar openbaarheid. Het is geen algemeen beginsel van behoorlijk bestuur, maar is af te leiden van het fair play en het vertrouwensbeginsel. Het vertrouwensbeginsel: de student moet erop kunnen vertrouwen dat hij tot een voldoende resultaat kan komen wanneer hij afgaat op de informatie van de docent.

Dingen zijn niet altijd zo simpel als men mag verwachten. Wat nu als de stof onjuist is omschreven, bijvoorbeeld in de nationale standaarden? In paragraaf 2.6 is aangetekend dat een kwart van de vragen op Amerikaanse staatstoetsen voor wiskunde berust op misvattingen over wat wiskunde is. Deze vragen vallen vaak wel letterlijk binnen ‘de duidelijk omschreven omvang van de stof,’ maar die omschrijving zelf staat op gespannen voet met het corpus van de wiskunde.

Draai het nu eens om. Moet het antwoord van de kandidaat ook binnen de stof blijven? Moet het gevraagde bewijs van de stelling van Pythagoras een wiskundig bewijs zijn? De opgave in de box vraagt een bewijs, niet expliciet een wiskundig bewijs. Veronderstel nu dat een kandidaat een natuurkundig bewijs levert, terwijl de toets nadrukkelijk een wiskundetoets is. Wat doet u? Het bewijs afkeuren? Overleggen met uw collega die natuurkunde doceert? Hij geeft u het boek van Mark Levi (2009), die een reeks van dergelijke natuurkundige bewijzen voor de stelling van Pythagoras levert.

Waarmee gezegd is dat er altijd studenten zijn die iets meer doen dan alleen de opgegeven stof doorwerken. Dan is het toch van de zotte om juist deze studenten te benadelen met toetsvragen die op een geforceerde manier binnen de opgegeven stof blijven, of met verkrampte beoordeling van de gegeven antwoorden. Als dan het modelantwoord niet past op het gegeven antwoord, kan het modelantwoord voor deze kandidaat naar de prullenbak. Helaas, het blijkt met enige regelmaat in onderwijsonderzoek dat juist studenten die dieper op de stof ingaan en deze in eigen woorden verwerken, bij schriftelijke tentamens gemiddeld lagere cijfers halen dan anderen (zie Crombag, Gaff en Chang, 1976, voor propedeuseresulatten in enkele Leidse studierichtingen). Dat kan alleen maar zo zijn omdat deze studenten goede redenen hebben om antwoorden te geven die niet overeenkomen met wat de ontwerper tevoren heeft bedacht dat een goed antwoord moet zijn. U moet dus maatregelen nemen om dit te voorkomen, bijvoorbeeld door studenten de gelegenheid te geven hun antwoorden toe te lichten, ook als het om keuzevragen gaat.

Ongemerkt kunnen er in de vraagstelling allerlei elementen sluipen die van de kandidaten een bepaalde behendigheid vragen om ermee om te gaan. Een behendigheid die niet tot de opgegeven stof behoort. Zo kan het taalgebruik van de vragen onnodig moeilijk zijn, of onnodig gebruikmaken van beeldspraak, terwijl de toets over iets anders dan het Nederlands gaat. Dat is helder. Het is al een heel stuk lastiger om in te zien dat inzichtvragen niet af mogen hangen van logische redeneringen, als het te toetsen vak iets anders is dan logica (zie hierbeneden een verdere uitwerking aan de hand van een publicatie van Leighton). En een test op ruimtelijk inzicht is iets anders dan een toets wiskunde, laat de ontwerper daar rekening mee houden (de rekentoets in de eindexamens vo en mbo sinds 2016 bevat vragen die in dit opzicht problematisch zijn). Ruimtelijk inzicht is een persoonlijk kenmerk waaraan met training niet echt veel is te veranderen, dus toetsvragen die aanspraak doen op ruimtelijk inzicht zijn verdacht. Evenals alles wat lijkt op vragen zoals die ook in intelligentietests voorkomen. Dit zijn allemaal mogelijkheden waarop vragen buiten de opgegeven stof kunnen gaan, en verdraaid, dat doen ze dus ook vaak. Voorkom dat.

het examen representeert de onderwijsdoelen naar inhoud en niveau

In het stadium van het ontwerpen van toetsvragen moeten alle relevante onderwerpen daarbij aan bod (kunnen) komen. Bij de toets als steekproef uit een verzameling toetsvragen stelt dat eisen aan de samenstelling van die verzameling: met vragen over alle relevante onderwerpen, mogelijk over belangrijker onderwerpen relatief meer vragen, eventueel een stratificatie naar moeilijkheid van de vragen.

Dit voorbeeld moet nog een juridische behandeling krijgen, mogelijk zal dat gebeuren in een parlementaire enquête naar de totstandkoming van het kabinetsbesluit destijds [Ondertussen is dat onderzoek gedaan: zie het rapport van de Commissie-Davids]. Een geheim memorandum van de Dienst Juridische Zaken van het het departement van Buitenlandse zaken beoogt een ‘objectieve volkenrechtelijke inschatting’ van het Nederlandse standpunt te geven. De DJZ had eerder de in de box vermelde opdracht gekregen om een advies met ‘een gewilde uitkomst’ te geven, en had binnen die opdracht niet de ruimte om te wijzen op de volkenrechtelijke tegenargumenten. Zou de opgave een examenopgave zijn geweest, dan zouden volkenrechtelijke tegenargumenten in de beantwoording strafpunten op hebben geleverd, want daar was immers niet om gevraagd. Het probleem met een opdracht zoals in de box is dat de opdracht zelf niet door de kritische beugel kan. Dat zou anders zijn wanneer de opdracht aangevuld werd met de vraag naar de sterkste juridische tegenargumenten. In de vraag zoals gesteld, is het evenwicht zoek. Of, zoals een handgeschreven opmerking op het memo aanduidt: hoor en wederhoor is hier niet toegepast. Het Kabinet heeft waarschijnlijk de volkenrechtelijke tegenargumenten niet ter beschikking gehad.

Joost Oranje (17 januari 2009). Memorandum DJZ/IR/2003/158. Juristen van Buitenlandse Zaken achtten Irak-oorlog van meet af aan onwettig. NRC Handelsblad, Zaterdag &tcetera, p. 6-9. html [Een vergelijkbare zaak in Engeland rond het rapport Goldsmith; Balkenende beweerde dat rapport te hebben gebruikt, maar dat was waarschijnlijk alleen een misleidende samenvatting. p.9]

Een examenopgave van dit type kan onmogelijk de doelen van een opleiding behoorlijk representeren. Zo'n opgave brengt de kandidaten ook in problemen, zoal niet van het geweten, dan toch van wat in vredesnaam hier door de vragensteller als een goed antwoord zal worden gerekend. Uit het leven gegrepen, en bepaald geen uitzonderlijk incident (de voorbereidingen van de Irak-oorlog wemelen van de bewuste misleidingen van dit type).

Het zal mij niet verbazen wanneer misleidend eenzijdige opdrachten met regelmaat in examens blijken te vinden. Dat zal zelden met drama gepaard gaan, en mogelijk vaak de gedaante aannemen van verkeerd begrepen wetenschap: zoals vragen naar voorbeelden die de juistheid van een theorie bewijzen. Voor wie het is vergeten: de juistheid van theoriën is niet te bewijzen, eventueel wel hun onjuistheid. Dit zijn vragen die niet stroken met welke redelijke onderwijsdoelen dan ook.

de moeilijkheid van de vragen stemt overeen met wat de studenten mogen verwachten

Oefenvragen, een proeftoets, oude tentamenvragen, gegeven voorbeelden en andere informatie: de student moet erop mogen vertrouwen dat de aard van de door hem te beantwoorden toetsvragen daarmee in overeenstemming is, tenzij wijzigingen expliciet zijn meegedeeld.

_________________________________________________
werkelijke	rangorde zoals gegeven door docent
rangorde	i	ii	iii	iv
-------------------------------------------------
	 1	 6	 5	 1	 1
	 2	 4	 2	 2	 3
	 3	10	10	10	10
	 4	 9	 6	 4	 7
	 5	 2	 1	 3	 9
	 6	 1	 3	 6	 2
	 7	 7	 8	 9	 5
	 8	 8	 9	 5	 4
	 9	 5	 4	 8	 8
	10	 3	 7	 7	 6
_________________________________________________

Het inschatten van de moeilijkheid van toetsvragen is berucht moeilijk. Vergelijk dat eens met het inschatten van de moeilijkheid van bepaalde werkzaamheden in het beroep. Wat denkt u in hoeveel van de gevallen dat verpleegkundigen in een ziekenhuis medicijnen klaarmaken, zij daarbij een fout maken? Schrijf uw schatting even op, en kijk dan wat een onderzoek in een ziekenhuis opleverde (archief De Volkskrant). Het persbericht meldt dat het Maastrichtse ziekenhuis het aantal fouten met 97% heeft weten te verminderen door het klaarmaken van medicijnen door apothekersassistenten te laten doen en barcode-techniek te hanteren. Het verbaast dan dat velen genoegen nemen met die 97%: ik heb alleen in het artikel van De Volkskrant — Maud Effting, 20 november 2010 ‘Ziekenhuis kan fouten met medicijnen goed voorkomen’ — gevonden wat het percentage fouten was: het bleek dat verpleegkundigen in veertig procent van de gevallen een fout maakten. Wat was uw schatting?

toetsvragen zijn duidelijk en ondubbelzinnig

Bij meerkeuzevragen strekt deze regel zich ook tot de alternatieven uit. Bij open vragen vallen modelantwoord en beoordelingsvoorschrift er eveneens onder. Het is wel zo prettig voor iedereen om onduidelijkheden bij de controle vooraf weg te werken. Maar wat te doen wanneer na afname van de toets onduidelijkheden blijken? Blijken voor een meerkeuzevraag ook afleiders als goed alternatief verdedigbaar, reken ze dan ook goed. Wanneer onduidelijkheden of dubbelzinnigheden de studenten in verwarring kunnen hebben gebracht, zal er meestal weinig anders opzitten dan de vraag niet bij het eindoordeel te betrekken. Bijvoorbeeld wanneer geen van de alternatieven een verdedigbaar juist antwoord oplevert. Cohen maakt een opmerking over meerkeuzevragen met vèrstrekkende betekenis:

Dat betekent dat een dergelijke vraag niet in een toets thuishoort. Maar bedenk ook dat het aannemelijk moet zijn dat examinatoren of andere deskundigen het onafhankelijk van elkaar onderling eens zijn over het juiste of beste alternatief. In 8.2 en 8.3 kom ik hier nog op terug. Bij antwoorden op open vragen verschillen beoordelaars al gauw van elkaar in de beoordeling van de juistheid en in de puntenwaardering. Omdat zich dan de situatie voordoet dat de onderhavige regel geschonden is, terwijl het niet meer mogelijk is de zaak terug te draaien of zo'n vraag helemaal niet mee te rekenen, is er slechts een uitweg: de student het voordeel van de tussen examinatoren bestaande onenigheid geven. Bij verschillende oordelen van meerdere beoordelaars krijgt de student het meest gunstige (voor hem) toegekend.

Hoe nu te handelen wanneer achteraf bepaalde vragen buiten het eindoordeel blijven omdat ze ondeugdelijk zijn? De beste weg lijkt deze te zijn: allereerst de beoordeling uitvoeren inclusief de ondeugdelijke vragen en vervolgens zonder deze vragen: de student krijgt het hieruit resulterende hoogste resultaat als formele uitslag. Ik moet dit helder maken; als er al een (voorlopige of definitieve) uitslag is, dan hebben studenten pech als ze voor de ondeugdelijke vraag toch een punt hadden gekregen — dat punt afpakken is niet fair, voor deze studeten verandert er niets in de uitslag — terwijl studenten die voor de ondeugdelijke vraag geen punt hadden gekregen daardoor groter risico lopen bijvoorbeeld voor het examen nipt te zakken — voor deze groep moet dus een aangepaste zak-slaaggrens en/of cijferschaal worden bepaald. Blijkt de ondeugdelijkheid voordat de formele uitslag is vastgesteld en meegedeeld, dan kan men deze werkwijze volgen. Blijkt de ondeugdelijkheid nadat de formele uitslag is meegedeeld, dan moet men de geschetste werkwijze wel volgen. De formele uitslag is de geldige uitslag, en die mag alleen veranderen ten gunste van de student. Wanneer er een informele uitslag voorafgaat aan de formele, bijvoorbeeld door het bekendmaken van de scoringssleutel bij meerkeuzetoetsen, is het wel zo elegant om dan de werkwijze te volgen als was er al een formele uitslag bekendgemaakt. Al met al blijven dit soort wijzigingen achteraf vervelend, ook al omdat de gelijke behandeling er niet mee gediend is. Cohen (blz. 133) schrijft naar aanleiding van een beroepszaak over het achteraf verwijderen van toetsvragen uit het eindoordeel:

Is het nu ook zo dat bij slechte vragen die pas na vaststelling van de uitslag zijn ontdekt, voor iedereen (die deze vraag niet goed heeft gemaakt) die uitslag opnieuw moet worden vastgesteld? We hebben al gezien dat het de docent, de commissie, het CvTE, vrij staat om dat inderdaad te doen. Uit de jurisprudentie volgt evenwel niet uit een door student A gewonnen beroep dat ook voor student B en C de einduitslag moet worden herzien.

Bovenstaande begrijpelijke maar toch als legalistisch ervaren opstelling geeft ongelijke behandeling. Voorkom dat door goede procedures en snel reageren op signalen dat er met bepaalde vragen iets mis kan zijn. Dat is zo geregeld voor de eindexamens VO, waar de CEVO voor verantwoordelijk is, mede dank zij de vrijwilligers van het LAKS.

beoordelen en cijfergeven

Ik moet waarschijnlijk een sectie invoegen over beoordelen en cijfergeven. Ik ben daar niet helemaal zeker van, omdat de problematiek natuurlijk evident met validiteit heeft te maken, en daarom ook deels in par. 2.6 valt te behandelen. Ik kom op dit punt naar aanleiding van Crisp (2010). Als dit relevant is, dan is ook het boek van Wim Hofstee Beoordelen relevant.

Victoria Crisp (2010). Towards a model of the judgement processes involved in examination marking. Oxford Review of Education, 36, 1-21.

W.K.B. Hofstee (1999). Principes van Beoordeling. Methodiek en ethiek van selectie, examinering en evaluatie. Swets en Zeitlinger. Bespreking door Maessen de Sombreff https://www.vandermaesenkoch.nl/upload/files/Publicaties/Principes%20van%20beoordeling.%20Methodiek%2C%20ethiek%20van%20selectie%2C%20examinering%20en%20evaluatie.pdf

gelijke behandeling van gelijke gevallen en behandeling van ongelijke gevallen naar de mate van hun ongelijkheid

Het voorgaande leidt tot de stelregel om onduidelijke en dubbelzinnige vragen zo veel mogelijk door controle vooraf uit de toets te weren. Volsta in ieder geval niet met alleen een controle achteraf (nabespreking, itemanalyse), omdat maatregelen achteraf de uitwerking van het gelijkheidsbeginsel frustreren. Achteraf een ondeugdelijke vraag uit een examen weglaten is goed voor wie de vraag fout had, maar benadeelt de leerlingen die de ondeugdelijkheid begrepen en daardoor de vraag toch goed wisten te beantwoorden. In een concreet geval hoeft er niet meteen sprake te zijn van oneerlijke behandeling, maar het is in ieder geval een ongelijke behandeling.

Heel erg lastig kan het zijn om ongelijke gevallen te behandelen naar hun ongelijkheid. Er is een zeer uitgebreide literatuur over scheefheid (bias) van toetsen en van toetsvragen, ook wel partijdigheid van toetsvragen genoemd, zie bijvoorbeeld voor een recent (technisch) artikel Gierl, Zheng & Cui (2008) pdf. Over wie gaat dit? Een belangrijke groep leerlingen zijn zij die Nederlands als tweede taal hebben geleerd: zij mogen er aanspraak op maken dat zij door dat feit als zodanig niet in het nadeel zijn op examens, en natuurlijk ook bij die talrijke minder belangrijke beoordelingen over hun onderwijsloopbaan heen. Het Cito heeft een publicatie over de ontwikkeling van onpartijdige toetsen: Bügel en Sanders (1998) pdf. Een (deels) andere groep leerlingen in een bijzondere positie zijn leerlingen die bepaalde achterstanden hebben. Merk op dat het ongelijke van leerlingen een persoonlijk kenmerk moet zijn, zoals Nederlands als tweede taal geleerd hebben, niet een groepskenmerk zoals derde generatie allochtoon zijn. In de VS is dat niet anders, zie voor een glasheldere uiteenzetting Novick en Petersen (1976) die zich fel keren tegen methoden die werken met statistieken over hele groepen zoals blanken versus zwarten.

In deze literatuur valt de nadruk op statistische technieken om scheefheid op te sporen tijdens de ontwikkeling van gestandaardiseerde tests en examens. Opvallend in die literatuur is dat er een brede kloof gaapt tussen deze statistische analyses, en concreet begrip van wat dan precies de oorzaak is van de mogelijk ontdekte scheefheid. De ontwerper van toetsvragen heeft weinig aan deze statistische technieken, en doet er goed aan zich er niet door te laten intimideren. Belangrijk is dat mogelijke scheefheid een validiteitsprobleem is (zie paragraaf 2.6, en bijvoorbeeld Shepard (1982) die dit punt uitwerkt). Voor de ontwerper is het bovendien van belang te weten dat scheefheid van toetsvragen kan schuilen in bepaalde typen of aspecten van toetsvragen, dus in groepen toetsvragen, en niet alleen in specifieke problemen in afzonderlijke toetsvragen. Om een gevoel te ontwikkelen voor wat er zoal scheef kan gaan bij het ontwerpen van toetsvragen is het goed om kennis te nemen van Scheuneman (1982), of ander werk in deze lijn, zoals het proefschrift van Kok (1988) over items in de Cito Basistoets. Een mogelijk scheve bibliografie over scheefheid geef ik hier. Voor wie mogelijk benadeeld is door scheefheid van toetsvragen is dit allemaal natuurlijk wel heel vaag, want wanneer scheefheid schuilt in een bepaald format van vragen, is dat voor een student lastig om te signaleren, laat staan te bewijzen. Deze stand van zaken legt extra verantwoordelijkheid op de schouders van ontwerpers: om aannemelijk te maken dat voldoende is gedaan om scheefheid te voorkomen.

Samenvattend

Samenvattend levert dit voor de kwaliteit van toetsvragen (inclusief modelantwoorden en beoordelingsvoorschriften) het volgende kader op voor controle en bewaking ervan:

Een interessante ontsporing van de bureaucratie is een met goed gevolg afgelegd examen om wonderlijke redenen achteraf ongeldig te verklaren, bijvoorbeeld omdat de betreffende kandidaat te snel heeft gestudeerd. Piet Vroon overkwam zoiets, hem werd in Utrecht het cum laude geweigerd omdat hij te snel zou hebben gestudeerd. Voor de duidelijkheid: de voorwaarde voor het krijgen van het predicaat ‘cum laude’ is dat alle cijfers tenminste ‘acht’ zijn, niets over termijnen. In Italië weten ze ook hoe je studenten gek kunt krijgen, zie deze box.

richtlijnen voor tests en toetsen

Naast ‘ongeschreven’ algemene beginselen van behoorlijk bestuur respectievelijk onderwijs, in het algemeen rechtsbewustzijn levend, zijn er ‘geschreven’ beginselen van behoorlijk testen en toetsen, op initiatief van instituten, beroepsverenigingen, etcetera. Dit zijn regels voor een behoorlijke beroepsuitoefening, waar de beroepsbeoefenaar zich aan heeft te houden. Voorbeelden: NIP, ETS, AERA/APA/NCME, en Cremers-van Wees, Knuver, Vos, en Van der Linden (1998). Deze publicaties geven in het algemeen geen praktijkvoorbeelden, maar bijvoorbeeld Bügel en Sanders (1998) pdf doen dat wel in de Cito-publicatie met richtlijnen voor de ontwikkeling van onpartijdige toetsen. Voorbeelden zijn met enige moeite wel te verzamelen, uit jurisprudentie en uitspraken van klachtencommissies. Het tijdschrift Examens heeft een rubriek die jurisprudentie bespreekt. Het punt is evenwel dat het bij deze richtlijnen meestal gaat om kwaliteitskenmerken die liever sterker dan zwakker aanwezig moeten zijn, zodat in absolute zin aanvechtbare praktijken niet echt makkelijk zijn te traceren.

Maar goed, ik moet dit nog eens afzonderlijk zien uit te werken. Ik heb niet de indruk dat klachtencommissies of Colleges van Beroep voor de Examens met dergelijke richtlijnen goed overweg kunnen, en als zaken op basis van algemene beginselen van behoorlijk bestuur zijn af te handelen, heeft dat de voorkeur.

U zult zich wel afvragen wat de betekenis is van de richtlijn die in de eerste box in deze paragraaf is geciteerd. De formulering is wat zwaar op de hand, en gericht op gestandaardiseerde toetsen. Leighton (2004) beschrijft een directe toepassing met vergaande consequenties: als toetsvragen gaan over een vakinhoudelijke redenering, dan is de logica niet het criterium voor wat een correcte redenering is, tenzij het betreffende vak logica is. De logica zegt dat de conclusie in bovenstaande box correct is, gegeven de juistheid van de beide premissen. Maar kom met deze onzin niet aan als het een vraag biologie of oude geschiedenis zou zijn, daar doen we niet in willekeurige premissen. U mag er vergif op innemen dat subtiele varianten van dit probleem regelmatig aan de orde zijn bij het beoordelen van examenwerk. Sterker nog, en daar wijst Leighton ook op: testees kunnen goede redenen hebben gehad om bij keuzevragen een niet als juist gesleuteld alternatief aan te kruisen. Volgens de APA-richtlijn moet de ontwerper van keuzevragen daar rekening mee houden, en dat kan bijvoorbeeld door testees gelegenheid te geven de gemaakte keuze toe te lichten.

Jacqueline P. Leighton (2004). The assessment of logical reasoning. In Jacqueline P. Leighton and Robert J. Sternberg: The nature of reasoning (291-312). Cambridge University Press. abstract

De pseudo-logica in toetsvragen is niet altijd eenvoudig te herkennen, maar een gewaarschuwd ontwerper telt voor twee. Het simpele woordje ‘en’ kan tal van betekenissen hebben, ándere dan de ontwerper mogelijk bedoelt (zie Hertwig, Benz & Krauss, 2008).

Ralph Hertwig, Björn Benz & Stefan Krauss (2008). The conjunction fallacy and the many meanings of and. Cognition, 108, 740-753. pdf

En wat te denken van de volgende vraag: Bas is vriend van Pieter, Pieter is vriend van Paul, is Bas dus vriend van Paul? De vraag is van een bekend type, maar meestal gaat het om zoiets als: a is groter dan b, b is groter dan c, is a dus groter dan c? Kinderen die het laatste type vraag goed leren beantwoorden, wat leren die eigenlijk? De meeste relaties in de wereld zijn immers anders van karakter.

Geoffrey P. Goodwin & P. N. Johnson-Laird (2008). Transitive and pseudo-transitive inferences. Cognition, 108, 320-352. pdf.

8.2 Punten om op te controleren

de tekst van deze paragraaf heeft al een opknapbeurt gehad, maar zal inhoudelijk nog verder worden aangepakt.

Verbazend veel — ook zorgvuldig ontworpen — toetsvragen hebben verborgen gebreken. Er is een instrument nodig om er de toetsvragen mee te lijf te gaan (en een methode, zie paragraaf 8.3). Een afstreeplijst kan helpen om geen punten over het hoofd te zien. De positieve ontwerpregels zijn in hoofdstuk 2 vermeld, nu gaat het echt om de afwijkingen. Veel van dit ongerief zal al wel bekend zijn, en de algemene lijnen zijn herkenbaar dezelfde zoals ook door Cohen (1981) zijn aangegeven. Het gaat hier meer om het verwerven van een kritische houding tegenover de zelf ontworpen toetsvragen, dan het letterlijk hanteren van een checklist om verborgen gebreken op te sporen.

Het is een goed idee om Popperiaans te denken: om erachter te komen of een ontworpen toetsvraag deugt, mobiliseer dan hulptroepen met de opdracht om de vraag te kritiseren, als dat maar even mogelijk is. Komt de ontworpen vraag daar goed door, dan bewijst dat niet dat alles oké is, maar is daar wel meer vertrouwen in.

Een instrumentje om collegiale intervisie te ondersteunen is hier beschikbaar. In deze paragraaf ligt de nadruk op het inventariseren en onderbouwen van de soorten gebreken waar ontworpen toetsvragen in ieder geval op zijn te controleren. Paragraaf 8.4 geeft de controlelijsten in verkorte vorm, zonder uitleg en voorbeelden, als geheugensteun. Bij de inhoudelijke herziening is het streven om voor ieder punt tenminste een saillant voorbeeld te geven. De functie van die voorbeelden is om het herkennen van fouten van dat type te vergemakkelijken. Bijvoorbeeld: Ha, dat is een ‘onbeantwoorde brief’ [typerend voorbeeld], waar iemand schrijft: ‘de vergrootte inlotingskans ...’ in plaats van ‘de vergrote ... .’ Ha, dat is window dressing.’ ‘Zeg nooit nooit.’ ‘Zeg niet niet.’

vormgebreken

juli 2009. Beter leesbaar zou het zijn om uit te gaan van vormvereisten, dus van positieve formuleringen. Ik ben hier nog niet helemaal uit. Voor een checklist kan het handiger zijn om te werken met mogelijke probleempunten. Ik ben trouwens in het hierna volgende niet helemaal consistent in het uitgaan van vormgebreken. Mijn excuses voor deze rafelrandjes.

Vormgebreken zijn ontwerpfouten die met de vorm van de vraag hebben te maken, meer dan met de inhoud. De scheidslijn is niet altijd scherp te trekken, bijvoorbeeld waar vorm en inhoud van elkaar afhankelijk zijn of juist minder goed bij elkaar passen.

Bij keuzevragen is ‘de vraag’ de stam van de vraag, en heten de aangeboden opties de alternatieven, de onjuiste of minder juiste alternatieven heten ook zo, en niet ‘afleiders.’

taligheid

• overbodige tekst of woorden — window dressing
• moeilijke woorden, beeldspraak, gezegde
• onbekende termen, fantasiewoorden
• de stam van de keuzevraag is een aanvulzin [ongewenst]
• ingewikkelde zinsconstructie (die eenvoudiger kan)
• de vraag is ingewikkeld geformuleerd om dubbelzinnigheden etcetera uit te sluiten (maar toetst dan eerder taalbeheersing dan inhoud; dit probleem komt voort uit ‘verbeteren’ van minder gelukkige vragen)

directheid

• ontkenning: niet, geen, etc. [ongewenst]
• noodzakelijke ontkenningen niet benadrukt — vet, kapitaal, kleur, cursief
• dubbele ontkenning [verboden]
• ontkenning in de stam zowel als een alternatief [verboden]

Wees gewaarschuwd. Denk niet dat, eenmaal van de basisschool af, dit soort taalproblemen zich niet meer voordoen.

dubbelzinnigheid

• de vraag is op verschillende manieren uit te leggen
• de stam van de vraag is, zonder kennis van de alternatieven, op verschillende manieren uit te leggen (ongewenst, maar kan — mits zorgvuldig gedaan — een goed ontwerp zijn)
• studenten die ook andere literatuur hebben gelezen kunnen de vraag anders uitleggen
• bij juist-onjuistvragen: de vraag bevat in feite twee of meer uitspraken

formalisme
Tussen het voorgaande en het volgende nummer in, is een vaak voorkomende ontwerpfout die waarin formele modellen op dubbelzinnige wijze vermengd zijn met concrete situaties.

De dubbelzinnigheid dreigt bovendien ten nadele van de student uit te werken omdat docenten geneigd zijn autoritair te beslissen bij verschil van inzicht. Die docenten zijn niet te kwader trouw, maar hebben zich niet gerealiseerd dat het razend moeilijk is om echt consistent te zijn in dit soort autoritaire beslissingen. In het ene geval had de student juist formeel moeten redeneren, bij een andere gelegenheid kan de student van dezelfde docent te horen krijgen dat een formele interpretatie juist niet bedoeld is.

Denk hier niet geringschattend over. Bedenk dat het tot de impliciete spelregels bij keuzevragen hoort dat van de aangeboden alternatieven alleen het beste antwoord punten oplevert, zodat in nogal wat gevallen de student die alternatieven ook tegen elkaar moet afwegen, en moet dat dan zonder of met formele modellen, wat zou de ontwerper bedoeld hebben?

De slordige ontwerper, iemand die als foute antwoorden maar wat opschrijft, zal veel onvrede oogsten.

nooit ‘nooit'

• de vraag bevat een term zoals ‘nooit,’ ‘alle,’ ‘altijd,’ ‘zeker’ (‘universele quantoren’ zorgvuldig hanteren) (Let op: generieke uitspraken zoals ‘eenden leggen eieren’ zijn geen uitspraken met een universelen quantor; hier gebeuren vreemde dingen, zoals volwassenen die heel gauw zeggen dat alle eenden eieren leggen, ook al hebben ze kort ervoor gehoord dat mannetjes-eenden geen eieren leggen. Zie Leslie, Khemlani & Gluckberg, 2011).
• oneindige reeksen en andere metafysische zaken zijn al gauw dubbelzinnig

  
  

toegespitstheid (specificiteit)

• de vraag laat in het midden hoe uitgebreid het antwoord moet zijn
• de voorbereide student tast in het duister welk antwoord goed is
• keuzevragen: meerdere alternatieven zijn goed verdedigbaar
• keuzevragen: de betekenis van de stam is alleen duidelijk uit de gegeven alternatieven [ongewenst; soms toch bruikbaar om heel lange stam te vermijden]

het is duidelijk wat de vraag toetst

• wie het antwoord niet weet, heeft geen idee waar de vraag over gaat
  (Het is wenselijk dat ook de student die de vraag niet kan beantwoorden toch weet waarop zij het antwoord schuldig moest blijven, welke kennis of inzicht ontbreekt.)

alle goede antwoorden zijn voorzien

• er is tenminste een goed antwoord dat niet is voorzien
• er is geen vangnet voor onvoorziene goede antwoorden

antwoord motiveren?

• een motivering is nodig, maar er is niet uitdrukkelijk om gevraagd
• de vraag kan met ‘ja’ of ‘nee’ beantwoord, maar dat is niet de bedoeling van de ontwerper

de juiste vraagsoort

• open vraag is goed te vervangen door enkele korte open vragen of keuzevragen [doe dat]
• keuzevraag is niet te vervangen door alleen zijn stam als korte open vraag te stellen [wijst op een mogelijk gebrekkige formulering van die stam]
• keuzevraag is te vervangen door zijn stam als korte open vraag [zijn er geen economische redenen om aan de keuzevorm vast te houden, doe het dan anders, tenzij:]
• korte open vraag heeft een perfecte keuzevraag als equivalent [gebruik de keuzevraag] (de alternatieven zijn goed bekend en klein in aantal)
• vraagt naar de bekende weg [weglaten] (zaken die bijv. in een practicum uitvoerig zijn behandeld, waarvan bekend is dat iedereen, of niemand, het weet of kan)

keuzevragen: alternatieven

• alternatieven zijn uitvoeriger dan nodig
• repetitie van termen in de alternatieven [opnemen in de stam]
• tekst van alternatief sluit niet aan op de stam [ernstige vormfout]
• dummy-alternatief (zoals ‘geen van deze’) [ongewenst]
• het goede alternatief is een ander antwoord dan door deskundigen op de stam van de vraag gegeven [ongewenst]

keuzevragen: onbedoelde hints

• het juiste alternatief is opvallend korter/langer
• het juiste alternatief herhaalt een belangrijk woord uit de stam
• onjuist alternatief bevat termen die de student onbekend zijn
• juiste alternatieven staan opvallend vaak op dezelfde plaats (als eerste, tweede, laatste)
• onjuist alternatief is geconstrueerd door er een logische onjuistheid in te verwerken (logisch redeneren behoort zelden tot de onderwijsdoelen)
• universele quantor (‘alle,’ ‘nooit’) gebruikt om onjuist alternatief te maken
• goed alternatief met onbedoeld kenmerk
  afrader (onbedoelde mogelijkheid: het goede antwoord moet op 9 cent eindigen!)
  
  Paco gaat een plasma-tv kopen. Een model van 105 cm. Prijs € 1.798,99 (inclusief verwijderingsbijdrage). Of: Slechts € 45,80 per maand! Plus eenmalig € 179,99 euro.
  
  Paco kiest voor betaling in delen. De betaling gaat 4 jaar duren. Wat heeft de plasma-tv hem na 4 jaar gekost?
  
  

  1. €1.789,99
  2. €1.978,98
  3. €2.198,40
  4. €2.378,39
     

  Eindexamen economie vmbo bb, vraag 20, in NRC Handelsblad van 26 mei 2007 (4. is juist)

  
  

  De afrader is onbedoeld makkelijk voor wie ziet dat het goede antwoord op 9 cent moet eindigen. Dat inzicht heeft niet met economie te maken. Overigens is dit in feite een redactiesom, met oppervlakkig bezien de typische mankementen die daar in de toetspraktijk maar al te vaak bij worden gevonden (Verschaffel, Greer en De Corte, 2000).
  afrader (streep de Fransman aan, dat zal wel goed zijn)
  
  Wie van de volgende vier filosofen hanteert het onderscheid tussen ‘être-en-soi’ en ‘être-pour-soi’?
  
  

  1. Heidegger
  2. Jaspers
  3. Kierkegaard
  4. Sartre
     

  Als voorbeeld van dit type hint gegeven door Lans en Mellenbergh, in De Groot en Van Naerssen (1973).

ja-nee   waar-onwaar   juist-onjuist

• het aantal als ‘ja’ gesleutelde vragen wijkt substantieel af van dat van de ‘nee’ gesleutelde [rechtzetten, anders bevoordeelt het de testees die dit in de gaten hebben]
• de uitspraak is nonsens van een soort dat niets met de inhoudelijke onderwijsdoelen heeft te maken [ernstige ontwerpfout; zo’n uitspraak is er alleen maar om de vraagvorm te dienen, omdat er nu eenmaal ook onware uitspraken moeten zijn; beter: vervangen door een onware uitspraak waarvan het kunnen herkennen wèl tot de doelen behoort; als dat laatste niet mogelijk is: de ja-neevraag niet meer gebruiken]
• een ontkenning in de uitspraak [ongewenst, wijst op gekunsteldheid, is een hint dat het antwoord ‘nee’ is]
• de waar-onwaarvragen zijn gekoppeld tot dubbele waar-onwaarvragen A en B [ontwerpblunder; maakt het de testees onnodig lastig; testees kunnen zich tegen deze wanpraktijk wapenen door op het toetsformulier bovendien duidelijk aan te geven of A waar is of onwaar, en evenzo voor B, en bovenaan het toetsformulier aan te geven dat deze aantekeningen bepalend zijn]
• er is een uitzondering te bedenken die het bedoelde — gesleutelde — goede antwoord fout maakt [ernstige ontwerpfout]
• een als ‘waar’ bedoelde uitspraak is onbedoeld als een absolute uitspraak te lezen en zou dan ‘onwaar’ zijn [gebruik kwalificaties zoals ‘gewoonlijk’, ‘gemiddeld’, en ‘in het algemeen’] [zie de box]
• let op: de ontwerper heeft een bijzondere uitzondering in gedachten die is bedoeld om de uitspraak ‘onwaar;’ te maken [dat dit een ondeugdelijk ontwerp is, volgt uit Millman & Pauk, zie de box; dit maakt de vraag bovendien gewoon tot een strikvraag]
• het gaat eigenlijk vooral om het logisch redeneren (en dus goed lezen), maar de toets is geen toets voor het vak logica [ernstige ontwerpfout, zie Leighton (2004) zoals eerder al gerefereerd]
  afrader
  
  Kinderrijke gezinnen zijn armer dan gezinnen met minder kinderen.

  • waar
  • onwaar

  Als voorbeeld gegeven door Millman & Pauk (1969) p. 64. Zij adviseren de testee: “streep een uitspraak alleen aan als waar als ze waar zijn zonder uitzondering.” Zij geven aan dat dit voor onervaren testees de meest geschonden gedragsregel is.

Kan dit type vraag ooit wèl verantwoord zijn? Merk op dat Millman & Pauk bovenstaand voorbeeld geven als een kennelijk door de ontwerper als ‘onwaar’ bedoelde uitspraak, omdat de testee moet begrijpen dat hier vele uitzonderingen op zijn. Is het dan een vraag uit een toets logica, en niet uit een toets maatschappijleer? Kijk, dat soort verwarring moeten we niet hebben, dan wordt iedereen gek.

Op zijn minst zal het vaak nodig zijn om de testee de gelegenheid te geven het antwoord toe te lichten, al was het maar op in te leveren kladpapier. Beter is: ontwerp vragen waarbij de testee het gegeven antwoord moet motiveren. Nog beter is dan: gegeven wat goede, respectievelijk minder goede, onderbouwingen zijn, daarvan uitgaand een geheel ander vraagontwerp te maken.

vormgeving: tekst en afbeeldingen

Het afglijden van het rekenonderwijs naar probleemoplossen-met-afbeeldingen maakt het gewenst om hier ook aandacht te schenken aan de wenselijkheid van het gebruik van afbeeldingen, en als dat dan al wenselijk is wat zijn dan belangrijke ontwerpprincipes? Ik noem vast een publicatie die ons op het spoor kan zetten, maar moet dit verder nog uitwerken.

Jana Holsanova, Nils Holmberg & Kenneth Holmqvist (2009). Reading information graphics: The role of spatial contiguity and dual attentional guidance. Applied Cognitive Psychology, 23, 1215-1226. abstract concept version

de toetsinstructie

• de instructie is niet voor iedereen perfect duidelijk
• bij keuzevragen: ontbreken van aanwijzingen wat te doen wanneer je het antwoord niet weet [essentieel: de leerling/student moet weten of open laten van vragen wordt gestraft of juist een kleine beloning oplevert, en of foute antwoorden aftrekpunten opleveren of niet]
• de instructie laat in het midden of er ruim tijd is om het werk te maken, of hoeveel tijd er is.

Puntenlijst voor inhoudelijke aspecten

het onderwerp van de vraag

• is onduidelijk
• is door de ontwerper niet aangegeven

de gevraagde vorm van beheersing
(reproductie, nieuw voorbeeld benoemen, nieuwe toepassing, inferentie, vertaling enz.)

• is onduidelijk
• is door de ontwerper niet aangegeven

abstractieniveau

• vraagt letterlijk uit de stof [is zelden adequaat]
• is hoog [kan dat anders?]
• is hoog, ontwerper geeft geen onderbouwing [ongewenst]

ontologische consistentie

• De aard van het begrip waar de vraag over gaat, dicteert welke woordkeus voor de vraag al dan niet adequaat is. Bijvoorbeeld: bij vragen over electriciteit, is een woordkeus die suggereert dat electiciteit stroomt niet consistent met het begrip. Dat kan dus nog knap lastig worden, omdat leveranciers spreken over electrische stroom, groene stroom, etcetera.
  Het gaat bij deze check op ontologische consistentie om een recent onderscheid, tussen material substance en emergent process begrippen, dat is te vinden in onderzoek van Slotta en Chi (2006) (zie ook de physics education pagina). Ik moet nog onderzoeken wat de implicaties van dit onderzoek zijn voor het ontwerpen van toetsvragen, niet alleen in het domein van de natuurkunde, maar ook in dat van andere wetenschappen, waarschijnlijk inclusief de wiskunde, exclusief bijvoorbeeld de taalvakken in het voortgezet onderwijs. Zie ook Goldstein (1999), Emmech, Koppe en Stjernfelt ( 1998 ). Zie ook Bedau and Humphreys (2008).

de vraag is specifiek

• het gevraagde valt buiten de opgegeven stof of de onderwijsdoelen [ernstige fout]
• het gevraagde valt wel binnen de stof of de doelen, maar de gebruikte vorm past niet, of is onverwacht
• het gevraagde valt wel binnen de stof of de doelen, maar de moeilijkheid ervan niet
• de leerling kan niet weten, hoeft dat niet te weten, dat een vraag als deze mogelijk is
• de vraag is een opinievraag [ernstige fout; opinies zijn vrij] [zie box hierbeneden: examenvraag 21]
• de vraag is een strikvraag [ernstige fout]

De examenvraag in de box, een niet prettig vormgegeven keuzevraag, is een dag na het examen door staatssecretaris Van Bijsterveldt teruggetrokken — is zoiets ooit eerder gebeurd? — omdat persoonlijke opvattingen van de opstellers van het examen in deze vraag terugkomen. Het valt niet te ontkennen dat het bezwaar van de VVD tegen deze examenvraag, en de reden voor de staatssecretaris om de vraag terug te trekken, terecht zijn. Mijns inziens is geen van de alternatieven A t/m F juist, en zou het werkelijk van de pot gerukt zijn om één van de alternatieven als nog de minst beroerde aan te merken. Die eigen verantwoordelijkheid van de VVD roept vragen op (van kinderen? Patiënten? Bijzondere categorieën gehandicapten? Politici? CEO’s?), maar de overige punten komen in andere partijprogramma’s ook voor. De term ‘doodgeknuffeld’ is niet fijn, maar niet echt letterlijk bedoeld. Wat heeft de ontwerper van deze vraag bezield? De vraag is wel een mooie illustratie van het feit dat eenzelfde tekstfragment zo anders valt te interpreteren al naar gelang wie dat doet. Aangenomen dat de ontwerper neerlandicus is, dat mogen we toch hopen, heeft de ontwerper hier toch wel een eenzijdige interpretatie van de gegeven tekst gekozen als zou deze door iedere redelijke lezer gedeeld worden. Quod non. Hier is het fout gegaan, maar bedenk dat niet iedere interpretatie alleen maar een mening is.

Ik geef geen commentaar op actuele eindexamenvragen. In dit geval maak ik een utizondering, omdat de vraag is teruggetrokken van het examen. Overigens maak ik wel graag gebruik van puntige commentaar van anderen op actuele eindexamenvragen.

sleutel of modelantwoorden

• modelantwoorden ontbreken (een modelantwoord mag schetsmatig zijn, als het er tevoren maar is)
• er zijn geen onafhankelijk opgestelde modelantwoorden (de deur naar willekeurige beoordeling staat open)
• de sleutel is nog niet bepaald
• er zijn geen onafhankelijk verkregen ‘goede antwoorden’ beschikbaar (de sleutel van alleen de ontwerper is subjectief)

karakteristieke fouten

• er is geen idee wat voor deze vraag karakteristieke fouten of misvattingen zijn [gemiste ontwerpkans]
• althans is op voorhand geen inschatting gemaakt hoe bepaalde groepen leerlingen het op dit punt gaan doen [gemiste kans het eigen inzicht te toetsen]
• de verwachte proportie goede antwoorden is nog niet geschat [gemiste kans zelf iets te leren]

voor meerkeuzevragen bovendien

• het kunnen onderscheiden tussen het juiste antwoord en de afleiders valt buiten de stof of de doelstellingen
• afleiders die vrijwel iedereen weet te vermijden [gewoon weglaten]

Algemene punten

dekking

• er is geen garantie dat ieder relevant onderwerp uit de stof en/of de doelen in de toets voor kan komen (er is geen inventarisatie, geen lijst)
• idem dat belangrijker onderwerpen een grotere kans hebben in de toets te komen
• er is niet speciaal gelet op onderdelen die door tot de kern van de stof behoren, en goed worden beheerst (het risico is dan dat leerlingen het zo nooit kunnen ‘winnen’ van de toets, de lijn trekken is dan de beste strategie die zij voorhanden hebben)

drukwerk

• de layout is slordig, aan derden uit handen gegeven, of afhankelijk van een computer-platform
• de drukkerij heeft geen sluitende controle op de volledigheid van toetsboekjes
• er ontbreken cruciale onderdelen (een nadrukkelijke ontkenning in een stam, een goed antwoord onder de alternatieven)
• er is een risico dat de toets voortijdig bekend wordt
• er is geen waterdichte garantie dat de sleutel voor de keuzevragen foutloos is

Strikvraag: een verborgen gegeven (functional fixedness)

Bevestig drie kaarsen verticaal tegen een houten scherm, gebruik de dingen op tafel
[Op tafel liggen onder andere lucifers in een doosje, kaarsen in een doosje, punaises in een doosje.]

Voor de oplossing moeten de doosjes met punaises op het bord worden geprikt. Slechts de helft van de studenten kan dit oplossen. Het punt is dat de studenten de doosjes niet als een mogelijk gegeven zien. Leg de doosjes leeg op tafel, en bijna alle proefpersonen lossen het probleem dan wèl op. Het probleem is door Duncker (1935, p. 104) onderzocht die het fenomeen functiegebondenheid, functional fixity, noemde (de illustratie staat in de Wiki op dit onderwerp. De afbeelding heeft een enkel doosje, dat is ook goed, maar niet authentiek; Duncker (1935) heeft drie doosjes, voor iedere kaars een, maar geeft geen afbeelding). Adamson (1952) heeft het onderzoek overgedaan. In examenopgaven mag zo'n constructie natuurlijk niet voorkomen, dan toetst zo'n vraag vooral het vermogen om creatief problemen op te lossen.

Let op. Dit fenomeen sluipt heel makkelijk in opgaven binnen, alleen al een verschillende woordkeus voor de gegevens kan dit soort gevolgen hebben. In Duncker (1935/1945) bijvoorbeeld twee varianten van mogelijke behandeling van een maagkanker met radioactiviteit: als straling, of als deeltjes gegeven, maakt verschil in de kans dat scholieren de oplossing vinden (vanuit verschillende hoeken bestralen, en wel zo dat de kanker in het ‘brandpunt’ is).

computerafname

• de deelnemers zijn bekend met het format van deze afname
• er zitten geen verrassende nieuwigheden in het format
• ongestoorde afname is gegarandeerd door backup-systemen etcetera die bij eventuele storing de afname hopelijk naadloos over kunnen nemen, zonder verlies van data zoals al gegeven antwoorden
• er is een papieren backup, omdat ongestoorde computerafname niet is te garanderen

fraude

• waarborgen om op oneigenlijke manier verkregen goede antwoorden uit te sluiten of tenminste te kunnen ontmaskeren
• de creativiteit van fraudeurs en fraudeurtjes is groot, zie Hofstee (1999) om een idee te krijgen van waar summatieve beoordelingen problemen mee kunnen krijgen
• voor grootschalige toetsen zijn er checks mogelijk op onderling afkijken (Cizek, 1999; Jacob en Levitt, 2004)
• In dit internet-tijdperk zijn er nieuwe mogelijkheden voor plagiaat bijgekomen, en nieuwe technieken om dergelijk plagiaat op te sporen (Andeweg en Blokzijl, 2001). Er is software beschikbaar, als alleen een incidentele check met hulp van Google niet toereikend is. Zie Henk van Berkel (2006)
• hoe somber (dit probleem zal niet meer weggaan, integendeel) een criminoloog tegen studiefraude aankijkt: Bovenkerk (2005).

8.3 Onafhankelijke beoordeling van kwaliteit

Hoe zijn de lijsten uit 8.2 te gebruiken voor controle op de kwaliteit van de ontworpen toetsvragen? Het is niet voldoende wanneer de schrijver van de toetsvragen de lijsten naloopt en afgaande op eigen impressies en ervaringen hier en daar een vraag ‘verbetert’ of de prullenbak in kiepert. Dat is te vrijblijvend en geeft geen behoorlijke garanties tegenover andere examinatoren en tegenover de studenten dat de vragen nu wel voldoen aan redelijke kwaliteitseisen. Een goede controleprocedure voldoet aan de eis dat eventuele mankementen in (bijna) alle gevallen boven water komen. De sleutel tot zo'n procedure ligt in de aard van de verborgen mankementen: dat zijn vooral die kenmerken van een toetsvraag waarover examinatoren het onderling oneens zijn. Welnu, dan kan men een procedure gebruiken, waarbij die verschillen van inzicht noodzakelijkerwijs te voorschijn komen. Het principe is: laat twee of meer examinatoren geheel onafhankelijk van elkaar de controle aan de hand van de lijsten uitvoeren. Een van die controlerende examinatoren kan de schrijver van de betreffende toetsvraag zijn; laat deze al bij het schrijven van de vraag een protocol opstellen met alle relevante gegevens over die vraag, conform de controlelijsten. Is dat nou echt nodig, zo'n hoop gedoe over toetsvragen waarvan iedere deskundige toch onmiddellijk kan inzien dat ze ondubbelzinnig geformuleerd en al even ondubbelzinnig te beantwoorden zijn? Ja, dat is nodig, want het blijkt eenvoudig niet zo te zijn dat men hierbij op het eigen stellige, maar ongewapende oordeel af kan gaan. Ik geef ter illustratie een eenvoudige vraag die zou kunnen voorkomen in een toets aan het eind van een cursus inleiding in de statistiek.

Doe een klein onderzoekje door de vraag ook te laten beantwoorden door uw collega’s die statistiek doceren. Zo'n onderzoekje werd bij wijze van grap gedaan door een van de auteurs Bar-Hillel en Falk (1982), die de vraag voorlegde aan twee hoogleraren wiskunde. Zij produceerden onmiddellijk en met grote vanzelfsprekendheid het antwoord.

De ene hoogleraar antwoordde dat die waarschijnlijkheid een half was, de ander antwoordde even stellig dat het een derde moest zijn. Goed, dit is een anekdote. Maar we zitten ondanks dat nog wel met het probleem wat dan wel het juiste antwoord is. Bar-Hillel en Falk (1982) hebben daar een boeiende en leerzame uiteenzetting over gegeven, aan de hand van nog enkele andere dubbelzinnige opgaven. Het komt erop neer, zoals in de statistiek wel vaker het geval is, dat de opgave in het geheel niet zo eenvoudig is als hij eruitziet en zoals hij door de twee hoogleraren beantwoord werd. De eerste hoogleraar redeneerde dat de waarschijnlijkheid voor de geboorte van een jongen ongeveer gelijk is aan die voor de geboorte van een meisje, beide zijn onafhankelijk van elkaar, dus het antwoord moet een half zijn. De tweede hoogleraar redeneerde dat er drie even waarschijnlijke mogelijkheden zijn: Molenaar heeft ofwel twee jongens, ofwel een jongen als oudste en een meisje als jongste kind, ofwel een meisje als oudste en een jongen als jongste kind, zodat de waarschijnlijkheid dat hij twee jongens heeft een derde moet zijn. Nu is het met wiskundige opgaven als deze noodzakelijkerwijs zo dat er maar een juist antwoord kan zijn, dus een van beiden gaf een onjuist antwoord of beiden gaven een onjuist antwoord. Zorgvuldige analyse, en dat vraagt nogal wat werk zoals tabel 1 in Bar-Hillel en Falk (1982) laat zien, levert als juiste antwoord ‘een half’ op, maar de motivering van dit antwoord is een andere dan onze eerste hoogleraar had gegeven. De les hieruit is: simpel lijkende problemen kunnen in werkelijkheid complex zijn, en een signaal daarvoor kan gevonden worden in verschillende antwoorden van ‘deskundigen,’ zoals die bij een eenvoudig onderzoekje kunnen blijken.

Het Monty Hall-probleem is ook zo'n schitterend probleem waarvan tal van deskundigen die dit specifieke probleem niet kennen, met stelligheid zullen beweren en beargumenteren dat veranderen van de keuze geen voordeel oplevert. Jammer, maar dat is het verkeerde antwoord. Er valt een tamelijk complete cursus statistiek omheen te bouwen, zie Rosenhouse (2009).

De controle kent een aantal varianten. Allereerst kan de schrijver zichzelf controleren. Een normale procedure is dat een of meer collega’s, andere examinatoren, de vragen controleren. Dit zijn de controles vooraf en deze zijn aan te vullen met achteraf te verkrijgen gegevens: de toetsresultaten en eventueel het commentaar van de studenten.

De schrijver controleert zichzelf. Het idee hierachter is: de schrijver moet in staat zijn om na een tussentijd van enkele weken de te controleren vraag te beantwoorden op dezelfde wijze als op het protocol aangegeven, uiteraard zonder eerst naar het protocol gekeken te hebben. Wanneer antwoorden en protocol op wezenlijke punten verschillen, dan is de vraag ondeugdelijk. Want ofwel blijkt de vraag nu anders uitgelegd te worden dan bij het schrijven de bedoeling was, ofwel er blijkt nu een ‘goed’ antwoord geproduceerd te kunnen worden dat bij het schrijven van de vraag niet was voorzien. De eerste voorwaarde voor zelfcontrole is dat er zo veel tijd is verlopen tussen het schrijven van de vraag en de controle dat het aannemelijk is dat de schrijver niet uit zijn geheugen hetzelfde antwoord als destijds zal produceren. Andere voorwaarden zijn: er is een volledig protocol beschikbaar, opgemaakt bij het schrijven van de vraag; de vragen worden in toevallige volgorde gecontroleerd; er staan geen onbedoelde aanwijzingen in het te controleren materiaal; meerkeuzevragen worden eerst gecontroleerd zonder de alternatieven, daarna met de alternatieven. De te controleren vragen zijn niet geordend naar onderwerpen uit de literatuur en dragen geen nummer of code die een verwijzing naar de bron in de literatuur kan bevatten. De resultaten van een zelfcontrole zijn bijna even bruikbaar als die van een controle door een collega. Ieder verschil in beantwoording met het oorspronkelijke protocol duidt op een tekortkoming in de vraag of tenminste op een niet eerder onderkende eigenschap, antwoordmogelijkheid, en dergelijke.

De zelfcontrole heeft één overwegend nadeel: de controleur weet dat hij zijn eigen vragen aan het controleren is en kan onbedoeld tot een minder streng oordeel komen dan de objectiviteit verlangt.

Controle door collega’s (andere examinatoren). Het is algemeen gebruikelijk ontworpen toetsvragen te bespreken met collega’s. Het valt nog te bezien of ‘bespreken’ wel een voldoende controle is. Bij een gezamenlijke bespreking is een onafhankelijk oordeel niet verzekerd. Het kan zijn dat bij een te bespreken vraag ook het antwoord al gegeven is, en dan vervalt voor een belangrijk deel de mogelijkheid dat collega’s met andere antwoorden voor de dag komen, daarmee een mogelijke dubbelzinnigheid in de vraagformulering aantonend. Bij een bespreking is het bovendien niet te vermijden dat opinies worden uitgesproken, en door anderen ondersteund worden over de juistheid van een bepaalde vraag. Dat is geen goede basis voor een kwaliteitsoordeel.

Beter is het om empirische gegevens te verzamelen over verschillen van inzicht tussen onafhankelijk van elkaar werkende examinatoren. Vraag een of meer collega’s om de vragen te controleren op dezelfde manier als de schrijver bij de zelfcontrole doet: de lijsten schriftelijk doorwerken zonder ruggespraak met anderen te voeren, en zonder stukken of literatuur te raadplegen waar studenten tijdens het tentamen ook geen toegang toe hebben. Een instrument in de vorm van een thema-lijst is hier beschikbaar. Zo worden empirische gegevens verzameld, die te vergelijken zijn met het protocol dat bij het schrijven van de toetsvraag al is opgemaakt of die voor meerdere beoordelaars onderling vergeleken kunnen worden. Bij deze procedure is er weinig reden meer voor bespreking in de vakgroepvergadering, omdat de gegevens nu sterk voor zichzelf spreken. Immers, waar examinatoren op essentiële punten met elkaar verschillen, andere antwoorden op de vraag geven, een ander alternatief van de meerkeuzevraag als juist aanwijzen, verschillend denken over welk onderwijsdoel de vraag behelst, dan moet de vraag beter geformuleerd of vernietigd worden. Dan valt er niet te onderhandelen. Bijvoorbeeld wat betreft het juiste alternatief bij een meerkeuzevraag: wanneer tenminste één examinator een als afleider bedoeld alternatief als het juiste heeft aangestreept, dan kan geen onderlinge discussie dat feit verhelen dat ten minste één deskundige deze bepaalde afleider als verdedigbaar het juiste antwoord heeft beschouwd.

Alleen wanneer in dit voorbeeld de ‘dissident’ ervan overtuigd kan worden dat hij gewoon een fout heeft gemaakt, een fout die ook een student als fout aangerekend dient te worden, dan blijft de betreffende meerkeuzevraag aanvaardbaar. Maar het mag nimmer zo zijn dat in onderlinge discussie een dissidente collega zegt: ‘ik zie wel in dat het als goed bedoelde alternatief een goed antwoord is en ik ben bereid om me aan te sluiten bij de keuze van dat alternatief als het juiste alternatief.’ Dat levert pseudo-objectiviteit op, in de Amerikaanse literatuur ook wel ‘frozen subjectivity’ genoemd. Het is evident dat bij zo'n handelwijze al die studenten gedupeerd worden die een antwoord geven dat door ten minste één deskundige ook als antwoord gegeven was, maar door een ‘meerderheid’ van deskundigen werd afgewezen. Het zou de student plaatsen in de onmogelijke positie bij de afweging van zijn antwoorden rekening te houden met wat waarschijnlijk een meerderheidsopvatting onder de examinatoren zal zijn. Om nog maar niet te spreken over de twijfelachtige wetenschapsopvatting die spreekt uit het op deze wijze, bij onderling fiat of meerderheidsopvatting, beslissen wat ‘waar’ is. Er is geen andere begaanbare weg dan collega’ s onafhankelijk van elkaar de vragen schriftelijk te laten beoordelen. Desnoods op een sterk gekortwiekte lijst, waarbij in ieder geval gevraagd wordt om beantwoording van de te controleren vragen.
Hoe te handelen met de uitkomsten van deze controle? Richtinggevend is daarvoor de rechtmatigheid van de beoordeling van de student (zie 8.l). Dat betekent voor meerkeuzevragen dat het juiste alternatief niet alleen consistent door andere examinatoren ook als het juiste wordt aangemerkt, maar bovendien dat zij als antwoord op de stam van de vraag, dus zonder te hebben gezien wat de alternatieven zijn, ook als antwoord geven wat in het juiste alternatief geformuleerd is.

Voor aanvulvragen geldt dat niet in zo sterke mate: afwijkende antwoorden van verschillende examinatoren kunnen wijzen op een laakbare dubbelzinnigheid in de formulering van de vraag; maar het kan ook zijn dat alle antwoorden goed zijn, en dat bij de controle een aantal mogelijk goede antwoorden boven water zijn gekomen waar de schrijver van de vraag nog niet aan had gedacht. Hetzelfde doet zich voor bij opstelvragen en het modelantwoord bij de opstelvraag. Wat de beoordeling betreft: wanneer daarover de opvattingen verschillen, worden de verschillen uitgelegd ten gunste van de student. De student krijgt altijd het hoogste oordeel dat door een examinator gegeven wordt. Zijn er erg grote verschillen in opvatting, dan verdient het aanbeveling de betreffende vraag scherper te formuleren of helemaal weg te laten.

Verschillen tussen examinatoren kunnen niet alleen bij controle vooraf blijken, maar ook bij het nakijken van gemaakt werk (wanneer ieder antwoord door ten minste twee examinatoren onafhankelijk van elkaar beoordeeld wordt).

Controle door collega’s kost tijd. De methode die de meeste tijd vraagt is de onderlinge bespreking. De hier voorgestelde procedure van onafhankelijke schriftelijke controle kost minder tijd en levert beter interpreteerbare resultaten op, ook voor verantwoording naar de studenten toe. Het valt op dat er in de literatuur weinig of geen aandacht voor deze methode van collegiale toetsing is, wel voor complex vragenlijstonderzoek zoals door Rovinelli en Hambleton (1977 pdf). Het gekke is dat deze onderzoekers hun dertig vakspecialisten niet laten doen waar zij goed in zijn — de toetsvragen onder toetscondities beantwoorden — maar wat zij maar gebrekkig kunnen — overeenstemming met specifieke onderwijsdoelen beoordelen. Vermijd deze valkuil.

Een instrument dat bij deze collegiale toetsing van toetsvragen is te gebruiken, staat hier op deze website.

Controle door studenten. Studenten worden pas bij de toetsafname met de vragen geconfronteerd. Dat wil nog niet zeggen dat controle door studenten louter controle achteraf zou zijn. Immers, fouten en dubbelzinnigheden in de vragen die tijdens de toetsing worden ontdekt, kunnen op dat moment nog rechtgezet worden. Studenten moeten met zo'n ontdekking (via een surveillant) een verantwoordelijke examinator kunnen bereiken. Het geven van verduidelijking kan op dat moment alle deelnemende studenten nog ten goede komen. Het belang daarvan is dat voorkomen wordt dat anders door voldongen feiten een ongelijke behandeling van studenten ontstaat. Denk niet dat een uitvoerige controle vooraf alle mogelijke fouten in vraagformuleringen eruit haalt. Voor het overige valt commentaar van studenten onder de rubriek ‘controle achteraf.’ Allereerst kan gevraagd worden om commentaar op bepaalde vragen op het antwoordformulier bij te schrijven. Studenten worden daar ook expliciet toe uitgenodigd door de belofte dat deze commentaren bestudeerd zullen worden op eventuele consequenties voor de beoordeling. Wie van deze mogelijkheid wat meer werk wil maken, kan ook de studenten een vragenlijstje geven om ze een idee te geven welk soort commentaar op prijs gesteld zou worden (wanneer bepaalde vragen daar aanleiding toe geven). Bijvoorbeeld:

• Is een vraag voor tweeërlei uitleg vatbaar?
• Zijn meerdere alternatieven als juist te verdedigen?

• Wordt kennis verondersteld die buiten de opgegeven stof valt?

• Had je mogen verwachten dat een bepaald soort vraag niet in de toets zou voorkomen?
• Is onvoldoende duidelijk welk antwoord als correct zal gelden (hoe uitgebreid, al dan geen details, aantal te vermelden tussenstappen)?

Direct na de toetsafname krijgen studenten de beschikking over de juiste antwoorden (of de scoringssleutel voor keuzevragen), en uiteraard mogen ze de vragen behouden (zie 2.4). Op dat moment kunnen studenten tekortkomingen in de vragen, de als juist beschouwde antwoorden of in de scoringssleutel ontdekken. Geef dan ook gelegenheid om opmerkingen daarover op het bord van de examinatoren te leggen. Hetzelfde geldt voor de nabespreking van het tentamen (die bij voorkeur zo snel mogelijk te houden is, direct na afloop van de toets is beter dan na enkele weken wanneer al het werk is nagekeken).

Een derde mogelijkheid voor het inwinnen van commentaar van studenten is een intensief doorspreken van de hele toets met een klein groepje studenten (vrijwilligers of een afvaardiging). Bij die bespreking kan dan ook alle materiaal uit de voorbereidingsfase op tafel komen, zoals de protocollen van de vragenschrijvers, modelantwoorden en beoordelingsvoorschriften.
Voor zover commentaar van studenten leidt tot bepaalde maatregelen bij de beoordeling of tot het verwijderen van bepaalde vragen, wordt dat algemeen bekendgemaakt.

Controle achteraf gebeurt door gebruik te maken van de resultaten van de toets, uitgesplitst naar de afzonderlijke vragen, Bij opstelvragen is het van belang de procedure voor het nakijken zo in te richten dat eventuele discrepanties tussen verschillende beoordelaars ook blijken. Bijvoorbeeld: ieder antwoord wordt door ten minste twee examinatoren gescoord en gewaardeerd, waarbij geen aantekeningen op het werk van de student gemaakt mogen worden (om het werk van de tweede beoordelaar niet te beïnvloeden). De controle bestaat er dan uit dat gelet wordt op onverwachte antwoorden die ‘goed’ zijn (die worden alsnog in het modelantwoord en het beoordelingsvoorschrift opgenomen, wanneer meerdere studenten dat antwoord geven). Beoordelaars houden aantekening van alle problemen die ze ervaren in het werken met modelantwoorden en beoordelingsvoorschriften; deze problemen worden besproken en bekeken op mogelijke consequenties voor de beoordeling.

Er is hier overigens wel sprake van een dilemma: beschikbare docententijd kan ofwel aan het geven van onderwijs, ofwel aan het nakijken van examenwerk worden toegedeeld. Meer tijd besteed aan nakijken, is ipso facto minder tijd besteed aan het onderwijs zelf. Wat is dan meer in het nedeel van studenten: minder onderwijs, of minder ‘eerlijk’ nakijken? Met anderewoorden: het examineren en nakijken moet geen bureaucratie worden.

Wanneer alle vragen zijn nagekeken, is ook bekend (of eenvoudig na te gaan) hoe moeilijk de afzonderlijke vragen voor deze groep studenten zijn geweest: hoeveel studenten een bepaalde vraag goed hebben weten te beantwoorden. Vergelijk dit nieuwe gegeven met de schattingen over de moeilijkheid zoals die bij de controle vooraf zijn gemaakt. Wanneer daar nogal forse verschillen tussen liggen, dan is het zaak om te analyseren waarin de onvoorziene moeilijkheid van de betreffende vraag schuilt. Bij het bepalen van het verschil tussen verkregen en voorspelde moeilijkheid kan rekening worden gehouden met over-all-verschil in verkregen en voorspelde moeilijkheid. Anders gezegd: het is niet onwaarschijnlijk dat de moeilijkheid van de vragen in het algemeen onderschat wordt; dan kijkt men alleen wat nauwkeuriger naar die vragen die in vergelijking tot andere vragen wel erg sterk onderschat zijn. Deze nadere analyse zal doorgaans niet leiden tot het achteraf verwijderen van vragen, tenzij blijkt dat de vraag buiten de opgegeven stof is gegaan.

Bij meerkeuzetoetsen gebeurt de analyse van de moeilijkheid van de vragen op dezelfde wijze als hierboven geschetst. De moeilijkheid van een vraag wordt gegeven door de p-waarde op de computeroutput, dat is de proportie studenten die de vraag ofwel goed wisten te beantwoorden, ofwel goed geraden hebben.

Let op: keuzevragen die fout zijn aangestreept, kunnen fout zijn geraden, maar het is ook heel goed mogelijk dat er foute antwoorden zijn gegeven! Dat betekent, en dat gaat in tegen wat doorgaans in de literatuur is te vinden, dat het aantal fout aangestreepte keuzevragen niet bruikbaar is om een indicatie van het aantal geraden vragen uit te rekenen.

De computeroutput van de meerkeuzetoets levert nog een ander gegeven over de afzonderlijke toetsvragen op: de r-bis, ook wel geschreven als r-it of RIT.

De r-bis duidt aan in welke mate studenten die een bepaalde vraag juist beantwoorden ook tot degenen behoren die op de toets in zijn geheel hoog scoren. Het is een lastig of nauwelijks te interpreteren gegeven. Voor de controle achteraf heeft de r-bis dan ook weinig waarde. De enige functie die het kan hebben is als signaal voor een tamelijk grove fout in de vraagformulering of in de scoringssleutel: dan kan er wel eens een sterk negatieve r-bis gevonden worden. Controleer in zo'n geval of de opgegeven scoringssleutel wel juist is, ook in samenhang met een eventueel onjuiste formulering van de toetsvraag. Maar pas op: het kan best zijn dat er niets bijzonders met de vraag of met de scoringssleutel aan de hand is en dan kan de vraag gewoon gehandhaafd blijven. Er is met andere woorden geen rechtvaardiging voor een automatisme dat toetsvragen verwijdert wanneer er een negatieve r-bis geconstateerd wordt. Er zijn computerprogramma’s die zo'n automatische verwijdering als optie kennen; maak nimmer van dergelijke opties gebruik (ook niet wat bepaalde grenzen voor de moeilijkheid of p-waarde van de vragen betreft). Omdat achteraf verwijderen van toetsvragen onbillijkheden met zich mee kan brengen. moet daar voor iedere verwijderde vraag een verantwoording voor gegeven kunnen worden, en het is beslist niet voldoende om te verwijzen naar een computerprogramma-optie die de vragen ‘automatisch’ verwijderde.

Wellicht ten overvloede: r-bis-waarden in de buurt van 0,0 (zowel iets daarboven als iets daaronder) kunnen perfect aanvaardbaar zijn. Wanneer alle studenten de stof op een niet al te zeer uiteenlopend niveau beheersen, mag je zelfs verwachten dat het merendeel van de r-bis-waarden in de buurt van 0,0 terecht zal komen.

Er is een bijzondere reden om in bepaalde gevallen juist argwanend naar vragen met een hoge r-bis te kijken. Anderson (1972):

Anderson knoopt daar ook de waarschuwing aan vast geen vragen met lage r-bis-waarden uit de toets te verwijderen: dan houd je vragen met relatief hoge r-bis-waarden over, met de door hem genoemde eigenschappen die strijdig kunnen zijn met de doelen van het onderwijs en de toetsing.

8.4 Controlelijsten in beknopte vorm

8.5 Literatuur

Een instrument voor collegiale toetsing van toetsvragen toetsvragen.checklist.htm

AERA, APA & NCME (2014). The Standards for Educational and Psychological Testing. Now an open access publication: 2014 edition open access

• The first edition of these Standards, 1966, was also printed in Douglas N. Jackson and Samuel Messick (Eds.) (1967). Problems in human assessment (169-189). New York: McGraw-Hill. lccc 66-15835
• Wayne Camara (2006). A Historical Perspective and Current Views on the Standards for Educational and Psychological Testing Educational Measurement: Issues and Practice, fall, 35-41. via academia.edu

R. C. Anderson (1972). How to construct achievement tests to assess comprehension. Review of Educational Research, 42, 145-170.

American Psychological Association. Joint Committee on Testing Practices (2000). Rights & responsibilities of test takers: Guidelines and expectations. Washington, DC. American Psychological Association. webpagina

Bas Andeweg & Wim Blokzijl (2001). Het recht op kopiëren. http://www.tudelft.nl/live/ServeBinary?id=229cbe68-6bad-475a-89e5-95a04a2fd10c&binary=/doc/Het_recht_op_kopieren.pdf

M. Bar-Hillel and R. Falk (1982). Some teasers concerning conditional probabilities. Cognition, 11, 109-122. 10.1016/0010-0277(82)90021-X scan Zie ook vervolg hierop: Maya Bar-Hillel (2010). A commentary on Mel Rutherford's 'On the use and misuse of the "two children" brainteaser'. Pragmatics & Cognition, 18>, 175-179. pdf Ook het Monty Hall probleem hoort tot deze categorie]

Mark A. Bedau and Paul Humphreys (Eds) (2008). Emergence. Contemporary readings in philosophy and science. MIT Press. [Dedicated website http://mitpress.mit.edu/emergence. Introductory chapter: pdf

Henk van Berkel (2006). Het opsporen van plagiaat: Twee methoden nader uitgewerkt. In Henk van Berkel en Anneke Bax: Toetsen in het hoger onderwijs (p. 323-340). Houten: Bohn Stafleu van Loghum.

Henk van Berkel (2017). Juridisch correct examineren. Implicaties van uitspraken door beroepsorganen in het hoger onderwijs. Presentatie op het NVE-congres, 23 november 2017. powerpoint

Henk van Berkel (2019). Juridisch correct examineren. Een studie naar uitspraken van beroepscolleges in het hoger onderwijs. Proefschrift Universiteit Tilburg, te verdedigen 27 november 2019, 16:00 uur https://www.tilburguniversity.edu/nl/actueel/agenda/promotie-hjm-van-berkel. Embargo ends: 27/11/24 Exemplaren van het proefschrift zijn verkrijgbaar door een e-mail te sturen, met postadres, naar de auteur: henkvanberkel22@gmail.com. De kosten bedragen € 55 per exemplaar, inclusief verzendkosten, te voldoen na ontvangst van de factuur. Embargo tot eind 2024.

Frank Bovenkerk (2005). Studiefraude: een criminologische beschouwing. Tijdschrift voor Hoger Onderwijs, 23, 78-87.

Patris van Boxel, Christoffel Reumer, Wim van Os & Jaap Boter (2008). De inzet van online peer assessment als formatief en summatief beoordelingsinstrument. Tijdschrift voor Hoger Onderwijs, 26, 229-246.

K. Bügel en P. F. Sanders (1998). Richtlijnen voor de ontwikkeling van onpartijdige toetsen. Arnhem: Cito. pdf

• Biedt wat de titel belooft, met voorbeelden van toetsvragen die partijdig kunnen zijn, en waarom dat zo is.

Susan Carey (2004). Bootstrapping and the origins of concepts. Daedalus, 59-68. pdf

Gregory J. Cizek (1999). Cheating on Tests: How to Do It, Detect It, and Prevent It. Erlbaum.

M. Job Cohen (1981). Studierechten in het wetenschappelijk onderwijs Proefschrift Rijksuniversiteit Leiden. Zwolle: Tjeenk Willink. deel 1 (t/m blz 100), deel 2 blz 102-149, deel 3 blz 150-197 en deel 4 bijlage, samenvatting, literatuur, index

• Beroep tegen beoordelingen in Californië resp. Oslo: Vidar Gynnild (2011). Student appeals of grades: a comparative study of university policies and practices. Assessment in Education: Principles, Policy & Practice, 18, 41-57. abstract [Dit artikel laat vooral zien dat er buiten Nederland vooral woestijn is, wat recht op beroep betreft: er is eigenlijk helemaal geen literatuur.]

Janke Cohen-Schotanus (1995). Studieduur en kwaliteit van tentamens. Onderzoek van Onderwijs, 26-28.

H. F. Crombag, J. G. Gaff & T. M. Chang (1976). Study behavior and academic performance. Tijdschrift voor onderwijsresearch, 1, 314.

ERIC Digests Legal issues in testing.

Karl Duncker (1935/1963). Zur Psychologie des produktieven Denkens. Berlin: Springer.

Educational Testing Service (2008). ETS International principles for fairness review assessments. pdf

• "Using the International Principles as a guideline, supplemented by regionally appropriate content and examples, test developers can design and deliver assessments that are technically sound, fair, valid, and useful for all intended test takers.”
• Merk op dat ETS, dat gewoon een enorm Amerikaans bedrijf is, hier een vreemde draai maakt door ‘'technisch eerlijke en valide’ producten te beloven. Ongetwijfeld is dit een juridische vondst, inhoudelijk is het natuurlijk onzin: het zal de techniek een rotzorg zijn. ETS is te prijzen voor de inspanning, maar het gaat hier wel om een slager die alleen zelf zijn waren keurt. Deze richtlijnen voorzien er niet in dat de doelgroep — de testees — een stem krijgen, terwijl deze voice juist wezenlijk is voor eerlijke procedures.

ETS Standards (Educational Testing Service)

• (2002) ETS Standards for quality and fairness. pdf
• (2003) ETS Fairness review guidelines pdf
• (2005) ETS Guidelines for constructed-responsc e and other performance pdf
• (2007) ETS International principles for fairness review of assessments pdf

C. Emmech, S. Koppe and F. Stjernfelt ( 1998 ). Explaining Emergence: Towards an Ontology of Levels Journal for General Philosophy of Science, 28, 83-119. html

Mark J. Gierl, Yinggan Zheng, and Ying Cui (2008). Using the attribute hierarchy methode to identify and interpret cognitive skills that produce group differences. Journal of Educational Measurement, 45, 65-89. pdf in a free sample (#1, 2008), as of april 2009.

Jeffrey Goldstein (1999). Emergence as a Construct: History and Issues. Emergence, 1, 49-72. questia

Adriaan D. de Groot (1962). Methodologie. Den Haag: Mouton, 1962.

Adriaan D. de Groot (1966). Vijven en zessen. Groningen: Wolters. online lenen bij archive.org: https://archive.org/details/vijvenenzessenci0000groo

A. D. de Groot (1970). Some badly needed non-statistical concepts in applied psychometrics. Nederlands Tijdschrift voor de Psychologie, 25, 360-376. html

Adriaan D. de Groot en Robert F. van Naerssen (Red.) (1969). Studietoetsen construeren, afnemen, analyseren. Den Haag: Mouton.

Thomas Haladyna, Steven M. Downing (2004). Construct-irrelevant variance in high-stakes testing. Educational Measurement: Issues and Practice, Spring, 17-27. https://www.academia.edu/21844948/Construct_Irrelevant_Variance_in_High_Stakes_Testing?email_work_card=title

Thomas Haladyna, Steven M. Downing, and Michael C. Rodriguez (2002). A review of multiple-choice item-writing guidelines for classroom assessment. Applied Measurement in Education, 15, 309-334.

Willem K. B. Hofstee (1999). Principes van beoordeling: Methodiek en ethiek van selectie, examinering en evaluatie. Swets & Zeitlinger. <bespreking Willem K. B. Hofstee (1999). Ritualisering van het onderwijs? Tijdschrift voor Hoger Onderwijs, 17, 20-29.

Wim K. B. Hofstee (2007). Recht op afschrift van het dossier. De Psycholoog, 618-619. pdf

Inspectie van het Onderwijs (23 november 1999). Kwart van scholen meldt onregelmatigheden niet. Persbericht html

Inspectie van het Onderwijs (12 mei 2009). De staat van het onderwijs. Onderwijsverslag 2007/2008. (pdf op website NRC Handelsblad 12 mei 2009)

Brian A. Jacob and Steven D. Levitt (2004). To catch a cheat. Education Next. html

Jacqueline P. Leighton (2004). The assessment of logical reasoning. In Jacqueline P. Leighton and Robert J. Sternberg: The nature of reasoning (291-312). Cambridge University Press.

Max Jammer (1989). The conceptual development of quantum mechanics. American Insttute of Physics.

Harold L. Kleinert, Diane M. Browder and Elizabeth A. Towles-Reeves (2009). Models of Cognition for Students With Significant Cognitive Disabilities: Implications for Assessment. Review of Educational Research, 79, 301-326.

• Michael Russell & Maureen Kavanough (Eds.) (2011). Assessing Students in the Margin. Challenges, Strategies, and Techniques. Information Age Publishing Inc. [ik vind dit via Google, ik heb die boek niet in bezit; inhoudsopgave ]

Frank Kok (1988). Vraagpartijdigheid. Methodologische verkenningen. Proefschrift UvA. SCO-publicatie 88.

Jacqueline P. Leighton (2004). The assessment of logical reasoning. In Jacqueline P. Leighton and Robert J. Sternberg: The nature of reasoning (291-312). Cambridge University Press.

Sarah-Jane Leslie, Sangeet Khemlani & Sam Glucksberg (2011). Do all ducks lay eggs? The generic overgeneralization effect. Journal of Memory and Language 65, 15-31. pdf

Mark Levi (2009). The mathematical mechanic. Using physical reasoning to solve problems. Princeton University Press.

Jason Millman & Walter Pauk (1969). How to take tests. McGraw-Hill Paperbacks.

• Een bijzonder boekje. Millman was in 1969 editor van Journal of Educational Measurement. Het boekje richt zich tot testees, maar lees het vooral ook als over hun hoofd heen gericht tot ontwerpers van toetsvragen. Om het karakter ervan te proeven, zie pdf
• John P. Dolly & Kathy S. Williams (1986). Using test-taking strategies to maximize multiple-choice test scores. Educational and Psychological Measurement, 46, 619-625 abstract
• Millman & Pauk is een voorloper van wat later een hele industrie zou worden, zie bijv. The Princeton Test Review.

NIP (1988). Richtlijnen voor ontwikkeling en gebruik van psychologische tests en studietoetsen. Amsterdam: Nederlands Instituut van Psychologen. Tweede editie. [Hoofdstuk] 8. Toetsgebruik in het onderwijs. pdf, ook als blog, maar nu dus niet meer: hier

NIP (2018). Algemene Standaard Testgebruik NIP 2017. Nederlands Instituut van Psychologen. open access Deze Standaard is een specifieke uitwerking voor testgebruik van de NIP beroepscode zie hier.

C. W. Noorlander (2005). Recht doen aan leerlingen en ouders. De rechtspositie van leerlingen en ouders in het primair en het voortgezet onderwijs. Proefschrift Vrije Universiteit - handelseditie: Wolf Legal Publishers. [Hoofdstuk 14: Beoordeling van onderwijsprestaties. 517-587.

Melvin R. Novick & Nancy S. Petersen (1976). Towards equalizing educational and employment opportunity. Journal of Educational Measurement, 13, 77-88.

Jason Rosenhouse (2009). The Monty Hall problem. The remarkable story of math’s most contentious brain teaser. Oxford University Press.

Richard J. Rovinelli and Ronald K. Hambleton (1977). On the use of content specialists in the assessment of criterion-referenced test item validity. Tijdschrift voor Onderwijsresearch, 2, 49-60.

• abstract pdf of Laboratory of Psychometric and Evaluation Resaerchreport no. 24 (the same text).

Janice Dowd Scheuneman (1982). A posteriori analysis of biased items. In Ronald A. Berk: Handbook of methods for detecting test bias (pp. 180-198).

Lorrie Shepard (1982). Definitions of bias. In Ronald A. Berk: Handbook of methods for detecting test bias (pp. 9-30). The Johns Hopkins University Press.

L. S. Shulman (1986). Those who understand: Knowledge growth in teaching. Educational Researcher, 15 #2, 4-14. pdf

James D. Slotta and Micheline T. H. Chi (2006). Helping students understand challenging topics in science through ontology training. Cognitive Science, 24, 261-289. pdf

Theo Thijssen (1929). De examenidioot of De kinderexamens van 1928. Overdruk uit De Bode. orgaan van de Bond van Ned. Onderwijzers. Bondsdrukkerij "De Volharding". scan 24 Mb.

Lieven Verschaffel, Brian Greer and Erik de Corte (2000). Making sense of word problems. Lisse: Swets & Zeitlinger.

L. M. C. M. Cremers-van Wees, J. W. M. Knuver, H. J. Vos, & W. J. M. Van der Linden (1998). Model gedragscode toetsen, beoordelen en beslissen in het voortgezet onderwijs. Enschede: OCTO. isbn 9036510899. transcriptie

• Opdrachtgevers: Stichting Nederlands Algemeen Bijzondere Schoolraad, & de Algemene Onderwijsbond. Subsidieverstrekker: NWO (projectnummer SVO-96052). De AOb heeft er mogelijk niets mee gedaan. De Ned. Ver. v Examens heeft belangstelling getoond (George Moerkerken) rond 2005.
• 1a. De leraar neemt bij het toetsen, beoordelen en beslissen de binnen de school en vaksectie geldende regels in acht voor zover deze niet in strijd zijn met de geldende wet- en regelgeving of deze gedragscode. [Voor toelichting op ieder artikel: zie de code]
• 1b. De leraar maakt leerlingen tijdig bekend met de door hem gehanteerde werkwijze omtrent toetsen, beoordelen en beslissen. [Mijn opmerking: leerlingen mogen niet voor verrassingen komen te staan. Dit valt onder wat Adriaan de Groot bepleitte in 1970 http://benwilbrink.nl/publicaties/70degroot.htm ]
• 1c. De leraar zorgt ervoor dat bij het beoordelen van toetsresultaten gelijke gevallen gelijk behandeld worden. ['in de beoordeling van resultaten op een kennistoets de houding of motivatie van een leerling niet meewegen'] [lln soms specifiek behandelen voor gelijke kansen]
• 1d. De leraar overlegt waar nodig inzake toetsen, beoordelingen en beslissingen over leerlingprestaties met collega's of andere leden van de schoolorganisatie. [de toelichting noemt voorbeelden]
• 2a. De leraar is zorgvuldig in de afstemming van de gekozen of zelf ontwikkelde toets op de inhoud en het niveau van de leerstof. [Opm: een sterkere eis dan auteurs doen voorkomen. Dit sluit uit dat verschillen in IQ een rol spelen, zoals bij PISA en contextrekenen wel het geval is]
• 2b. De leraar kiest een adequate toetsvorm. ['bijvoorbeeld een proefwerk dan wel werkstuk']
• 3a. De leraar zorgt voor een zorgvuldige instructie voorafgaand aan de toetsafname. [[Opm.: in de weken/dagen voorafgaand, niet onmiddellijk voorafgaand! in feite een aanvulling op 1b. Over welke stof zal de toets gaan, enzovoort]
• 3b. De leraar zorgt voor een zorgvuldige afname van de toets, [Opm: spieken tegengaan; voldoende tijd geven; zonodig verduidelijking geven. Onderschat dit niet, in universiteiten gaan veel beroepsprocedures over tekorten in zorgvuldigheid, zie Job Cohen 1981 'Studierechten' ]
• 3c. De leraar voorkomt oneigenlijk gebruik van toetsen. [pas op met onverwachte overhoringen en huiswerkcontrole] [Opm.: de bevoegdheid om te toetsen en beoordelen mag alleen daarvoor worden gebruikt, dus niet straffen over de boeg van toetsen, of andere rare fratsen]
• 4a. De leraar zorgt bij het gebruik van gestandaardiseerde toetsen voor het correct toepassen van de voorgeschreven scoringsregels en voor correcte interpretatie van de resultaten. [Opm.: gestandaardiseerde toetsen zijn toetsen met landelijke normen (dus ook het CSE). Interpretatie van resultaten vergt eigenlijk testpsychologische kennis]
• 4b. De leraar stelt zorgvuldige scoringsprocedures op voor zelfgemaakte toetsen. [Opm.: maar het is niet de bedoeling dat dit ontaardt in toetsbureaucratie] [Opm.: ga eerlijk om met bezwaren van lln. Dat is lastig, zoals het CvTE telkens laat zien. Toch doen.]
• 5a. De leraar zet de score zorgvuldig om in een cijfer. [Opm. Ik moet wel lachen, alsof cijfers nodig zijn in het onderwijs. Afijn, 'zorgvuldig' is dus vooral eerlijk, rechtvaardig, en zeker niet bureaucratisch. De makke is: op cijfers kunnen lln worden afgereend, wat niet fijn is, en niet zoals het zou moeten]
• 5b. De leraar is bereid om, wanneer leerlingen of hun ouders hierom verzoeken, de procedure voor het omzetten van de scores in een cijfer kenbaar te maken. [Opm: zou vanzelfsprekend moeten zijn. De eeuwenlange praktijk is dat leraren gedoe over cijfers vermijden door een vlucht in bureaucratie. Doe dat liever dus niet]
• 5c. Als de leraar afwijkt van een voorafgaand aan de toetsafname opgestelde norm dient hij dit, met redenen omkleed, bekend te maken aan de leerlingen en, op hun verzoek, aan de ouders van de leerlingen. [Opm.: Raar artikel. Afwijken mag natuurlijk alleen ten gunste van lln, niet anders. Zie Cohen]
• 5d. De leraar voorkomt dat normbijstelling onterecht de prestaties van (individuele) leerlingen benadeelt. [Opm. Op dit moment ligt bij de Hoge Raad een zaak tegen het CvTE over zo'n onterecht normbijstelling: https://benwilbrink.wordpress.com/2017/09/20/examenonrecht-en-effet/ ]
• 6a. De leraar moet binnen redelijke termijn na de toetsafname een beoordeling geven en bekend maken. [Opm.: in de praktijk lukt dat dus vaak niet, vandaar de regel. Wordt er niet veel te vaak getoetst? Zorgvuldig nakijken is niet van onschatbare waarde, kijk eens naar alternatieven]
• 6b. De leraar is verantwoordelijk voor de inhoudelijke toelichting op de toetsresultaten naar de leerlingen. [Opm.: Dit is toch wel een puntje. Het moet geen corvee zijn, maar passen in het onderwijs. Problematiseer dit eens! http://benwilbrink.nl/publicaties/04Toets_opvattingen.htm ]
• 6c. De leraar biedt leerlingen de mogelijkheid om beoordelingen van leerprestaties in te zien. [Opm.: Ik wil toch verder gaan. Er kan best eens reden zijn om afgenomen toetsen tijdelijk geheim te houden, maar stelregel moet toch zijn dat geheimhouden op gespannen voet staat met noodzakelijke openheid.]
• 6d. De leraar is bereid, op verzoek van een leerling of collega's uit vaksectie of directie, de beoordelingen van leerlingprestaties te bespreken. [Opm.:Ook hier weer een partijdige toelichting, alsof de leraar altijd geijk heeft. Een ll die protesteert heeft altijd een punt, ga daar serieus op in]
• 6e. De leraar voorkomt oneigenlijk gebruik van toetsresultaten. [let op privacy] [Opm: besef dat een toets slechts een steekproef is, dat ieder cijfer dus een ruime onzekerheidsmarge heeft, oordeel dus terughoudend in bv de lerarenvergadering]
• 7a. De leraar ziet erop toe dat beslissingen over individuele leerlingen zorgvuldig tot stand komen. [Opm.: dit artikel ziet op bv. de rapportvergadering, waarin iedere leraar zijn eigen verantwoorde;ijkheid moet nemen.'Vijven en zessen' zeg maar, A.D. de Groot]
• Het onderzoek achter deze code is verslagen in: L. M. C. M. Cremers-van Wees, J. W. M. Knuver, H. J. Vos & W. J. M. Van der Linden (1998). Toetsen, beoordelen en beslissen in het voortgezet onderwijs. Ontwikkeling van een gedragscode voor leraren. Enschede: OCTO. isbn 9036510902
• O.a. zijn twee conferenties belegd met leraren, leerlingen, lerarenopleiders, schoolleiders, leden van examencommissies, dus de mensen die met de modelcode te maken zouden krijgen. Daar zijn o.a. 15 casus grondig besproken. Ik zal er een aantal vermelden.
• Op een panelbijeenkomst met deskundigen werden stevige noten gekraakt over een eerste concept-tekst van de model-code, die ging vooral uit van toetstechniek, terwijl het juist de bedoeling was dat de code tot eerlijker beoordelen zou moeten aanzetten. Die draai is gemaakt, prima.
• Casus 3. Het werkstuk van Sahar, voor handwerken, is na inlevering zoekgeraakt. De lerares kan het dus niet beoordelen, en vraagt Sahar een nieuw werkstuk te maken. Sahar weigert dat, zij heeft het niet zoekgemaakt. De lerares geeft Sahar een '4' voor handwerken op het rapport.
• Casus 5. Roos maakt een proefwerk Engels onvoldoende. Zittenblijven dreigt. De ouders vragen het gemaakte werk op, en vinden dat de leraar in redelijkheid er geen onvoldoende voor had kunnen geven. De leraar wordt onzeker van de argumenten van de ouders, en geeft een voldoende.
• Casus 7. “Een leerling spiekt tijdens een proefwerk. Als de leraar er achter komt moet de leerling het proefwerk afbreken en wordt de klas uitgestuurd. De leraar kijkt het tot dan toe gemaakte proefwerk niet na en geeft resoluut een één.”
• Casus 10. Vrijwel de hele klas maakt een proefwerk Frans onvoldoende, 10 lln. zelfs een één. De leraar zegt dat de lln. de stof niet hebben geleerd. De lln. zeggen dat het proefwerk veel te moeilijk was. De leraar houdt voet bij stuk. Voor 5 lln. betekent dit: zittenblijven.
• Casus 11. De meeste lln. hebben een van vijf opgaven in een proefwerk scheikunde niet begrepen. De leraar laat deze opgave weg uit de beoordeling. Nadine krijgt een onvoldoende, maar zij had deze opgave juist wél begrepen. Het is het enige proefwerk in dit laatste semester.
• Casus 13. Pim en Arnoud hebben verschillende leraren Nederlands, maar moeten hetzelfde werkstuk maken. Ze gaan dat samen doen. Arnoud krijgt een acht, Pim een zes. Voor hetzelfde werkstuk! Pim protesteert, maar zijn leraar gaat niet in discussie, dreigt zelfs met een onvoldoende.
• Casus 15. Reint heeft de gewoonte gemaakte proefwerken klassikaal uit te delen in de volgorde van hoogste naar laagste cijfer. Hij vindt dat nuttig voor de slechtst presterende lln. omdat ze voor hun klasgenoten op hun slechte resultaat worden gewezen: gaan ze beter hun best doen.
• Casus 17. In de overgangsregeling van de schooltellen cijfers van ieder van de rapporten even zwaar mee. Emina presteerde slecht aan het begin, en heeft ook nog een eindcijfer 4 voor gym. Haar gemiddeld eindcijfer is 5,1. Ze blijft zitten.
• Casus 0. 2eklasser Ties is met verlof afwezig (grootouders 50 jaar getrouwd) wanneer er een proefwerk biologie wordt afgenomen. Dat proefwerk blijft staan als niet gemaakt, zijn leraar schrijft er een '1' voor op. Eveneens slachtoffer van dat proefwerk Frans geeft hij het op.
  L. M. C. M. Cremers-van Wees, J. W. M. Knuver, H. J. Vos, & W. J. M. Van der Linden (1998). Toetsen, beoordelen en beslissen in het voortgezet onderwijs. Ontwikkeling van een gedragscode voor leraren. Enschede: OCTO. isbn 9036510902.
• L. M. C. M. Cremers-van Wees, J. W. fvM. Knuver, H. J. Vos, & W. J. M. Van der Linden (1998). Leraren positief over invoering gedragscode voor cijfers geven. Didactief & School, 4, 4-8.
• De opdracht voor bovenstaand door SVO bekostigd project is destijds mede door mij vormgegeven, ik werkte gedetacheerd bij SVO. Ik heb het project niet verder kunnen begeleiden (SVO werd opgeheven), maar heb wel een reeks gevallen bijgedragen voor de casuïstiek, en deelgenomen aan de expert-meeting.
• Binnen de NVE (Nederlandse Vereniging voor Examens) wordt (anno 2005) naar verdere ontwikkeling van het onderwerp gekeken (contact: George Moerkerke).

B. Wilbrink & W. K. B. Hofstee (1984). Docentbeoordeling. Mogelijkheden en randvoorwaarden. Onderzoek van Onderwijs, 13, 52-55. html

Cheryl L. Wild and Rohit Ramaswamy (Eds) (2008). Improving testing. Applying process tools and techniques to assure quality. Erlbaum. site

Willem Witteveen (2001 2e) De geordende wereld van het recht. Een inleiding. Amsterdam UP.

Nog invoeren:

Instelling van een College voor examens, alsmede houdende wijziging van de Wet op het onderwijstoezicht en de Wet op het voortgezet onderwijs (Wet College voor examens); Nota n.a.v. het verslag http://www.ikregeer.nl/document/KST121468

Ju­ris­pru­den­tie CBHO Vanaf 1 januari 2023 is het takenpakket van de Afdeling bestuursrechtspraak van de Raad van State uitgebreid met zogenoemde studentenzaken. Het College van Beroep voor het Hoger Onderwijs (CBHO) dat deze rechtszaken behandelde, bestaat vanaf 1 januari 2023 niet meer. Op deze

L.J.A. Damen and many others (2013 4e herzien). Bestuursrecht 1. Systeem, bevoegdheid, bevoegdheidsuitoefening, handhaving. Boom Juridische Uitgevers 9789089747402

Jeanette Lubbers & Jan Muthert (1991). Cijferen of ontcijferen. Wiskunde A of tekstverklaring? Euclides, 66, 275-284. pdf

Barry R. Nathan & Wayne F. Cascio (1986). Introduction. Technical & legal standards. In Ronald A. Berk: Performance Assessment. Methods & Applications (1-50). Johns Hopkins University Press. isbn 0801831423

Qing Yi, Jinming Zhang & Hua-Hua Chang (2008). Severity of Organized Item Theft in Computerized Adaptive Testing: A Simulation Study. Applied Psychological Measurement, 32, 543-558. abstract

Het Cito is al een aantal jaren bezig om examens ook digitaal af te nemen, bijvoorbeeld de reken- en taaltoetsen voor nieuwe studenten voor de Pabo’s, en binnenkort mogelijk ook voor de rekentoetsen die aan de eindexamens in middelbaar en middlebaar beroepsonderwijs worden toegevoegd. Daarbij ontsaan waarschijnlijk ernstige schendingen van inzagerechten van de betrokken studenten en leerlingen, omdat het Cito zal claimen dat zijn kostbare toetsvragen beschermd moeten worden tegen uitlekken. Vandaar dat ik dit artikel hier heb gearresteerd, als ingang op de technocratische literatuur die mogelijke effecten van bekend raken van opgaven inschat. Dat het door leerlingen bekend maken van toetsopgaven een ovetrtreding van wat dan ook zou zijn, wens ik overigens sterk in twijfel te trekken.

Gerdineke van Silfhout (2014). Fun to read or easy to understand? Establishing effective text features for educational texts on the basis of processing and comprehension research. Proefschrift Utrecht. Landelijke Onderzoekschool Taalwetenschap. pdf ophalen

• Gerdineke van Silfhout (2013). Daarom hebben we zoveel moeite met die studieteksten! Over tekstbegrip in het Voortgezet Onderwijs. webpagina

  ---

• Meer publicaties uit dit promotietraject hier

International Test Commission (ITC) (2016). The International Test Commission Guidelines on the Security of Tests, Examinations, and Other Assessments. International Journal of Testing, Volume 16 [paywalled, I do not have access] abstract

Sharon Slade & Paul Prinsloo (2013). Learning Analytics: Ethical Issues and Dilemmas. American Behavioral Scientist, 57,1510-1529. online

• American Psychological Association. Ethical principles in the conduct of research with human participants. http://www.psy.gla.ac.uk/~simon/ETHICS/BPSethics.pdf
• American Sociological Association. ASA Code of ethics http://www.asanet.org/membership/code-ethics

Edward Diener & Rick Crandall (1978). Ethics in social and behavioral research. University of Chicago Press. isbn 0226148238

Zoals psychologen ethisch verantwoord met hun proefpersonen omgaan, dat is zeker een goed model voor de ethiek van de school/leerkracht.

Jacqueline P. Leighton (2017). Using think-aloud interviews and cognitive labs in educational research. Understanding qualitative research. Oxford UP. info

Ook over toetsvragen: erachter komen wat de weg naar het antwoord is geweest. Dit is een actuele uitwerking van Ericsson en Simon 1980 Verbal reports as data (Psychological Review), en 1993 Protocol analysis: Verbal reports as data. MIT Press.

APA (2004). Code of fair testing practices in education. pdf

APA (). Rights and Responsibilities of Test Takers: Guidelines and Expectations. open access

\ Gary Antonick (Sept 23, 2013). The Pyramid Problem. The New York Times, Wordplay tweet

Wordplay worth a replay: The Pyramid Problem. How Educational Testing Service got its item key wrong, and failed to correctly correct it.

Ernest Lepore (2000). Meaning and argument. An introduction to logic through language. Blackwell. isbn 0631205829.

Ik moet dit nog onderzoeken, maar vermoed dat Lepore een goede techniek biedt om logische problemen in toetsvragen op het spoor te komen.

Jacqueline P. Leighton (2013). Item difficulty and interviewer knowledge effects on the accuracy and consistency of examinee response processes in verbal reports. Applied Measurement in Education, 26, 136-157. abstract

INTERNATIONAL TEST COMMISSION (2011). ITC GUIDELINES FOR QUALITY CONTROL IN SCORING, TEST ANALYSIS, AND REPORTING OF TEST SCORES. [HTTP://WWW.INTESTCOM.ORG] pdf

Wayne Camara (2006). A Historical Perspective and Current Views on the Standards for Educational and Psychological Testing Educational Measurement: Issues and Practice download

National Council on Measurement in Education, Washington, DC.; American Federation of Teachers, Washington, DC.; National Education Association, Washington, DC (1990). Standards for Teacher Competence in Educational Assessment of Students. download via ERIC Also published in Educational Measurement: Issues and Practice, Winter 1990, 30-32. open access

Elleke van den Burg-Poortvliet (20121). Kleuters toetsen mag straks niet meer: wat dan wel? LBBO Beter Begeleiden Maart 2021 pdf

W.K.B. Hofstee (1999). Principes van Beoordeling. Methodiek en ethiek van selectie, examinering en evaluatie. Swets en Zeitlinger. isbn 9026515758 Bespreking door Maessen de Sombreff in De Psycholoog pdf

Martin Ringenaldus geeft voorbeelden van strikvragen in de eindexamens Duits. draadje

Robert J. Linda S. Mislevy, Steinberg & Russell G. Almond (1999). On the Roles of Task Model Variables in Assessment Design. Educational Testing Service. CSE Technical Report 500. via academia.edu

Don Klinger and others (). Classroom assessment standards for PreK-12 teachers info

• Bestaande toetsen kunnen tegen het ontwerp-licht worden gehouden. Zo is de Nationale Wetenschapsquiz 2008 een gezochte gelegenheid om de vragen daarin eens te vergelijken met de ontwerpregels in dit boek. Zie voor die analyse: html"
  Hetzelfde voor De Grote Geschiedenis Quiz html
  
  

      http://www.benwilbrink.nl/projecten/toetsvragen.8.htm#Cohen_1981 http://goo.gl/BkuQH