http://www.benwilbrink.nl/publicaties/84ToetsvragenOvO.htm
De onderwijskunde is een multidisciplinair vak. Dat geldt ook voor het specialisme dat zich binnen die onderwijskunde ontwikkelt rond het beoordelen van studieprestaties, een specialisme dat al te sterk bepaald wordt door invloeden vanuit de psychologie en de psychometrie. Ondanks een stortvloed van literatuur over bet construeren, afnemen en analyseren van toetsen staat de docent die dit alles eigenhandig en op kleine schaal uit moet voeren nog steeds met lege handen. De bestaande literatuur is toegespitst op grootschalig toetsgebruik. Vandaar ook de nadruk op het gebruik van keuzevragen. De aangedragen technieken zijn zonder omhalen geleend uit de psychometrie, alsof er geen wereld van verschil ligt tussen de psychologische test en het beoordelen van studieprestaties. Neem bijvoorbeeld de analyse van toetsresultaten: die is vrijwel identiek aan de analyse van scores op een psychologische test in de fase dat deze test in ontwikkeling is. Ik vermag niet in te zien dat klakkeloos overnemen van deze psychometrische technieken recht doet aan de eigen aard van het beoordelen zoals dat in het onderwijs plaatsvindt, en ook anderen (o. a. Van Naerssen) pleiten voor een 'toetskunde' die meer recht doet aan die eigen aard. Misschien hangt ook het tot nu toe vrijwel geheel ontbreken van technieken voor het ontwerpen van toetsvragen samen met deze kolonisatie vanuit de psychologie. Het bedenken van nieuwe toetsvragen wordt door de ene auteur na de andere overgelaten aan de creativiteit, de ervaring en de intuïtie van de docent of van de professionele schrijver van toetsvragen. Het is precies deze leemte waarin ik met mijn boekje 'Toetsvragen schrijven' (Aula 809) heb willen voorzien. Daarin bied ik de docent een instrumentarium dat het meer dan voorheen mogelijk maakt om nieuwe toetsvragen langs rationele en inzichtelijke weg te construeren, in plaats van daarvoor afhankelijk te zijn van de gelukkige inval. Op meerdere plaatsen krijgt de lezer/docent aanbevelingen die afwijken van wat daarover in de mainstream literatuur is te vinden. Het zou dus een polemisch boekje kunnen zijn, ware het niet dat ik om meerdere redenen van een polemische stijl heb afgezien. Allereerst veronderstelt een polemiek dat er ook tegenstanders zijn. Welnu, op een enkele uitzondering na (Borgesius, in zijn boekbespreking) heb ik geen aanwijzingen dat er voor een dergelijke polemiek een tegenpartij is, tenzij ik die zelf zou maken door tegenstellingen op de spits te drijven. Over tegenstellingen gesproken: er is een belangrijke tegenstelling waar ik mij richt op kleinschalig toetsgebruik, waar anderen zich juist op het meer grootschalige toetsgebruik hebben gericht. Maar dit is geen reden voor een polemiek, het is veeleer een aanvulling op bestaande literatuur. Een derde reden is dat het boekje geschreven is voor docenten: het is meer een cursus dan een onderwijskundig betoog. Tenslotte meen ik dat polemieken doorgaans weinig zinvol zijn en meestal niet aardig om te lezen: een nieuw elan in de onderwijskunde wordt niet verkregen door zich alleen maar tegen het traditionele af te zetten. 'Toetsvragen schrijven' is een boek dat zeker uitnodigt tot discussie, een fijne kluif voor een recensent. Van een bespreking in dit tijdschrift had ik dan ook wel enige verwachting. Wat Borgesius er in het aprilnummer van maakte was voor mij een ontgoocheling. Borgesius geeft de bedoeling en globale inhoud van 'Toetsvragen schrijven' correct weer. Daarna heeft hij nog vijf keer zoveel ruimte nodig om zijn bezwaren en kritiek te etaleren, een opvatting over boekbespreken waar meer Nederlandse recensenten aan lijden. Een enkel woord van waardering, voor welk onderdeel van het boek dan ook, kan er niet vanaf. Dat zou nog te begrijpen zijn wanneer bezwaren en kritiek enige feitelijke grond zouden hebben, wat niet het geval is. Het gaat bovendien om bijzaken; zo is het belangrijkste bezwaar van Borgesius tegen het boek dat de auteur de bruikbaarheid van keuzevragen minder hoog schat dan hij, Borgesius, dat doet. Borgesius heeft geen moeite gedaan bij de lezer de indruk weg te nemen dat het hem erom te doen was het boek stuk te schrijven. Ik kan niet lijdelijk toezien hoe al degenen die het best een aardig boekje vonden (en daartoe behoren ook de auteurs die door Borgesius in het kamp 'tegenover Wilbrink' geplaatst worden) de schenen bont en blauw geschopt worden. In mijn reactie volg ik de tekst van Borgesius.
Aanvulvragen of keuzevragen?
Deze vraag kan heftige emoties losmaken. Dat bleek op de Onderwijs Research Dagen van 1977 waar ik hem aan de orde stelde. Ook docenten en studenten kunnen met elkaar en onderling daar bitter twisten, soms met als resultaat dat in een hele subfaculteit het gebruik van keuzevragen uitgebannen wordt. Borgesius behoort tot het kamp van de voorstanders van keuzevragen. Wilbrink kiest een neutrale opstelling: '... welke vraagvorm voor welk doelgeschikt is, hangt in mindere mate van algemene voor- en nadelen af dan van de aard van de leerstof en wat erover gevraagd wordt.' Om de keuze voor mijn lezer doorzichtig te maken, bespreek ik voor en nadelen die deze vraagvormen in bepaalde situaties kunnen hebben. Borgesius suggereert dat ik daartoe een rijtje van vijf 'criteria' gebruik: geschiktheid van de leerstof, scoringsobjectiviteit, scoringsgemak, constructiegemak, en raadkans. Het 'rijtje criteria' is van Borgesius, ik laat de keuze veel meer open, zoals blijkt uit de hoofdstukken 4, 5 en 6. Borgesius heeft zo zijn eigen strijdperk afgepaald, zijn tegenspeler bevindt zich buiten de touwen. In het volgende zien we dat dit tot onjuiste argumentatie leidt.
Scoringsgemak
Ik zou het scoringsgemak van keuzevragen een 'minimaal' voordeel vinden. Borgesius wekt de indruk mij te citeren, maar een dergelijke passage is in het boek niet te vinden. Wel wijs ik op het belang ervan voor grootschalig toetsgebruik (p. 34). Misschien is het Borgesius ontgaan dat het boek bedoeld is voor docenten die juist kleinschalig toetsen, en dat zijn de meeste docenten. Tentamens waar grote aantallen studenten aan deelnemen zijn wel spectaculair (tentamens in de propedeuse Rechtsgeleerdheid waar de Leidse veemarkthallen voor afgehuurd worden), maar daar zijn relatief weinig docenten bij betrokken. Omdat de keuze voor een bepaalde vraagvorm van meer overwegingen afhangt dan alleen het scoringsgemak, zou het misleidend zijn om concrete aantallen deelnemers te noemen waarboven keuzevragen het winnen van aanvulvragen; aan dit verlangen van Borgesius ben ik bewust niet tegemoetgekomen Aan het scoringsgemak van aanvulvragen valt overigens ook wel iets te verbeteren, de suggesties daartoe (Borgesius kon ze niet vinden) zijn op p. 23 te vinden.
Raadkans
Gebruik van keuzevragen brengt met zich mee dat toetsresultaten mede door raadkansen bepaald worden. Dat is geen nieuws, er is een stortvloed van literatuur over, en het wordt universeel (behalve door Borgesius) ervaren als een nadeel. Het nadelige van raadkansen zou door mij niet beargumenteerd zijn, maar zie p. 23: 'Door het raden wordt er immers in de toetsresultaten een extra toevalselement ingebracht, een toevalselement dat bij aanvulvragen niet bestaat (tenzij ook dan de student uit een klein aantal alternatieven kiest).' Zeker, er valt best meer over te zeggen. Bijvoorbeeld dat formules die 'corrigeren voor raden' nimmer de individuele toetsscore kunnen corrigeren voor het raden dat deze student heeft gedaan (ook op p. 23 aangegeven). Mag ik voor het overige Borgesius verwijzen naar 'Studiestrategiën' (1978) en 'Cesuurbepaling' (1980), beide van mijn hand en uitgebracht door het COWO?
Raadkansen vormen een aantasting van de doorzichtigheid van tentamens, en kunnen leiden tot studiestrategieën die leiden tot onnodig herkansen en dus studieduurverlenging.
Wat zijn aanvulvragen?
Borgesius mist een scherpe definitie van aanvulvragen, en maakt daar prompt misbruik van door mij op woorden te vangen (dat lukt altijd, wanneer zinnen 'buiten hun context geplaatst worden.' Nu wil het toeval dat ik in hetzelfde boek zeer ruim aandacht besteed heb aan verschillende varianten van definities (par. 3.1), Borgesius kan daar antwoord vinden op de vraag waarom ik geen schijn-precieze definities hanteer, maar in plaats daarvan werk met duidelijke voorbeelden van het begrip zoals bedoeld.
Overigens is het het privilege van de schrijver om met zijn lezers de afspraak te maken onder 'aanvulvragen' kortheidshalve eveneens kort-antwoordvragen en invulvragen te verstaan (p. 21).
Geschikt voor leerstof of onderwijsdoel
Borgesius geeft uitgebreid weer waarom ik vind dat keuzevragen voor bepaalde leerstof zo geschikt zijn. Ook is hij het met mij eens dat aanvulvragen voor de meeste leerstof geschikt zijn; wanneer beperkingen aan de lengte van het antwoord worden opgelegd zou die geschiktheid verminderen en zouden scoringsgemak en -objectiviteit toenemen. In hun algemeenheid zijn de laatste constateringen zeker waar. Het is gissen waarom Borgesius deze opmerkingen dan wel maakt; kennelijk probeert hij aan te geven dat ipso facto de geschiktheid van keuzevragen voor diezelfde leerstof het dan wint van die van aanvulvragen. Maar laat hij dan wel de vergelijking behoorlijk afmaken: wanneer aanvulvragen in 'dranghek'-vorm enigszins gekunsteld zouden zijn, zijn keuzevragen met dezelfde kortgehouden antwoordalternatieven dat evenzeer; wanneer aanvulvragen makkelijker scoorbaar worden, verliest de keuzevraag een stukje aantrekkelijkheid vanwege zijn dan niet meer veel grotere scoringsgemak. Bedenk dat juist voor keuzevragen die met op de eerder aangeduide manier goed bij de leerstof passen, geldt dat ze zonder meer door weglaten van de antwoordalternatieven tot aanvulvragen om te vormen zijn (een enkele uitzondering, in het boek besproken, daargelaten), waarbij die storende raadkans verdwijnt.
Borgesius hecht veel belang aan de vraag of aanvulvragen en keuzevragen wet 'hetzelfde meten', en kapittelt mij waar ik aan die vraag geen aandacht besteed zou hebben. Ik wijs Borgesius dan op p. 24 en 36, waar de problematiek met name genoemd wordt, en relevante literatuur vermeld wordt. Overigens is het een academische vraag, interessant voor psychologen (zijn denkprocessen wet hetzelfde) of psychometrici (worden studenten wel op dezelfde wijze gerangordend), maar van geen belang voor docenten. Wat wél van belang is: op goede gronden voor de keuzevraag, dan wel voor de aanvulvraag te kiezen, en dat is in dit boek telkens aan de orde. Laat Borgesius ook nog eens kijken naar een paragraaf als 'voorbeelden herkennen en benoemen' (par. 4.4).
Scoringsobjectiviteit
Borgesius heeft de pointe van mijn betoog rond objectiviteit (p. 32-34) gemist: dat het een misverstand is dat keuzevragen objectief zouden zijn (en aanvulvragen met) omdat de scoring geheel objectief kan gebeuren. Het punt dat ik scoor is simpel: dezelfde subjectiviteit die bij het nakijken van aanvulvragen op kan treden, treedt bij gebruik van keuzevragen op, op het moment dat vastgesteld wordt welk alternatief als het juiste of het beste aangemerkt kan worden.
Natuurlijk is in beide gevallen die subjectiviteit in de hand te houden: bij aanvulvragen door een goed scoringsvoorschrift op te stellen, en daarbij de overeenstemming van onafhankelijke beoordelaars als voorwaarde te stellen, en bij keuzevragen is dat hetzelfde waar het gaat om het vaststellen van de scoringssleutel.
In hoofdstuk 8 beschrijf ik voor een en ander de te volgen procedure. Wie de moeite neemt om uit te zoeken of collega's onafhankelijk van elkaar tot dezelfde antwoorden komen, zal ontdekken dat er altijd veel meer ruimte voor andere deskundigen is om tot met overeenstemmende oordelen te komen, dan men zelf op voorhand vermoedt. Het is toch wel aardig om hier de achtergrond van dit typisch Nederlandse misverstand over de objectiviteit van keuzevragen te schetsen. Het is bij uitstek A. D. de Groot geweest die zich strijdbaar heeft opgesteld om het ouderwetse 'mondelinge tentamen' vervangen te krijgen door objectieve toetsen, De Groot heeft zijn pleidooi voor studietoetsen (ook een pleidooi voor de oprichting van het Cito, het Centraal Instituut voor Toetsontwikkeling) kracht bijgezet door een simpel maar ietwat extreem alternatief te pousseren: de vierkeuzevraag (en bijv. niet de aanvulvraag). Die tactiek heeft succes gehad, maar nu is de tijd toch wel gekomen om enige nuancering aan te brengen en na de gewonnen strijd niet te volharden in de dogmatiek van de vierkeuzevraag. Ik stel voor om terug te keren tot het Amerikaanse gebruik om zowel aanvulvragen als keuzevragen onder de objectieve vraagvormen te rangschikken, omdat bij beide de persoonlijke willekeur van de beoordelaar vrijwel uitgesloten is. Denk bij 'persoonlijke willekeur' dan niet aan een iets ander deskundig oordeel, maar aan het gewild of ongewild het oordeel laten beïnvloeden door kennis die langs andere weg van de beoordeelde is verkregen (bijv. omdat deze bij dat mondelinge tentamen in protestkostuum lijfelijk tegenover de beoordelaar zit). Ik maak een vriendelijk gebaar in de richting van De Groot door de lezer uit te nodigen de tekst van De Groot (in 'Studietoetsen etc' geredigeerd door De Groot en Van Naerssen) in de hier aangegeven verruimde zin te lezen. Dat keurt Borgesius af, want staat er niet geschreven in die tekst van De Groot dat de vragen van een studietoets 'geheel objectief' scoorbaar moeten zijn, gegeven de scoringsvoorschriften. Ik kan het niet nalaten de intentie van De Groot, persoonlijke willekeur bij het beoordelen tegen te gaan, belangrijker te vinden dan de woorden die hij eens heeft gebruikt. Tenslotte zou ik verzuimd hebben in de paragraaf over doorzichtigheid (door Borgesius hardnekkig 'transparantie' genoemd) het begrip 'scoringsobjectiviteit' niet aan de orde te stellen. Inderdaad, wat impliciet zo volstrekt duidelijk van begin tot eind in die paragraaf aan de orde is, heb ik niet ook nog eens met (Borgesiaanse) naam en toenaam vermeld.
Onderwijsdoelen
Mijn standpunt is dat onderwijsdoelen niet expliciet tot in detail uitgeschreven hoeven te worden alvorens toetsvragen te kunnen schrijven, of te kunnen beoordelen of bepaalde toetsvragen in overeenstemming zijn met de beoogde onderwijsdoelen. Borgesius probeert dit standpunt, dat door vele onderwijspractici als een verademing gevoeld zal worden, te ridiculiseren. Voor Borgesius geldt dat alleen dat handelen van de docent verantwoord is, dat in overeenstemming is met wat geschreven staat. Wie houdt dan de pen vast van degene die de doelstellingen tot in detail uitschrijft?
Het grappige is dat in mijn boek, waar Borgesius kennelijk een kaft met verkeerde inhoud van heeft ontvangen, een passage voorkomt over de socratische methode, die hierop direct van toepassing is (p. 110). Voor Socrates begrijpt men de betekenis van woorden als 'deugd,' 'gerechtigheid' e.d. niet, wanneer men niet in staat is een goede definitie te geven. Ook Borgesius betitelt de docent die geen onderwijsdoelen op papier heeft staan als onwetend, en geneigd daardoor in zeven onderwijskundige sloten tegelijk te lopen.
Specificatietabel
Borgesius mist een schema van bijv. onderwijsdoelen versus leerstofinhouden, om te gebruiken bij de samenstelling van toets of vragenbestand. Hij mag dat missen, maar dat lijkt me nog geen grond voor een kritische oorvijg. Ik heb ervoor gekozen het onderwerp 'samenstellen van de toets' niet in dit boekje te behandelen. Het past beter in een boek waarin ook andere aspecten van het samenstellen van een toets aan de orde komen, waarvan de voorspelbaarheid van de score voor de individuele student wet de belangrijkste is.
Uit de teneur van de recensie van Borgesius begrijp ik dat hij mij niet de gelegenheid gunt ook een dergelijk boek nog eens uit te brengen.
Participatiecontrole
Borgesius construeert een wereld van verschil tussen toetsen op het gelezen hebben van de opgegeven literatuur, en globale beheersing van de inhoud. Ik zie het verschil niet, en ik zie dan ook niet hoe het Academisch Statuut deze vorm van toetsen zou verbieden. Strijdigheid met het AS kan slechts daaruit bestaan dat de benaming voor deze toetsvorm een connotatie heeft die in dit opzicht minder gelukkig is.
Literatuur
'Helaas heeft de auteur zich te weinig beperkingen opgelegd bij het aanbevelen van de literatuur ... .' Enerzijds mist Borgesius verwijzingen. Ik ben benieuwd van hem te vernemen welke (ook voor de lezer van Toetsvragen schrijven') belangrijke werken dat dan wel zijn. Anderzijds ga ik mijn boekje te buiten door te verwijzen naar literatuur op het gebied van de wetenschapsfilosofie en de numerieke taxonomie. It so happens dat die literatuur aan de basis ligt van mijn boek. Het zou de recensent sieren zich van die basis ook te vergewissen alvorens een wat al te persoonlijk getint oordeel erover uit te spreken. Docenten die bepaalde zaken voor hun eigen vak verder zouden willen uitdiepen, kunnen zelf bepalen of ze met deze literatuur verder willen, of niet. 'Toetsvragen schrijven' geeft een technologie voor het bedenken van toetsvragen die hanteerbaar is zonder alle literatuur die genoemd is ook nog eens door te moeten nemen. Vanwaar toch de onwelwillendheid van deze recensent?
Stijl
Het is weinig verheffend een boek af te breken, althans de indruk te wekken dat er weinig deugt van het besproken werk, en dat te doen met argumenten die geen feitelijke grond hebben. Borgesius is bezeten van kritiek, kritiek die ik bij eerdere gelegenheden niet van hem heb mogen vernemen. Op de kritiek die Borgesius wel zegt te hebben maar die hij niet weergeeft (Ik zal me beperken tot twee punten van kritiek', en 'Tot slot volgt nog een selectie van andere kritische kanttekeningen), ben ik niet in staat te antwoorden. Dit is een debating truc. Aan de andere kant kan het niet anders of niet genoemde kritiek is nog minder terzake dan de wel genoemde. Op het eigenlijke onderwerp van het boek heeft Borgesius zich van commentaar onthouden: de aangeboden technologie voor het schrijven van toetsvragen. Hierin is het boek volstrekt uniek, en dat wilde ik ook nog wel even gezegd hebben.
B. Wilbrink
Centrum voor Onderzoek van het
Wetenschappelijk Onderwijs (COWO)
Universiteit van Amsterdam
In Onderzoek van Onderwijs is na dit artikel een weerwoord van Borgesius afgedrukt.
maart 2003: korte schets van de context Borgesius (O.v.O. 1984, 12 #1, 7-8) gaf een beroerde bespreking van het juist uitgekomen 'Toetsvragen schrijven' (Aula 809), een bespreking waarvan ik niet op de hoogte was, en waarop ik niet in hetzelfde nummer kon reageren. Het was ook een verrassing omdat ik juist met zijn collega's Tom Dousma en Ad Horsten van het IOWO uitstekende contacten had, die mede hadden geleid tot verbeteringen in de uitwerking van de problematiek van keuzevragen. In een gesprek met de redactie, die het achteraf ook niet echt fijn vond, probeerde Hans Oosthoek opbeurend te zijn: Het levert je toch ook extra publiciteit op, Ben. Hans was een prachtmens, ik heb hem sinds 1964 gekend.
De stress is evenwel in het nu bovenstaande stuk uit 1984 goed te voelen. Met het boek is het niets meer geworden. Het Spectrum vond dat er teveel van waren gedrukt, liet de hele voorraad (ook van andere Aula's uit de serie) versnipperen, en stelde pas later de auteurs op de hoogte. Geen vreugde, die tachtiger jaren. Toch zijn er ook nog mensen die veel aan het boek hebben gehad, zie ook de toevoeging van literatuur aan het einde.
Ik werk op korte termijn aan een eenvoudige herziening van de tekst van het boek, die zal op deze website ter beschikking komen. Begin tachtiger jaren was mijn aandacht zo intens op de inhoud gericht, dat mij ontgaan is dat het Nederlands van dit boekje wel iets beter zou mogen. Op langere termijn hoop ik een totale herziening en uitbreiding uit te voeren; daarbij is steun en medewerking nodig van collega's en docenten die zelf ook intensief bezig zijn met deze thematiek van de vertaalslag van leerstof naar adequate vragen en opdrachten over diezelfde leerstof, of beter over hoe de student die stof heeft verwerkt.
Het boek is anno 2004 nog steeds uniek. Traditionele krachten in het onderwijsveld en zijn dienstverleners zijn zo sterk dat het op afzienbare termijn die status ook wel zal houden. Ik sta daar niet bij te juichen.
http://www.benwilbrink.nl/publicaties/84ToetsvragenOvO.htm