INZICHT DOORZICHTIG TOETSEN
Ben Wilbrink
SCO-Kohnstamm Instituut, Universiteit van Amsterdam
juni 2003: selectie van de in deze bijdrage gemaakte nieuwe punten, of punten die anderszins van belang zijn.
1. verbinding tussen gelijktijdig werk van De Groot en Van Naerssen:
Het werk van Van Naerssen is te zien als een poging om de doorzichtigheid van De Groot te operationaliseren, hoewel beide publicaties uit 1970 niet naar elkaar verwijzen.
DOORZICHTIGHEID
2. Vergelijkende examens zijn ondoorzichtig.
3. Rangordenen in klassikaal onderwijs is doorzichtig, met een daaruit volgende keerzijde:
dat veel leerlingen al snel konden zien dat zij toch kansloos waren voor de prijzen voor de besten .
4. Onzekerheid van studenten is een kwaliteitsprobleem voor het onderwijs (in feite niet meer dan een variant op De Groot 1970 en Cohen 1981):
Een breed gespreide voorspelling is een kwaliteitsprobleem voor het onderwijs. Deze ondoorzichtigheid betekent immers dat de student met extra studietijd de eigen slaagkans wel kan verbeteren, maar deze alleen met extreme inspanning in de buurt van 90 of 100 procent kan brengen. Deze stand van zaken draagt niet echt bij aan de studiemotivatie.
5. Beoordelen is geen 'meten' in de gangbare betekenis:
Het is duidelijk dat het meten van studieprestaties iets totaal anders is dan het meten van lengte en gewicht, waarvoor in de 19e eeuw zulke spectaculaire resultaten in standaardisatie en nauwkeurigheid, en dus in eerlijkheid en doorzichtigheid, zijn bereikt.
6. Studietijd al wel als abstract label gebruikt voor het leermodel, maar het idee van 'aantal keren door de stof' is nog niet vervangen door het abstracte 'aantal episoden.'
7. Begin van objectieve nutsfuncties:
Cijfergeven is op te vatten als een manier om de prestaties, dat zijn de ruwe scores op de toets, te waarderen of te wegen. In de praktijk worden cijfers vaak berekend op manieren die sterk doen denken aan het tellen van fouten zoals dat in het oude stelsel van rangordenen van leerlingen gebeurde. De omzetting van scores naar cijfers is op te vatten als een nutsfunctie. Door met nutsfuncties te werken kunnen veel meer verschillende toetssituaties in het model worden opgenomen dan alleen die van het cijfergeven.
8. Strategisch gedrag in relatie tot studievertraging (niet echt nieuw, maar wel goed geformuleerd):
Bij de vigerende examenregelingen, waar in beginsel voor ieder vak een voldoende resultaat nodig is, mag strategisch gedrag van studenten worden verwacht: mikken op zesjes. Het regime van de tempobeurs versterkt dat strategische gedrag: hogere prestaties tellen daar immers niet mee, maar vergen wel kostbare tijd. Dat studenten, evenals docenten, te optimistische idee‘n over de nauwkeurigheid van dat 'mikken op zesjes' hebben, draagt mede bij aan de overmatige studievertragingen in ons onderwijsstelsel.
INZICHT
9. Onderscheid tussen ontdekkend inzicht en inzicht als gelijktijdig weten:
Over inzicht is veel geschreven, maar dat betreft vooral 'Archimediaans' inzicht, dat is het plotselinge inzicht in de oplossing van een moeilijk probleem. (...)
Met het toetsen van inzicht bedoelen docenten evenwel iets anders, zoals het kunnen leggen van verbanden tussen onderdelen van de bestudeerde stof.
10. Entwistle's (1995) knowledge objects als vorm van inzicht.
11. Having the bubble (Rochlin, 1997) als vorm van inzicht.
12. Beschrijving van inzicht als gelijktijdig weten, waardoor het aan het leren van eenvoudige kennis is te verbinden:
De operationalisatie van inzichtvragen is nu dat er tegelijkertijd kennis van twee of meer afzonderlijke dingen of gebeurtenissen wordt gevraagd. Deze kennis is niet gegeven, maar moet geproduceerd kunnen worden. Een inzichtvraag is dan opgebouwd te denken uit twee of meer kennisvragen die tegelijk 'geweten' moeten worden. De mate of complexiteit van inzicht is dan het aantal dingen of gebeurtenissen waarvan tegelijk kennis nodig is.
13. Belang van dit model voor inzicht:
Hier blijkt ook het nut van het hebben van een model. Immers, statistisch ingewikkelde situaties zijn onmiddellijk door te rekenen en dan ook grafisch af te beelden. Dan kan blijken dat het idee dat het niet teveel gevraagd is dat studenten dwarsverbanden door de stof kunnen leggen makkelijk kan leiden tot het stellen van vragen die (veel) moeilijker zijn dan bedoeld.
14. NB: ook is het nodig te weten wat niet relevant is:
Zonder daar al verder onderzoek naar te hebben gedaan, neig ik ertoe vijf als een laag niveau van inzicht te zien. Bedenk dat voor het beantwoorden van een inzichtvraag ook geldt dat er kennis is die juist niet voor de betreffende vraag gebruikt moet worden. Zoiets geldt zeker bij diagnostische problemen waar bepaalde aangereikte of opvraagbare gegevens irrelevant zijn voor het stellen van de juiste diagnose in een specifiek geval.
15: Belang voor onderwijsontwerp:
Met extra studie valt de grootste winst in termen van goed gemaakte inzichtvragen te behalen op een moment in het studiepad waarop de toename van kennis veel minder snel gaat. De inzichtvragen vergroten de kleinere winst in kennisniveau als het ware uit. Het onderwijs en de toetsing zouden zo moeten worden ingericht, dat voor een redelijk toetsresultaat de beste strategie is om door te studeren totdat de vorderingen in inzicht duidelijk moeizamer worden.
16. Voor toetsen van inzicht geen deelantwoorden honereren:
Krediet geven voor goede deelantwoorden op een inzichtvraag ondergraaft het eigen karakter van inzichtvragen ten opzichte van kennisvragen. De toetsing degradeert dan tot kennistoetsing, en de bijzondere prikkel om door te studeren tot een hoog niveau van kennisbeheersing vervalt daarmee.
17. Nog een directe toepassing: meer inzicht eisen dan geoefend kan rampzalig uitwerken:
Een concreet voorbeeld zou een tentamen rechten kunnen zijn waar studenten casusposities met drie partijen krijgen voorgelegd, waar in het onderwijs slechts casusposities met twee partijen zijn behandeld. Twee partijen plus de relatie tussen die partijen zou inzichtniveau 3 kunnen zijn. Drie partijen met de relaties tussen die partijen is dan inzichtniveau 6. (Figuur 9 in de tekst laat dat zien). Het model zou een verklaring kunnen geven voor hardnekkig lage slaagpercentages bij tentamens waarin nadrukkelijk om inzicht wordt gevraagd, maar waar het de docenten ontbreekt aan goed begrip van de gevolgen die dat voor de moeilijkheid van de vragen heeft.
http://www.benwilbrink.nl/publicaties/98InzichtToetsenHoofdpunten.htm