Oorspronkelijke uitgave 'Toetsvragen schrijven' 1983 Utrecht: Het Spectrum, Aula 809, Onderwijskundige Reeks voor het Hoger Onderwijs ISBN 90-274-6674-0, nu in publiek domein, auteursrechten B. Wilbrink. Onderstaande tekst is een sinds 2006 in bewerking zijnde versie. Voor de oorspronkelijke 1983 tekst zie www.benwilbrink.nl/publicaties/83ToetsvragenAula.pdf.

Toetsvragen ontwerpen

Handreiking bij het maken van toetsvragen over de leerstof

4. Toetsvragen ontwerpen bij afzonderlijke begrippen

Ben Wilbrink

[nov. 2007] In 1983 heb ik ervoor gekozen om bij voorkeur over termen te spreken, niet over begrippen, om zo te benadrukken dat het gaat over de inhoud van vakken of disciplines, niet over de inhoud van hoofden. De motivering is OK, maar dat maakt de keuze nog niet goed. Ik twijfel ernstig, maar het lijkt toch beter om gewoon over begrippen en relaties te spreken, dat is beter dan over termen en relaties (relaties zijn in hoofdstuk vijf aan de orde).

Een vak leren betekent op zijn minst zijn terminologie leren, de betekenis van de vaktermen—meestal net anders dan de betekenis van de woorden in de dagelijkse taal—en deze op een juiste manier gebruiken. Het is net als opgroeien in deze wereld, en de moedertaal leren en leren gebruiken (Bloom, 2000), waar de basisschool ook een handje bij moet helpen. Een vaktaal juist gebruiken betekent de verschijnselen en dingen in de wereld op de juiste manier duiden en benoemen. Dat lijkt heel basaal, en is dat op een bepaalde manier ook, maar de geschiedenis van het vak leert meestal toch dat het bloed, zweet, en tranen heeft gekost om de aarde om de zon te zien draaien—in plaats van andersom. Veel wetenschappen hebben hebben geworsteld—en zitten in een continue worsteling—om hun terminologie te ontwikkelen tot een helder, eenduidig, en werkzaam geheel. Het onderwijs moet die fundamentele worsteling niet als een vanzelfsprekend gegeven beschouwen, want voor de student is het nog steeds bepaald niet makkelijk zich de vaktaal, dat is de basale kennis van het vakgebied, eigen te maken. Van Naerssen (1980, p. 193) drukt het zo uit, en waarschuwt daarmee dat het toetsen makkelijk kan ontaarden in misstanden:

Kennisvragen ontwerpen gebeurt met overleg en inzicht, het zijn juist de misplaatste kennisvragen die het toetsen van 'kennis' in een ongunstig daglicht hebben gesteld. Overigens is het zo dat het begrip 'kennis' in dit boek de gewone betekenissen heeft—zoals de kennis neergeslagen in het corpus van de natuurkunde als wetenschap, of de kennis als het overzicht dat de student zich van datzelfde corpus heeft verschaft—niet de absurd beperkte betekenis die Bloom en de zijnen (1956) eraan hebben gegeven.

De paragrafen zijn ingedeeld naar vertalen, definiëren, voorbeelden geven, voorbeelden herkennen en benoemen, herkennen en benoemen bij formeel gedefinieerde begrippen, en beschrijvende uitspraken. Dit hoofdstuk gaat daarmee vooral over de begrippen zelf, terwijl de relaties tussen begrippen vooral in het volgende hoofdstuk aan bod komen. Een strikte scheiding tussen begrippen en hun relaties is niet te maken—uiteindelijk is alles relatief—maar een handige werkverdeling is wel te maken.

Zo'n handige werkverdeling is niet noodzakelijk een instructie-volgorde. Het is niet gezegd dat afzonderlijke begrippen eerst behandeld moeten zijn, voordat hun relaties aan de orde kunnen komen. Zie bijv. Hammer, Scherr and Redish (2005, p. 112 e.v.) voor de notie van preparation for future learning PFL, in de zin dat "in de ene context geleerde kennis het makkelijker maakt om in een andere context die kennis of verwante kennis (opnieuw) te leren." Dit is lastig onderzoek, het raakt evenwel de kern van waar het in het onderwijs om hoort te gaan, en dient hier als waarschuwing dat de keurige indeling van mijn hoofdstukken wel een volgorde lijkt te suggereren van makkelijke kennis naar moeilijk probleemoplossen, maar dat zoiets nergens staat geschreven. Juist eenvoudig lijkende begrippen, zoals 'beweging' en 'kracht,' kunnen buitengewoon moeilijk zijn, terwijl voor de nieuweling heel lastige problemen, voor de expert vaak triviaal zijn. Hier liggen voor de ontwerper van toetsvragen nog onverwachte gevaren op de loer. En dan blijken er ook nog eigen opvattingen van leerlingen te zijn, die het leren in de weg kunnen zitten: preconcepties (Gerritsen van der Hoop, 1986) in algemene zin, folk physics en folk psychology in specifieke vakken.

Met verstrijken van de decennia, verdiept zich ook het inzicht in de aard van cognitieve begrippen. Het ligt weliswaar voor de hand om bij de opbouw van kennis te beginnen met afzonderlijke begrippen of termen, alsof dat de bouwstenen zijn van complexere cognitieve structuren, maar dat idee berust mogelijk toch op wat al te mechanistisch wereldbeeld. Het is niet onwaarschijnlijk dat bijvoorbeeld het leren van afzonderlijke termen juist mogelijk is vanuit een de al aanwezige complexere cognitieve structuren. En dat zet dan de theoretische benadering van de zeventiger en tachtiger jaren behoorlijk op zijn kop. Dit is vergelijkbaar met, of in wezen hetzelfde fenomeen, als de stelling van Stellan Ohlssson (2011, Deep Learning) dat het leren niet begint met concrete voorbeelden, maar juist met algemene abstracties. Dat laatste zet dus bijna alle didactieken voor het rekenonderwisj op zijn kop, in ieder geval ook die van Pierre Hielen. Ik moet het boek van Murphy nog binnenhalen (volg vast de link hierbeneden naar het inleidende hoofdstuk).

Gregory Murphy (2004). The Big Book of Concepts. MIT Press. site [Introduction pdf]

4.1 Vertalen

Figuur 1. Vertalen

Ik zoek nog een betere term dan 'vertalen.' Mogelijk moet ik voor deze meest eenvoudige categorie aansluiten bij wat uit cognitief-psychologisch en neurologisch onderzoek bekend is over het ophalen van eenvoudige feiten. Bijvoorbeeld dat 2 + 5 = .. [7]. Zie verderop in deze paragraaf een eerste schetsmatige uitwerking voor inderdaad een van de beter onderzochte gebieden: eenvoudig rekenen.

Een heel eenvoudig type vragen is dat naar de vertaling van afzonderlijke woorden: gegeven een woord, gevraagd het equivalente woord in een andere taal, of een synoniem in dezelfde taal. De taal kan een kunstmatige zijn, zoals algebra of JAVA, of specifieke symboliek zoals in schaken of scheikunde. Het is eenvoudige kennis, waarvan de moeilijkheid niet (meer) in de aard van die kennis zit, maar in de hoeveelheid materiaal, en in de snelheid waarmee dat valt te leren. Let op: 3 + 5 = 8 is een eenvoudig rekenfeit, maar het kost leerlingen jaren om deze eenvoudige rekenfeiten echt te begrijpen, en ze vervolgens zo goed te leren dat ze automatisch beschikbaar zijn op de juiste momenten, om ingewikkelder rekenopgaven te kunnen maken. Terug nu naar het vertalen. Op dit niveau vertalen is vaak een voorwaarde om allerlei andere dingen met leerstof te kunnen doen. Zodra woorden veel verschillende betekenissen hebben, of er in de andere taal geen equivalente woorden zijn, is vertalen knap lastig en vraagt het een ander—hoger—niveau van beheersing.

Een wezenlijke tweedeling in vraagsoorten is of een woord in een context staat, of zonder een context. Dat is het verschil tussen het vragen van de vertaling voor het woord zoals gebruikt in een gegeven zin of tekst, en dat van de vertaling van datzelfde woord zonder meer.

Figuur 2. Context of niet, en zo ja, welke?

Zonder context. Varianten bij het vragen van de vertaling van woorden zonder context zijn o.a. de volgende.

Deze vraagmogelijkheden zijn wel bekend. Specificeer zonodig het aantal te geven antwoorden.

De voor de hand liggende vraagvorm is hier de aanvulvraag. Als er rijtjes woorden zijn geleerd, is dat de passende manier om het geleerde terug te vragen. Merk op dat de leerstof—het rijtje woorden—tevens het maximale aantal mogelijke aanvulvragen over die stof bepaalt. Het uit het hoofd leren van de aanvulvragen over de woordjes is hier hetzelfde als het leren van de woordjes zelf. Het is allemaal heel saai, maar bega niet de fout om geleerde woordjes niet te toetsen: geen toets, dan ook geen leren.

Zijn tweekeuzevragen te gebruiken voor het toetsen van woordenkennis? Alles kan, als het nodig is, maar het gaat in tegen de aard van de leertaak—produceren van de vertaling—om hier keuzevragen—herkennen van de vertaling—te gebruiken. Zo'n poging levert als het ware een prototype op van niet-authentiek toetsen. Bovendien gaat het niet aan om van de student te verlangen ook nog te leren welke vertalingen fout zijn, dat is verwarde didactiek. Een ontwerp zoals in bovenstaand voorbeeld vervalt niet in de fout van verwarrende nonsens, en kan bruikbaar zijn als alleen herkennen voldoende is.

Zodra er toch iets meer aan de hand is dan het leren van rijtjes woorden, liggen andere vraagmogelijkheden weer voor het grijpen, inclusief de tweekeuzevraag. Als er begrippen zijn die in betekenis dicht bij elkaar liggen, of makkelijk met elkaar worden verward, ligt het voor de hand om studenten die onderscheidingen nadrukkelijk te laten leren, en keuzevragen zijn dan de natuurlijke keuze. Het blijft nodig om de woorden ook met aanvulvragen te toetsen, omdat spontaan produceren van de vertaling nog steeds het eerste doel is. Dat worden dus gemengde toetsen, met keuzevragen en open vragen. Of met eenvoudig vertalen, zoals 'Johnny Rod likes to go fishing,' waar weliswaar context is meegegeven, maar dat is dezelfde context die in het te leren rijtje woorden zit.

Een lijst van dergelijke scheikundige namen met hun formules is gauw te omvangrijk om het lonend te maken alle koppels in beide richtingen uit het hoofd te leren: een naam of formule zijn volgens eenvoudige regels te construeren (voor regels zie hoofdstuk 5). Bij het leren van vreemde woorden ligt het iets anders: daar gaat het er juist om de woorden in zo'n lijst uit het hoofd te leren. In ieder geval lokt het toetsen van vreemde-woordenkennis zonder context, dus buiten zinsverband om, het uit het hoofd leren van woorden uit. Mogelijk is een onbedoeld gevolg daarvan dat de student moeite heeft woorden in zinsverband correct te vertalen, ook al kent zij ze zonder context perfect. Het is geen eerlijke analogie, maar denk hier aan het beheersen van de schoolslag in de zwemles, en bij een onverwachte val in water het toch nalaten te gaan zwemmen. Het hier bedoelde wel-weten-maar-niet-toe-kunnen-passen is een risico dat zich vooral kan voordoen bij woorden die een verschillende vertaling hebben afhankelijk van het zinsverband, van de context van hun gebruik.

In context. Met het zinsverband erbij, veranderen de toetsingsmogelijkheden. Die laten zich in tweeën delen: het vragen van een correcte vertaling of synoniem, of vragen een woord uit de eigen taal te gebruiken in een zelf te geven zin in de vreemde taal. Deze door de student te bedenken zin mag best een simpele vorm hebben, het gaat alleen om het juiste gebruik van het gevraagde woord.

Concrete uitwerking van dit soort toetsvragen hoeft geen problemen op te leveren. Het ontwerpen van toetsvragen eist nu ook geschikte zinnen. Bij het schrijven van deze toetsvragen zal het doorgaans mogelijk zijn om handig te werk te gaan, bijvoorbeeld door geen concrete zinnen te schrijven, maar syntactische vraagvormen waarin bepaalde woorden ingevuld kunnen worden, te kiezen uit een daartoe opgestelde woordenlijst. Dezelfde woordenlijsten zijn voor een aantal verschillende vraagvormen te gebruiken. Dezelfde vraagvorm is te gebruiken voor het toetsen van meer dan een woord. Bij het vertalen van eigen in vreemde taal zijn zinnen te gebruiken in de vreemde taal, waarin de plaats voor het te vertalen—en ook gegeven—woord is opengelaten.

Een toets met een aantal van dit soort zinnen kan een saaie toets zijn. Er is niets op tegen om te werken met een samenhangende tekst, die alleen van onderstreepte woorden de vertaling vraagt, respectievelijk in opengelaten plaatsen de ingevulde vertaling. Bijna een proefvertaling, maar deze opgave kost de student minder tijd dan het volledig uitschrijven van een vertaling van de tekst. Dat laat onverlet dat syntactisch juist vertalen bij voorkeur te toetsen is door de gewone proefvertaling.

Voor het werken met synoniemen en voor vertalen van en naar symbolen, komen dezelfde vormen in aanmerking.

Ook bij context-afhankelijke toetsvragen is het aan te raden de meerkeuzevraag te vermijden. Eventueel is de meerkeuzevraag te gebruiken waar de student geleerd heeft bepaalde vertalingen in een bepaald zinsverband juist niet te maken.

rekenen, ook als inspiratie voor andere vakken

De rekenfeiten in de box zijn dat natuurlijk alleen maar voor de leerlingen die eerder deze rekenkundige bewerkingen hebben geleerd. De kleintjes die de allereerste stappen van het rekenen leren—meestal is dat optellen door af te tellen—hebben daar al een hele klus aan, want stilzwijgend ligt er onder dat eenvoudige optellen een lastig begrip: wat is het ik moet tellen en optellen, wat is de eenheid voor dat tellen (Sophian, 2008)?

30 mei 2007. Dit onderwerp vraagt om erg zorgvuldige uitwerking, en dat klemt temeer omdat er op deze plaats voor dit onderwerp maar beperkt ruimte is. Ik begin daarom met wat opmerkingen een beetje uit de losse pols, met enkele eerste literatuurverwijzingen. Tal van verfijningen en aanvullingen zullen nog volgen. Wie suggesties heeft, is welkom.

Er is iets bijzonders aan de hand met eenvoudige rekenkundige feiten zoals in het voorbeeld gegeven. Leerlingen die deze feiten in beginsel kennen en begrijpen—het gaat hier niet om de kleintjes die zich net het getalbegrip eigen hebben gemaakt en nog heel veel tijd nodig hebben om de wonderen van optellen etcetera te gaan begrijpen—moeten ze probleemloos, zij het niet altijd foutloos, uit het geheugen kunnen halen. Leerlingen die dat niet kunnen, vallen terug op aftellen, en zien daardoor de weg naar echt rekenen met getallen boven de negen effectief geblokkeerd. Het bijzondere is dat iets dat lijkt op een uit te voeren procedure, en zelfs zo wordt genoteerd, in werkelijkheid een geheugenfeit is. Voor rekenen met alles dat verder gaat dan de hele getallen tot en met negen geldt dan dat het absoluut noodzakelijk is dat leerlingen deze eenvoudige feiten paraat hebben, ook al zal dat nooit honderd procent foutloos kunnen zijn (zo werken onze hersens nu eenmaal niet). Literatuur: Lebiere en Anderson (1998) Cognitive arithmetic, zij laten aan de hand van empirisch onderzoek zien hoe deze rekenfeiten ook werkelijk als zodanig functioneren, als informatie die promp door het geheugen wordt aangeleverd.

Veel oefenen dus, heel veel oefenen. Veel vragen maken dus, heel veel vragen, en noodzakelijk heel veel dezelfde vragen in telkens wisselende volgorden.

Dat is toch een interessante constatering voor de ontwerper van toetsvragen: dezelfde vragen heel vaak stellen. Gelukkig is er tegenwoordig technologie die dat op kostenefficiënte wijze mogelijk maakt, en hopelijk ook zo dat de leerlingen het telkens weer een uitdaging of tenminste een spel vinden. Voor het toetsen op deze rekenkennis gaat het er dan niet om of Jan en Marie op de vingers na kunnen tellen hoeveel 3 + 4 is, maar of zij zonder aftellen een groot aantal van deze rekenopgaven snel en met redelijk resultaat kunnen maken. Met redelijk resultaat: want die neuronen in de hersenen werken wel verschrikkelijk goed, maar er gebeurt tegelijkertijd nog heel veel meer zodat de juiste aansluiting wel eens wordt gemist.

Heeft het zin voor jonge leerlingen om deze rekenfeiten zo maar voor de vuist weg, omdat vader en moeder dat belangrijk vinden bijvoorbeeld, uit het hoofd te gaan leren? Nee, deze feiten uit het hoofd leren zonder te begrijpen wat het is om twee kleine getallen bij elkaar op te tellen, heeft geen zin en is mogelijk schadelijk. Ik moet hier de literatuur nog bij zoeken, maar er is ongetwijfeld in Berch en Mazzocco (2007) het nodige te vinden. Voor de back to basics beweging ligt hier niet echt een uitnodiging om practice en drill weer op een voetstuk te zetten.

Het is natuurlijk onzin om eenvoudige rekenfeiten te oefenen of te toetsen met redactiesommen zoals hierboven gegeven. Hoe onzinnig ook, toch worden deze sommen daarvoor vaak gebruikt. In de methoden van 'realistisch rekenen' bijvoorbeeld. De achterliggende gedachte is daar dat veel context nodig zou zijn omdat de rekenvaardigheden anders buiten schoolse situaties niet gebruikt zouden worden (het probleem van uitblijvende transfer). Het probleem is dat deze vrees een naïeve theorie is, die in onbevangen empirisch onderzoek nog juist moet blijken. Ik ken dergelijk onderzoek niet. Over transfer bestaat een uitgebreide onderzoekliteratuur (zie de literatuurlijst).

Ook al zijn de rekenopgaven in het voorbeeld heel gewoon, dan is het mogelijk dat een enkele leerling bijzondere patronen van verkeerde antwoorden laat zien (voor de literatuur, zie bijvoorbeeld Zamarian, Lópex-Rolón en Delazer, 2007, p. 252). De leraar moet daar actie op ondernemen.

Zijn fouten die typisch voorkomen bij dyscalculie, dyslexie, of andere typen leerproblemen, geschikt als verkeerde antwoorden bij meerkeuzevragen? De vraag stellen is hem beantwoorden. Nee, dat zou riskant en dus onprofessioneel zijn. Dat is natuurlijk anders bij een individueel onderzoek naar dyscalculie, en dat is aan de schoolpsycholoog.

4.2 Definiëren

Typische definitievragen zijn de volgende.

Dit is een eenvoudig ontwerp, dat studenten niet voor problemen stelt, anders dan een afstraffing van onvoldoende studie. Heerlijk doorzichtig, gegeven die lijst van te kennen definities. Gaat een definitie meer de kant van een beschrijving op, zoals van de pingo, hanteer dan als regel dat minder essentiële toevoegingen geen extra punten opleveren. De definitie van een pingo als 'een ijslens in de bodem' is goed, alle toevoegingen maken dat niet beter. De toets is hier op kennis, niet op verbale vaardigheid of handige misleiding.

Het geven van een definitie is een bijzondere vorm van vertalen. Dat geldt voor alle soorten definities (zie paragraaf 3.5), maar in het bijzonder voor de nominale definitie, waar een verkorte notatie, een naam of een nieuwe vakterm gelijk is aan een gegeven uitdrukking. Op alle plaatsen in een tekst, waar de betreffende uitdrukking voorkomt, is deze te vertalen naar de bijbehorende vakterm (en omgekeerd). Wiskunde is sterk in het op deze wijze vertalen en daardoor vereenvoudigen van uitdrukkingen. Bij het aanpakken van problemen is het een goede gewoonte te zoeken naar een formulering voor de probleemstelling waarin bepaalde onderdelen bekend zijn, en waar een naam, een vakterm of een formule voor valt in te vullen. Dat geldt ook voor het determineren van planten en dieren, dat is zoeken is naar beschrijvende kenmerken van het plantje of beestje die het probleem stapsgewijs tot een oplossing brengen door soort, familie enz. daarin te herkennen. Het op deze wijze omgaan met definities behoort voor sommige vakken tot de wezenlijke doelen van het onderwijs. Maar ook waar definities alleen een bijrol hebben in de leerstof, zijn ze in de toets vaak terug te vinden. Het is zo makkelijk bij het ontwerpen van toetsvragen te blijven hangen op het abstracte niveau van de definities, dat vaak een overdaad aan definitievragen de toetskwaliteit schaadt.

De student die een goede definitie geeft, laat daarmee zien de betekenis van die vakterm of dat begrip te kennen. Toch kan bij verder onderzoek blijken dat de student, ondanks definitiekennis, niet in staat is er in een concreet probleem iets mee te doen, of dat de definitie het enige is dat zij over de vakterm weet. Met veel definitievragen zet de docent een premie op het uit het hoofd leren, ten koste van het toepassen en exploreren van de bredere betekenis van termen zoals gerelateerd aan de wereld van concrete verschijnselen.

Het is niet vanzelfsprekend dat de student voor alle behandelde vaktermen of begrippen definities moeten kennen: kies die vaktermen waarvoor het kennen van een definitie wèl van belang is. Schrijf die definitie uit, en maak daar een lijst van voor de studenten. Geef voorbeelden hoe de toets deze definities terugvraagt (zie hieronder).

Veel vaktermen of begrippen laten meerdere definities toe. In het onderwijs kunnen verschillende definities voor dezelfde vakterm bruikbaar zijn. Didactisch is dat uit te buiten door te beginnen met ostensieve definities, voorbeelden, en vandaaruit toe te werken naar de geformaliseerde definitie. Vragen in een eindtoets zijn meestal op die uiteindelijke, meest formele definitie gericht.

Een gekunsteld ontwerp lijkt het omgekeerde: gegeven een definitie, gevraagd de vakterm die aldus gedefinieerd is. Vaak is dat toch precies de kennis waar het om gaat, omdat het in staat stelt teksten of probleemstellingen te vereenvoudigen of te reduceren tot hun kern.

Het grote risico bij dit type vragen is dat ze te abstract zijn, daarom is in bovenstaande vraag een concreet voorbeeld opgenomen. Een pingoruïne is niet als zodanig waarneembaar—sommige vennen en dobben zijn pingoruïnes, door onderzoek te bepalen—waardoor het vrijwel niet mogelijk is om nieuwe voorbeelden te vragen. Sommige plassen zouden pingoruïnes kunnen zijn, dat is dan weer wèl te vragen.

Pas op met meerkeuzevragen, die ontaarden al gauw in gegoochel met allerlei onzin (alternatieven 1, 2 en 3 in de afrader hieronder).

Weten dat alternatief 5 een synaps beschrijft—een nominale definitie—kan een onderwijsdoel zijn. Stel dan liever een aanvulvraag, laat een synaps schetsen, of laat bij de schets van een zenuwcel de onderscheiden onderdelen benoemen. Keuzevragen aan de hand van een tekening zijn een goede mogelijkheid. Dan kan de afrader dus ook een goede tweekeuzevraag zijn met alleen de alternatieven 4 en 5. Ga voor het ontwerp van vragen over definities terug naar wat precies het onderwijsdoel is, op welke manier de student de definitie kunnen hanteren.

De matchingvraag kan bruikbaar zijn, zeker wanneer er een afbeelding met genummerde onderdelen bij staat. Zo'n vraag is te zien als een combinatie van meerdere tweekeuzevragen. Door de koppeling aan een enkel verhaal, afbeelding of verschijnsel is dit type vraag minder effectief wat representativiteit van de toets aangaat.

Er zijn doorgaans wel mogelijkheden om een gedeelte van een definitie te vragen, zoals de invulvraag in het voorbeeld. Niet alleen zijn vragen naar een gedeelte van de definitie gemakkelijker, maar ze zijn ook sneller te beantwoorden en beter te scoren. Daar staat dan weer de geringere informatieve waarde tegenover.

Vanzelfsprekend liggen de beste vraagmogelijkheden bij de toepassingen, het terrein van de volgende paragrafen en hoofdstukken.

Het karakter van een bepaalde definitie geeft richting aan wat erover valt te vragen. Over begrippen die alleen ostensief zijn gedefinieerd, is moeilijk iets anders te vragen dan een gegeven voorbeeld te benoemen of zelf een nieuw voorbeeld te produceren. Om met de toetsvraag in te haken op het speciale karakter van een definitie, is het handig figuur 3.3 te doorgronden en bij de hand te hebben. Vergeet niet dat vragen rond een bepaalde definitie ook over andere zaken kunnen gaan dan de inhoud ervan, bijvoorbeeld over de historische ontwikkeling.

Gebruik definitievragen met mate, en alleen wanneer ze helder zijn af te stemmen op wat het dol met deze leerstof is.

4.3 Voorbeelden geven

Figuur 1. De weermachine in Sammy's Science House (Apple). Een dubbele driekeuzevraag. Bij het goede antwoord toont de computer een filmpje met dat weer. Laten we zeggen dat onze kleuter de computer als hulpje heeft om zijn voorbeeld te laten zien.

Alle verschijnselen, objecten en dergelijke die we met een en dezelfde vakterm aanduiden, zijn voorbeelden bij die term, of voorbeelden van het met die vakterm aangeduide begrip etcetera. In het volgende heten ze gewoon 'voorbeelden van een begrip.' Voorbeelden zijn ruwweg op twee manieren te vragen: voorbeelden te herkennen of benoemen, of ze te geven. Paragraaf 4.4 behandelt het herkennen en benoemen.
Het vragen voorbeelden te geven kan er ongecompliceerd aan toegaan.

Een goed antwoord zou ook kunnen zijn het aanwijzen van een ecosysteem in de omgeving: Zoek in deze tuin een voorbeeld van een ecosysteem. Zeggen dat een vijver een voorbeeld van een ecosysteem is, en het aanwijzen van een vijver als een voorbeeld van een ecosysteem is bijna hetzelfde gedrag. Je ogen over de omgeving laten gaan om te zien of er ergens een voorbeeld van een ecosysteem te vinden is, verschilt niet zoveel van in gedachten of verbeelding hetzelfde doen. In beide gevallen gaat het erom dat de student ecosystemen heeft leren zien, zowel in overdrachtelijke zin als in directe waarneming. Beheersing van het begrip ecosysteem houdt in dat de zintuiglijke waarneming op een bepaalde wijze georganiseerd is: een vijver wordt niet zomaar meer als een pittoreske plas water gezien, maar als een ecosysteem, en die vijver heeft daardoor een rijkere betekenis.

De ordening in zo'n samenstel van materialen zien, en in die ordening ook de functies herkennen, is precies wat ik meer prozaïsch aanduid als het waarnemen van voorbeelden. Dat waarnemen is vaak heel vanzelfsprekend, in veel gevallen bijna ongemerkt te leren, juist omdat het zo'n menselijke, alledaagse wijze van leren is. Daarnaast zijn er in ieder vakgebied wel onderwerpen waar het bewuste aandacht en training vereist, of een ruime ervaring die alleen maar in de praktijk is op te doen, om ze adequaat te leren waarnemen, of om bepaalde verbanden te leren zien. De wetenschap probeert dan wel ordening in de verschijnselen aan te brengen, maar natuurlijke verschijnselen laten zich niet altijd even makkelijk ordenen en van elkaar onderscheiden (zie bijv. Smith en Medin, 1981).

Het onderwijs behandelt deze waarneming nogal eens stiefmoederlijk. De cognitieve taxonomie van doelstellingen van Bloom c.s. (1956) ruimt er geen plaats voor in, wat in ieder geval bij de kunstzinnige vakken onmiddellijk problemen oplevert. Het hoofdstuk 'Art Education' in het handboek van Bloom, Hastings en Madaus (1971) voegt het waarnemen dan ook aan de taxonomie.

Het leren waarnemen van de wereld op een wijze die adequaat is voor de beoefening van de onderwezen vakken is mogelijk geen geringe prestatie, wat in de toets dan ook moet blijken, al was het alleen maar om te evalueren wat met het onderwijs is bereikt. Dat kan lastig zijn, omdat er mogelijk speciale technieken nodig zijn om het waarnemen te kunnen toetsen. Met inschakeling van audiovisuele media, waaronder bijvoorbeeld reproduktietechnieken voor afbeeldingen, is echter veel te bereiken. Voor enkele voorbeelden bij kunstgeschiedenis zie Wilson, in Bloom c.s. (1971).

De meerkeuzevraag is niet geschikt om voorbeelden te vragen, omdat deze vraagvorm mikt op het herkennen van een in de alternatieven voorkomend voorbeeld. Dat is niet slecht, maar is het onderwerp van 4.4. In de regel zijn alleen aanvulvragen geschikt om naar nieuwe voorbeelden van een bepaald begrip te vragen. Maar vat dat niet te strikt op, want er zijn goede tussenvormen tussen de meerkeuze- en de aanvullende vraagvorm die wèl bruikbaar zijn.

De vraag naar een oud voorbeeld, een voorbeeld uit de leerstof, is een eenvoudige reproduktievraag. Hoe zit dat nu bij de vraag naar een nieuw voorbeeld? In theorie is het mogelijk dat studenten bij de voorbereiding op de toets al nieuwe voorbeelden bedenken, en deze eenvoudig uitschrijven tijdens de toets. In de praktijk zal het meestal zo zijn dat het aantal mogelijk te vragen voorbeelden te groot is om ze alle op deze wijze te kunnen prepareren. Dat geldt zeker bij vragen van voorbeelden binnen specificaties van plaats, tijd, omvang en dergelijke.

Een interessante mogelijkheid is (een deel van) de toets op te geven als huiswerk: bedenk thuis nieuwe voorbeelden bij opgegeven begrippen, en lever die voor de toets in. Een take home toets. Het zijn opgaven die de student in hoge mate kunnen verzekeren van een positieve beoordeling. Het samenwerken van studenten is niet af te raden, het kan misschien zelfs semi-geïnstitutionaliseerd gebeuren. Deze mogelijkheid is alleen reëel wanneer het ongebruikelijk is dat studenten het werk van voorgangers overschrijven of wanneer de specificaties voor nieuwe voorbeelden zo inperkend zijn dat voor iedere toetsgelegenheid makkelijk een nieuwe set specificaties voor voorbeelden is te ontwerpen.

Sommige vaktermen zijn namen, ofwel begrippen waar maar één 'voorbeeld' van bestaat: de Maan, de Mona Lisa, het getal pi. Het zou ongepast zijn om een voorbeeld van de Mona Lisa te vragen. Wat wel mogelijk is: vragen om dat ene bestaande voorbeeld aan te wijzen, zoals de Mona Lisa in het Louvre, de Maan aan de hemel, maar ook een afbeelding van de Mona Lisa in een boek over het werk van Da Vinci, de Maan in een plaat met afbeeldingen van hemellichamen in ons zonnestelsel.

De grondvorm voor het vragen van voorbeelden is deze:

Uit deze grondvorm zijn een groot aantal varianten af te leiden door variëren van de gevraagde presentatie ('geef'), het aantal gevraagde voorbeelden, een oud of een nieuw voorbeeld, het soort voorbeeld, abstractie van het voorbeeld, opgegeven randvoorwaarden of specificaties, terwijl het ook nog mogelijk is de vraag te beperken tot aspecten (eigenschappen bijv.) van het bedoelde begrip in plaats van 'complete' voorbeelden. De aard van het gevraagde voorbeeld—een tekening, naam, constructie enz.— dicteert de aard van de gevraagde presentatie.

Enkele mogelijkheden zijn:

• geef
• wijs aan
• maak
• demonstreer
• teken
• speel
• construeer
• noem

Gebruik liever geen opdrachten als 'bedenk,' omdat de student moet begrijpen dat zijn bedenken niet voldoende is, maar dat zij het ook kenbaar moet maken door het op te schrijven. Het lijkt overdreven, maar dit soort zorgvuldigheid in toetsopdrachten betaalt zich geheid terug.

Het soort te vragen voorbeelden laat een grote variatie toe. Paragraaf 2.5 gaf al een uitgebreide lijst; samengevat zijn het deze mogelijkheden voor nieuwe, eventueel ook voor oude, voorbeelden:

• typisch, veel voorkomend, meest voorkomend
• gewoon, normaal
• buitengewoon, bijzonder
• grensgeval (waarbij bestreden kan worden of het wel een voorbeeld is)
• uitzondering

Zie voor een recent overzicht: James A. Hampton (2007). Typicality, graded membership, and vagueness. Cognitive Science, 31, 355-384.

Wanneer een bepaald soort voorbeeld gevraagd wordt, moet dat in de vraagstelling wel duidelijk uitkomen, en soortgelijke voorbeelden moeten in het onderwijs behandeld zijn.

Het gevraagde voorbeeld kan nader bepaald zijn doordat het binnen opgegeven randvoorwaarden moet vallen, doordat het aan bepaalde specificaties moet voldoen enz.:

• een bepaalde eigenschap moet aanwezig zijn (niet vliegende vogelsoort)
• een bepaalde eigenschap is kwantitatief gespecificeerd (driehoek met een hoek van 15 graden)
• een randvoorwaarde is opgegeven (ontwerp voor een stoel waarbij de materiaalkosten binnen een bepaalde grens moeten blijven)
• een bepaald tijdsbestek (een hedendaags auteur); nationaliteit (een Nederlands auteur); een bepaalde plaats of streek (een in Parijs wonend auteur); combinaties daarvan (een hedendaags, in Parijs wonend, Nederlands auteur)
• bepaalde materialen moeten gebruikt worden (een amalgaamvulling)

Variatie in het niveau van abstractie van het te leveren voorbeeld:

• concreet, lijfelijk
• symbolische of schematische representatie
• verbale beschrijving
• naam (begrip)
• afbeelding, schets.

'Voorbeelden' zijn niet altijd voorbeelden: bij abstracte begrippen (landsbestuur, intelligent gedrag, sociale klasse) spreken we niet van voorbeelden, maar van uitingen, aspecten, onderdelen en dergelijke. Je kunt wel zeggen dat het gebruik van voorwerpen als instrument een voorbeeld van intelligent gedrag is, maar van het wekelijks kabinetsberaad zeg je dat het een onderdeel van het landsbestuur is. Besteed bij abstracte begrippen enige zorg aan de omschrijving van de uiting, het onderdeel enz. die gevraagd worden.

Bepaalde begrippen laten zich niet in voorbeelden vertalen of definiëren: theoretische termen lenen zich dan ook niet tot deze voorbeeldvragen. Wie toch iets voorbeeldachtigs rond theoretische termen wil vragen, komt terecht bij het vragen van voorbeelden die betrekking hebben op een bepaalde relatie van het theoretische begrip tot een ander (theoretische) begrip. Zie daarvoor hoofdstuk 5.

Een heel speciaal voorbeeld is nog niet genoemd: het niet-voorbeeld. Bij begrippen die een tamelijk scherpe definitie kennen in termen van voldoende en noodzakelijke eigenschappen, kan het zinvol zijn om expliciet aandacht te schenken aan gevallen die niet onder het begrip vallen omdat er één kritische eigenschap ontbreekt. Dergelijke gevallen heten 'niet-voorbeelden.' Het kan in bijzondere gevallen dus zinvol zijn in de toets te vragen bij een bepaald begrip een niet-voorbeeld te geven dat in alle kritische eigenschappen op één na voldoet aan de definitie van het gegeven begrip. Omdat er noch in de wetenschap, noch in het onderwijs veel begrippen zijn die zich strikt laten definiëren in voldoende en noodzakelijke eigenschappen, is dit een ontwerp dat niet gauw relevant is. De bruikbaarheid van de omgekeerde variant is groter, omdat de docent dan zelf de constructie van het niet-voorbeeld in de hand heeft (zie paragraaf 4.4).
Enige verwantschap met het laatste onderwerp heeft de vraag naar voorbeelden van grensgevallen. In plaats van voorbeelden te vragen, zou ook overwogen kunnen worden om een opstelachtige uiteenzetting te vragen over de problematiek van de vage afbakening van een bepaald begrip (medische diagnostiek, biologische taxonomie, psychopathologie).
Een laatste vraagvariant is deze: gegeven een aantal voorbeelden van een niet met name aangeduid begrip, geef een nieuw voorbeeld. Dit is een combinatie van herkennen en produceren van voorbeelden, de volgende paragraaf werkt dat verder uit.

Wanneer de student voorbeelden in hoge mate beschikbaar heeft, ze gemakkelijk en snel kan produceren, vergroot dat het vermogen om actief zowel als passief met de wetenschappelijke terminologie om te gaan. Enige nadruk op deze voorbeeldvragen in onderwijs en toetsing is daarom de moeite waard. Daar is aan toe te voegen dat voorbeelden meer waarde hebben naarmate ze concreter zijn, levendiger zijn te verbeelden, of appelleren aan eigen ervaringen in bv. het laboratorium of de kliniek.

Deze paragraaf heeft nog een goede reeks voorbeelden nodig, en als het kan ook afraders waarin de bedoeling van het nieuwe voorbeeld gemankeerd is uitgewerkt. Wat ik dan ook graag wil exploreren: is in een behoorlijke verzameling van dergelijke voorbeelden ook iets van een gradatie naar complexiteit aan te geven? En zo ja, is die gradatie uit te buiten bij het ontwerpen? NB: ik bedoel niet de complexiteit die ontstaat door combinaties van nieuwe voorbeelden te vragen, daarmee zouden we ons immers in de richting van het onderwerp van hoofdstuk 7 bewegen: probleemoplossen.

4.4 Voorbeelden herkennen en benoemen

In 4.3 was het onderwerp: geef een voorbeeld bij een gegeven begrip. Omgedraaid levert dat het nu te bespreken onderwerp: gegeven een voorbeeld, herken of benoem het. Ik gebruik benoemen voor het zelf produceren van de bijbehorende vakterm (naam van het begrip), en herkennen voor het koppelen van het gegeven voorbeeld aan de eveneens bijpassende vakterm. Dat correspondeert met aanvulvragen en keuzevragen.

Het belang van benoemen of herkennen van voorbeelden behoeft nauwelijks toelichting: zonder bij voortduring onze zintuigindrukken te ordenen en te rubriceren is een normaal leven onmogelijk. Wat voor het dagelijks leven geldt, strekt zich ook uit tot het voortdurend rubriceren van al die zintuigindrukken die beroepsmatig relevant zijn. In de praktijk dienen voorbeelden zich ongevraagd aan en moeten 'spontaan' worden waargenomen en herkend. In de praktijk bestaan immers geen 'voorbeelden' met een label eraan 'ik ben een te rubriceren voorbeeld.' Er is een zekere spanning tussen wat de praktijk vraagt aan waarnemen en thuisbrengen van voorbeelden, en de wijze waarop in een toetssituatie voorbeelden min of meer kant en klaar worden aangeboden. Vragen om gegeven voorbeelden te rubriceren, zijn niet helemaal geldig of representatief voor het rubriceren in de beroepspraktijk.
Een gebrek waar voorbeeldvragen erg gevoelig voor zijn, is dat de gegeven voorbeelden te abstract zijn. Vragen waarbij de voorbeelden bij naam gepresenteerd worden zijn in dit opzicht al gauw verdacht.

In het gegeven voorbeeld kan de student zich bij de gegeven begrippen waarschijnlijk wel een goede voorstelling maken, en is de abstracte presentatie aanvaardbaar. Een besliste afrader is het gebruiken van een voorbeeld dat in de meest algemene termen beschreven is, als in feite een beschrijving of definitie van het bedoelde begrip.

Een speciaal aandachtspunt bij deze voorbeeldvragen is of het benoemen van een gegeven voorbeeld wel eenduidig kan.

Een gegeven voorbeeld kan een voorbeeld zijn van een helemaal niet door de docent bedoeld begrip. In kenmerkende en tevens extreme vorm doet dit probleem zich in de wiskunde voor:

Wat voor bepaalde wiskundige opgaven geldt, geldt ook voor voorbeeldvragen in andere vakgebieden. Het is niet altijd mogelijk door het geven van meer termen onbedoelde juiste antwoorden uit te sluiten:

Wie alle onbedoelde juiste antwoorden wil uitsluiten, staat voor een soms immense opgave. In de schrijversvraag moet bijvoorbeeld geslacht, nationaliteit en iedere andere 'irrelevante eigenschap' stelselmatig gevarieerd worden, en dat kan dus onmogelijk. Maar zo zwartgallig hoeft het probleem nu ook weer niet bekeken te worden: niet alleen kan een goede variatie in de enkele aangeboden voorbeelden voldoende duidelijk maken welk begrip wordt gevraagd, maar ook is het vanuit de impliciete context van de cursus duidelijk dat bepaalde onbedoelde antwoorden, hoewel taalkundig juist, toch redelijkerwijs niet correct zijn. Dat Harry Mulisch een Nederlander is, is op zich niet onjuist want inderdaad een gemeenschappelijk kenmerk, maar is evident niet het bedoelde antwoord.

Reken evident niet bedoelde, maar op zich correcte antwoorden niet te snel fout. Zonder duidelijke afspraken is het beter andere mogelijkheden te onderzoeken om de vraag een adequate 'definitie' te geven. Geef dan in de vraag aan welk soort antwoord is verlangd.

Met een extra hint verschuift de vraag al enigszins van het benoemen naar het herkennen.

Er zijn twee grondvormen als basis voor varianten: benoemen en herkennen van gegeven voorbeelden. De enige varianten op 'benoemen' zijn synoniemen daarvan—'hoe heet'—en de soms noodzakelijke, soms als hint werkende, nadere aanduiding van het gevraagde.

In plaats van de toepasselijke vakterm of naam te vragen, is een nieuw voorbeeld, of ten minste een ander voorbeeld, te vragen. Dan ontstaat een vraagvorm die een combinatie is van het benoemen van een gegeven voorbeeld met het geven van een voorbeeld bij een gegeven begrip. Een andere combinatiemogelijkheid is het beschrijven: gegeven een of meer voorbeelden bij een niet met name genoemd begrip, vragen naar een wetenswaardigheid met betrekking tot dat begrip (zie ook paragraaf 4.6). In de wiskunde bijvoorbeeld gaat het er niet om dat het type opgave correct te benoemen, maar of er de juiste of beste oplostechniek op toe te passen. De variaties in het aantal gegeven voorbeelden zijn louter getalsmatig: een, twee, of meer. De reden om meer dan een voorbeeld te geven kan zijn om zo het verlangde soort antwoord scherper te specificeren; zorg er dan voor dat de gegeven voorbeelden heterogeen zijn op bijkomstige eigenschappen (schrijvers van verschillend geslacht, leeftijd, nationaliteit, wanneer het erom gaat dat de student de gegeven namen van het label 'schrijver' moet voorzien). Een andere reden om meer voorbeelden te geven: de vraag gemakkelijker maken.

Het maakt meestal enig verschil of een gegeven voorbeeld een oud, een bekend voorbeeld is, of een nieuw, nog niet eerder ontmoet voorbeeld. Het benoemen van oude voorbeelden is misschien geschikt voor de onbenullige toets, waarbij het alleen maar de bedoeling is vast te stellen of de student de literatuur onder ogen heeft gehad (zie verder paragraaf 6.1).

Een rijke bron van variaties ligt in het soort voorbeeld: typisch, gewoon, buitengewoon, grensgeval, uitzondering. Pas op met grensgevallen. Het is eigenlijk alleen maar zinvol om met twijfelgevallen te werken wanneer het herkennen van grensgevallen 'als grensgevallen' belangrijk is, bijvoorbeeld omdat dat gevolgen kan hebben in de toepassingssfeer.

Een andere mogelijkheid tot variëren is gelegen in de keuze van tijd of gebied waaruit het voorbeeld komt, of door het afwisselen van tamelijk ondergeschikte kenmerken (niet alleen schilderijen, maar ook tekeningen van Picasso; en plant in bloei, naast dezelfde plant met vrucht; gave klokbekers of scherven).

Dan is er ook nog de mogelijkheid om een niet-voorbeeld te geven, maar dat vraagt een kleine aanpassing in de vraagstelling. Immers, wanneer de vraag is om te benoemen, impliceert dat dat het gegeven voorbeeld inderdaad een voorbeeld is, en geen niet-voorbeeld. Om nu ook niet-voorbeelden te gebruiken, moet de vraagstelling in tweeën: eerst vragen of het gegeven een 'voorbeeld' is, en wanneer dat niet geval is, vragen waarom of welk type uitzondering het is, zoals dit voorbeeld.

Een belangrijke voorbeeldvariant is het versluierde voorbeeld, het voorbeeld waar eerst enige bewerking op gepleegd moet worden om het in een vorm te krijgen die zich laat benoemen. In opgaven van wiskundige aard komt het vaak voor dat gegevens eerst moeten worden omgewerkt tot bekende vormen, en dat is dan niet om ze te benoemen, maar om er vervolgens bekende oplostechnieken op toe te passen. Juristen doen trouwens precies hetzelfde, en vanuit het voorbeeld van zowel wiskunde als rechten zal ieder voor het eigen vakgebied aan kunnen wijzen hoe daar dezelfde bewerkingen ook nodig zijn. Dit is als het ware het omgekeerde van het geven van een extra aanwijzing: er is nu geen kant en klaar, direct te benoemen voorbeeld gegeven, maar een 'vuil' voorbeeld dat eerst moet worden gewassen en voorgebakken voordat het te is benoemen of te herkennen. Ik zal dat voorbeelden noemen die moeten worden opgeschoond. Dat opschonen kan op verschillende manieren gebeuren:

• anders rangschikken van de gegevens;
• in kaart brengen van de gegevens, een tekening maken;
• analyse: welke kenmerken zijn belangrijk, en welke doen er niet toe;
• redeneren of determineren: stapsgewijze het veld inperken waarbinnen het antwoord te vinden moet zijn ;
• doorbreken van een verkeerde 'instelling', door het gegeven voorbeeld expliciet vanuit andere invalshoeken te gaan analyseren;
• hypothetisch-deductief te werk gaan: potentiële antwoorden opperen, en aan de hand van de verstrekte gegevens de juistheid ervan onderzoeken;
• zoeken naar impliciete context, zoals: op welk onderdeel van de bestudeerde stof heeft dit waarschijnlijk betrekking;
• gissen naar de bedoelingen van de docent, wat een onbedoelde vorm is van zoeken naar impliciete context.

onderzoeken en toetsen

De vraag beschrijft iets dat niet zonder meer is te herkennen als voorbeeld. Denk aan een ziektebeeld dat nog meerdere mogelijke diagnosen toelaat. Voor een juist antwoord ontbreekt bepaalde informatie. De ontwerpmogelijkheden zijn divers, bijvoorbeeld kan de vraag zijn om een aantal veronderstellingen over het goede antwoord te opperen, of om aan te geven welke informatie of welke test nog nodig is om tot een sluitend antwoord te komen. Als de student die informatie ter plekke kan opvragen, opzoeken, kopen, or what not, dan is dat in het ontwerp in te bouwen. Dat nader onderzoek kan zich beperken tot het op een bepaalde wijze herschikken van het gegeven materiaal, bv. nagaan of een bepaald kritisch kenmerk aanwezig is, maar het kan ook een laboratoriumonderzoek zijn.

verklaar of motiveer het antwoord

Een laatste variant is het vragen naar de reden voor de gegeven benoeming; op grond van welke kenmerken, waarom andere mogelijkheden verworpen zijn, en dergelijke. Of dat een zinvolle toevoeging is, hangt weer af van de aard van de stof en de onderwijsdoelen.  

Figuur 1. De sorteermachine in Sammy's Science House (Apple): sleep naar de juiste bak. Moeilijkheid: 2, 3 of 4 soorten. Telkens nieuwe dieren etc. uit de voorraad. Telkens nieuwe keuze van twee soorten dieren etcetera. Dit is een briljant voorbeeld, van toetsen op herkennen van voorbeelden en begrippen. Herken de vraagvorm erin. Dat het hier een spel is, met beloninkjes, voor driejarigen, maakt het niet verschillend van een toets.

 
herkennen van voorbeelden

Er is een nuance van verschil in betekenis tussen benoemen van voorbeelden, en herkennen. Voor het benoemen is herkennen een voorwaarde, zeker, en dan moet de student zelf de naam nog geven. Of omgekeerd: gegeven het begrip, een voorbeeld geven. Bij het herkennen in engere zin zijn zowel het voorbeeld als de naam gegeven. Herkennen is niet zo'n geschikte term, omdat het verwijst naar een proces in het hoofd van de student, en is in die betekenis niet direct waarneembaar. Maar herkennen is ook het gedrag dat een gegeven voorbeeld koppelt aan een gegeven begrip. 'Herken een voorbeeld' is daarom altijd een keuzevraag. De mogelijkheden zijn de meervoudige ja/nee-vraag met voorbeelden en niet-voorbeelden als alternatieven; de matchingvraag, bijvoorbeeld een rij gegeven namen invullen in een gegeven kaart of afbeelding; en de meerkeuzevraag met verschillende begrippen als alternatieven. Ieder van deze heeft eigen voor- en nadelen, en daarmee verschillende toepassingsmogelijkheden.

De meervoudige ja/nee-vraag is geschikt om te toetsen of de student bij een gegeven begrip in staat is om voorbeelden en niet-voorbeelden te identificeren, normaal en afwijkend te onderscheiden en dergelijke. Ook om voorbeelden van verschillende begrippen van elkaar te onderscheiden is dit type vraag geschikt (zie paragraaf 5.2). Waar het om gaat is of de student de gegeven vakterm correct gebruikt. De student kan dat ideaal op twee manieren missen: door de vakterm te ruim te gebruiken, ook voor niet-voorbeelden, dat is overgeneralisatie, of de vakterm te voorzichtig te gebruiken, ook enkele voorbeelden verslijtend voor niet-voorbeelden, dat is ondergeneralisatie. De meervoudige ja/nee-vraag kan zowel over- als ondergeneralisatie toetsen.
Het is niet nodig, en eerder ongewenst, om voor een enkele vakterm of voor een enkel begrip zowel over- als ondergeneralisatie met meerdere voorbeelden en niet-voorbeelden te toetsen. Volsta liever met een enkele tweekeuzevraag, en zorg dat veel meer begrippen zo in de toets aan bod komen. Tweekeuzevragen zijn bij uitstek geschikt om voorbeelden van niet voorbeelden te laten onderscheiden.

In veel vakken gaat het om natuurlijke categorieën die geen scherpe afbakeningen toelaten. Kies voorbeelden en niet-voorbeelden dan zodanig, dat er tussen deskundigen geen verschil van mening bestaat over hun karakter als voorbeeld, respectievelijk niet-voorbeeld.

Een vanzelfsprekende vaardigheid in het benoemen van nieuwe voorbeelden bij de kernbegrippen van het vak, en in mindere mate het herkennen ervan, is voorwaarde om met anderen over het vak te kunnen spreken, voor het oplossen van problemen en het ontwerpen en doen van onderzoek. Toch krijgt het benoemen en herkennen van nieuwe voorbeelden makkelijk te weinig aandacht, zowel in het onderwijs als in de toets. Een kenmerk daarvan is de schaarste aan voorbeelden in veel tekstboeken die volstaan met het geven van slechts een enkel voorbeeld bij een geïntroduceerd begrip, en soms zelfs dat niet. Een voorbeeld is 'Algemene taalwetenschap' van Dik, zie de speciaal bij dat boek geschreven handleiding voor het ontwerpen van toetsvragen. Ook de oorspronkelijke uitgave van 'Toetsvragen schrijven' lijdt onder dat gebrek, dat in in deze herziening 2006 wordt hersteld door voor veel voorbeelden de tekst van het boek zelf als onderwerp te gebruiken. Uitzonderingen vinden we bij de exacte vakken waar de nadruk ligt op het actief met de stof kunnen omgaan, en bij de sociale wetenschappen voor wat het vak 'cognitieve psychologie' betreft, waarin auteurs meer en meer de principes uit het eigen vakgebied ook op hun eigen studieboek leren toepassen. John Anderson, de schrijver van Cognitive psychology and its implications, zegt in zijn voorwoord

4.5 Herkennen en benoemen bij formeel gedefinieerde termen

Er is een bijzondere manier van benoemen of herkennen door formele definities te benutten. Formele definities zijn er in soorten, en voor verschillende doelen in te zetten.

• in het onderwijs, om didactische redenen: een nieuwe vakterm of een nieuw begrip opvoeren en daar dan definiërende eigenschappen bij geven, als de kortste weg om de betekenis van het begrip aan te geven;
• soms bij natuurlijke categorieën, om toch tot een scherpe afbakening van deze vaag omlijnde begrippen te komen; ook wel technische definities genoemd, vaak met kenmerken die indirect waarneembaar zijn;
• voor constructs; dat verbaast niet: de definitie moet het construct volledig karakteriseren, en moet dus wel formeel zijn;
• als stipulatieve definitie, de definitie bij fiat.

Paragraaf 3.5 wijst erop dat naast formele definities —definities door kenmerken, door opsomming, door stipuleren, en de nominale definitie—andere definitiemogelijkheden ook bruikbaar zijn. Dat is toch wel handig, omdat niet alle vaktermen zich formeel laten definiëren.

Toepassen van formele definities met hun logische karakter komt dus neer op logische operaties. Een korte opsomming van soorten formele definities:

• De meest bekende definitie via kenmerken, per genus et differtiam, definieert een begrip aan een of meer andere termen of kenmerken.
• De nominale definitie stelt het gedefinieerde begrip of de gedefinieerde term gelijk aan een bepaalde uitdrukking.
• de technische definitie is een definitie via kenmerken, of een nominale definitie, meestal gebruik indirect waarneembare kenmerken (door onderzoek vast te stellen).
• De stipulatieve definitie legt de betekenis van een term of begrip vast bij afspraak, meestal een strikte afspraak.

Wat is nu het belang van formele definities? Overal waar de leerstof constructs behelst, is een formele definitie niet ver te zoeken. En dat is goed, omdat in zekere zin de definitie van een construct zijn betekenis bepaalt. Zo is in de wiskunde, statistiek, en logica een belangrijke rol weggelegd voor formele definities. En hetzelfde bij al die wetenschappen met een enigszins geformaliseerde theorievorming. In andere gevallen, bij andere onderwerpen in een opleiding, is het de vraag of formele definities wel op hun plaats zijn, of ze wel zo gelukkig zijn. Technische definities, bijvoorbeeld, hebben een nuttige functie in de uitoefening van het vak, maar zijn vaak specialistisch, en waarom de student er dan uitbundig mee lastig vallen? Didactisch kan een (pseudo-) formele definitie voor een bepaalde term of een bepaald begrip handig zijn, maar misschien is het toch beter om dat na te laten. Voorkeur voor het formele heeft te maken met een cultureel bepaalde opvatting wat 'echte' kennis is, zeker met een eerbiedwaardige geschiedenis, maar in het onderwijs doet dit meer kwaad dan goed. Baker en Hacker (1980, blz. 668):

De 'Socratische drogreden' is blootgelegd door het feit dat er andere criteria voor het begrijpen van een woord zijn dan het geven van zijn definitie; hoe iemand het woord gebruikt toont zijn begrip ervan, onafhankelijk van het geven van een definitie. Het toeschrijven van begrip is mogelijk, ook als uitleg in een verkozen vorm uitblijft. Toch is onvermogen om op een Socratische vraag een definitie te geven, al gauw gezien als bewijs van schandelijke onwetendheid, en dit is de cultureel bepaalde drijvende kracht om definities via kenmerken—'Merkmal-definitions'—te zoeken voor vaktermen die voor enig wetenschappelijk doel gebruikt worden. Des te opvallender dat dat nu juist mislukt voor de kernbegrippen uit de hedendaagse wetenschap, begrippen zoals 'intelligentie' en 'massa.'

Wittgenstein was niet de eerste om de 'Socratische drogreden' te signaleren. Baker en Hacker wijzen op een uitspraak van Whewell, uit 1845, dat het vals is om te veronderstellen dat de wetenschap vraagt natuurlijke categorieën door essentiële kenmerken te definiëren. In tegenstelling daarmee laat onderzoek van de ontwikkelde takken van de natuurlijke historie het succesvolle gebruik zien van klassen— 'typen'—die bepaald zijn door gelijkenis met voorbeelden. Deze dienen om te kunnen generaliseren; zij kunnen dat zelfs wel eens beter doen dan begrippenen die met definiërende kenmerken en al zijn ingevoerd (Baker en Hacker, 1980, blz. 325).

In scherp contrast met het bovenstaande staan de pogingen in onderwijskundige hoek om een didactiek voor begripsmatig leren van de grond te krijgen die expliciet is gebaseerd op het ideaal van formeel gedefinieerde begrippen. Bijvoorbeeld Merrill & Tennyson's Teaching concepts; an instructional design guide (1977, blz. 3 en 25):

Het zal duidelijk zijn dat deze aanpak maar voor een klein aantal van de begrippen in onderwijs en wetenschap zinvol is. Zodra deze aanpak als voorbeeldige didactiek gepresenteerd wordt, werkt hij benauwend en misvormend. Op zijn best is deze aanpak eenvoudig onuitvoerbaar voor alle begrippen in een bepaald curriculum (kritiek van Roid en Haladyna, 1980, blz. 306), op zijn slechtst is het opleggen van dit paradigma aan het onderwijs rampzalig (de boze kritiek van Freudenthal, 1978, blz. 98 e.v.).

De mogelijkheden voor toetsvragen zijn qua vorm dezelfde als in de voorgaande paragraaf behandeld, zowel wat benoemen als wat herkennen betreft. De toegevoeging is dat voor het herkennen van een gegeven voorbeeld of niet-voorbeeld dit is te toetsen aan de formele definitie: zijn alle definiërende kenmerken aanwezig? Bij het benoemen gebeurt hetzelfde, maar daar zal veelal eerst veronderstellenderwijs een begrip geopperd moeten worden, op zijn toepasbaarheid onderzocht, en eventueel ingeruild voor een nieuwe veronderstelling enz. Het toetsen aan definiërende kenmerken is met andere woorden vaak een nadrukkelijke stap bij het antwoorden.

De wijze waarop de student het voorbeeld toetst aan de definitie is in overeenstemming met de relatie die meerdere definiërende eigenschappen tot elkaar hebben. De meest voorkomende relaties zijn eigenschappen die gezamenlijk aanwezig moeten zijn, en eigenschappen waarvan er tenminste een aanwezig moet zijn. Wat voor eigenschappen geldt, geldt natuurlijk ook voor relaties, wanneer de definitie niet is gesteld in termen van eigenschappen, maar in termen van relaties.

definiërend, kritisch, variabel

Is een formele definitie bruikbaar, dan zal er vaak sprake zijn van bepaalde eigenschappen die in de definitie voorkomen (definiërende eigenschappen), eigenschappen die het begrip onderscheiden van een verwant begrip (kritische eigenschappen) en eigenschappen die niet van belang zijn voor de definitie van het begrip, maar mogelijk bruikbaar zijn om individuele objecten enz. te beschrijven (variabele eigenschappen). Dit is de indeling die in onderwijskundige publikaties vaak te vinden is, en daar moet de waarschuwing bij dat hier impliciet is aangenomen dat de definiërende eigenschappen uniek zijn. Het probleem is dit: vaak zal er voor het definiëren van een begrip gekozen kunnen worden uit meerdere daarvoor in aanmerking komende eigenschappen. Dat maakt de niet-gekozen eigenschappen niet tot variabele eigenschappen.
Anders gezegd: er zijn soms meer mogelijkheden om voorbeelden correct te benoemen of te herkennen dan alleen controle uit te voeren op eigenschappen in de definitie. Een formele definitie is zo eenvoudig mogelijk; wanneer twee eigenschappen voldoende zijn, is een derde eigenschap niet nodig, ook al zou die derde eigenschap samen met een van beide andere, evenzeer een goede definitie geven. Het onderwijs moet essentiële eigenschappen die niet noodzakelijk zijn om een begrip formeel te definiëren, natuurlijk wel goed behandelen.

Implicaties voor het onderwijs en de toetsing:

• Gebruik in het onderwijs een set voorbeelden die zo heterogeen mogelijk is wat betreft de variabele eigenschappen.
• Soms zijn niet-voorbeelden te gebruiken die alle definiërende kenmerken min één hebben.
• Bij benoemen en herkennen is te vragen op welke eigenschappen de benoeming berust, of de koppeling is gemaakt (herkennen).
• Misvattingen van studenten bestaan er soms uit dat zij een variabele eigenschap aanzien voor een definiërende.

4.6 Beschrijvende uitspraken

Figuur 1. Beschrijvende uitspraken verwant met kenmerken.

Over de begrippen die belangrijk genoeg zijn om er onderwijs over te geven, valt heel wat meer te vertellen dan alleen een definitie en een aantal typische voorbeelden. Die voorbeelden dekken maar een deel van de betekenis, omdat allerlei andere zinvolle informatie er zijdelings of in het geheel niet in tot uitdrukking komt. Bijvoorbeeld het onderwerp inenting tegen mazelen, daar horen een aantal beschrijvende uitspraken bij die antwoord geven op de volgende vragen:

Voor andere medische ingrepen en geneesmiddelen zijn er vergelijkbare lijstjes beschrijvende uitspraken. Deze informatie is essentieel voor de juiste toepassing, niet iets dat leuk is om te weten maar eigenlijk franje. Er zijn daarnaast veel onderwerpen die voor de student tot leven komen door naast voorbeelden ook historische ontwikkeling, plaats binnen een theorie, empirische toetsen en dergelijke te weten.

Begrippen waaraan uitvoerige tekst is gewijd, krijgen daarin heel wat beschrijvende uitspraken mee. Dan zit er al gauw ook een bepaalde structuur in deze beschrijving, waarbij het kennen van die structuur onderwijsdoel is (zie ook hoofdstuk 6). Voor het ontwerpen van toetsvragen stellen deze beschrijvende uitspraken geen nieuwe problemen, zij zijn als een uitgebreider variant op de kenmerken van het begrip zelf ook als een soort kenmerken te beschouwen en te behandelen. Het voorbeeld over inenting tegen mazelen heeft al laten zien dat toetsvragen daarbij op voor de hand liggende wijze zijn te ontwerpen door de informatie uit de tekst gewoon terug te vragen. Het risico van dit type vragen is natuurlijk dat zij alleen de verbale beheersing toetsen, het reproduceren of herkennen van de informatie zoals misschien wat abstract in de cursustekst gegeven, terwijl het uiteindelijk toch de bedoeling zal zijn dat de student zich deze informatie in concrete situaties moet herinneren en weten toe te passen. Wees daarom terughoudend met het stellen van louter 'kennisvragen' over beschrijvende uitspraken.

4.7 Literatuur

John R. Anderson (1980).Cognitive psychology and its implications.

• Nederlandse samenvatting van de vijfde editie (1999) van dit boek op pdf

John R. Anderson, Christian Lebiere, and others (1998). The atomic components of thought. London: Lawrence Erlbaum. questia

• Cognitive theory, known as ACT-R, Atomic Components of Thought theory, revised version. This theory is really rather complex, its authors claim it is true to empirical facts of learning (cognitive functioning), simulation programs are available on the ACT website (these are research tools, not demonstrations), the theory is called 'atomic' and is believed to be true to what is known about the neural functioning of the brain, yet it is not a theory in the class of parallel distributed processing (is that the level of 'elementary particles' then?).
• Edouard Machery (2007). Concept empiricism: A methodological critiquwe. Cognition, 104, 19-46. pdf

G. P. Baker and P. M. S. Hacker (1980). Wittgenstein: understanding and meaning; an analytical commentary on the Philosophical Investigations. Oxford: Basil Blackwell.

Daniel B. Berch and Miché M. M. Mazzocco (Eds) (2007). Why is math so hard for some children? The nature and origins of mathematical learning difficulties. Paul H. Brookes Publishing.

• Het beantwoorden van de titelvraag vooronderstelt inzicht in wat het is voor 'gewone' leerlingen om te leren rekenen. Dit boek geeft veel materiaal dat voor de ontwerper van toetsvragen, ook voor andere vakken dan rekenen, van belang is. Als ik mijn werk goed doe, dan verwerk ik die belangrijke inzichten in de ontwerptechnologie voor toetsvragen.

Benjamin S. Bloom et aliis (Ed.) (1956). Taxonomy of educational objectives. The classification of educational goals. Book 1 Cognitive domain. David McKay.

• Voor korte samenvatting van categorieën en links naar online bronnen zie html
• Wees voorzichtig met stukken op internet, meestal wordt de taxonomie van Bloom kritiekloos gebruikt, terwijl wetenschappelijk onderzoek heeft aangetoond dat met de taxonomie niet consistent is te werken. Dat neemt niet weg dat deze taxonomie wel materiaal kan leveren waar de ontwerper van toetsvragen zijn voordeel mee kan doen.

Benjamin S. Bloom, J. Thomas Hastings and George F. Madaus (Eds) (1971). Handbook on formative and summative evaluation of student learning. London: McGraw-Hill.

Paul Bloom (2000). How children learn the meanings of words. MIT Press. isbn 0262024691

Hans Freudenthal (1978). Weeding and sowing. Preface to a science of mathematical education. Dordrecht: Reidel.

Walter Gerritsen van der Hoop (1986). Het onderwijzen van theoretische begrippen. Een strategie voor het veranderen van preconcepties. Proefschrift Technische Universiteit Eindhoven. (promotoren: De Klerk & Vaags)

Christian Lebiere and John R. Anderson (1998). Cognitive arithmetic. In John R. Anderson, Christian Lebiere, and others (1998). The atomic components of thought (297-343). London: Lawrence Erlbaum. questia

W. Lans en G. J. Mellenbergh (1969). Constructie en beoordeling van items: formele aspecten. In A. D. de Groot en R. F. van Naerssen: Studietoetsen, construeren, afnemen, analyseren (65-125). Den Haag, Mouton.

David Hammer, Andrew Elby, Rachel E. Scherr, and Edward F. Redish (2005).Resources, Framing, and Transfer. In Jose P. Mestre: Transfer of learning: from a modern multidisciplinary perspective p. 89-120. San Francisco: Sage. pdf concept

M. D. Merrill and R. D. Tennyson (1977). Teaching concepts: an instructional design guide. Englewood Cliffs, N.J.: Educational Technology Publications.

Robert F. Naerssen (1980). Simpele items tegenover complexe. Tijdschrift voor Onderwijsresearch, 5, 193-198.

Gale H. Roid and Thomas M. Haladyna (1982). A technology for test-item writing. London: Academic Press.

Mark K. Singley and John R. Anderson (1989). The transfer of cognitive skill. London: Harvard University Press. Zie ook:

• Barry Krusch (1994). The Role of Frame Analysis in Enhancing the Transfer of Knowledge. pdf
• N. Sanjay Rebello and Dean A. Zollman (2004?). A Model for Dynamic Transfer of Learning. pdf.
• Edgar G. Corpuz and N. Sanjay Rebello (2006). Dynamic transfer in the context of microscopic friction: case study with an introductory college student. AERA paper pdf

Catherine Sophian (2007). The origins of mathematical knowledge in childhood. Lawrence Erlbaum.

E. E. Smith and D. L. Medin (1981). Categories and concepts. Cambridge, Mass.: Harvard University Press.

Lieven Verschaffel, Brian Greer and Erik de Corte (2000). Making sense of word problems. Lisse: Swets & Zeitlinger.

• Zie de wordproblems.htm pagina voor aantekeningen

Ludwig Wittgenstein (1953/1976). Filosofische onderzoekingen, Meppel: Boom.

Laura Zamarian, Alex Lópex-Rolón and Margarete Delazer (2007). Neuropsychological case studies on arithmetic processing. In Daniel B. Berch and Miché M. M. Mazzocco: Why is math so hard for some children? The nature and origins of mathematical learning difficulties (245-263). Paul H. Brookes Publishing.

D. W. Braithwaite & R. L. Goldstone (2015). Effects of variation and prior knowledge on concept learning. Cognition and Instruction, 33, 226-256. download

What Braithwaite & Goldstone call 'concepts' really are laws in economics: conservation of energy in physics; supply and demand; combinations and permutations in statistics. Does that distinction make a difference? Laws are relations between concepts. B&G call them the 'underlying structure'! Looks like a category mistake to me: rules mistaken for concepts. Does it affect the research as reported? Let's see.

P. W. Bridgman (1928). The logic of modern physics. The Macmillan Company. Ch. 1 'The logic of modern physics'. reprinted in Herbert Feigl & May Brodbeck (Eds.) (1953). Readings in the philosohy of science (34-46). Appleton-Century-Crofts. lccc 53-6438 archive.org

• In the first 25 pages Bridgman explains how Einstein changed the concepts of physics. The contrast between Newton and Einstein is illuminating. Bridgman’s concept of concepts does not stand today, I am afraid. ".. he has essentially modified our view of what the concepts useful in physics are and should be. Hitherto many of the concepts in physics have been defined in terms of their properties. An excellent example is afforded by Newton’s concept of absolute time. ( .. ) The new attitude toward a concept is entirely different. We may illustrate by considering the concept of length: what do we mean by the length of an object? (. . ) In general, we mean by any concept nothing more than a set of operations: the concept is synonymous with the corresponding set of operations."

Stellan Ohlsso (1987). Truth versus appropriateness: Relating declarative to procedural knowledge. pp 287-328 in David Klahr, Pat Langley, and Robert Neches (Eds) (1987). Production system models of learning and development. The MIT Press. isbn 0262111144 info / out of print

Peter Barker, Xiang Chen & Hanne Andersen (2003). Kuhn on concepts and categorization. In Thomas Nickles (Ed.) (2003). Thomas Kuhn (212-245). Cambridge University Press. isbn 0521796482

E. J. Lowe (2006). The four-category ontology. A metaphysical foundation for natural science. Oxford University Press. isbn 9780199254392 info

• I. Metaphysics, Ontology, and Logic
  1: Ontological Categories and Categorical Schemes
  2: The Four-Category Ontology and its Rivals
  3: Some Formal Ontological Relations
  4: Formal Ontology and Logical Syntax
  II. Objects and Properties
  5: The Concept of an Object in Formal Ontology
  6: Properties, Modes, and Universals
  7: Ramsey's Problem and its Solution
  III. Metaphysics and Natural Science
  8: Dispositions Natural Laws
  9: Kinds, Essence, and Natural Necessity
  10: Categorial Ontology and Scientific Essentialism
  IV. Truth, Truthmaking, and Metaphysical Realism
  11: Metaphysical Realism and the Unity of Truth
  12: Truthmaking, Necessity, and Essential Dependence