Bij doorlezen in 2022 valt me op dat ik in dit hoofdstuk over het karakteriseren van leerstof ervan afzie om meteen ook voorbeelden te geven van consquenties van een en ander voor mogelijkheden voor het ontwerp van toetsvragen. Ik begrijp dat wel: het was de bedoeling om dat nu juist in de hoofdstukken 4 tot 7 te behandelen. Maar in die hoofdstukken komt uit het in hoofstuk 3 behandelde eigenlijk alleen de kennisopbouw met begrippen en hun onderlinge relaties (regels) terug. Of begrippen theoretisch of waarneembaar zijn, bijvoorbeeld, komt later niet meer aan de orde. Dit is mogelijk een belangrijke lacune in het boek. Die lacune is niet zomaar te vullen, dat gaat tijd kosten. Hier wreekt zich dat verdere ontwikkeling van deze aanpak voor het ontwerpen van toetsvragen werd geblokkeerd door de opheffing van het COWO in de TVC-bezuinigingsoperatie van het kabinet Lubber I (Taakverdeling en Concentratie). Een bezuinigsoperatie die uiteindelijk niets heeft opgeleverd omdat de baten wegvloeiden naar wachtgelden en uitbreiding van de universitaire bureaucratie (Ritzen evalueerde de TVC en de daarop volgende even schadelijke bezuinigingsoperatie Kdinges). Maar dit terzijde.
Het voorgaande hoofdstuk behandelde verschillende vraagsoorten, enkele algemene ontwerpregels, en het nut van vraagvormen. Maar nog niets over het inhoudelijk ontwerp van vragen. Voor dat inhoudelijk ontwerpen is een degelijke voorbereiding nodig in de vorm van een inventarisatie van de leerstof, in samenhang met de overwegingen van validiteit in paragraaf 2.6. Deze inventarisatie moet de ontwerper een stevige leidraad leveren, het is meer dan het halve werk.
Dit hoofdstuk zal ernstig van inhoud veranderen/vermeerderen als gevolg van de in het inleidende hoofdstuk aangeduide nieuwe inzichten. Om een idee te krijgen van de aard van die uitbreiding, is bestuderen van het ‘Wason-probleem’ een handig hulpmiddel.
Voordat u verder leest: probeer te bedenken waar het Wason-probleem in de box over gaat, en of het een nuttige analogie kan zijn voor bepaalde situaties in het onderwijs.
Het blijkt dat het Wason-probleem erg moeilijk is, terwijl het toch heel simpel lijkt. Op zich is dat voor de ontwerper van toetsvragen al een interessante conclusie: wat eenvoudig lijkt, kan dat empirisch blijken niet te zijn. Dit boek zal daar nog meer voorbeelden van geven. Als illustratie van wat het is om een begrip of een regel te leren, laat het zien dat de didactiek voor dit leren niet altijd even vanzelfsprekend zal zijn.
Wat in het experimentje typisch gebeurt, is dat proefpersonen verschillende mogelijke regels proberen, daar meestal op te horen krijgen dat de gegeven drietallen kloppen met de regel die u in gedachten hebt, en uiteindelijk niet in staat blijken achter die eenvoudige regel van drie in grootte oplopende getallen te komen. De verklaring van dit opvallende verschijnsel is verbluffend: het gebeurt niet vaak dat proefpersonen op het idee komen om hun veronderstelde regel te testen met een drietal dat in strijd is met die regel; bijvoorbeeld: het verschil is telkens 2, laat ik dat eens testen met 1, 2, 4 (dat blijkt ook te voldoen aan de regel-in-gedachten). Laat dit even bezinken, want het is ernstig. Veronderstel dat uw huisarts op deze naieve manier zoekt naar de diagnose van uw kwaal, dat wordt helemaal niks.
De reden om dit Wason-probleem al bij de opening van hoofdstuk 3 op te nemen is dat dit veronachtzamen van het falsificeren als onderzoektechniek, op meerdere manieren direct aan de orde is bij toetsen en dus ook bij het ontwerpen van toetsvragen. Bijvoorbeeld in het onderwijs in de natuurkunde is heel goed bekend dat het perfect mogelijk is dat studenten hun opgaven goed leren maken, en tegelijk nog hun oude naieve opvattingen over bewegen etcetera kunnen hebben. De docent die alleen toetst op de geleerde werkwijzen, trekt mogelijk verkeerde conclusies over de mate waarin haar studenten zich natuurkundig begrip hebben verworven. In hoofdstuk 5 komt een en ander in meer detail aan de orde. Een ander voorbeeld, veel nederiger maar daarom niet minder van belang, is dat studenten de begrippen en regels in de leerstof op onbedoeld beperkte wijze hebben geleerd, en veel voorbeelden van deze begrippen en regels niet als zodanig herkennen, danwel veel niet-voorbeelden ten onrechte als voorbeelden menen te herkennen. De ontwerper van toetsvragen moet daarop gespitst zijn, want het raakt de kern van veel onderwijs. Tenslotte een voorbeeld van eminent belang: studenten beginnen aan het onderwijs vaak al met een redelijk samenhangend beeld van het onderwerp, maar dat beeld staat juist haaks op het wetenschappelijk gebaseerde beeld in het leerboek; in zekere zin bevinden deze studenten zich in de positie van het Wason-probleem, waarbij de oplossing weliswaar in het leerboek staat uitgeschreven, maar die oplossing hebben ze zich nog niet zomaar eigen gemaakt omdat hun naieve opvattingen dat in de weg zitten.
De upshot van een en ander is dat hoofdstuk 3 nog is uit te breiden met een paragraaf relevante cognitive science, dus niet alleen maar de filosofische epistemologie maar ook de persoonlijke, en met een paragraaf die de implicaties van het onderzoek met het Wason-probleem voor een ontwerptechnologie voor toetsvragen in beeld brengt.
Dan nu het onderwerp van dit hoofdstuk: inventariseren van de stof. De vertrouwde wijze van inventariseren is die via het opstellen van onderwijsdoelen, wat studenten moeten weten en kunnen. Dit boek kiest een andere invalshoek, het schematiseren van wat er, gezien de stof, valt te weten en kunnen. Dat is een subtiel verschil, maar voor het ontwerpen maakt het een wereld van verschil. Doelen zijn meestal vaag omdat ze grote stappen, snel thuis, de stof indelen, en in het midden laten wat het weten en kunnen precies inhoudt. Het alternatief is een benadering die bescheidener is, dichter blijft bij de leerstof zelf, en minder psychologiseert over wat beheersen van de stof precies is.
Leerstof beschrijft de inhoud van een bepaald vak of van een specifiek onderdeel daarvan, en doet dat noodzakelijk in taal. Het gaat altijd over personen, dingen of verschijnselen, in bepaalde onderlinge relaties. Voor het volgende is het handig om te veronderstellen dat het vak een wetenschap is, omdat de kennis die een wetenschap vormt—wiskunde, psychologie, informatica, Frans —goed beschreven is. Een bepaald boek of hoofdstuk is een samenvatting of een uitsnede van die kennis. Ook voor het basisonderwijs is dit beeld te hanteren.
Galileo is een sleutelfiguur in de Westerse culturele geschiedenis. In plaats van te filosoferen over de wereld, ging hij onderzoeken hoe de dingen in de wereld gaan. Zo waren er tal van ideeën over hoe dingen vallen, bijvoorbeeld dat zware dingen sneller vallen dan lichte (Aristoteles). Galileo experimenteert dan met koperen bollen die hij van een schuine baan laat rollen, waarbij hij de afstanden bepaalt die zo'n kogel na gelijke tijdsintervallen heeft afgelegd. En laat zien dat Aristoteles beter wat had kunnen experimenteren, in plaats van te bedenken hoe dingen vallen: Aristoteles had het verkeerd.
Stillman Drake (1990) Galileo: Pioneer scientist. University of Toronto Press. (p. 9)
Niet alle leerstof is stof. Galileo nam afstand van bestaande theorieën, om te onderzoeken hoe dingen in de wereld zich verhouden. Het werk van Deanna Kuhn (2005) gaat over dergelijk onderzoek, maar dan door leerlingen in het basis- en voortgezet onderwijs. In een experimenteel programma (Kuhn en Pease, 2008 pdf) waarin leerlingen vaardigheid opdoen in het onderzoeken van oorzakelijke samenhangen, is gespiegeld terug te vinden wat Galileo deed: de scholieren moeten leren niet vanuit hun oude kennis naar de wereld te kijken, maar de wereld de gelegenheid te geven de samenhangen te laten zien: data reading (p. 516). Onbevangen onderzoekvragen stellen en de uitkomsten analyseren. Een voorbeeld is eenvoudig onderzoek dat leerlingen in groep vijf kunnen doen over eventuele samenhang tussen, onder andere, conditie van de bodem en aanwezigheid van slangen met de kans op een aardbeving. Het is verdraaid lastig om keurig alle variabelen constant te houden, behalve de ene waarvan je het effect wilt weten, en dan na te gaan of twee verschillende bodemcondities verschil maken in de kans op een aardbeving.
Het punt is dat op deze manier onderzoek doen niet iets is dat snel even uit een boekje is te leren en in een reeks opgaven is te oefenen. In die zin is het geen leerstof, maar het is wel een belangrijk inzicht dat de leerlingen zich met moeite verwerven. Galileiaans. Dit staat dan in contrast met wat overigens in het onderwijs gebruikelijk is: er is kennis of theorie die leerlingen zich op de een of andere wijze eigen moeten maken. Bijvoorbeeld een theorie over intelligentie.
Drie soorten begrippen spelen rollen in bijna iedere wetenschap, evenals trouwens in het dagelijks leven: waarneembare, abstracte en theoretische. Overigens zijn deze categorieën niet scherp van elkaar te onderscheiden. Ook steunt deze indeling sterk op reductionistische verklaringen, terwijl emergente processen, waarover later meer, zich minder makkelijk in dit soort schema’s laten vangen (zie bijvoorbeeld Hasok, 2008, p. 197 e.v. over problemen met reductionistische verklaringen, geïllustreerd aan de geschiedenis van het meten van temperatuur). Figuur 1 laat zien hoe onze kennis over intelligentie—dat zelf een theoretisch begrip is—daarmee inhoudelijk gestructureerd is weer te geven, en dat daarin de verschillende soorten begrippen een betekenisvolle relatie tot elkaar hebben. Zowel in het onderwijs zelf als bij het toetsen spelen deze begrippen een eigen rol. Men zou nu kunnen zeggen dat het onderwijs bedoelt de student met deze wetenschappelijke terminologie op adequate wijze te leren omgaan, waaronder ook begrepen is het verkrijgen van een overzicht hoe deze begrippen onderling gerelateerd zijn. Het gaat op een veelbetekenende manier in het onderwijs altijd om het adequaat leren hanteren van de terminologie van het vak, waarvan de vaktermen voor de begrippen een belangrijk onderdeel zijn. Welke rijke werelden aan inzicht en kennis achter die taligheid liggen is altijd een tikje speculatief, en alleen met nog meer taal duidelijk te krijgen. Die taligheid van onderwijs, van leren, is op een bijzondere manier uitgewerkt in onderzoek van Anna Sfard, zoals Sfard en Lavie (2005), dat ik nog moet bestuderen, maar dat op een eigen wijze bevestigt dat in de onderneming die onderwijs heet, communicatie the name of the game is.
Figuur 2. Voorbeeld van heel ver gaande interpretatie van beeld. In deze foto gemaakt met de Hubble-satelliet-telescoop zijn de rood omcirkelde beelden die van één en het zelfde twaalf miljard jaar oude sterrenstelsel—de lensed galaxy—waarvan een drievoudig beeld is gevormd door een tussenliggend cluster van sterrenstelsels dat als ‘lens’ functioneert. Die lens heeft bovendien de afbeelding enorm versterkt: zonder die versterking zou het stelsel niet sterk genoeg zijn om met de Hubble-telescoop te kunnen waarnemen. Ook: vijfvoudige afbeelding van quasar (wit omcirkeld) en een supernova in het lens-stelsel zelf (geel omcirkeld).
Voor meer gedetailleerde afbeeldingen zie html of direct jpg. Credit: ESA, NASA, K. Sharon (Tel Aviv University) and E. Ofek (Caltech). For the scientific interpretation see Lamer e.a. (2006) pdf
Zie Ronald Giere (2006, hoofdstuk 3) over verschillende manieren om ons eigen sterrenstelsel, de Melkweg, ‘zichtbaar’ te maken.
Zie ook over zwaartekrachtlenzen persbericht — http://www.ifa.hawaii.edu/~bolton/newslacsmosaic.jpg, op de SLACS website, The Sloan Lens ACS Survey
hubblesite.org STScI-PRC2005-32
Een recenter artikel, met spectaculaire foto’ van een kosmische lens die 200 keer vergroot (!): Adi Zitrin, Tom Broadhurst (October 1, 2009). Discovery of the largest known lensed images formed by a critically convergent lensing cluster. Astrophysical Journal Letters. Een concept-versie: pdf
Dit hoofdstuk geeft ook aandacht aan het definiëren van begrippen. In het onderwijs spelen definities vaak een hoofdrol, definities die helaas ook op minder handige wijze in toetsen opduiken. De begrippen en vaktermen van het vak laten verschillende soorten definities toe, maar pas op, er zijn belangrijke begrippen zoals ‘massa’ in de natuurkunde (Max Jammer schrijft er uitvoerig over) en ‘intelligentie’ in de psychologie die zich niet in strikte zin laten definiëren.
Er ontbreekt iets in het bovenstaande schema: de symbolische weergave. Natuurlijk, de vaktermen zelf zijn ook symbolisch, maar naast de namen van begrippen en verschijnselen hebben de meeste wetenschappen krachtige symbolische representaties ontwikkeld. Het hoofdstuk van Kozma (2000 pdf ) was de directe aanleiding voor deze uitbreiding, die er ook zonder Kozma noodzakelijk aan zat te komen.
Kozma (2000, pdf p. 13)
Kozma is in laboratoria gaan waarnemen hoe onderzoekers met die symbolische representaties in de weer zijn om hun empirische resultaten te duiden. Ook is onderzocht op welke manier studenten—novices—anders met die symbolische representaties omgaan dan experts doen. Want ànders is het, en dat is van eminent belang voor de didactiek, en daarmee ook voor de ontwerper van toetsvragen.
"(...) het begrip van de beginneling lijkt ingeperkt door de oppervlakkige kenmerken van symbolische systemen en symbolische uitdrukkingen om wetenschap uit te leggen. Ongelukkigerwijs is er weinig of niets in de oppervlakkige verschijningsvorm van de symboliek dat correspondeert met onderliggende scheikundige begrippen. Studenten missen ook de verklarende vermogens om de verbindingen te kunnen maken tussen de symbolen en deze scheikundige abstracties. Met als gevolg dat wetenschappelijke symbolen studenten vaak niet helpen om scheikunde te begrijpen, dat begrip zelfs vaak in de weg staan. " (...)
“Yarroch (1985) interviewde leerlingen scheikunde in high school over de betekenis van scheikundige vergelijkingen. Hoewel zij in staat waren om scheikundige vergelijkingen te balanceren, begrepen de meeste leerlingen maar weinig van de scheikundige betekenis van deze symbolen. Zij waren niet in staat om onderscheid te maken tussen subscripten en coëfficiënten in de scheikundige vergelijking N2 + 3H2 —> 2NH3, en stelden 3H2 voor als zes verbonden punten, in plaats van als 3 diatomische paren.” (....)
“Krajcik (1991) wees erop dat leerlingen weliswaar goed kunnen werken met scheikundige symbolen, maar deze vaak behandelen als wiskundige puzzels zonder enig begrip van de scheikunde waar deze symbolen mee hebben te maken.”
vertaald uit Kozma (2000, pdf p. 17, 18)
Er is dus een rijke klasse van valide toetsvragen over het begrijpen van symbolische representaties. Het belang van deze klasse van vragen is moeilijk te overschatten, zoals David Hestenes (Halloun en Hestenes, 1985 pdf) heeft laten zien voor de bewegingswetten van Newton in het natuurkundeonderwijs, zowel middelbaar als hoger onderwijs. Dat ‘nauwelijks te overschatten’ zit hem ook hierin, dat om te beginnen niet alle docenten beseffen dat er überhaupt een probleem is dat dus (ook) bij het toetsen aan de orde zou moeten zijn.
De toon is gezet, dit onderwerp zal nog uitvoerig en herhaaldelijk terugkomen, in tal van varianten.
Het komt niet als een verrassing dat het leren hanteren van symbolische representaties samengaat met groeiend begrip van de onderliggende abstracties. Een mooi en toegankelijk voorbeeld daarvan is te vinden in onderzoek van Brizuela (2004) naar de ontwikkeling van het getalbegrip bij jonge kinderen, en van het begrip van hoe die getallen te schrijven. Wiskunde is de ultieme vorm van symbolisch representeren, kinderen maken daarmee kennis bij het leren van algebra, en zij zijn al op jonge leeftijd in staat om met algebraïsche representaties te werken (Carraher, Schliemann, Brizuela en Earnest, 2006). Ligt hier de sleutel voor het werkelijk voor iedereen toegankelijk maken van wiskunde?
Brizuela (2004) laat niet na erop te wijzen dat de strijd van kinderen om zich het getalbegrip te verwerven—een constructief proces—raakpunten heeft met wat zich historisch heeft afgespeeld in de geschiedenis van de wiskunde. Belangrijke stappen voorwaarts gingen samen met doorbraken in de notatie, zoals het gebruiken van de 0 als plaatshouder, in Europa de overgang op arabische cijfers, voor tal van andere voorbeelden zie Ifrah (1981). Dit geldt algemeen voor de ontwikkelingen in de wetenschap, zie bijvoorbeeld Kozma (2000 pdf) of bijna ieder willekeurig boek over inhoudelijke wetenschapsgeschiedenis. Een aardig onderwerp uit die geschiedenis, dat in volgende hoofdstukken terugkomt, is het leren onderscheiden van twee betekenissen van warmte: intensiteit (temperatuur) en hoeveelheid (warmte) (Roller, 1950; McCormmach, 2004). De symbolische representaties in dit onderzoek zijn vooral de uitkomsten van experimenten en metingen. In paragraaf 2.6 was al aan de orde dat hier de geldigheid van (de interpretatie van) uitkomsten aan de orde is. Welnu, de dagelijkse wereld confronteert ons voortdurend met symbolische representaties in deze categorie: dna-profielen, hartfilmpjes, foto’s van gebeurtenissen in het heelal, of foto’s van atomen binnen een molecuul (IBM is daarin geslaagd in 2009). Wat hier nog ‘foto’ heet is absoluut 100% misleiding, want deze beelden zijn op uiterst complexe manier geconstrueerd uit modellen en zwakke signalen.
En zo blijkt een verkenning naar de aard van kennis—en dus ook van leerstof en toetsen daarop—meteen te leiden tot tamelijk fundamentele kwesties over de wereld en kennis van die wereld. In de filosofenoorlog tussen realisten en constructivisten staat zelfs het bestaan van die wereld ter discussie, althans van de wereld die niet zonder theorie en geavanceerde instrumenten voor ons waarneembaar is. De ontwerper van toetsvragen kan daar op verschillende manieren mee omgaan, bijvoorbeeld ontwijkend door de positie te kiezen dat het volstaat om te weten hoe wetenschappers met elkaar spreken over die aspecten van de wereld die zij onderzoeken of beschrijven. Uiteindelijk is dat misschien niet voldoende, en is het beter een consistent standpunt in te nemen. Een uitstekende kandidaat daarvoor is het wetenschappelijk perspectivisme van Ronald Giere (2006), dat op een overtuigende manier het sop van de realisten en de kool van de constructivisten spaart in een middenpositie. Hetzelfde werkelijk bestaande ding wordt door verschillende beschouwers noodzakelijkerwijs in iets verschillend perspectief gezien, dat is zo'n beetje de metafoor, omdat hun posities nooit precies hetzelfde zijn. In zijn boek werkt hij dat uit aan de hand van het voorbeeld van het zien van kleuren: die kleuren bestaan niet werkelijk, al ligt er een werkelijk bestaand fenomeen aan ten grondslag—verschillen in golflengte—, maar wij hebben op heel jonge leeftijd geleerd kleuren te onderscheiden en benoemen. Culturele verschillen in het kunnen onderscheiden van kleuren kunnen belangrijk zijn. Bij Giere is het waarnemen in deze zin perspectivisch, we hebben geleerd hoe te zien, en instrumenten te maken die het mogelijk maken aspecten van de wereld te zien die anders verborgen zouden blijven. Dit zijn zaken die van belang zijn bij het ontwerpen van onderwijs: de ‘wereld’ openbaart zich niet vanzelfsprekend en onproblematisch aan de goede toeschouwer of de slimme leerling, het vergt strijd om de wereld in een cultureel aanvaard perspectief te leren zien. Interessant is dat Giere consequent ook onze theoretische activiteiten als perspectivisch ziet, theoretiseren is een zienswijze op de wereld, zodat theoretische begrippen niet categorisch van een andere orde zijn dan wat direct of indirect waarneembaar is.
onderstaande tekst van dit hoofdstuk, voorzover uit 1983, is nog niet volledig herzien
Wetenschappelijke terminologie. Of de student nu natuurkunde, geneeskunde, sociologie of rechten studeert, zij moet zich de terminologie van dat vakgebied eigen maken. Niet alleen de betekenis van zijn vaktermen, maar ook hoe over de problemen in dat vakgebied te spreken in de taal van dat vakgebied. Neem de voor de toets opgegeven stof en inventariseer de nieuwe vaktermen en begrippen, en ook de al bekende begrippen die een verdiepte betekenis krijgen. Bij studieboeken met een goede index zijn die vaktermen daar bijna alle in terug te vinden. Dekt zo'n opsomming van vaktermen de hele leerstof? Ja en nee. Nee, omdat ook de onderlinge relaties tussen de begrippen een hoofdrol spelen, en die relaties niet altijd een eigen naam krijgen. Ook nee, omdat die vaktermen vaak de—abstracte—naambordjes zijn, waarachter werelden van—concrete—betekenis kunnen liggen. Ja, omdat op deze wijze de opsomming van vaktermen—en hun relaties—de hele stof representeert. Met een goede lijst van vaktermen of begrippen en hun relaties heeft de ontwerper de zekerheid de hele stof te bestrijken.
Het is handig de lijst van begrippen te ordenen, zowel naar hun onderlinge relaties—door te schematiseren—als naar onderscheiden soorten van begrippen. De volgende paragrafen verdelen begrippen in drie soorten: (indirect) waarneembare, abstracte en theoretische begrippen. Globaal gesproken past bij waarneembare begrippen een ander slag toetsvragen dan bij theoretische begrippen, voor de ontwerper is het goed zich van dat onderscheid bewust te zijn.
Keefe, Rosanna, & Peter Smith (1996). Vagueness: A reader. The MIT Press. MIT Press
Veel minder bekend, en daarom verrassend, is een heel ander type van vage begrenzing van begrippen, namelijk bij gebruik op andere gebieden dan hun oorspronkelijke domein. Zo maakte Bridgman er een punt van dat het begrip lengte zoals in het dagelijks leven gebruikt, ook wordt gebruikt bij afstanden op kosmische schaal, of helemaal aan het andere uiterste bij afmetingen van elementaire deeltjes (Bridgman, zoals besproken in Hasok Chang, 2004). Maar die afstanden en afmetingen zijn niet eenvoudig vergelijkbaar met de afstand van huis naar school, of de lengte van Jan. Einstein maakte met dat type denkfout korte metten in zijn speciale relativiteitstheorie. Maar ook veel dichter bij huis gebruiken we heel veel begrippen op heel oneigenlijke manieren. Zo zeggen we heel makkelijk dat electriciteit ‘stroom’ is, dus ‘stroomt’, en verleidt die onhandige analogie ons tot allerlei verkeerde denkbeelden over electriciteit (onderzoek van James Slotta en Michelene Chi, 2006), alsof electriciteit zich net zo zou gedragen als water dat stroomt. In het onderwijs van wiskunde komen metaforen van beweging en tijd voor, terwijl de betreffende wiskunde in feite bewegingloos is, waardoor studenten bij de studie van limieten etcetera in feite voortdurend op het verkeerde been worden gezet (Rafael Núñez, 2007). Hoewel er op dit gebied een aantal indrukwekkende studies zijn, zoals die van Hasok Chang (2004) over de uitvinding van temperatuur, is het wat onderwijs betreft nog goeddeels onontgonnen terrein (maar zie onderzoek over cognitive change). Dat wil niet zeggen dat de thematiek maar van zijdelings belang is, integendeel, het heeft alles te maken met hoe leerlingen hun soms naïeve begrip van de wereld kunnen veranderen door verantwoorde vormen van instructie, en bijbehorende vormen van terugkoppeling en toetsing.
Hasok Chang (2004/2007). Inventing temperature. Measurement and scientific progress. Oxford University Press.
James D. Slotta and Michelene T. H. Chi (2006). Helping students understand challenging topics in science through ontology training. Cognitive Science, 24, 261-289. pdf
Rafael Núñez (2007). The cognitive science of mathematics: Why is it relevant for mathematics education? pdf
In de wetenschap spelen waarneembare verschijnselen een belangrijke rol. Ook bij abstracte wetenschappen is dat wel het geval, al was het slechts omdat het onderwijs vaak vanuit concrete dingen de basis-abstracties—zoals van het rekenen—opbouwt. Bij toegepaste wetenschappen is de wereld van vlees en bloed, van glas en beton, altijd aanwezig. Maar ook in fundamenteel onderzoek spelen waarneembare verschijnselen hun rol bij het toetsen van de uit de theorie afgeleide voorspellingen over de wereld.
Waarneming lijkt alleen vanzelfsprekend omdat we ons niet meer bewust zijn van de moeite die het heeft gekost om zover te komen. Een sprekend voorbeeld daarvan is de eerste waarneming van de vier grote manen van de planeet Jupiter, door Galileo Galileï. Zowel het fenomeen van de sterrenkijker, als dat van manen bij een andere planeet dan de aarde, was onbekend bij zijn tijdgenoten. Toen hij enkelen, tot bewijs van zijn vondst, zelf liet ‘kijken,’ waren zij niet zomaar in staat om de claim van Galileï al kijkend door die kijker bevestigd te zien.
De verwondering van Galileï’s tijdgenoten is natuurlijk dezelfde als die van leerlingen en studenten: ook hun waarneming is niet zo vanzelfsprekend als hun docenten wel eens wensen. De wereld die we wensen dat studenten ze zien, moet met zorg worden opgebouwd. Er valt alleen iets te zien voor wie weet hoe te kijken.
Zie bv Ron Baalke The discovery of the Galilean satellites html
Waarneembare begrippen zijn er in velerlei soort, maar alle hebben ze gemeen dat ze verwijzen naar wat voor ons op vanzelfsprekende wijze waarneembaar is, ook als die waarneming op zich buitengewoon gecompliceerd is door de hulpmiddelen die ervoor nodig zijn.
Het valt in de gegeven opsomming op dat veel van deze waarneembare begrippen de student al bekend zijn, nog voordat zij de leerstof heeft gezien. In andere gevallen maakt de student in zijn studie op ‘vanzelfsprekende’ wijze kennis met de relevante waarneembare begrippen, die dan ook al even vanzelfsprekend niet een speciaal onderwerp van toetsing zijn. In de overige gevallen zijn de waarneembare begrippen expliciet onderwerp van onderwijs, waar de student leert waar te nemen op de in het vak gebruikelijke wijze. Op dat laatste slaan de toetsvragen over herkennen, benoemen, het geven van voorbeelden, aanwijzen e.d.
De titel van deze paragraaf spreekt ook over indirect waarneembare begrippen. Dat zijn gebeurtenissen, dingen, eigenschappen, e.d., die met instrumenten zijn waar te nemen, of waarbij een bepaalde proefopstelling nodig is.
Ook vallen de begrippen eronder die interpretaties van waarnemingen zijn. Een paar voorbeelden.
In het onderwijs leveren indirect waarneembare begrippen bijzondere problemen op, zoals uit de gegeven voorbeelden al mag blijken. Houd rekening met dat bijzondere karakter, om onjuistheden en dubbelzinnigheden in de vraagstelling te vermijden. Vandaar de extra moeite om binnen de categorie waarneembare begrippen het onderscheid te maken tussen datgene wat direct, met het ‘ongewapend oog’ waarneembaar is, en datgene wat al evenzeer een concreet karakter heeft, maar toch niet direct waarneembaar is.
Toetsvragen kunnen op dat indirecte karakter gericht zijn: ‘Waaruit kan blijken dat ...,’ ‘Hoe kom je erachter of ...’ ‘Welke proef is nodig om ....’ Het kan van belang zijn te toetsen of de student het indirect waarneembare karakter onderkent. Dergelijke vragen impliceren dus vaak het tegelijk toetsen van bepaalde wel waarneembare begrippen.
Wanneer een politicoloog over ‘de regering’ spreekt of wanneer de econoom over ‘de markt’ spreekt, hebben zij het niet over concreet aanwijsbare zaken. Dergelijke abstracte begrippen zijn een soort verzamelnaam voor heel uiteenlopende activiteiten, uitingen, instanties. Voor een abstract begrip is doorgaans geen uitputtende lijst te maken van zaken enz. die er onder vallen. Neem bijvoorbeeld het abstracte begrip ‘intelligent gedrag’ uit de psychologie: concrete gedragingen die als intelligent aan te merken zijn, zijn niet in algemene termen uitputtend te beschrijven. Wie over intelligent gedrag spreekt, bedoelt daarmee alle verschillende uitingsvormen samen te vatten of te abstraheren.
Het zal niet verbazen dat abstracte begrippen lastig te beschrijven zijn. Dat is ook in de wetenschap zo, en dat geldt in optima forma voor de wetenschappen die juist verkeren in de fase van aftasting van de betekenis van abstracte begrippen. In de psychologie doen verschillende beschrijvingen de ronde van ‘intelligent gedrag,’ ook—of misschien juist—binnen een en hetzelfde boek. Hetzelfde in de sociologie, bijvoorbeeld bij een begrip als ‘maatschappelijke klasse.’ Het gaat er dan niet om die ene betekenis te vinden die de juiste is, maar om in de opsomming van verschillende betekenissen het bedoelde begrip een goede dekking te geven. Hieronder Wittgenstein over de betekenis van ‘de betekenis van een woord.’
De betekenis van een woord is zijn gebruik in een taal; zijn gebruik in de praktijk; zijn rol in het taalspel; zijn plaats in de grammatica. De betekenis van een woord is datgene wat uitgelegd wordt in de uitleg van zijn betekenis. De betekenis van een woord is zijn doel. De betekenis van een zin is zijn gebruik; de methode waarop hij kan worden geverifieerd; wat wordt uitgelegd in de uitleg van zijn betekenis. De rechtvaardiging of de grond voor een bewering vormt zijn betekenis.
Voor de bronvermelding voor ieder van deze uitspraken, zie Baker en Hacker 1980, blz. 685
Het is niet eenvoudig deze abstracte begrippen te vangen in korte toetsvragen. Het gaat vaak om structuren, instituties, emergente processen zoals electriciteit en gasdruk, en dergelijke. De wijze van behandeling van deze begrippen in tekstboeken is vaak een verbaal uiteenzettende. Voor toetsvragen over tekst zie hoofdstuk 6.
Constructs. Een andersoortige abstractie is die welke de complexe werkelijkheid vereenvoudigt tot een hanteerbaar ideaalmodel. In de natuurkunde zijn er de abstracte begrippen vacuüm, puntmassa, snelheid op tijdstip t, of nul graad Kelvin. Strikt genomen zijn dit onbestaanbaarheden, al is er een voorstelling van te maken als toestanden die in de limiet benaderbaar zijn. Deze abstracte begrippen zijn zo gekozen om daarmee in staat te zijn wiskundige modellen of theorieën te bouwen van redelijke eenvoud, of althans van nog hanteerbare complexiteit. Ook andere wetenschappen kennen om deze reden abstracte begrippen, denk aan de ‘homo economicus’ of de ‘rationele mens’ in de economie, een begrip als ‘Jan Modaal’ of ‘de gemiddelde student.’ In de regel zijn er van deze ‘ideaaltypische’ abstracte begrippen geen concrete voorbeelden te geven: die bestaan niet. Met uitzondering van Jan Modaal: er zijn immers nogal wat mensen die een modaal inkomen hebben, dat is het meest voorkomende inkomen.
Een ander voorbeeld: in de testleer is sprake van de ‘ware score’ en de ‘meetfout;’ zo is een toetsscore uit te splitsen in een (niet waarneembare, ook niet noodzakelijkerwijs bestaande, maar wel denkbare) ware score, en een (evenmin waarneembare enz.) meetfout, die samen optellen tot de waargenomen score. Deze abstracte begrippen zijn in het onderwijs nogal eens problematisch, omdat studenten het specifieke abstracte karakter ervan niet gemakkelijk begrijpen. Abstracte begrippen van dit type zal ik ook wel aanduiden als constructen, als ‘gemaakte’ abstracties, ter onderscheiding van het soort abstracte begrippen in het eerste deel van deze paragraaf besproken.
Toetsvragen over en rond constructen zijn op talrijke verschillende manieren vorm te geven. Juist door het gemaakte karakter van deze constructen hebben ze vaak een exact omschreven definitie, waarmee in toegepaste situaties valt te werken. Constructen zijn ontworpen op hun toepasbaarbeid, en op het kunnen toepassen valt dan ook een natuurlijke nadruk. Vragen met een meer indirect karakter liggen meer in de sfeer van de in hoofdstuk 6 behandelde toetsvragen over tekst: bv. het herkennen van impliciete aannames, aangeven van consequenties die volgen uit bepaalde gekozen axioma’s, of de beperkingen inherent aan het gebruik van constructen aangeven. Voorzover een construct afgeleid is van andere constructs: deze afleiding kunnen produceren, zelf constructen kunnen vormen bij het aanpakken van complexe problemen, en gekozen constructs, axioma’s of veronderstellingen kritiseren, zijn ook mogelijkheden.
Een belangrijke aanscherping van het begrippenapparaat, als ik dat een beetje dubbel zo mag noemen, is te verkrijgen aan de hand van het werk van Michelene Chi (pdf). Veel abstracte en theoretische begrippen zijn van het type dat zij zich ontwikkelende processen, emergente begrippen, noemt: dat zijn processen die niet direct waarneembaar zijn, maar bestaan uit een opeenstapeling van samenstellende processen die leiden tot einduitkomsten op macro-niveau die wel waarneembaar zijn. Deze verrijking van ons repertoire is van groot belang, omdat blijkt dat leerlingen en studenten de grootst mogelijke moeite hebben om deze zich ontwikkelende begrippen eigen te maken. De reden is dat de wèl waarneembare verschijnselen van deze processen leiden tot de stevig verankerde misvattingen dat het bij deze processen zou gaan om gewone stoffelijke processen, zoals water dat stroomt als analoog aan electriciteit, en dat is niet zo. Kortom: iedereen in het onderwijs worstelt met het verschijnsel dat leerlingen verkeerde ontologische duidingen maken en daardoor in de stof verstrikt raken, maar slechts weinigen zijn tot nu toe in staat de achtergrond van deze worsteling te duiden. Inwerken van het onderzoek van Chi en haar collega’s, dat zich uitstrekt over meerdere decennia, zal leiden tot belangrijke aanwinsten voor de technologie van het ontwerpen van toetsvragen. Voor recente inzichten in emergente processen, zie Bedau en Humphreys (2008).
Een gerijpte wetenschap is uitgegroeid van het ordenen, beschrijven, en classificeren van empirische gegevens naar het bouwen van theorieën; van het doen van voorspellingen op grond van waargenomen empirische wetmatigheden tot het doen van voorspellingen op grond van afleidingen uit de theorie.
Een wetenschappelijke theorie bevat dan ook, naast waarneembare en abstracte begrippen, een bijzondere categorie termen die we theoretische termen zullen noemen. Waarom bijzonder? Wel, men kan zich afvragen waar theoretische begrippen eigenlijk aan refereren, omdat met de waarneembare en (sommige) abstracte begrippen al het ‘waarneembare’ uitgeput is. theoretische begrippen verwijzen niet naar waarneembaarheden; en dat is minder een verrassende opmerking als wel een noodzakelijke. Neem een theoretische term uit de natuurkunde zoals ‘aantrekkingskracht’ of ‘massa.’ Of een beruchte theoretische term uit de psychologie als ‘intelligentie.’ Dat zijn termen waarbij niets concreets aanwijsbaar is, het zijn termen waarbij het niet mogelijk is een korte dekkende beschrijving van hun ‘betekenis’ te geven, het zijn termen waarvan de betekenis vooral gegeven is in de vorm van hun relaties tot de andere termen in de theorie. In het bijzonder zal het doorgaans niet mogelijk zijn om een bevredigende definitie van theoretische begrippen zoals intelligentie of zwaartekracht te geven. Het is daarom zinloos om over voorgestelde definities te bekvechten, of om studenten een definitie van eigen voorkeur te laten leren.
In het onderwijs is de behandeling van theoretische begrippen doorgaans verre van eenvoudig, juist omdat ze hun betekenis ontlenen aan de diverse relaties die ze binnen een bepaalde theorie hebben tot de andere termen in die theorie. De behandeling van de belangrijkste van die relaties brengt de betekenis geleidelijk over. De betekenis van een theoretische term groeit bij het verder kennis nemen van het vak, en zal nooit helemaal ‘af’ zijn.
Een wetenschappelijke theorie steekt vaak in wiskundige kleren, die de theoretische begrippen en hun bijzondere onderlinge relaties in formules vastlegt: E = mc2, F = ma enz. Nieuwe theoretische begrippen worden, in de didactische opzet van het studieboek, meteen in formule gepresenteerd, en de student leert op een aantal relevante manieren met zo'n formule, en daarmee met deze theoretische begrippen, om te gaan. Naast wiskundig onderbouwde theorieën zijn er uiteraard ook theorieën die meer verbaal van karakter zijn, zoals de persoonlijkheidstheorie van Freud of de evolutietheorie van Darwin, waarin de diverse theoretische begrippen ook streng aan elkaar gerelateerd zijn.
Theorieën handelen over gepostuleerde eigenschappen van dingen, personen, gebeurtenissen enz. In het dagelijks spraakgebruik hebben dergelijke eigenschappen een ‘observeerbare’ status. In de wetenschappelijke theorie is dat veelal niet het geval, spelen ze hun rol als theoretische begrippen.
Ik noemde al de persoonlijke eigenschap ‘intelligentie,’ en hetzelfde geldt voor eigenschappen in de natuurkunde: ‘lengte,’ ‘massa,’ ‘energie,’ ‘snelheid,’ ‘temperatuur.’ In de natuurkundige theorie is de koppeling van deze termen aan waarneembare begrippen soms heel weinig problematisch, en bestaat de verleiding om de theoretische term ‘lengte’ simpelweg gelijk te stellen aan de waarneembare term ‘lengte.’ Zo'n simpele gelijkstelling is al niet meer mogelijk waar het gaat om de ‘snelheid op het tijdstip t,’ omdat deze snelheid niet een corresponderende waarneembare term heeft, maar zijn ‘waarde’ berekend moet worden uit meerdere waarnemingen. In de psychologie is de koppeling van de theoretische term ‘intelligentie’ aan waarneembare verschijnselen heel weinig direct; ik kom daar in 3.4 bij wijze van voorbeeld nog uitgebreider op terug.
Omdat de betekenis van theoretische begrippen vooral in hun relaties tot andere termen ligt, kunnen toetsvragen alleen over die relaties gaan. Er bestaat niet zoiets als een toetsvraag die zich strikt beperkt tot één theoretische term. Ook vragen over de historische ontwikkeling in de betekenis van een theoretische term betreffen de verandering van inzichten in de relaties van deze term tot andere, waarneembare of theoretische, termen. Hier is het wel erg belangrijk dat netwerk van relaties ook op schrift te stellen; de volgende paragraaf geeft daar een techniek voor.
Nota Bene. De oorspronkelijke paragraaf 3.3 maakt geen verder onderscheid naar typen van theorieën, maar het is voor het ontwerpen van toetsvragen over theoretische begrippen wel degelijk van belang of het (substantiële) processen betreft, ‘emergente’ processen (in de zin van Slotta en Chi, bijvoorbeeld), of beschrijvende processen (de velden uit de fysica waarin geen sprake is van oorzaken in enige substantiële zin maar alleen van mathematiek of mathematische modellen).
Mogelijk is hiervoor toch een nadere plaatsbepaling nodig van wat als ‘oorzaak’ van wat kan gelden, en hoe om te gaan met situaties waarin het niet zinvol is om oorzaken en gevolgen te onderscheiden (maar wat dan wel?). Dat komt gevaarlijk dicht bij de thematiek van het vragen van verklaringen, het onderwerp dat in de editie 1983 helemaal buiten beschouwing is gelaten, en waarvoor ik materiaal bijeenbreng in verklaren.htm.
De betekenis van individuele termen ligt vooral in relaties tot andere termen. De waarneembare begrippen in een classificatie dekken met elkaar alle verschijnselen in een bepaald veld. theoretische begrippen ontlenen hun betekenis aan relaties tot andere theoretische begrippen en tot bepaalde waarneembare begrippen. Voor de leerstofinventarisatie betekent het dat een opsomming van relevante termen de stof slechts eenzijdig beschrijft. De inventarisatie is pas volledig wanneer daarin ook alle relevante relaties tussen deze termen zijn opgenomen. Ik duid dat kort aan als het expliciteren van de onderlinge verknooptheid van de termen in de inventarisatielijst.
Om er zeker van te zijn geen enkele relevante relatie over het hoofd te zien, kan de ontwerper voor iedere term telkens voor de hele lijst nagaan of er met enige andere term een relevantie relatie is. Dat is omslachtig, en maar zelden nodig omdat in de theorie de relevante relaties al zijn uitgetekend. In de natuurkunde bijvoorbeeld zijn de belangrijke relaties tussen theoretische begrippen gegeven in het samenstel van natuurkundige wetten. In wetenschappen gericht op waarneembare verschijnselen zijn er classificaties of taxonomieën ontwikkeld die de onderlinge relaties vastleggen.
Maak dan van de geïnventariseerde relaties een conceptueel schema, op dezelfde wijze als de student de inhoud van een studietekst schematiseert (Breuker 1980, Mirande 1981, Novak en Canas 2006). De omgekeerde weg is ook begaanbaar: met de lijst van termen als uitgangspunt een schema maken van de termen in hun onderlinge verband.
Bij het schematiseren is het handig onderscheid te maken naar relaties tussen termen die van dezelfde soort —alleen theoretische begrippen of alleen waarneembare begrippen—en relaties tussen termen van verschillend soort—zoals tussen een theoretische en een waarneembare term. Noem dat resp. horizontale en verticale verknooptheid.
Verticale verknooptheid van termen. Rond de theoretische term intelligentie is een verticaal verknoopt schema van termen te maken, zie figuur 1. Het ligt voor de hand om het schema in zo'n geval ook verticaal te structureren overeenkomstig het onderscheid naar waarneembare, abstracte, en theoretische begrippen.
Zo'n schema geeft een goed overzicht. De relaties in het schema zijn onderwerp van het onderwijs en toetsing. Zo kan de wederkerige relatie tussen intelligentie en testscore staan voor een overzicht van de ontwikkeling van het theoretische intelligentiebegrip in wisselwerking met in onderzoek verkregen testscores. Maak voor complexe relaties een afzonderlijk of een uitgebreider schema. Novak en Canas (2006) laten heel ‘rijke’ schema’s zien.
Aan de hand van figuur 1 is uit te leggen wat het onderscheid is tussen termen op verschillende niveaus van abstractie. Een intelligentietest is een concreet meetinstrument waarvan verschillende uitvoeringen bestaan, waarvan ieder testarchief er een aantal heeft, waar studenten in een practicumsituatie mee leren werken als testafnemer, of deze ondergaan als proefpersoon. De testscore is een volgens vastgelegde regels bepaalde combinatie van de scores op afzonderlijke testvragen, en de IQ-score is daar weer een bepaalde bewerking van. De test biedt een gestandaardiseerde situatie om bepaalde vormen van intelligent gedrag te onderzoeken, dat is altijd een heel beperkte keuze van gedragsmogelijkheden, meestal nog verder beknot door het papieren karakter van de meeste tests. Intelligentie is een theoretische persoonlijkheidseigenschap, de verklarende factor achter uiteenlopende vormen van intelligent gedrag.
Intelligentietheorieën zetten het in figuur 1. gegeven geraamte telkens anders in het vlees, leggen andere accenten in hun keuze van te observeren intelligent gedrag. De tests verschillen dan ook qua opzet en inhoud van elkaar, de achterliggende theorie is anders opgebouwd, zij hebben zwakke en sterke punten. Voor funderende theorie zie Borsboom, Mellenbergh en Van Heerden (2003).
Het schema van figuur 1 is in dezelfde vorm te gebruiken voor de relaties rond andere theoretische begrippen, niet alleen in de psychologie maar ook in andere wetenschappen. Bijvoorbeeld de theoretische term temperatuur: temperatuurverschillen in een bepaald voorwerp blijken uit een scala van verschijnselen, warmtegedragingen, naar analogie met intelligent gedrag. De theoretische eigenschap temperatuur is de daarvoor gedachte verklarende factor. Een geschikt meetinstrument voor temperatuur is te maken door een handige keuze uit de verschillende warmtegedragingen te doen en daarvoor een gestandaardiseerde procedure te ontwerpen. Bv. de wijze waarop de huisarts koortsige patiënten temperatuurt. De uitslag van het meetinstrument is op zich eenvoudige waarneembaar, zo is het instrument immers ontworpen. Aflezen en interpretatie valt samen doordat meestal een bekende schaalverdeling bij de wijzer is geplaatst. De zo af te lezen uitslag is een indirect waarneembare term, want een interpretatie via de aangebrachte schaal, ook al valt hij direct van het instrument af te lezen.
Voor andere theoretische eigenschappen valt dezelfde schemavorm te hanteren: agressiviteit, minderwaardigheidscomplex, massa, snelheid, lengte enz.
Horizontale verknooptheid van termen. Relaties tussen theoretische en waarneembare begrippen zijn wel gemakzuchtig door streepjes aan te duiden, maar die vatten een complex van afzonderlijk te schematiseren relaties samen. Dat is anders bij horizontale verknooptheid; de relatie van de ene waarneembare term tot andere waarneembare begrippen is doorgaans simpel, terwijl wetmatigheden die de ene theoretische term verbinden met andere theoretische begrippen doorzichtig zijn te formuleren. Voorbeelden van horizontale verknooptheid van waarneembare begrippen zijn te vinden in classificaties of taxonomieën, waarvan het periodiek systeem van scheikundige elementen wel een heel fraaie is. Verhalende teksten zijn met weinig moeite te schematiseren.
Bij theoretische begrippen zijn de onderlinge relaties eveneens in de theorie vastgelegd, op zich ook theoretische begrippen, samen een nomethetisch netwerk vormend, zeg maar gewoon een schema. Is de theorie in een wiskundig jasje gestoken, dan geven de wetten, formules, of kernbetrekkingen de onderlinge relaties weer. Zie bijvoorbeeld het schema in figuur 2 van de theorie voor vallende lichamen. In het schema zijn niet de theoretische termen, maar de wetten in de theorie uitgezet; omdat iedere theoretische term met alle overige termen relaties heeft, zou een schema daarvan zinloos zijn. Kies dan voor het in schema zetten van de wetten of formules, waarbij de onderlinge relaties tussen de wetten bijvoorbeeld de volgorde van afleiding, historische ontwikkeling of ‘logische’ opbouw van de theorie kunnen zijn. Figuur 2 geeft twee soorten relaties: de formules zijn zelf relationeel, en de relaties tussen de formules. Het gekozen schema begint links bij de eenvoudige formule dat snelheid een functie is van zwaartekracht en verstreken tijd. Omdat de snelheid na t seconden gelijk is aan de afgeleide van het verticaal afgelegde aantal meters h naar t, moet h = 0,5 gt2 zijn (de afgeleide van 0,5 gt2 naar t is immers gt). De derde formule is een toegift; zij volgt onmiddellijk uit de tweede formule.
De theorie over vallende lichamen is in het onderwijs op verschillende manieren te behandelen: studenten leren omgaan met de formules; de theorie leren toepassen op verbaal beschreven concrete situaties; in practicumsituaties of vanaf de toren van Pisa de theorie toepassen; de geschiedenis van de theorie bestuderen—heeft Newton dat verhaal van die appel verzonnen?—of de veronderstellingen van de theorie kritisch analyseren—bijvoorbeeld dat de val in vacuüm plaatsvindt. Al naar gelang de wijze waarop de theorie in het onderwijs aan de orde is geweest, zijn geschikte vragen te ontwerpen. Met het in schema zetten van de termen zoals in het onderwijs behandeld, is de leerstofinventarisatie volledig. Het kan een verrassing zijn dat over de opgegeven leerstof gemaakte schema’s nogal eenvoudig blijken. Immers, er komen op zijn hoogst evenveel termen in voor als in de index over dezelfde stof al zijn te vinden. De eenvoud is bedrieglijk, omdat vrijwel iedere term in het schema op zich staat voor een verzameling van voorbeelden die vallen onder de betreffende term, inclusief typische voorbeelden van wat er juist niet onder valt. Voor de ‘intelligentietest’ in figuur 1 zijn tal van verschillende instrumenten in te vullen, bijvoorbeeld de intelligentietests die het Ministerie van Onderwijs, Cultuur en Wetenschappen toelaat bij de indicatie voor leerweg-ondersteund onderwijs of praktijkonderwijs.
Schematiseren is een algemene techniek om complexe gegevens op een andere manier af te beelden. Dan zijn er ook tal van andere toepassingen van dezelfde techniek mogelijk. Een opvallende toepassing die de ontwerper van toetsvragen nog wel eens goed van pas kan komen, is die in het Betty-project, zie o.a. Leelawong, Davis, Vye en Biswas (2002). The effects of feedback in supporting learning by teaching in a teachable agent environment pdf. Dit is onderzoek naar de effecten van een leeromgeving waarin leerlingen de opdracht hebben ‘Betty’ iets ingewikkelds te leren—zoals de zuurstofcyclus in een vijverecologie—dat voor de leerlingen zelf ook nieuw is. Dit is dus iets anders dan een leeromgeving waarin de leerling via een (computer-)tutor leert: de leerling moet Betty juist onderwijzen, en krijgt daar onmiddellijke terugkoppeling op. Wat Betty heeft geleerd, wordt weergegeven in de vorm van een schema van begrippen en relaties. Dat schema is beweeglijk, met het leren van Betty verandert er immers voortdurend iets. Het geinige van deze leeromgeving is dat de leerling zich heerlijk laat misleiden in het spel om Betty iets te leren, en ondertussen zèlf de ingewikkelde stof begint te begrijpen. 
(click for a full blown screenshot of another Betty map)
Het representeren van kennisstructuren in schema’s kan op tal van niveaus plaatsvinden: de structuur van de stof zoals in het leerboek beschreven, de structuur van het naieve inzicht waarmee de leerling aan de cursus begint, de structuur van het inzicht dat de leerling aan het eind van de cursus heeft, de structuur zoals die in het ontwerp van de toetsvragen is geoperationaliseerd, de structuur van het leerlinginzicht zoals de docent op basis van haar toetsresultaten vermoedt, etcetera tot onvermoede hoogten van aggregatie tot wat de Nederlandse jeugd aan wiskundige vaardigheden in de vingers heeft.
Het schema van een kennisstructuur is waarschijnlijk de krachtigste heuristiek die de ontwerper van toetsvragen ter beschikking staat.
Dit citaat van Wickelgren, schrijver van een tekstboek (1979) over cognitieve psychologie, vat de voorgaande paragrafen fraai samen en duidt de kern aan van de nu volgende behandeling van definities.
De student die een correcte definitie geeft voor een gevraagde term, laat daarmee zien dat hij de betreffende term ‘begrijpt’ en op de juiste wijze gebruikt. Een correcte definitie geven is te zien als een criterium voor het begrijpen van de betreffende term. Het is deze gedachtengang die docenten ertoe brengt zoveel definities in hun onderwijs en toetsing te stoppen. Het didactisch nut van definities versterkt die neiging nog: een geschikte definitie maakt in enkele woorden duidelijk wat anders alleen omslachtige is te onderwijzen.
Het geven van een correcte definitie is geen voldoende voorwaarde voor de conclusie dat de student de betekenis van de term kent. Bij verder onderzoek kan blijken dat deze student de term vervolgens toch onjuist hanteert. De student kan de definitie domweg uit het hoofd hebben geleerd. Het laatste is ernstiger dan het op het eerste gezicht lijkt. Immers, wie in onderwijs en toetsing de nadruk legt op definities, zet een premie op uit het hoofd leren van die definities. Dit soort ‘kennis’ is van nul en generlei waarde (zie 2.6).
Het geven van een correcte definitie is bovendien niet eens een noodzakelijke voorwaarde is voor het kennen van de betekenis van de term. Vraag een psycholoog om een definitie van intelligentie; of een wiskundige om een definitie van wat een getal is. Eerder is al beklemtoond dat niet alle wetenschappelijke termen zich laten definiëren. Is het dan misschien zo, dat de docent zich maar beter kan matigen in het ‘per definitie’ introduceren van nieuwe termen?
De definitie laat zich niet via kenmerken definiëren. Definities hebben met elkaar gemeen wat Wittgenstein een familiegelijkenis noemt, ik kom daar nog op terug. Om de betekenis van definities gestalte te geven, kan ik niets beter doen dan een aantal verschillende vormen van definitie behandelen.
Definitie via kenmerken. Wat zou het prachtig zijn wanneer bij iedere nieuwe term zijn definitie precies aangeeft op welke objecten, gebeurtenissen of wezens de term van toepassing is. De definitie geeft dan een opsomming van de kenmerken waaraan een object, gebeurtenis of wezen moet voldoen, wil de term van toepassing zijn. De opgesomde kenmerken moeten dan zowel noodzakelijk als voldoende zijn. Om de kenmerkenlijst in lengte te beperken, is in de definitie aan te geven om welke bekende soort het gaat om vervolgens via specifieke kenmerken aan te geven op welke objecten enz. van deze soort de gedefinieerde term van toepassing is (definitie per genus et differentiam). Een olifant is een zoogdier met flaporen; het soort: zoogdier, en specifiek kenmerk: flaporen. Het streven van docenten en schrijvers van studieboeken lijkt wel eens om alle termen op deze wijze te definiëren. Natuurlijk loopt dat streven spaak op de onmogelijkheid alle termen op deze wijze te definiëren zonder rondzingen, zonder in de definitie van een term gebruik te maken van termen die zelf gedefinieerd zijn met behulp van die term. Die moeilijkheid is te omzeilen door een of meer termen ostensief te definiëren (zie hieronder).
Definitie door aanwijzen (de ostensieve definitie). ‘Dit is rood’ (wijzend op een boek met een rood omslag). Deze wijze van definiëren is in het onderwijs heel bruikbaar. Het wetenschappelijk onderwijs introduceert de student in het onderwerp, het instrumentarium of het veld van onderzoek door rondleiding in de kliniek, presentaties in het laboratorium, excursies in het veld, enz. (Kaplan, 1964). Het laat zich raden dat het alleen de (indirect) waarneembare zaken etc. zijn die zich op deze wijze laten definiëren. Het is jammer dat de status van deze wijze van definiëren laag is, ook al is ze onmisbaar als (axiomatisch) uitgangspunt voor degenen die met definities via kenmerken willen werken. Wittgenstein heeft veel aandacht besteed aan de ostensieve definitie (zie Baker en Hacker, 1980, hfdst. 2). Ook het aanwijzend kunnen definiëren van een term is een criterium voor het kennen van de betekenis van de term. In de toets kan dat blijken uit het aanstrepen van het juiste voorbeeld bij een meerkeuzevraag ‘Welke van de vijf alternatieven noemen we rood?'
Definitie door voorbeelden en niet voorbeelden. Een speciaal geval van de definitie door aanwijzen is het aanwijzen van voorbeelden en niet-voorbeelden. Dat legt de nadruk gelegd op de begrenzing van het bedoelde begrip, op wat er nog wel en wat er niet meer onder valt. Het is niet zinvol om de betekenis van de term rood te definiëren door naast een boek met rode omslag ook boeken met allerlei andere kleuren omslag aan te wijzen. Zinvol is het bij fijne nuances in de waarneming, zoals het onder de microscoop onderscheiden van gezond en ziek celweefsel. Deze wijze van definiëren leent zich goed voor de termen die de student nogal eens te breed (overgeneralisatie) of te smal (ondergeneralisatie) gebruikt. De soort toetsvraag die hierbij past laat zich makkelijk denken: uit een lijst voorbeelden en niet voorbeelden deze als zodanig identificeren.
Het probleem is dat slechts weinig termen zich bij uitstek voor deze wijze van definiëren lenen (zie o.a. Merrill en Tennyson, 1977).
Definitie door opsomming. Ook dit is een variant op het definiëren door aanwijzen. In rechttoe-rechtaan gedaante zijn zo de letters van het alfabet te definiëren door ze alle op te sommen. Is deze wijze van definiëren ook bruikbaar voor de natuurlijke gehele getallen? Dat roept filosofische problemen op. Misschien is er een regel te formuleren, waarmee in beginsel alle natuurlijke gehele getallen zijn te construeren, dan zou zo'n regel ook een definitie door opsomming zijn.
De nominale definitie introduceert een verkorte notatie, een naam of een nieuwe term voor een gegeven uitdrukking. De nieuwe term heeft dezelfde betekenis als de uitdrukking die hem definieert, ‘is per definitie gelijk aan’ of ‘=Df .....’ Hempel (l952) geeft als voorbeeld: ‘Americium =Df het element met 95 nucleaire protonen.’ Nominaal gedefinieerde termen zijn altijd zonder verlies aan betekenis te vervangen door hun definiërende uitdrukking. De definitie via kenmerken is een speciaal geval van nominaal definiëren. De nominale definitie is doelmatig, want hij vervangt een langere uitdrukking door een enkel woord. Het kan echter ook zijn dat een bepaald soort verschijnsel, ding of wezen zich dermate profileert in de waarneming dat het in feite gaat om een nieuw begrip, dat dan ook een nieuwe naam krijgt.
De reële definitie is een soort tegenhanger van de nominale definitie; hij geeft alleen de kenmerken die de essentie van het bedoelde begrip aanduiden: ‘Een gletsjer is een langzaam bewegende ijsmassa,’ ‘Een stoel is een meubel om op te zitten.’ Reële definities geven een bepaalde essentie van het bedoelde begrip weer, maar dekken daarmee niet volledig de betekenis van de term. Een zelfde term kan meerdere verschillende reële definities hebben. Het is niet altijd zinvol om in een tekst een term te vervangen door een reële definitie van die term. De student die een reële definitie van een term geeft, kent deze wezenlijke betekenis van de term.
De conditionele definitie is een bijzonder soort definitie via kenmerken: het bijzondere zit in de specificatie van de omstandigheden waaronder deze kenmerken waarneembaar zijn, bv. eigenschappen als elastisch, magnetisch, splijtbaar, meegaand. Deze wijze van definiëren, hoewel vaak onvermijdelijk, schept problemen omdat strikt genomen de definitie niet identiek is aan het met de term aangeduide begrip: dat is echter niet zozeer een praktisch als wel een filosofisch probleem (Stegmüller 1970).
De operationele definitie is weer een speciaal soort conditionele definitie, waarbij de nadruk valt op de omschrijving van de condities: de operaties of handelingen die nodig zijn om—in het kader van een experimenteel onderzoek—bepaalde condities te bewerkstelligen. Vooral in de sociale wetenschappen zijn hierover wel eens extreme standpunten ingenomen; algemeen bekend is de operationele definitie van intelligentie als datgene wat de intelligentietest meet. De Groot kiest in zijn Methodologie een positie die daar nogal dicht bij zit (De Groot 1962, blz 88). Een operationele definitie past soms in het jasje van een volledige opsomming: De Groot ziet de verzameling van toetsvragen als operationele definitie van de doelstellingen van het onderwijs (in De Groot en Van Naerssen, 1973, blz. 38). Kijk, dat is nou weer heel handig. Men kan ook zeggen dat de operationele definitie een bijzondere vorm is van de stipulatieve definitie.
Stipulatieve definitie of definitie bij fiat. Deze definitie legt de betekenis van een term dvast voor kortdurend gebruik in een college, tekstboek of onderzoek, en claimt daarmee geen algemene geldigheid. Het hoeft niet altijd een gelegenheidsdefinitie te zijn, het kan ook een poging zijn een scherper betekenis te geven dan gebruikelijk. Hempel (1952) noemt als voorbeelden de getallenleer van Frege-Russell, en Tarski’s semantische definitie van waarheid. Het stipulatief definiëren van overigens wat vage termen heeft alleen zin als dat vruchtbaar theoretisch werk mogelijk maakt. Het kan en mag geen truc zijn om theoretische begrippen van een (pseudo-) definitie te voorzien. De definitie bij fiat is een werkdefinitie, het kan in het onderwijs toch niet de bedoeling zijn dat student dergelijke definities letterlijk leren, alleen dat zij weten dat het een voor het moment handige afspraak is.
Hier ligt mogelijk wel een wezenlijk probleem, wanneer stipulatieve definities te serieus worden genomen. Zo is bekend dat in het middelbaar onderwijs in de economie wel stipulatieve definities zijn gebruikt die met elkaar in tegenspraak waren (Vernooij, 1993), ook in eindexamenopgaven, en zonder dat docenten zich bewust waren van de tegenstrijdigheden.
Familiegelijkenis. In empirische wetenschappen zijn er termen die zich niet lenen voor een definitie via kenmerken omdat de betreffende verschijnselen, dingen of wezens geen gemeenschappelijke kenmerken hebben. Wat is er bijvoorbeeld gemeenschappelijk aan de verschillende vormen van definitie die hierboven beschreven zijn? Wittgenstein heeft door zijn bespreking ervan in de Filosofische onderzoekingen de term familiegelijkenis befaamd gemaakt; hij geeft in de paragrafen 68 en 69 van zijn boek als voorbeelden de termen getal en spel (html). Verschillende spelen hebben niet een bepaalde set kenmerken met elkaar gemeen; er is wel een lijst kenmerken op te stellen waaraan tenminste sommige spelen voldoen. Verschillende spelen lijken op elkaar op dezelfde wijze waarop leden van eenzelfde familie op elkaar lijken: ze lijken allemaal op elkaar, maar niet telkens op dezelfde wijze, niet telkens op grond van dezelfde kenmerken. Hetzelfde geldt voor natuurlijke, rationele, complexe, kardinale enz. getallen. En voor nominale, reële, aanwijzende enz. definities. Gevraagd om een familiegelijkenisterm te ‘definiëren,’ kan de student een aantal voorbeelden geven; een tweede student kan voor dezelfde term echt andere voorbeelden geven; beiden kunnen zo toch een goede ‘definitie’ van de term geven.
Beschrijven. Termen kunnen hun betekenis in hoge mate of zelfs volledig—theoretische begrippen!—ontlenen aan hun relaties tot andere termen. Beschrijven van een of meer van deze relaties is dan ook een vorm van definiëren. Een beschrijving kan correct zijn zonder de hele betekenis van de term te dekken. Veel termen hebben overigens niet een zo scherp afgepaalde betekenis dat ze in korte beschrijvingen te vangen zijn.
Kaplan (1964) geeft een paar aardige voorbeelden. Wie wil uitzoeken wat Marx met ‘klasse’ bedoelt, moet kennis te nemen van het hele werk van Marx. De astronomie noemt een bepaald soort witte ster ‘dwerg,’ de eigenschappen van witte dwergen zijn vastgelegd in een aantal verschillende astrofysische theorieën, zoals die over de evolutie van sterren. Aan deze theorieën zijn talrijke beschrijvingen voor witte dwergen te ontlenen, maar geen behoorlijke definitie.
De lijst van mogelijke definities is niet uitputtend. Duidelijk is dat dezelfde term op meerdere manieren is te definiëren, ook binnen één tekstboek. Het onderwijs kan van die verschillende mogelijke definities didactisch handig gebruik maken, en ook de ontwerper van toetsvragen kan er inspiratie uit putten.
Bedenk, tenslotte, dat geen enkele definitie het probleem van de grensgevallen kan oplossen. Dat zijn die gebeurtenissen, dingen enz, waarvan het niet duidelijk is of ze nog juist wel of net niet meer vallen onder de term-zoals-gedefinieerd. Bij het ontwerpen van toetsvragen zijn juist deze grensgevallen mogelijke spelbrekers. Het is verleidelijk om voor wat moeilijker vragen dicht in de buurt van een grensgeval te gaan zitten, waardoor vragen dubbelzinnig kunnen worden en ook collega’s het niet meer met elkaar eens zijn wat het beste antwoord is.
Het kan zijn dat deze uitwerking van typen definities te eenzijdig ‘correct’ is. Wat ik bedoel is: moet ik dit niet aanvullen met onjuist en onhandig gebruik van definities in didactiek en beoordelingen? Of hoort dat in de volgende hoofdstukken thuis?
Mogelijk is er een paragraaf/sectie over varianten van verklaren nodig. Daar denken we nog over na.
N.B. Enkele in de tekst later toegevoegde publicaties kunnen nog ontbreken in deze lijst.
Mark A. Bedau and Paul Humphreys (Eds) (2008). Emergence. Contemporary readings in philosophy and science. MIT Press.
Carl Bereiter (2002). Education and Mind in the Knowledge Age. Erlbaum. questia
Denny Borsboom, Gideon J. Mellenbergh and Jaap van Heerden (2003). The theoretical status of latent variables. Psychological Review, 110, 203-219. pdf
Joost Breuker (1980). In kaart brengen van leerstof. Utrecht: Het Spectrum, Aula 801.
John P. Burgess and Gideon Rosen (1999) A Subject with No Object: Strategies for Nominalistic Interpretation of Mathematics. Clarendon Press. questia
Nancy Cartwright (1983) How the laws of physics lie. Open University Press.
Hasok Chang (2004/2007). Inventing temperature. Measurement and scientific progress. Oxford University Press. [short abstracts of chapters]
Michelene T. H. Chi (2005). Common sense conceptions of emergent processes: Why some misconceptions are robust. Journal of the Learning Sciences, 14, 161-199. (pdf
Eduard Jan Dijksterhuis (1950). De mechanisering van het wereldbeeld. Amsterdam: Meulenhoff.
Desiderius Erasmus (2005). Opvoeding. Bevat: Etiquette, Leren studeren, De opvoeding van kinderen, De opvoeding van de christenvorst, Tegen de barbaren. Athenaeum - Polak & Van Gennep. Vertaald door Jeanine de Landtsheer en Bé de Breij.
Jonathan St.B.T. Evans (1989). Bias in human reasoning. Causes and consequences. Erlbaum
Aidan Feeney, Jonathan St.B.T. Evans and Simon Venn (2000). A rarity heuristic for hypothesis testing. In L. R. Gleitman & A. K. Joshi (Eds), Proceedings of the 22nd Annual Conference of the Cognitive Science Society (pp. 119-124). Mahwah, NJ: Erlbaum. [pdf of paper]
Ronald N. Giere (2006). Scientific perspectivism. The University of Chicago Press. [Table of contents pdf. Read chapter one pdf]
Ibrahim Abou Halloun and David Hestenes (1985b). Common sense concepts about motion. Am. J. Phys. 53 (11), 1056-1065. pdf.
Carl G. Hempel (1952/1972). Fundamentals of concept formation in empirical science, London, The University of Chicago Press.
Georges Ifrah (1981). Histoire universelle des chiffres. Paris: Seghers.
A. Kaplan (1964). The conduct of inquiry; methodology for behavioral science. San Francisco: Chandler, 1964.
Robert B. Kozma (2000). The Use of Multiple Representations and the Social Construction of Understanding in Chemistry. In Michael J. Jacobson and Robert B. Kozma: Innovations in science and mathematics education. Advanced designs for technologies of learning (p. 11-46). Erlbaum. pdf questia
J. Krajcik ( 1991). Developing students’ understanding of chemical concepts. In S. Glynn, R. Yeany and B. Britton: The psychology of learning science (pp. 117-148). Erlbaum. questia
Deanna Kuhn (2005). Education for thinking. Harvard University Press. excerpt
Deanna Kuhn and Maria Pease (2008). What needs to develop in the development of inquiry skills? Cognition and instruction, 26, 512-559. abstract, pdf of concept
G. Lamer, A. Schwope, L. Wisotzki, and L. Christensen (May 2, 2006). Strange magnification pattern in the large separation lens SDSS J1004+4112 from optical to X-rays. Article published by EDP Sciences and available at http://www.edpsciences.org/aa; A&A preprint doi http://dx.doi.org/10.1051/0004-6361:20064934. pdf not for free
Krittaya Leelawong, Joan Davis, Nancy Vye and Gautam Biswas (2002). The effects of feedback in supporting learning by teaching in a teachable agent environment pdf.
Russell McCormmach (2004). Speculative truth. Henry Cavendish, natural philosophy, and the rise of modern theoretical science. Oxford University Press. questia
Lillian C. McDermott (1998). Students’ conceptions and problem solving in mechanics. In Andrée Tiberghien, E. Leonard Jossem, Jorge Barojas: Connecting research in physics education with teacher education. An I.C.P.E. Book. chapter, book
Marcel J. A. Mirande (1981). Studeren door schematiseren. Utrecht: Het Spectrum, Aula 805.
Joseph D. Novak and Alberto J. Canas (2006). The Theory Underlying Concept Maps and How To Construct Them. Technical report IHMC Cmap Tools 2006-01, Florida Institute for Human and Machine Cognition [available at html pdf 1M or high quality 31 pages pdf 5.4Mb]
George Pólya (1945/1957). How to solve it. Princeton University Press.
Richard S. Prawat (1989). Promoting access to knowledge, strategy, and disposition in students: a research synthesis. Review of Educational Research, 59, 1-41. jstor
Stathis Psillos (2000). Rudolf Carnap’s ‘Theoretical Concepts in Science.’ Studies in History and Philosophy of Science, 31, 151-172. pdf
Jürgen Renn (2022). The evolution of knowledge. Rethinking science for the anthropocene. Princeton University Press. ISBN 9780691218595 pdf
Duane Roller (1950). The early development of the concepts of temperature and heat. The rise and decline of the caloric theory. In James Bryan Conant: Harvard case histories of experimental science I-III.
Anna Sfard and Irit Lavi (2005). Why cannot children see as the same what grownups cannot see as different? Early numerical thinking revisited. Cognition and Instruction, 23, 237-309. pdf
W. Stegmüller (1970). Probleme und Resultate der Wissenschaftstheorie und Analytische Philosophie. Band II: Theorie und Erfahrung. Heidelberg: Springer-Verlag.
Fons Vernooij (1993). Het leren oplossen van bedrijfseconomische problemen. Didactisch onderzoek naar kostprijs- en nettowinstvraagstukken in het voortgezet onderwijs. Proefschrift Erasmus Universiteit Rotterdam.
Wayne A. Wickelgren (1979). Cognitive psychology. Prentice Hall.
Ludwig Wittgenstein (1953/1976). Filosofische onderzoekingen, Meppel: Boom.
W. L. Yarroch ( 1985). Student understanding of chemical equation balancing. Journal of Research in Science Teaching, 22, 449-459. abstract [I have not seen this article, somebody send me a pdf?]
De meeste voorbeelden zijn uit de Engelse literatuur, en ondergebracht in Examples
John F. Sowa site
Gregory K. W. K. Chung and Eva L. Baker (1997). Year 1 Technology studies: Implications for technology in assessment. CSE Technical Report 459. pdf (oa concept mapper)
IHMC Cmap Tools http://cmap.ihmc.us/
The late Jan Lanzing Concept Mapping Homepage html
De tekst van Toetsvragen ontwerpen is in ontwikkeling. Maakt u er gebruik van, dan vraag ik als wederdienst om daar eens iets over terug te melden.
http://www.benwilbrink.nl/projecten/toetsvragen.3.htm
