http://www.benwilbrink.nl/projecten/wetenschapsquiz2007.htm
Deze analyse van het ontwerp van de vragen in de Wetenschapsquiz is een demonstratie die hoort bij Toetsvragen ontwerpen, een herziening-in-uitvoering van Aula 809, in 1983 verschenen als Toetsvragen schrijven. Deze herziening is hier al beschikbaar.
De reden om juist de Wetenschapsquiz te kiezen is dat in zekere zin deze quiz een voorbeeldfunctie vervult, zoals de betrokkenheid van NWO zelf al aangeeft. Als de Wetenschapsquiz maar een rommeltje is - waar het op dit moment wel op lijkt - is dat het verkeerde signaal naar leraren, inspecteurs, en uitgevers van studieboeken. Mogelijk is de crux van het probleem dat NWO 'brein achter de quiz' Hein Meijers de quizvragen zelf bedenkt, wat me niet echt een professionele aanpak lijkt (Kim Egberts: 'Wetenschapsquiz als vacantiebaan', VPRO omroepgids eind december 2007, p. 80. Gesprek met Meijers). Overigens krijgen ook de Nationale Geschiedenis Quiz en de Nationale Rekentoets dezelfde analytische behandeling, om dezelfde reden. Voor links naar de betreffende pagina's: zie het einde van deze pagina.
De Wetenschapsquiz is een quiz, geen toets. Toch zal ik de vragen behandelen alsof ze toetsvragen zijn.
Ik ben geen specialist op alle in de vragen aangesneden vakgebieden, toch zal ik ongeremd commentaar geven, daarbij ongetwijfeld een aantal vakinhoudelijke bokken schietend. Doe ik het niet goed, laat dat weten.
Het is niet de bedoeling - anders dan oppervlakkig - de aangesneden onderwerpen wetenschappelijk te behandelen, dat wordt al voortreffelijk gedaan in NRC's 'Alledaagse wetenschap' van Karel Knip.
De vragen in deze voorronden zijn uit een andere wereld dan de wetenschappelijke. Ik zie af van analyse van de vragen in deze voorrondes. Waarschijnlijk zijn de uitzendingen nog te zien op de website van de VPRO.
Zie voor de vragen van de quiz 2007 de website van NWO: doe mee door op die website de vragen te beantwoorden.
Voor de Nationale Wetenschapsquiz Junior (op Z@app, 30 december 11:00 uur) zie VPRO
Anders dan in voorgaande jaren zet ik de analyse van deze vragen op vanuit een klein aantal thema's, een werkwijze die voor de Nationale Rekentoets 2007 html goed werkt.
De ontwerper moet natuurlijk wel weten wat de bedoeling met de toets of quiz is, anders hangt het ontwerpen volkomen in de lucht. In dit geval is het de bedoeling vragen voor een wetenschapsquiz te ontwerpen, en dat is meteen alles dat NWO bereid is over de eigen missie met deze quiz prijs te geven. De ontwerper moet zich dan zelf maar een idee vormen van wat het is dat een vraag passend maakt voor een wetenschapsquiz, en wat niet. Eerlijk gezegd, heb ik de afgelopen jaren niet de indruk gekregen dat indieners van vragen zich hier echt enige zorg over hebben gemaakt.
geen triviant
Laten we meteen met elkaar afspreken dat we geen enkele belangstelling hebben voor zoiets als een triviant voor de wetenschappen, dat zijn vragen over feitjes uit de wetenschappen of over geschiedenis en beoefenaars van de wetenschappen. Een voorbeeld in deze categorie zou kunnen zijn: welke van de volgende vier getallen is de constante van Max Planck? Etcetera. De vraag over de constante van Planck is dan nog niet eens echt triviaal, want hij toetst wel degelijk of iemand kennis heeft van de natuurkunde, maar dat lijkt toch niet adequaat voor een wetenschapsquiz die voor een breed publiek is bestemd. De diverse edities van de Nationale Wetenschapsquiz (NWQ) wemelen van de triviale vragen, waarvan een bijzonder irritante subcategorie is die van het incidentele wetenschappelijke onderzoekje, meest uit de sociale wetenschappen, waarin onderzoekers menen te hebben vastgesteld dat A het geval is en niet B, in conditie C, in tegenstelling tot verwachting D. Nonsens, dus. We hebben daar een Nederlands gezegde voor: één ei is geen ei, etcetera.
grondgedachte
Een grondgedachte zou kunnen zijn dat het bij een wetenschapsquiz gaat om het kunnen onderscheiden van argumenten die 'wetenschappelijk' van aard zijn, van argumenten die dat niet zijn, hoewel daarmee niet noodzakelijk onjuist of niet adequaat voor het gegeven casus.
Dit idee is in heel veel vragen van de NWQ te herkennen, overal waar in de keuzealternatieven een argument is vermeld. Of de ontwerpers in al die gevallen zich bewust zijn van deze grondgedachte, dat valt te bezien.
Deze grondgedachte maakt het mogelijk een grote verscheidenheid aan razend interessante vragen te ontwerpen, in iedere moeilijkheidsgraad die men zich maar kan wensen. Een NWQ bevat dan bij voorkeur vragen met een gevarieerde moeilijkheidsgraad, wat noodzakelijk is voor een quiz die een breed publiek aanspreekt.
Er is een interessant verband met de ontwerptheorie voor toetsvragen in het onderwijs. Het inzicht groeit bij tal van betrokkenen dat simpelweg vragen of iets het geval is ja/nee, geen goede manier is om kennis te toetsen en dus ook niet om leerlingen uit te dagen kennis te verwerven. Routine zou moeten zijn om ook te vragen naar het waarom van dat antwoord, van dat ja of nee, of van dat aangestreepte alternatief a., b. of c., te vragen. De crux van dat vraag-en-antwoord spel zit dan in het gegeven waarom. Het is meest het fraaist om de vraag naar het waarom open te houden, maar er is geen principieel bezwaar om goede alternatieven in de vorm van een meerkeuze aan te bieden.
Er zijn tal van soorten van argumenten, waarvan een kleine ondersoort die van de wetenschappelijke argumenten is. Er zijn dus ook tal van contrasten te maken tussen een wetenschappelijk argument, gegeven een bepaald casus, en andere argumenten. Een bijzonder boeiende soort argumenten is die welke voortkomen uit naieve theorieën over de wereld, en inderdaad zijn er nogal wat NWQ-vragen die daar handig gebruik van maken. De wetenschapsgeschiedenis zelf is natuurlijk een rijke bron van mogelijkheden. In onderzoek naar het natuurkundeonderwijs is er een uitgebreide literatuur ontsaatn over de worsteling van leerlingen, studenten en hun docenten met naieve versus wetenschappelijke ideeën. Er zijn argumenten van religieuze aard die met wetenschappelijke gecontrasteerd kunnen worden, zeker wanneer wetenschappers zelf daarmee schermen zoals in maatschappelijke discussies over het creationisme. Ook hier wemelt de wetenschapsgeschiedenis van voorbeelden van strijd tussen beide soorten argumenten: wetenschappelijke en religieuze. Alweer die wetenschapsgeschiedenis: wat wetenschappelijke argumenten zijn, is natuurlijk ook historisch bepaald. In veel gevallen zijn wetenschappelijke argumenten van gisteren, vandaag niet meer geldig. Een prachtige bron van ideeën voor de ontwerper van NWQ-vragen. Dan wil ik nog een onverwacht type niet-wetenschappelijk argument noemen, dat toch in het dagelijks leven veel belangrijker is dan de wetenschappelijke of op zijn minste rationele overweging: dat zijn intuitieve beslissingen zoals experts die op hun eigen vakgebied nemen; of automobilisten in acute noodsituaties; of mensen die verliefd worden; etcetera. Het is een uitdaging om op basis van dat contrast rationeel-intuitief NWQ-vragen te ontwerpen. Het werk van Gerd Gigerenzer kan voorbeelden leveren, maar velen zijn hem voorgegaan in het onderzoeken van de waarde van het intuitieve. We hebben er tegenwoordig zelfs een hoogleraar voor (Nijmegen).
Het is waarschijnlijk mogelijk om een nog algemener formule te vinden over waar het wetenschappelijke over gaat. Onze huidige Westerse samenleving is alleen mogelijk dank zij de wetenschappen, is voor zijn continuïteit daarvan afhankelijk, en loopt er ook enorme risico's mee. Het is dus van enig belang dat iedere bruger en dat maatschappelijke organisaties op goede manieren omgaan met het wetenschappelijke in onze wereld. Wat goede, en wat minder goede manieren zijn, daarover wordt dagelijks in de media bericht. Kijk alleen eens naar de enorme spanning tussen wat politici in feite doen en beslissen, en hoe dat zich verhoudt tot beschikbare en onomstreden wetenschappelijke kennis en inzichten. Of hoe het recht in Nederland verkracht wordt door gezagsdragers die er bepaald middeleeuwse en anti-wetenschappelijke ideeën op nahouden over wat waarheidsvinding is, of daarin op zijn minst grenzeloos naief zijn. Ik ben wel benieuwd of van deze spanningen rond de rol van de wetenschappen in onze samenleving, iets te bespreuren is in de NWQ 2007.
Het bovenstaande is meteen ook een belangrijk kader van waaruit het mogelijk is om de vragen in de NWQ 2007 op de kwaliteit van hun ontwerp te beoordelen, voorzover dat uit de vraag zelf is af te leiden.
Wat op de bladspiegel in de krant meteen opvalt: de lappen tekst van de alternatieven van zeker de helft van de vragen. Dat is een rode vlag die waarschuwt voor rommelig ontworpen vragen. Maak er een rode kaart van: veel tekst in de alternatieven betekent dat de vraag slecht is ontworpen, op meerdere gedachten tegelijk hinkt, etcetera. Uitzonderingen daargelaten, maar zijn die er?
Waarom zouden alle vragen keuzevragen moeten zijn? Dat kan ook anders, en waarschijnlijk heel veel beter.
Het is heel goed om driekeuzevragen te gebruiken in plaats van vierkeuzevragen, alle lof daar weer voor. Maar waarom moet dan dan dogmatisch door alle vragen driekeuzevragen te laten zijn? Geen goed voorbeeld.
Waarom is er afgezien van iedere vorm van extra informatie, zoals in beeld of grafiek mogelijk is? Wat dat betreft zit de Nationale Rekentoets evenwichtiger in elkaar. De bladspiegel van deze Wetenschapsquiz ziet eruit als een tentamen uit de zestiger jaren, waarvan de blaadjes nog gestencild werden dus zich productietechnisch minder leenden voor allerlei toevoegingen. Het lijkt mij dat de ontwerpers zich door dit saaie format van alleen tekst, juist mooie ontwerpmogelijkheden hebben laten ontnemen.
Een goed uitgangspunt bij het ontwerpen van keuzevragen is dat de stam van de vraag op zichzelf een goede open vraag is. Het is geen doodzonde hiervan af te wijken, maar daar moet dan wel een goede reden voor zijn. Ik heb mijn bril afgezet, en uit een kopie van de quiz alle alternatieven verwijderd. Dat alles nog voordat ik de vragen had gelezen. De volledige lijst, zoals overgenomen van de NWO-website, en na weglaten van de alternatieven, is dan als volgt. Als u de quiz nog niet heeft gemaakt, is het een goed idee eerst eens te proberen deze open vragen te beantwoorden, dat is wat ik voor mijzelf eerst ga doen.
Het valt niet mee om op deze vragen met een antwoord op de proppen te komen, zonder bijvoorbeeld de Wiki te raadplegen. Mijn resultaat:
Er zijn enkele vragen die, zonder de alternatieven te zien, zeker niet zijn te beantwoorden, zoals 16) en 19). Mijn vermoeden is dat zeker meer dan de helft van de overige vragen ook niet goed is te beantwoorden zonder de aangeboden keuzen te kennen. Dat is geen goede score. De ontwerpers hebben teveel informatie die voor de vraag zelf nodig is, in de alternatieven gestopt.
Na de poging de vragen te beantwoorden zonder de alternatieven te hebben gezien, en gezien de aangeboden alternatieven, blijken de volgende vragen zó te zijn ontworpen dat ook de alternatieven gelezen moeten zijn om de vraag te kunnen begrijpen.
Er zijn in deze quiz van twintig vragen veel te veel vragen die leunen op hun alternatieven. Het probleem is dat voor het beantwoorden van die vragen je moet gaan hinkelen van vraag naar alternatieven en dan terug naar de stam van de vraag en dan het juiste alternatief zien te kiezen. In het onderwijs mag je leerlingen zoiets niet aandoen, en dat is niet alleen omdat het erg veel tijd kost, maar vooral omdat er al gauw met meer informatie moet worden gegoocheld dan het korte-termijngeheugen aankan. Met dat type vragen lopen deelnemers tegen psychologische barrières aan. In een quiz is het gewoon verspilling van tijd en energie van de deelnemers en de kijkers. Overigens: die kijkers slagen er dan evenmin goed in om zo'n vraag zelf goed te begrijpen voordat de gegeven tijd om is, zij kunnen maar beter doorzappen naar iets verstandigers.
Het is geen goed idee om bij keuzevragen ongelijksoortige alternatieven te gebruiken. De ontwerper die het serieus meent met dergelijke alternatieven, doet er beter aan om daar afzonderlijke vragen bij te ontwerpen. Vragen moeten altijd een toonbeeld van helderheid zijn, geen bijeengeharkte zootjes ongeregeld. Als een aangeboden alternatief op zich onzin is, is dat bijna per definitie heterogeen (over mogelijke onzin, zie hierbeneden). Dat heeft ook psychologische redenen: al die ongelijke informatie moet door de leerling of de quizdeelnemer worden gelezen, verwerkt, en beoordeeld, en dat kan het feitelijke karakter van de vraag dus ingrijpend anders maken dan de ontwerper voor ogen heeft gestaan. Vergeet nooit dat een belangrijke spelregel bij keuzevragen is dat het beste alternatief moet worden gekozen: het is altijd mogelijk dat een goed antwoord niet goed genoeg is omdat een ander antwoord nog beter is, dus alle alternatieven moeten altijd worden gelezen en bestudeerd. Bij heterogene alternatieven ontstaat dan al makkelijk een enorme overbelasting omdat zo'n alternatief de aandacht even op een heel ander onderwerp dan dat van de vraag zelf richt.
Zes van de twintig vragen hebben duidelijk heterogene trekjes in de set van aangeboden alternatieven. Dat valt mee. Met een kleine inspanning had die score toch beter kunnen zijn.
Een eenvoudig soort keuzevraag is die waar van een gegeven uitspraak de vraag is of deze juist is of niet. Maar weinig uitspraken lenen zich overigens voor echt ondubbelzinnige vragen van dit type, maar daar gaat het nu niet om. De antwoordmogelijkheden bij dit type vraag zijn logischerwijs logisch: ofwel ja, ofwel nee. Er zijn legio mogelijkheden om keuzevragen met logische alternatieven te construeren. In de NWQ 2007 komen ze in ruime mate voor.
Nauw verwant aan de de keuze van logische alternatieven is de keuze van alternatieven uit een kleine set van mogelijkheden, zoals 'Op wel waddeneiland ligt Nes? de logische constructie van alternatieven uit de kleine set van waddeneilanden vraagt. Het zou van verstandsverbijstering bij de ontwerper getuigen, wanneer fantasie-namen, of namen van andere eilanden dan waddeneilanden als alternatief gebruikt zouden worden. Toch is die vorm van verstandverbijstering vaak te constateren in gevallen die in essentie hetzelfde karakter hebben als de vraag naar welk waddeneiland, maar dat een beetje verborgen is. In deze NWQ is vraag 4 (welk recht?) van het waddeneiland-type, en ook op die manier opgelost in de keuze van alternatieven
Dit lijstje is een constatering. Wat valt er te zeggen over de kwaliteit van deze vragen? Met logische alternatieven is er weinig of geen gelegenheid om in deze alternatieven zelf ontwerpfouten te maken (maar zie de pseudo-logische alternatieven van vraag 9, 10, 18, en mogelijk 19), dat is mooi meegenomen. Aan de andere kant: als er geen rem staat op fout antwoorden, is het een soort vragen die menigeen liever kwijt dan rijk is. Wat mist is inzicht in waarom de leerling of deelnemer kiest voor dit alternatief, en niet voor een ander. Vaak zal de bedoeling van de ontwerper inderdaad zijn om op dat waarom te toetsen, maar dat gebeurt dus gebrekkig met alleen maar logische alternatieven, zeker ook zonder straf op raden. Een tussenoplossing is de logische alternatieven tevens van een uitleg te voorzien, waarbij de ontwerper in feite hinkt op twee gedachten, en er beter aan doet zich op die verklaringen zelf te richten. Dat hinken blijkt uit een vragen 3, 6, 14 en 18 in deze NWQ, evenzovele gemiste kansen om een behoorlijke keuzevraag te ontwerpen.
Bij een wetenschapsquiz ligt het voor de hand dat de vragen expliciete wetenschappelijke inhoud hebben. Is dat bij deze NWQ het geval? Dat valt behoorlijk tegen, zoals onderstaand lijstje laat zien. Natuurlijk, bij de toelichting op de vraag en het juiste antwoord zal er mogelijk nog een diep wetenschappelijk verhaal komen, maar noch aan de stam van de vraag, noch aan de aangeboden alternatieven is op zich iets wetenschappelijks te ontdekken.
Ik heb nog geen vermoeden waarom dit bij de NWQ zo uit de hand is gelopen. Er zijn natuurlijk beroemde of bekende voorbeelden van wetenschappelijke uitdagingen gesteld door alledaagse of soms ook niet zo alledaagse maar toch soms waar te nemen verschijnselen. De natuurkunde van het vrije veld, van Minnaert, is daar een voorbeeld van. En een opvolger: de rubriek Alledaagse Wetenschap verzorgd door Karel Knip, in NRC Handelsblad. Maar om zoiets in een wetenschapsquiz te gebruiken, dan moet uit de vraag toch duidelijk zijn in welke richting naar een nadrukkelijk wetenschappelijke verklaring etcetera van bijvoorbeeld het gedrag van in de koffie gevallen room moet worden gezocht. Het zou best eens kunnen dat voor die koffieroom de ontwerper ten onrechte vraagt wat er gaat gebeuren, in plaats van uit te gaan van die gebeurtenis en daar een goede verklaring voor te vragen. NB: vragen met expliciete wetenschappelijke onzin vallen in een eigen categorie, zij ontbreken in dit lijstje.
Wie veel informatie in de keuzealternatieven stopt, loopt risico daarmee in feite onzin op te schrijven. De volgende vragen in de NWQ 2007 lijden onder dit euvel.
Ikwijs er nog maar eens op dat ook onzin in de alternatieven van keuzevragen een leereffect heeft op leerlingen of deelnemers. Het is dus een kunstfout voor de ontwerper van toetsvragen om onzin in de alternatieven te gebruiken, omdat het in flagrante tegenspraak is met het algemene doel van onderwijs. Een kunstfout noemen we het wanneer een chirug het verkeerde been afzet, etcetera. Er worden bij toetsen in het onderwijs heel wat verkeerde benen afgezet, helaas, en bepaald niet onvermijdelijk.
In de analyse van wat de bedoeling van een wetenschapsquiz zou kunnen zijn, kwam naar voren dat onderscheid tussen wetenschappelijke argumenten en andersoortige argumenten van belang is. Het kan best zijn dat de ontwerper daaraan juist bij de toelichting op wat het juiste antwoord is aandacht gaat besteden, maar als er niets van argumentatie in de stam van de vraag of desnoods in de alternatieven te bespreuren is, dan is dat voor een wetenschapsquiz een minder geslaagd ontwerp omdat het de vraag niet vanzelfsprekend klasseert als een vraag voor een wetenschapsquiz.
Dit is een treurig stemmend resultaat. De niet genoemde vragen bevatten dan ook nog wonderlijke argumenten, een soort dat niet tot de klasse van de wetenscjappelijke behoort.
enkele voor de hand liggende:
Het wachten is hier op de officëele antwoorden en toelichtingen. Mijn probleem is natuurlijk dat ik van alle mogelijke disciplines waar een bepaalde vraag direct op zou kunnen slaan, geen expert-kennis heb. Als regel kan ik van de meeste vragen op zicht dus niet vermoeden of er met inzichtelijk redeneren tot een goed antwoord is te komen, of tot uitsluiting van foute antwoorden. Dit is natuurlijk een probleem dat over de hele lijn van mijn analyse-op-voorhand speelt, maar op dit thema 'argumenteren' wel in het bijzonder.
Toch jammer dat bij deze quiz de beste strategie is om bij het niet weten van een antwoord, te raden. Het had zo makkelijk anders gekund: ieder fout antwoord een punt eraf, dan is raden alleen nog gunstig wanneer met zekerheid een van de drie alternatieven kan worden afgestreept. Of geef voor iedere open gelaten vraag een bonus van een half punt, dan is raden bij twee alternatieven ook niet meer zo gunstig. Dan blijft er een mooiere quiz over, ook om naar te kijken.
Ik zal in het bovenstaande wel een paar forse flaters gemaakt hebben. Ik ben benieuwd naar de antwoorden en de uitleg door NWO. Er zullen vast wel juweeltjes van vragen zijn die ik niet zo heb herkend.
De antwoorden zijn beschikbaar op de website van NWO.
Karel Knip (29-12-2007, Alledaagse wetenschap, NRC p. 33): "Slecht geformuleerd, slecht gedefinieerd en slecht beargumenteerd." Zo, de toon is gezet. Karel Knip bespreekt meerdere vragen uit deze quiz.
1. bubbeltjes. Een zilveren voorwerp erin is zinloos; dit is dus een onzin-alternatief, jammer. Afgesloten op kamertemperateuur is goed voor langer bewaren. In de koelkast is het als juist bedoelde antwoord. Het wetenschappelijke in de vraag: oplosbaarheid van kooldioxide (CO2). Dat is dus wat anders dan 'bubbeltjes', zoals Karel Knip opmerkt: "Waarschijnlijk bedoelde zij [de quizcommissie]: belletjes in het glas en dus koolzuur in de fles." En Karel Knip ziet dit als terugkerend gebrek bij de vragen in deze quiz: het is vaak gissen naar wat de vragensteller bedoelt. Bij deze vraag is het bovendien zo dat de quizcommissie niet aantoont dat het goede antwoord goed is, maar dat 'denkt.' Denken en bedoelen, een fijne comnbinatie.
Waarom is het 'bedoelen' een doodzonde voor een toetsvragenontwerper: het introduceert willekeur in de toets, omdat bij de ene vraag het om de bedoeling blijkt te gaan, en bij een andere juist de vraag letterlijk moet worden opgevat. Maar zo gaat dat niet, natuurlijk.
2. giraffendronk. "Ze drinken net als dieren met kortere nekken, zoals paarden en zebra's." Alternatief b) dus. Maar dit is niet letterlijk een antwoord op de 'hoe'-vraag. Hoe drinken paarden dan? Ik kan dit echt niet als ontwerp goedkeuren: alternatief b) sluit gewoon niet aan op de stam van de vraag, de andere twee alternatieven doen dat wel. De vraag heeft dus een strikvraag-karakter.
3. dubbele slaapzak. Uit de toelichting blijkt dat je wiskunde had moeten toepassen op bolgeblazen slaapzakken. Dat kan natuurlijk niet, dat is geen faire manier van vragen stellen. Michael Persson vindt het ook maar niks [De Claim Quizslaapzak. Volkskrant 29-12-2007 Kennis p. 2]. Karel Knip maakt deze vraag en zijn antwoord belachelijk, en niet ten onrechte (zie zijn tekst). Het als goed bedoelde antwoord c) is belachelijk nauwkeurig in de hoeveelheid extra ruimte die er zou zijn: ieder heeft twee keer zoveel plek. Zoiets kan eigenlijk nooit waar zijn, is het in dit geval dus ook niet, wat het een fout alternatief maakt. De bedoeling zal wel zijn dat je ongeveer twee keer moet lezen. In het eigen antwoord komt de ontwerper tot 'meer dan twee keer zoveel,' hoe is het mogelijk. Zie ook de berekening van Karel Knip. Een hopeloze vraag, met die alternatief c.
4. monogamie. Het is toch het kerkelijk recht, de dubbelzinnigheid in de stam van de vraag (laatste zin) is dus een misser van de ontwerper.
5. panorama. Dit is werkelijk ongelooflijk. Het goede antwoord is dat je de structuur van het schilderij beter zult zien. Dat is niet verrassend. De verrassing zit in de toelichting: Mesdag heeft de scheepjes bewust 'wazig' geschilderd. Maar dan moet alternatief c) het beste antwoord zijn: 'je zult de scheepjes nu veel duidelijker zien', namelijk zoals geschilderd door Mesdag. Dat is totaal ets anders dan 'de structuur van het schilderij' (weet u wat dat is?).
6. verbranden. Het maakt niet uit, dus antwoord c. Wat krijgen we nou? Dan komt er een toelichting waaruit je alleen maar kunt concluderen dat er een heleboel factoren een rol spelen, die kunnen dus onmogelijk samen 'niet uitmaken.' Dit is warhoofderij. Dat je op de Zugspitze aan de binnenkant van je neus kunt verbranden maakt antwoord c) niet juister.
7. Tia Maria. Room begint te pulseren. Uit het antwoord blijkt dan wat met 'pulseren' is bedoeld. Wat moeten we met deze vraag? Is het wetenschappelijke ervan dat er een mechanisme achter dit pulseren kan worden gegeven?
8. brandende kaars. De vlammetjes gaan naar binnen. Grappig. Ik mis alternatieve antwoorden, en waarom die dan onjuist zijn. Er werken meerdere krachten, op van alles en nog wat, maar kennelijk (en waarom) is het zo dat de centrifugale kracht op de lucht in de potjes domineert.
9. pa-pa. Het McGurk-effect. Ja, het zal wel. I am not impressed. Het antwoord geeft geen verklaring van het effect, alleen wat er kennelijk gebeurt. Ik heb mijn waarnemingspsychologie echt wel een beetje onderhouden, de laatste 45 jaar, maar nog nooit dat McGurk-effect ontmoet. Triviant.
10. straling voelen. Niemand kan dat, tenminste volgens een Engels onderzoek uit 2007 waarvan we de bron niet te lezen krijgen. Karel Knip vermoedt dat vleermuizen die starling wel eens zouden kunnen waarnemen, en als dat zo is kun je moeilijk stellig volhouden dat geen mens dat zou kunnen. De frequentie voor mobiele telefonie komt dicht in de buurt van die voor radar, die vleermuizen kunnen waarnemen. Karel Knip tekent nog aan dat de NWO-site vraagt naar elektromagnetische golven, de VPRO-site naar naar elektromagnetische golven van mobiele telefonie. Nog iets over gebrekkig Nederlands: een 'mobiele telefoonmast' is een telefoonmast die mobiel is. Een 'wild rooster' is geen wildrooster, althans ik heb nooit een wild wildrooster gezien.
11. blikjes cola. Het ongeschudde blikje rolt sneller, blijkt. Hier is iets wonderlijks aan de hand: het antwoord is alleen empirisch juist, de verklaring ervoor is 'enigszins omstreden' (wat betekent dat?). Dit is dus een quizvraag die niet goed op basis van wetenschappelijke inzichten is te beantwoorden. Karel Knip maakt de gebruikelijke verklaring, de druk is hoger door vrijgekomen kooldiaxide, in ieder geval volledig omstreden: hetzelfde effect met blikjes SiSi No Bubbles. Karel Knip beargumenteert dat de uitleg van de quizcommissie vanuit de mechanica en fysische chemie gezien onzin is, en geeft een mogelijke mechanische verklaring die de quizcommissie schuldig blijft.
12. rode duim. Het zou door de samenstelling van het licht komen. Een wonderlijk gebruik van de Nederlandse taal. En kennelijk is absorptie iets anders dan verstrooiing (had ik graag een toelichting op gehad). Rare vraag.
13. Arabische wetenschap. Europese vertaalcentra die ver weg waren van Arabische wetenschapscentra. En nu de uitleg: die laatste centra waren in Iran en Irak (het huidige Iran en Irak, kennelijk), waar de wetenschap ondertussen veel verder was dan in de verouderde teksten verkregen in Sicilië en Spanje. Klinkt aannemelijk. Waar kan ik dat naslaan? Mijn eigen idee over die Islamitische wetenschap is dat die na ongeveer 1100 niet verder ontwikkelde, gesmoord in censuur en zelfcensuur, dat is dus een heel ander verhaal (o.a. bij Makdisi, zo uit mijn hoofd).
14. kookkunst. Die kreeg een impuls. Het zal wel, hoewel de verklaring onmogelijk letterlijk juist kan zijn: "Door de sociale veranderingen kwamen bredere lagen van de bevolking in aanraking met de haute cuisine van de adel en de gegoede burgerij."
15. druipend vet. Om het vlees overal heet te houden. Echt wetenschap.
16. dobbelen. Antwoord a. Dit valt me werkelijk tegen, ik had toch stellig verwacht dat je op de een of andere manier zonder al dat rekenen zou moeten kunnen zien dat antwoord a juist is, danwel antwoord c. Antwoord b valt af, aannemend dat je een soort reeks-argument kunt hanteren. Dus als je weet of de kans b groter is dan a, of kleiner, dan weet je het antwoord. De enige manier om daar achter te komen, is het op de zak-japanner uit te rekenen, lijkt me. Het gegeven antwoord suggereert niet dat je het eenvoudig schattenderwijs zou kunnen doen.
17. calorie =? calorie. De onrijpe banaan zou meer calorieën 'bevatten.' Het officiëe antwoord is kletskoek. Karel Knip deelt mijn hunch dat het gaat om wat het lichaam opneemt. Dat is dan wel impliciete context: de veronderstelling is dat de banaan voor menselijke consumptie wordt gebruikt, of door Bokito. Dat blijkt ook de bedoeling van de ontwerper van de vraag, gezien de uitleg over wat het lichaam opneemt. Zo dicht bij een juist antwoord, en het dan toch missen, hoe kan dat nou beste ontwerper?
18. vliegen tegen de klok in. Het hangt af van de vlieghoogte, dus c., dat is het officiële juiste antwoord. Even officieel is het antwoord volstrekt onbegrijpelijk. Volgens de uitleg moet het juist b. zijn, als ik mijn eigen Nederlands mag vertrouwen. De ontwerper van de vraag raakt volkomen in de war over de eigen alternatieven die elkaar inderdaad niet uitsluiten. Karel Knip wijst er nog op dat 'tegen de klok in vliegen' dubbelzinnig is. En dat is het.
19. bad vol. Eerst het koude water erin. Dat dacht ik wel. Het bad moet dus ongeveer vol, want anders kun je deze truc niet doen. Karel Knip nam de stam van de vraag letterlijk, die mogelijkheid had ik zelf nog niet gezien. Alternatief c. is dat. De vraag is dus door en door dubbelzinnig.
20. bad leeg. Sneller leeg als er iemand in zit. Dat dacht ik wel. Er is een verbale uitleg bij: het moet het geval zijn dat .... . Maar dat is geen bewijs. Ik heb de uitzending niet gezien, er zal daar wel een empirisch bewijs zijn geleverd.
Deze quiz is werkelijk een aanfluiting, eeuwig zonde van het mooie concept. Haal ook Wim T. Schippers terug als presentator.
Het volgende deel van deze webpagina is overgenomen uit de behandeling van de nationale Wetenschapsquiz 2007. Oude stof, dus.
juweeltjes uit eerdere afleveringen
In de ondertussen omvangrijke verzameling quizvragen en -antwoorden uit dertien jaargangen zijn voldoende juweeltjes verborgen om daaruit een soort voorbeeldige quiz samen te stellen. Samen hebben ze een aantal onderscheiden kenmerken die het mogelijk maken goed te omschrijven wat het is dat een vraag tot een goede vraag voor een wetenschapsquiz maakt.
filosofie
Onderscheiden disciplines zijn oorspronkelijk afsplitsingen van de filosofie. Op die manier bezien moet het wel zo zijn dat er voor filosofie een plaats is in een wetenschapsquiz, niet vanwege de kleine en grote filosofen en hun hebbelijkheden, maar vanwege de hoofdstromen in het denken over de wereld.
wetenschapsgeschiedenis
Wetenschap maakt deel uit van cultuur, maar het kan lang duren voordat wetenschappelijke verworvenheden vast bestanddeel van cultuur uitmaken, voordat wetenschappelijke inzichten ook het 'gezonde verstand' van de gewone burger koloniseren. Het is voor studenten vaak onverwacht moeilijk om zich eenvoudige wetenschappelijke inzichten eigen te maken, juist omdat die haaks kunnen staan op wat zij tot dan aan eigen inzicht hebben, haaks op hun 'gezonde verstand' zeg maar. Omdat wetenschap juist een onderneming is die erop is gespitst ons 'gezond verstand' te vervangen door verbeterd inzicht op basis van waarneming, experiment en ratio, is die spanning per definitie altijd aanwezig. Bij uitstek dus een fenomeen waar een Wetenschapsquiz niet alleen rekening mee moet houden, maar er juist op in moet spelen.
Heel pregnant, en door velen goed beschreven, is in de natuurkunde die spanning aanwezig. In het middelbaar onderwijs is dat de spanning tussen de natuurkunde van Newton en die van de naieve leerlingen, welke laatste verdacht veel gemeen heeft met de natuurkunde van Aristoteles. In de universiteit is die spanning er opnieuw, omdat Newton niet het laatste woord heeft gesproken, en zelfs Einstein dat niet heeft gedaan. Wie geïnteresseerd is, zie mijn pagina over natuurkunde en onderwijs.
In de meeste wetenschappelijke disciplines doen zich verwante situaties voor. Het belang van deze wetenschapsgeschiedenis is dus niet dat het leuke historische feiten oplevert, maar dat het een film is die in zekere zin iedere iedere student en onderzoeker in een bepaald vakgebied opnieuw zelf moet beleven.
Een goudmijn dus om onderwerpen voor dde Wetenschapsquiz uit op te diepen, zoals in verleden vooral voor natuurkundige vragen al vaak is gebeurd, maar ook voor andere disciplines goede mogelijkheden biedt.
het dagelijks leven aangeraakt
Wetenschap mag nog steeds heel veel met louter nieuwsgierigheid te maken hebben, tegelijk is er een enorme impact van 'oude' wetenschap op ons dagelijks leven, en een enorme verwachte impact van huidige ontwikkelingen in de wetenschap. Dat is geen nieuws voor wie dagelijks de berichten over gentechnologie, nanotechnologie, nieuwe medicijnen, of global warming hoort en ziet. Gebruik dat dan ook bij het ontwerpen van de quizvragen, vermijd toy questions en louter intellectuele spelletjes.
de experimentele methode
Een wetenschapsquiz die alleen gaat over natuur- en gedragswetenschappen, ik geloof toch dat dat de tendens in de Wetenschapsquiz is, is wel erg armzalig. Het punt is niet dat ook rechten en taalwetenschap erbij horen, maar dat er algemene zaken zijn die in al die afzonderlijke disciplines aan de orde zijn. Denk aan de filosofie als moeder van alle wetenschappen. In het bijzonder is dan de experimentele methode van belang, het inzicht dat onze creatieve ideeën pas wortel schieten wanneer er moeite is gedaan te onderzoeken if deze overeenstemmen met wat in de wereld valt waar te nemen, en dat laatste bij voorkeur onder gecontroleerde omstandigheden.
Denk hier niet allereerst aan het bedenken van allerlei complexe physische onderzoeken, daar zorgen de betreffende geleerden wel voor, maar aan het besef dat ook in het dagelijks leven voortdurend uitspraken getoetst moeten zijn/worden aan de werkelijkheid, evidence based is een hedendaagse term die daarbij wel wordt gebruikt.
methodologie
De grondlijn is: gegeven de waarnemingen, wat mag daaruit wel of niet worden geconcludeerd? Een razend interessante vraag, op alle denkbare niveaus. Liegen met statistieken hoort er ook bij, evenals cijferblindheid bij sommige alfa's die desalniettemin wel op basis van cijfers moeten handelen (juristen bijvoorbeeld). Over juristen gesproken: een bijzonder aandachtsgebied is natuurlijk onze rechtspraak, waar juist in methodisch opzicht veel te veel heel erg wezenlijk misgaat (zie het werk van de rechtspychologen in Maastricht).
Dit is een heerlijk terrein om voor een wetenschapsquiz uit te mijnen, denk alleen al aan uitspraken die heel makkelijk uit de mond van politici rollen, van managers, maar zeker ook uit de mond van wetenschappers die sterke opvattingen hebben over wat collega's uit een heel andere disciplines aan resultaten aan de samenleving bieden (Dat gaat niet alleen over loten als een mogelijk instrument om schaarse studieplaatsen eerlijk te verdelen, ik zag deze middag [3 dec '06] nog een tv-columnist als 'professor doctor' aangekondigd worden, wat natuurlijk volkomen misplaatst is).
ethiek: verantwoordelijkheid
Een belangrijke categorie vragen in vrijwel iedere tak van wetenschap zijn die betreffende kwesties van ethiek, professionaliteit, en maatschappelijke verantwoordelijk. Dat zijn dus niet de onderzoekvragen zelf zoals die in het vakgebied op enig moment aan de orde van de dag zijn, maar het betreft een categorie van meta-vragen. Omdat deze direct raken aan belangen van burgers, als groep of individueel, verdienen ze zeker een plaats in een wetenschapsquiz. Daarin zijn ethische vragen dus heel anders van karakter dan bijvoorbeeld de politieke vraag welk wetenschappelijk onderzoek op welke manier voor welke bedragen te subsidiëren, dat is een type vraag dat niet vanzelfsprekend in een wetenschapsquiz thuishoort.
preferente vraagvorm
De voorkeur hebben vragen die zijn opgebouwd als kort casus, stam van de vraag, en twee keuzealternatieven, eventueel meer als dat functioneel is.
Er is een kleine, canonieke, set regels voor een goede vormgeving van toetsvragen beschikbaar in de internationale literatuur, waarin zaken als helder en strak formuleren, geen window dressing, dubbelzinnigheid uitbannen, dubbele uitspraken vermijden in de stam van de vraag zowel als in de alternatieven, absolutismen ('nooit,' 'alle,' 'precies,' 'evenveel') uitsluitend als ze gepast zijn, etcetera. Stuk voor stuk ontwerpfouten waar de Wetenschapsquiz tot nu toe diep onder gebukt gaat.
ontwerp en check
Absoluut vereist is een verantwoord ontwerp van de vraag, en een onafhankelijke check op de kwaliteit van de vraag zowel als zijn ontwerp, naar inhoud zowel als naar vorm en taal. De larmoyante quiz 2006 maakt duidelijk dat het niet zonder kan, hoe hoog ook de status mag zijn van degene die een vraag indient.
Merk op dat het ook om subtiele zaken kan gaan, zoals binnen een vakgebied vanzelfsprekende gewoonten om problemen louter abstract op te lossen (het stoeptegel-probleem, #17 in de quiz 2005), wat voor de rest van de mensheid - ik vind terecht - heel anders ligt. Laat vragen daarom ook altijd onafhankelijk beantwoorden en beoordelen door collega's uit echt heel andere disciplines: een psychologie-vraag door een natuurkundige laten checken, een natuurkundige vraag door een neerlandicus, een taalkundige vraag door een medicus, etcetera.
vraag wat je bedoelt te vragen
Het is bij de bespreking van het ontwerp van de afzonderlijke vragen in de quiz 2006 meermalen aan de orde geweest: de vragen zijn niet toegespitst op wat kennelijk het wetenschappelijke inzicht is waar het bij de beantwoording van de vraag om gaat. Natuurlijk, als je dat wèl zoudoen, dan zouden de vragen bepaald minder moeilijk worden, omdat meer mensen dan begrijpen waar de vraag over gaat, en er vergissingen in interpretatie en uitwerking, irrelevant voor de bedoeling van de vraag, daarmee zijn buitengesloten.
Een makkelijker quiz biedt meteen ruimte om een reeks extra vragen op te nemen, waarmee de quiz zowel veel aantrekkelijker wordt, als veel eerlijker.
Deze duidelijkheid in de vragen draagt er ook toe bij dat deelnemers eerder in de gaten hebben welk soort inzicht ze voor deze vraag ontbreekt (thuis kan die lacune dan makkelijker worden aangevuld door verstandig zoeken van de ontbrekende informatie).
vraag éné ding tegelijk.
Hoort logisch bij het voorgaande punt: het is zelden echt de bedoeling twee dingen tegelijk te vragen, doe dat dan ook niet, en als het even kan doe het in die andere gevallen ook niet.
maak vragen doorzichtig
Het spreekt eigenlijk vanzelf dat een quiz die voor een breder publiek is bedoeld, vragen bevat waarvan de strekking, de pointe, door dat bredere publiek is te doorzien. Zie ook de paragraaf 'propedeutisch niveau?' hierbeneden.
De analogie is met de eis van doorzichtigheid die geldt voor toetsvragen in het onderwijs: het moet volkomen helder zijn waar een vraag over gaat, en hoe de stof voorbereid had moeten worden om die vraag goed te kunnen beantwoorden. Het is maar een analogie: de wetenschapsquiz is per definitie niet een quiz die door hard studeren goed is voor te bereiden, en dat moet het ook niet worden door stiekem ingeslopen gewoonten van vragenstellen (overnemen van thema's uit een andere rubriek als 'Noorderlicht' of uit wetenschapsbijlagen van onze dagbladen; relatief heel veel vragen met een natuurkundig karakter).
Praktisch: de uitleg over het juiste antwoord op de vraag moet glashelder en begrijpelijk zijn, laten we zeggen dat iemand die dat met belangstelling heeft gehoord of gezien, een paar uur later dat antwoord in zijn kern moet kunnen reproduceren. Een iets verder gaande eis is dat een belangstellende leek op het gebied waar de vraag over gaat, deze goed moet kunnen beantwoorden met de nodige bedenktijd en eventueel eenvoudig naslaan van informatie. Bedenk dat het beantwoorden van dergelijke 'makkelijke' vragen onder quiz-condities een heel ander verhaal is: de spanning en vooral de heel erg beperkte tijd zullen zels ter zake deskundige deelnemers nog wel eens op het verkeerde been zetten.
Het mag natuurlijk nooit voorkomen dat een presentator duidelijke onzin ook nog eens voor de camera gaat verkopen, zoals met de waggelende pinguïn in 2005 is gebeurd. Dat is een bijzonder interessant incident, dat laat zien dat presentatoren en deelnemers makkelijk erop vertrouwen dat alles met de gestelde vraag wel in orde zal zijn, ook als in feite het correcte antwoord per abuis niet onder de alternatieven is te vinden.
ontmoedig raden
Ik heb hierboven het onderwerp 'raden' al behandeld. Het is bij een toets of quiz met keuzevragen eigenlijk toch wel eenvoudig om vaak raden te vermijden door te werken met een goed gekozen bonusregel: een halve punt is in veel situaties prima, ook als dat in feite meer is dan een pure raadkans rechtvaardigt.
propedeutisch niveau?
De gedachte zou nu kunnen intstaan dat quizvragen makkelijk zijn te ontlenen aan universitaire tentamens uit bijvoorbeeld het eerste kwartaal van de betreffende opleiding. Dat zou dan geen goede gedachte zijn.
Het eigene van een voor een breder publiek bedoelde wetenschapsquiz is dat de vragen, met een korte uitleg, begrijpelijk moeten zijn, ook voor wie geen opleiding in de betreffende discipline heeft genoten. Voor tentamenvragen geldt ongeveer het omgekeerde: zij moeten alleen goed zijn te beantwoorden, en dus begrijpelijk zijn, voor wie zich grondig heeft voorbereid. Mogelijk ligt in dit kenmerkende verschil ook wel een belangrijke reden waarom het zo lastig is om goede quizvragen te verkrijgen of te maken: het vereist een omschakeling in denken bij de ontwerper van de vragen.
Het probleem bij het ontwerp van de Wetenschapsquiz is dat het lastig in de vingers is te krijgen wat dan zo ongeveer de 'wetenschap' is om de deelnemers op te ondervragen. Neem daarom eens een goed omschreven veld, en onderzoek wat er in een quiz daarover zeker niet, en in ieder geval wel in moet komen.
Het eerste idee is dat de vragen niet in de eerste plaats over schaken gaan, maar zelf schaken zijn. Dat laat nog heel veel ruimte om het in te vullen. Dus geen vragen over de prestaties of het leven van Max Euwe, of allerlei weetjes uit de geschiedenis van het schaakspel die voor inzicht in het huidige spel irrelevant zijn. Maar typisch wel aangeboden schaakstellingen en vragen daarover. Omdat de vragen bedoeld zijn voor niet-experts, gaat het natuurlijk niet om analyse van partijen uit het laatste kampioenschap. Daar ligt dus de uitdaging: een schaakquiz voor een breed publiek dat minimaal de regels van het spel kent, maar zelf geen clubspelers zijn.
Ben Wilbrink (1983/2006) Toetsvragen schrijven / Toetsvragen ontwerpen. Oorspronkelijke uitgave als Aula 809, het Spectrum pdf 1.4Mb. Herziening in 2006, hoofdstuksgewijs hoofdstuk 1 etc.
Zie Toetsvragen ontwerpen 2006 voor verwijzingen naar de literatuur, voor veel titels zijn daar online bronnen gegeven.
Zie ook de bespreking van de ontwerpkwaliteit van de vragen in de Wetenschapsquiz 2005.
Zie ook de bespreking van de ontwerpkwaliteit van de vragen in De Grote Geschiedenis Quiz 2006 (site).
Zie ook de bespreking van de ontwerpkwaliteit van de vragen in de Nationale Rekentoets 2006 en 2007.
NWO site met de vragen van de Wetenschapsquiz vanaf 1994.
NWO site met de vragen van de Wetenschapsquiz Junior vanaf 1994.
VPRO site voor de Wetenschapsquiz.
Nationale Wetenschapsquiz Student http://www.nationalewetenschapsquizstudent.nl. Hier zijn geen video's te vinden, evenmin vragen en antwoorden. Deze editie loopt ook al heel lang mee, sinds 1998.
Discussieforum De Nationale Wetenschapsquiz http://wetenschapsquiz.punt.nl/
Physics 2000 site, een site met interactieve natuurkundige experimenten, en met een missie statement.
Wetenschapsforum.nl http://www.wetenschapsforum.nl/
http://www.vpro.nl/programma/nwq/artikelen/25671964/
http://www.benwilbrink.nl/projecten/wetenschapsquiz2007.htm