Ben Wilbrink: Over het ontwerp van de vragen in de Wetenschapsquiz 2005

De Nationale Wetenschapsquiz is gepubliceerd op zaterdag 26 november in de landelijke dagbladen. De volledige quiz is te vinden - en in te vullen - op www.nwo.nl/quiz. Voor de antwoorden: www.vpro.nl/nwq, voor opnieuw zien van de uitzending video, voor discussie over de quizvragen: forum

Dit is een quiz, geen toets. Toch zal ik de vragen behandelen alsof ze toetsvragen zijn.

Ik ben geen specialist op alle in de vragen aangesneden vakgebieden, toch zal ik ongeremd commentaar geven, daarbij ongetwijfeld een aantal vakinhoudelijke bokken schietend. Doe ik het niet goed, laat dat weten.

Het is niet de bedoeling - anders dan oppervlakkig - de aangesneden onderwerpen wetenschappelijk te behandelen, dat wordt al voortreffelijk gedaan in NRC's 'Alledaagse wetenschap' van Karel Knip.

De wetenschapsquiz is beeldvormend voor wat een goede keuzetoets is. Is hij een goede ambassadeur? Eerst de vragen en de antwoorden maar eens doornemen.

Wat ontbreekt: een instructie voor de deelnemers. Moeten ze raden wanneer ze het niet weten? Moeten ze het beste alternatief, of het juiste alternatief kiezen? Ook ontbreekt een korte aanduiding waar de quiz eigenlijk over gaat: wetenschap? wat is dat?

Zie voor de tekst van de vragen ook de NWO-site.

Vermijd hinderlijke taalfouten, hier: 'de maan' moet 'de Maan' zijn, en 'de aarde' is 'de Aarde,' niet het zwarte goud in de tuin. De Woordenlijst Nederlandse taal geeft: namen van hemellichamen krijgen een hoofdletter.

1. vraagt naar een simpel feit over de Maan. Of dat voor een wetenschapsquiz zo geweldig is? De eerste vraag is om er in te komen, zullen we maar zeggen.

Alternatief 1a. is mogelijk een willekeurig antwoord, in die zin dat de ontwerper van de vraag geen redenering heeft voorzien die tot dit antwoord zou kunnen leiden. Dat is niet handig, 1a. is makkelijk weg te strepen als onjuist.

1a. is in uren nauwkeurig, 1b. in minuten. Dat is slordig. Beter: a. Precies 12 uur later.

1c. 'helemaal niet' sluit niet aan op de vraag naar een tijdstip, en is bovendien een pleonasme. Moet de beantwoorder van de vraag daar betekenis aan hechten, nee toch? Er moet 'Nooit.' staan, of 'Hij verdwijnt niet.'

De stam van de vraag is lang en vraagt nauwkeurig lezen. Dat is qua ontwerp niet doeltreffend, het maakt van de vraag ook een test op leesvaardigheid. Haal ballast weg door de treinen van A naar B te laten rijden, niet van Abcoude naar Breukelen.

Het idee is statistisch of wiskundig redeneren te vragen. Typisch een vraag voor een wetenschapsquiz. De volgende 18 graag ook zo!

ieder alternatief heeft 'tien minuten,' dat richt de aandacht op die tien minuten 'precies'. Een slimme redenering is dan: het is vast niet 'precies' tien minuten, en 'minder' kan het moeilijk zijn, dan is 1a. dus juist. Dit ontwerp geeft het goede antwoord weg aan slimme rakkers die zo geen statistisch argument nodig hebben.

'Precies' is overbodig, en zo een stille hint dat 1b. onjuist is.

Een rare vraag, maar ook dat moet kunnen. Waarom zo'n vraag in een wetenschapsquiz? In de literatuur over mental models is bekend dat bijvoorbeeld natuurkundigen dezelfde naieve ideeën over de wereld kunnen hebben als gewone stervelingen, daar zijn leuke proeven over gedaan. 3. is waarschijnlijk zo'n mental model vraag. Heel goed voor een wetenschapsquiz.

Ik vermoed een mooi idee achter deze vraag.

1a. kan niet waar zijn: verwarmen en ijs blijven gaat op den duur niet samen, en de duur is onbegrensd: 'verwarm het geheel.' Goed kunnen lezen is hier eigenlijk al voldoende, niet? Een te makkelijk weggeven onjuist alternatief.

Ook 1c. is onjuist. Zou het waar zijn, dan brengen NWO en VPRO heel wat huishoudens in gevaar.

Het juiste antwoord is te vinden door slim afstrepen, niks wetenschap. Ik vermoed dat de ontwerper niet goed heeft nagedacht over de onjuiste alternatieven.

Maar ook 1b heeft iets eigenaardigs: 'het water blijft koud.' Er gaat dus een thermometertje mee de magnetron in? Dat metertje is bij 1a trouwens ook nodig. Kijk, zo raak ik toch nog in de war. Maar deze verwarring heeft niets met de intenties van de wetenschapsquiz te maken. Something rotten, here.

Een mooie korte stam. De alternatieven kunnen beter zonder 'Omdat.'

Ik heb geen idee wat deze vraag bedoelt te toetsen, behalve een algemene biologische wet (knieën?). Als velen met mij dat idee hebben, dan is het geen geslaagde vraag voor deze quiz.

Mijn huis-pinguïn weigerde mee te werken aan dit proefje. Er is dus een deskundige/encyclopedie nodig om hier antwoord te verschaffen? Mogelijk is het probleem met dit ontwerp dat de keuze tussen de alternatieven niet valt te beredeneren door deelnemer die een beetje biologische kennis - maar niet over pinguïns - heeft?

Toetst begrip van de waarneming, goed onderwerp voor deze quiz.

De formulering van de alternatieven is niet goed. Wat hier wringt is de conditie dat één alternatief juist, de beide andere onjuist moeten zijn. Het voorstel hieronder is een goede keuzevraag onder de instructie het beste alternatief aan te strepen: als 1c juist zou zijn, zou het beter zijn dan 1a.

1b. is een ontwerpfout: er staan twee uitspraken in dit alternatief. Het argument is een doorzichtige poging de deelnemer op het verkeerde been te zetten: we weten al dat het een fata morgana is; dit werkt als een boomerang, het verraadt dat dit een onjuist alternatief moet zijn. Omdat het argument niet juist is, is 1b onjuist, ook als 'nee' op zich juist zou zijn. Kijk, dat is dus het ontwerpfoutje.

1c. ziet er gekunsteld uit, vaak is dat een ontwerpfout, maar hier pas die infrarood-smoes mooi bij de hete lucht van het fenomeen. Maar dit alternatief verraadt ook dat de ontwerper op twee gedachten hinkt: of dit gezichtsbedrog fotografeerbaar is, en wat het verschil is tussen infrarood- en gewone fotografie (de infraroodfoto zal alleen hete lucht laten zien). Het zijn dus twee vragen in een, dat is niet altijd handig; voor een toets zouden ze uit elkaar moeten worden gehaald.

De vraag ziet er onevenwichtig uit: een korte stam, lange alternatieven. Informatie bij voorkeur in de stam, en ontwerp dan drie gelijkwaardige korte alternatieven.

De vraag toetst chemische kennis. Heb je die niet, gok dan dat de ingewikkelde 1a. en 1b. onjuist zijn, in ieder geval die met koolzuur in plaats van zuurstof.

Hoe dan ook zit er een verrassing in de vraag: ofwel dat water kan branden (dat is nieuws!), ofwel dat het mogelijk is door het stellen van de vraag leken zo gek te krijgen te denken dat dat misschien wel mogelijk is? Hoort dat ook bij het spel? In vertrouwensrelaties niet, maar die zijn bij een quiz tijdelijk opgeschort. Toch intrigerend, dit type vraag.

8: Waarom lijken alle pausen en bisschoppen zo op elkaar in de eerste gedrukte, geïllustreerde boeken?

De illustratoren mochten geen goedgelijkende portretten maken om religieuze redenen.
De illustratoren gebruikten voor elke geestelijke dezelfde houtsnede.
De illustratoren verzonnen maar wat omdat ze de geestelijken nooit hadden gezien.

Hier zit een enorme dubbelzinnigheid in de vraag. De gewone betekenis van een uitspraak als in 8. is dat pausen in de boeken A, B en C op elkaar lijken, en op de bisschoppen. Pas na enige tijd begint het te dagen dat de ontwerper van de vraag iets heel anders bedoelt: de afbeeldingen verschillen wel degelijk van boek tot boek, maar binnen ieder boek zijn de portretten 'gelijk.' Brrrrrr, vreselijk.

Ik wacht op de uitleg waarom dit een goede vraag voor de wetenschapsquiz is. De enige kennis nodig om het antwoord te vinden is dat de katholieke kerk afbeeldingen niet verbood. Dat 1c onjuist is, is in te zien omdat het geen verklaring biedt (wie je niet gezien hebt, kun je toch eigen fantasie-identiteit geven).

Als je zo ver bent gekomen in afstrepen, blijft er een inconsistentie over: de stam spreekt over 'lijken op', terwijl 1b. impliceert dat de portretten identiek zijn. De verwarring is nu zo groot, dat 1b. als onjuist moet worden beschouwd, en 1a. juist moet zijn. Pervers.

Een hoop ruimte voor interpretatieproblemen. Wat is een avondzon, hoe hoog mag die nog staan? Is een cirkel alleen een cirkel als hij gesloten is? Is het duidelijk wat onder deze omstandigheden onder een 'boog' moet worden verstaan? Het probleem met deze dubbelzinnigheden is dat in dit geval de ontwerper waarschijnlijk zal zeggen dat er niets achter de gegeven tekst moet worden gezocht, en een volgende keer dat uit de tekst had moeten worden begrepen dat het niet zo kan zijn dat ..... .

Het alternatief 'als een horizontale band' is zo obscuur qua mogelijke betekenissen, dat dit wel onjuist moet zijn. Een weggevertje, maak er dan gewoon tweekeuze van.

10: Een trampolinespringer springt met springstelten (schoenen met bladveren eronder) vanaf een stellage die één meter hoger is één keer op een trampoline. Hij zet zich zo hard mogelijk af op de trampoline. Wanneer springt hij duidelijk het hoogst?

Met de springstelten aan zijn voeten.
Met de springstelten in een rugzak.
Maakt niet uit.

Natuurkundige vraag. Mogelijk is dit alleen te beredeneren wanneer de theorie goed bekend is. Als dat zo is, waarom dan in de wetenschapsquiz?

Jammer dat het lastig is deze vraag in huiselijke kring te experimenteren, maar mogelijk zijn er analoge situaties te bedenken?

Misschien komt het idee voor deze vraag uit een cartoon. Een nuchtere gok op deze vraag is 1b. te kiezen, anders worden het maar ongelukken.

Dit is een onhandig ontwerp, omdat de stam vraagt om 'ja' of 'nee,' en er in de alternatieven ineens allerlei kwalificaties opduiken. Dit kost ook veel leestijd, omdat in feite drie juist/onjuist vragen in het keurslijf van een enkele driekeuzevraag zijn gepropt. Hier dus liever één goede tweekeuzevraag van maken.

Inhoudelijk is het een vreemde vraag, twee van de alternatieven lijken onzin - 'zo klein dat je hem niet ziet': mag je een bril opzetten, loep gebruiken, microscoop, electronenmicroscoop? En 'iets niet hebben omdat het niet nodig is,' is ook onzin. Ik ben benieuwd, ik vermoed dat dit gewoon heel slordig is geformuleerd. Ik zou het een ongelukkig ontwerp vinden wanneer het de bedoeling is dat de deelnemer begrijpt dat 11a. en 11c. onjuist zijn omdat er onzin staat.

12: Je legt een bezemsteel horizontaal op je twee evenwijdig uitgestoken wijsvingers. Je beweegt rustig de ene vinger naar de andere toe. Wat gebeurt er?

De bezemsteel beweegt mee op de bewegende vinger totdat hij van de andere vinger afvalt
De bezemsteel steunt beurtelings op de ene en de andere vinger, tot die elkaar raken.
De bezemsteel blijft liggen op de niet bewegende vinger. De andere vinger schuift onder de bezemsteel door tot de bezemsteel kantelt.

Een mooie typische wetenschapsquiz-vraag. Te beantwoorden door het experimentje te doen, of een eenvoudige natuurkundige redenering op te zetten.

Het is wel veel tekst, de ontwerper had met iets meer inspanning een heldere korte vraag kunnen maken.

Goede wetenschapsquiz-vraag, misschien wat simpel - tenzij ik een addertje onder de boeggolf mis.

13a. en 13b. zijn onnodig lang omdat 'de hoek die de moedereend maakt' in de stam van de vraag kan. 'Moedereen' is 'eend.'

Deze vraag keur ik af. Het kan niet bestaan dat de kleur van het tafelblad er niet toe doet.

Een tweede probleem met deze vraag is dat het gebruik van 'is' in plaats van 'lijkt' in de stam, 14c. uitsluit. Helaas geeft 'lijkt' in plaats van 'is' het omgekeerde probleem.

14a. is gekunsteld omdat 'vallen' er bij is gehaald, daar was in de stam geen sprake van: het zal dus wel onjuist zijn.

14b. heeft dat probleem ook, omdat hier ineens sprake is van opdrogen.

Bij 14c. wordt dan de vraag: is de wijn gevallen, is de vlek opgedroogd?

Deze problemen moeten toch zijn te voorkomen door zo'n ontwerp uit te testen op enkele collega's die voor advocaat van de duivel spelen.

15: Hoe komt het dat we de vage geur van een gaslek beter ruiken als we snuffelen in plaats van rustig door de neus inademen?

Snuffelen maakt van de constante prikkel pulsen. Dit voorkomt gewenning.
Snuffelen veroorzaakt wervelingen die zorgen dat de geur hoog in de neusholte dringt.
Het snuffelen regelt onze aandacht.

Beetje simpel? Of is dat juist de verborgen verleider?

15c. is geen overtuigend onjuist alternatief.

Als 15a niet echt onjuist is, maar een minder goed antwoord dan 15b, dan wijkt de vorm van 15 af van die van de andere vragen in de quiz.

16: Als een fotograaf zijn camera 45 graden scheef houdt, vinden we alles op de foto hinderlijk scheef staan. Maar als je je hoofd scheef houdt, heb je daar geen last van. Hoe komt dat?

We weten dat bomen en huizen rechtop staan.
Onze ogen compenseren onze hoofdbeweging door om hun kijk-as te draaien.
Onze hersenen corrigeren het gedraaide beeld.

Slordig geformuleerd.

16b. is door iedereen als onzin te herkennen.

16a. en 16c. zijn synoniem.

Vraag afgekeurd.

De geïnteresseerde lezer kan bij het klassieke werk van James J. Gibson over waarneming terecht. Het onderwerp is te specialistisch om op deze manier in een wetenschapsquiz op te nemen. Ik vermoed dat er recent een psychologisch experiment is gepubliceerd, waarop deze vraag is gebaseerd; dat is in eerdere wetenschapsquizzes ook wel gebeurd, helaas. In ontwerptermen: in een voor een breder publiek bedoelde quiz gaat het niet aan iets te vragen over een of andere toevallige experimentele opstelling. Vals spel.

Prima natuurkundig onderwerp voor de wetenschapsquiz. Het zou me niet verbazen als een variant als eens eerder was gebruikt.

Met 'overhellen' in de stam wordt kennelijk 'overstekend' bedoeld. Natuurkundig zijn beide begrippen mogelijk equivalent, maar de stenenstapeling sluit overhellen uit. Er zijn extra aannamen nodig: de basistegel ligt waterpas, en uitsteken wordt met hulp van een schietlood bepaald. Slordig, slordig, dat ruineert een overigens fantastisch mooie vraag.

17c. is een fraai voorbeeld van een evident onjuiste universele quantor, en zal door iedereen als onjuist worden aangemerkt. Een weggevertje.

Van de beide andere alternatieven moet er dan een juist, de ander onjuist zijn. Die kennis zul je ook nodig hebben om uit te vinden wat is bedoeld met 'precies twee tegels' en 'ongeveer anderhalve tegel' maximaal 'overhellen.' Als ik verder niets weet, en gesteld voor de keuze tussen 'precies' en 'ongeveer', dan zou ik het alternatief met 'ongeveer' kiezen.

Het bouwwerk maken, dat is altijd een goede mogelijkheid. Met wat speelgoed in de buurt is dat zo gebeurd.

Elementaire kennis over het oog. Een weetjes-vraag.

De tekst van de stam vraagt weer vertrouwen in de bedoelingen van de vragensteller: dat je in het centrum van je gezichtsveld alleen de helderste sterren kunt waarnemen, aan de randen ook zwakkere; het gaat dus niet om aantallen, maar 18a. sluit juist op die dubbelzinnige tweede interpretatie aan!

18a. is een instinker, sluit aan op een alternatieve - geldige! want tel die sterren maar eens - interpretatie van de stam. Alternatief is afgekeurd. Dit is een soort ontwerpfout die docenten voor het College van Beroep voor de Examens kan brengen. Het 'heelal' is natuurlijk het 'zwerk,' waarin we in Nederland tegenwoordig nauwelijks nog iets te zien krijgen.

18b. is een wel vrije weergave van de fysiologie van het netvlies. Is het nodig een vage term als 'rand' hier te gebruiken?

Een leuke combinatie, 18b. en 18c.: ofwel de gegeven fysiologische verklaring is juist, ofwel de waarnemingspsychologische.

Dat wordt een spektakel. We zoeken in de dikke Van Dale 'dikke pap' op? Wat gebeurt er met dikke pap die droogt? Drogen begint onmiddellijk, de vraag gaat dus over drogende pap. Hoe vochtig moet het spul zijn om nog 'pap' te mogen heten? Is daar een jury voor nodig? Het zal wel een geinige vertoning worden.

De vraag refereert kennelijk aan een bekend fysiologisch of energetisch verschijnsel. Dat mag zo zijn, maar ook bij deze laatste vraag moet de vraagstelling weer met de nodige welwillendheid worden geïnterpreteerd om een duidelijk antwoord mogelijk te maken. De vraagstelling is niet ondubbelzinnig waar het de tijd van de diverse gebeurtenissen betreft.

20c. is waarschijnlijk onjuist: niet vermeld is wáár in of aan de neus die temperatuur wordt gemeten. Een weggevertje.

En dan de antwoorden ...

De antwoorden zijn nu bekend, en kort toegelicht op de site van de Wetenschapsquiz. Daarmee is nu dus iets meer bekend over het ontwerp van de vragen. Ik ga ze maar eens langs.

1. maantoerist geen verrassing; 1a. en 1b. zijn bedoeld als "instinkers," wat geen adequate opvatting is voor een ontwerper van toetsvragen, maar bij quizvragen misschien leuk bedoeld?

2. busje komt zo geen verrassing, maar wat een omslachtige uitleg van het antwoord! Dat kan veel korter:

3. hartenboom geen verrassing. Er zat geen diepere gedachte achter de vraagstelling, geen mental model idee. Dat hoeft ook niet, maar de mental models literatuur is een rijke bron voor heel veel schitterende quizvragen.

Geen idee achter de keuze van de onjuiste alternatieven, gemiste kans. Dus een te simpele omzetting van een open vraag naar een driekeuzevraag.

4. ijsmagnetron wel een verrassing. Mooi! Je moet het maar net weten, maar deze kennis is voor magnetrongebruikers zeker niet triviaal.

Ik mis de toelichting bij 4b, omdat het ijs toch snel warmte zal onttrekken aan het water, maar de magnetron daar kennelijk makkelijk tegenop kan. En waarom de mogelijkheid van ontploffen als onjuist alternatief gekozen, is dat naar analogie van de lotgevallen van het ei?

Qua formulering van de vraag was er toch iets te verbeteren geweest door de duur te bepalen op bijvoorbeeld 30 minuten, in plaats van die tot mogelijk oneindig te laten doorlopen.

5. silly walk Wat een verrassing: de vraag telt niet mee, het juiste antwoord - waggelen kost het minste energie - stond er niet bij, vandaar dat het zo'n wonderlijke zaak was. De video van de uitzending terugkijkend is te zien hoe ook daar de verwarring heeft toegeslagen. Antwoord c. zou goed zijn, maar deelnemers-protest leidt tot ook goedkeuren van antwoord a. Dat is anarchie.

6 foto morgana, geen verrassing. In de uitleg mist overigens waarom het woord 'gezichtsbedrog' is gebruikt, of die infraroodfoto.

7 brandend water? Nee hoor, dat stelt dan weer gerust. Geen overtuigende uitleg over de aangeboden alternatieven. Geen goed idee voor een wetenschapsquiz.

8. houten Klazen, geen excuus voor de dubbelzinnige formulering. Geen uitleg voor de keuze van onjuiste alternatieven. Een ontwerper die wel een leuk verhaaltje weet over illustreren, maar geen adequaat vraagontwerp heeft.

9 regencirkel, wel uitleg over het fenomeen, niet over de vraag en zijn alternatieven.

10 hoogspringer, geen verrassing.

Uitleg waarom nadrukkelijk voor een beperkte spronghoogte van 1 meter is gekozen. Deze ontwerper is daarmee zorgvuldiger geweest dan de magnetron-ontwerper. We maken er een wedstrijdje van.

11. worteltrekken, geen verrassing, mooie uitleg van het fenomeen, een plaatje erbij had ook wel gemogen (dat geldt trouwens voor heel veel vragen, kennelijk moet de show zelf daar in voorzien, en die heb ik gemist).

Geen uitleg over het ontwerp van de vraag en de foute alternatieven.

12. bezemsteeltje, geen verrassingen. De vraag had inderdaad scherper gesteld gekund.

13. golfbreker, dit is niet echt overtuigend, de uitleg zelf is trouwens ook niet zonder meer te begrijpen. De stilzwijgende veronderstelling is dat wat er beweegt, dat met matige snelheid doet, en dat het om zich keurig gedragende boeggolven gaat. Het antwoord gaat niet in op wat er gebeurt wanneer je een kogel door de bovenste laag van het water schiet.

Hier gebeurt dus iets interessants: de ontwerper veronderstelt dat die eend misschien nog wel door een boot mag worden vervangen, maar niet door iets extreems. De verdediging zal wel zijn dat er in de stam van de vraag toch duidelijk staat dat het om boeggolven gaat, dus niet om fenomenen waarin die boeggolven gedegenereerd zijn. Zwak. Het probleem was te vermijden, zoals de ontwerper van de trampoline-vraag heeft gedaan, door een heldere grens te stellen aan snelheden: supersonisch telt niet. Waarom zou niet vanuit extreme situaties mogen worden geredeneerd, zoals bij 2. de trein van A naar B?

Karel Knip schiet te hulp (NRC 22 januari 2006). "Een andere kwestie is die van het kielzog van watervogels en schepen. De quizcommissie wil ons doen geloven dat de ingesloten hoek tussen de boeggolven die een zwemmende eend of een varend schip achter zich laat onafhankelijk is van de snelheid. Hij zou in alle gevallen ongeveer 39 graden zijn. Ook de gangbare literatuur gaat daar trouwens vanuit. Maar het is in strijd met de intuïtie en daarom deed het deugd bij Minnaert te lezen dat het kielzog in ondiep water op zijn minst door de diepte wordt bepaald. Dus toch niet zo constant.
Nu is er ook de reactie van ir. N. H. Dekkers, co-auteur van het tweedelige werk 'Eenvoudige stromingsleer.' Zowel voor fysici als voor doordenkende niet-fysici moet de uitleg op die quiz-avond onbegrijpelijk geweest zijn, schrijft hij. "En volgens mij was hij gewoon fout." Dekkers is ervan overtuigd dat de grootte van de ingesloten hoek wèl door de snelheid wordt bepaald. Hij rekent het op een aansprekende manier voor in een voorbeeld waarbij de eend een snelheid v heeft en de boeggolfjes, die zich vanaf haar borst (de storingsbron) cirkelvormig uitbreiden, een snelheid a hebben. Die a is een constante, die v is willekeurig te kiezen. De twee naar links en rechts weglopende boeggolven vindt men als de raaklijn aan de rimpelcirkels waarvan de eend de veroorzaker was. Voor de halve ingesloten hoek geldt dat de sinus ervan gelijk is aan a/v. Hoe harder de eend zwemt, hoe kleiner de hoek. Toch heeft de AW-redactie een vage herinnering aan een artikel waarin een dergelijk betoog overtuigend verworpen werd."

14 wijnvlek, geen verrassing.

De ontwerper bekent impliciet schuld: hij/zij heeft het hier over een ringvormige vlek, niet meer over iets dat in het centrum lichter is dan aan de rand. Ringvormige vlek had in de stam moeten staan. Er wordt bovendien iets verondersteld over de structuur van het oppervlak van de tafel, dat stond evenmin in de stam. Er deugt echt heel weinig van de formulering van vraag en alternatieven.

Het fenomeen in kwestie is trivia van de bovenste tafel. Niet meer doen.

15. snuf, geen verrassing. Geen uitleg bij de onjuiste alternatieven, die vond de ontwerper kennelijk nog steeds niet echt van belang voor de vraag?

16. scheefzien, geen verrassing.

Leuk dat 16b. goed zou zijn bij een kleine draaiing, die is uitgesloten door de 45 graden in de stam aangegeven (vergelijk de trampolinesprong van 1 meter). Niet dat ik wist dat ogen een klein beetje zo kunnen draaien, geen onzin dus.

Hoe zit het nu met 16a.? De uitleg hierover rammelt, is veel te kort door de bocht, legt niet uit wat het verschil is tussen 'iets weten' en 'wat de hersenen doen.' We weten niet met onze tenen. In het ene geval 'weten' we iets, in het andere doen 'de hersenen' wat; de ontwerper had moeten signaleren dat dit verschillende manieren zijn om hetzelfde proces aan te duiden. 16a. blijft afgekeurd, maar met 16b. en 16c. is er een goede, maar te makkelijke, tweekeuzevraag.

afbeelding: www.antiquark.com/img/harmonic_stackdominoes90.gif

17. Babel, dit is natuurlijk verrassend. Er was wel nattigheid te voelen omdat 17a. en 17b. niet juist lijken, maar ja, op vreemd terrein voel je je onzeker, niet? En de formulering van de stam is dubbelzinnig.

Blijft dus de vraag of 'oneindig ver' wel juist is. O ja, de uitleg, althans de formule, klopt op zich helemaal, geen twijfel mogelijk, als je de formule geldig verklaart. Niet is aangegeven wat 'oneindig' hier betekent, en of het louter als wiskundige abstractie moet worden opgevat: als deze stapel oneindig ver moet oversteken, hoe hoog is de stapel dan .... , zijn dat verschillende oneindigheden? Dit leidt geheid tot problemen. De moderator voor deze vraag laat mij weten dat op de schaal van het heelal de maximale oversteek zo'n 22 tegels is ..... . Voor een wetenschapsquiz heb je dan een razend interessant thema: de relatie tussen wiskundige modellen van de wereld, en die wereld zelf. Maar daar gaat vraag 17 helaas niet over, blijkt.

Naar mijn smaak is deze formulering van vraag 17. een strikvraag, wat overigens een heel geschikte vorm is om een fijne discussie te starten. Het probleem was te vermijden geweest door te vragen hoe ver een stapel van 32 stoeptegels maximaal kan oversteken, en aan te geven dat de maximale oversteek bij een stapel van twee tegels (net niet) een halve tegel is.

In mijn boek Toetsvragen schrijven raad ik af om universele quatoren als 'nooit,' 'alle,' en nu dus ook 'oneindig' te gebruiken, niet in 'onjuiste' antwoorden omdat het hint is dat het onjuist is, niet in 'juiste' antwoorden omdat het impliciet een metafysische claim is, en daar kan gedonder van komen. In Babel is het gedonder. De condities van de probleemstelling zijn toch dat het aardse zwaartekracht is die op de tegels inwerkt, dus alle beslommeringen over 'oneindig' zijn niet ter zake. Dat laat een driekeuzevraag over met uitsluitend onjuiste antwoorden. Desgevraagd laat de moderator voor deze vraag weten dat in redactioneel overleg er uitvoerig is gesproken over de natuurkundige redeneringen, om ze buiten de vraagstelling te houden. Bij onderling fiat wordt hier afgesproken aan welke waarheid de deelnemers aan de test zullen worden gehouden: natuurlijk is het zo dat de groeiende stapel tegels al snel tot de fysieke onmogelijkheden gaat behoren, maar dat geldt voor deze vraag even niet, is buiten haakjes gezet. Kiekeboe. Voor een quiz is dat geen doodzonde, en deelnemers kunnen uit de evidente onjuistheid van twee alternatieven afleiden dat de vraagsteller moet hebben gedoeld op een idealistische mathematische wereld, en niet de natuurkundige. Maar dat is niet het oorspronkelijke ontwerp van de vraag, zo'n slordigheid is toch makkelijk te vermijden!

Los van de ontwerpproblemen die deze vraag demonstreert: een briljante vraagstelling, hoewel niet origineel:

Eric W. Weisstein (2005?). Book Stacking problem mathworld, met literatuurlijst waarin de cantilevered books zijn behandeld, de oudste is 1953, maar het zal in de 18e eeuw ook al wel zijn bestudeerd. Weisstein behandelt in zijn korte stukje overigens niet wat er gebeurt wanneer het aantal tegels naar oneindig gaat.

18. star gazer, geen verrassing, inderdaad elementaire kennis.

18a. krijgt geen toelichting. Heeft de ontwerper dit bewust zo beroerd geformuleerd? Is de dubbelzinnigheid in de stam bewust gekozen?

19. lopen over maizena, verrassend, ook de verklaring.

Achteraf terugkijkend naar de formulering van de vraag is die toch wel slordig. 'Dikke pap' moet kunnen, zand daarover. Maar 'rennen' had beter het minder suggestieve 'lopen' kunnen zijn. En 19a. is weliswaar het beste alternatief, waar er is wel sprake van wegzakken, dus 'zonder weg te zakken' had beter weggelaten kunnen worden. Het zijn misschien kleinigheden, maar het is al een wat wonderlijk fenomeen, het mysterie hoeft niet nog groter te worden gemaakt door onhandige tekst.

Briljante wetenschapsquizvraag.

20. langs de neus weg, geen verrassing, mooi fenomeen, niet goed verklaard: de hersenen hebben meer bloedtoevoer nodig, maar dat staat er niet.

Geen uitleg over 20a: ook het voorhoofd zou koeler moeten worden, zou je denken, ook al is het maar een fractie. Is dat niet zo? Voert de voorhoofdshuid de warmte van de extra hersenactiviteit af?

Wat parten speelt bij deze vraag is dat de verklaring achteraf de formulering van de vraag wel begrijpelijk maakt, maar een goede vraag moet ook zonder zo'n verklaring begrijpelijk zijn. De tekst van 20. laat teveel te raden over. Zoiets valt met testen van de vraag wel uit te vinden. Testen is: zonder verklaring aan proefpersonen voorleggen, niet de verklaring zelf bespreken met collega's.

bedoeling van de quiz ('missie')

De bedoeling van de toets moet in de studiegids zijn beschreven, in dit geval op de website van NWO/VPRO, en verdraaid: nee dus.

Veronderstel dat de quiz deel uitmaakt van een bepaalde beslisprocedure, bijvoorbeeld als onderdeel van een selectieve toelating tot een of ander modieus 'university college.' Dan is het al een stuk lastiger om de kwaliteit van de quiz aannemelijk te maken. De 'missie-statement' van het university college moet de inhoud en het gebruik van de quiz dan kunnen rechtvaardigen. Dat is geen sinecure, zie bijvoorbeeld de problemen bij de selectieve toelatingsprocedures tot de 'top-instellingen' in de Verenigde Staten (Robert Laird's bijdrage in Camara en Kimmel (2005) html).

Als NWO geen duidelijk beeld heeft van wat zijn wetenschapsquiz moet 'doen,' welk beeld kunnen we er zelf in een paar woorden van schetsen? Bijvoorbeeld dit:

Ik verwacht geen vragen die alleen goed zijn te beantwoorden door de specifieke kennis toevallig al te hebben, zoals dat ene wetenschappelijke artikel net te hebben gelezen. Op basis van algemene inzichten en wetmatigheden moet het mogelijk zijn een beredeneerde keuze uit de aangeboden alternatieven te maken. De maizenavraag uit de 2005-quiz valt dan door de mand, maar deze vraag heeft de charme dat in de keuken een proef is te doen. Aha, er zijn dus twee quizzen: de ene doen veel Nederlanders thuis, de andere doen twee teams in de studio. De maizena-vraag is een onzinnige vraag voor de studio-teams. Het gekke is nu dat er aan die eis van meer algemene inzichten, danwel proefondervindelijkheid, eigenlijk niets meer hoeft te worden toegevoegd.

Het ontwerpen

Waarom keuzevragen? Voor al die invullers thuis is het wel zo doelmatig keuzevragen te gebruiken, anders is het scoren van ingezonden formulieren niet doelmatig te organiseren. Ook voorkomt de gesloten vorm een hoop discussie achteraf over welke antwoorden ook nog goed zijn. Maar dan het uit te zenden programma zelf: op zich is het niet nodig om de teams keuzevragen voor te leggen, het is tamelijk eenvoudig een panel van deskundige beoordelaars samen te stellen. Die kunnen ook de keuzealternatieven uit de krant bij hun oordeel betrekken, wat ook zal moeten om de inzenders bij de les te houden. Het is maar een idee: laat de teams de open vragen beantwoorden. Geef ze de mogelijkheid de keuzealternatieven te 'kopen,' als ze er anders niet uitkomen.

Waarom drie alternatieven? Dat is een uitstekend ontwerp, omdat vier alternatieven veel vragen te complex maken, om maar eens iets te noemen. Waarom alles driekeuze? Dat is niet echt nodig, neem de vrijheid soms twee, soms vier keuzen aan te bieden, als dat de vraag ten goede komt.

In het algemeen: deze quiz lijdt onder het euvel dat de ontwerpers wel goed hebben nagedacht over het onderwerp van de vraag, maar veel minder goed over de set van alternatieven als zodanig, vooral de onjuiste alternatieven bungelen er vaak maar wat bij. Keuzevragen zijn lastiger te ontwerpen dan open vragen, maar dan moet er ook moeite voor worden gedaan. Zeker bij een quiz over alles dat 'wetenschappelijk' is - niet over een hoofdstuk in een boek - komt het ook aan op 'wetenschappelijk' redeneren bij de afweging van de aangeboden alternatieven. Nu bungelt dat er soms maar een beetje bij, er zijn misschien drie vragen die in dit opzicht goed zijn (ontworpen? of toevalstreffer?).

Nederlands, tekst, woorden

Het is toch wel opvallend dat voor deze quiz met zo'n hoog profiel er heel veel mis gaat wat tekst betreft, gewoon helder Nederlands. In de voorbereidingsfase is daar toch met weinig moeite iets aan te doen: er doet een behoorlijke groep hoogleraren mee, laat ontworpen vragen (zonder aanduiding wat het antwoord moet zijn) beoordelen door de overige medewerkers onder toetscondities, dus zonder er de vakliteratuur op na te slaan, te googelen, etcetera.

Argumenteren

Er zijn veel opvattingen mogelijk over wat er in een wetenschapsquiz voor Nederlands geïnteresseerde publiek vooral moet worden gevraagd. Is dat eenvoudige kennis van natuurkundige etc. zaken, zoals 18. star gazer, het doen van proeven, zoals 17. Babel, het argumenteren van vraag naar antwoord, zoals 2. busje komt zo, het argumenteren van de juistheid van ieder alternatief afzonderlijk, zoals 8. houten Klazen, of het argumenteren van de keuze tussen alternatieven, zoals eigenlijk bij geen enkele vraag in deze 12e quiz?
Omdat er geen missie statement voor de quiz is, is dat duister, hebben de indieners van vragen geen houvast. Zonder dat houvast is de algemene werkwijze, gezien de antwoorden, de volgende.

Dit moet toch de eer van iedere academicus te na zijn. Maar dan is er nadrukkelijk aandacht voor het ontwerp nodig. Kies dan een veelbelovend onderwerp, bouw rond dat onderwerp een netwerkje van relevante relaties (gebeurtenissen, samenhangen, wetmatigheden, waarnemingen), maak dan een vertaling naar wat een niet-vakman aan goede argumenten kan gebruiken om een vraag of probleem aan te pakken. Dan volgt daaruit ongetwijfeld ook wat een coherente set van juiste en onjuiste alternatieven is (beter: goede en minder goede alternatieve) voor de keuzevraag. Zo zijn de geboden alternatieven geïntegreerd in het gestelde probleem.

Dan is het ook tijd geworden eens te kijken naar het karakter van de set quizvragen in zijn geheel. Dan is toch voor iedereen duidelijk dat er een hoog jongens-radioboek gehalte in deze quiz zit. Waarom is dat? Waarom geen vragen die gaan over juridische of ethische problemen? om maar eens iets te noemen.

Wetenschap?

Iedere weekeind-editie van een beetje een kwaliteitsdagblad borrelt over van uitspraken die 'wetenschappelijk' zijn. Betrek daar ook uitspraken van politici en journalisten bij die refereren aan wat wetenschappelijk vast zou staan of bekend zou zijn, en er is een zee van mogelijkheden om vragen voor een wetenschapsquiz uit te construeren. De twaalfde editie van de wetenschapsquiz is evident niet op een dergelijke wijze ontstaan, wat een geweldige gemiste kans is, de twaalfde op rij.

Voor het meedoen aan en jureren van een wetenschapsquiz mag geen specialistische wetenschappelijke kennis nodig zijn, maar is wel een bescheiden niveau van kennis op diverse wetenschapsgebieden vereist, en een redelijk inzicht in wat geldige, wat ongeldige argumenten zijn. Die vereiste wetenschappelijke kennis zou best in samengevatte vorm aan de quizdeelnemers ter beschikking gesteld kunnen worden, dat kan de aantrekkelijkheid van het quiz-gebeuren alleen maar ten goede komen. Dat legt stevige beperkingen op bij het ontwerpen van geschikte wetenschapsquiz-vragen, maar laat tegelijk enorm veel ruimte om tot goede ontwerpen te komen. Op geen enkele manier is het nodig om voor het ontwerp van ondubbelzinnig arbitreerbare vragen de toevlucht te nemen tot simpele kennis, of tot gekunsteld extreme tegenstellingen tussen aangeboden alternatieven.
Met andere woorden, ik begrijp niet waarom de NWO/VPRO wetenschapsquiz zo knullig moet zijn, en tegelijk zo'n klein publiek direct inhoudelijk aanspreekt. Dat kan 'oneindig' veel beter.

Literatuur

Ben Wilbrink (1983/2006) Toetsvragen schrijven / Toetsvragen ontwerpen. Oorspronkelijke uitgave als Aula 809, het Spectrum pdf 1.4Mb. Herziening in 2006, hoofdstuksgewijs hoofdstuk 1 etc. Zie Toetsvragen ontwerpen 2006 voor verwijzingen naar de literatuur, voor veel titels zijn daar online bronnen gegeven.

Zie ook de bespreking van de ontwerpkwaliteit van de vragen in De Grote Geschiedenis Quiz 2006 (site). Zie ook de bespreking van de ontwerpkwaliteit van de vragen in de Wetenschapsquiz 2006.

links

Nationale Wetenschapsquiz Student http://www.nationalewetenschapsquizstudent.nl/ [bestaat niet meer? 3-2009]. Hier zijn geen video's te vinden, evenmin vragen en antwoorden. Deze editie loopt ook al heel lang mee, sinds 1998.

Discussieforum De Nationale Wetenschapsquiz http://wetenschapsquiz.punt.nl/

Physics 2000 site, een site met interactieve natuurkundige experimenten, en met een missie statement.

proefjes.nl www.proefjes.nl

Wetenschapsforum.nl http://www.wetenschapsforum.nl/

http://www.vpro.nl/programma/nwq/artikelen/25671964/

tekst geheel herzien 28 maart 2006

Een tijd later naar zo'n tekst terugkeren maakt het makkelijk de minder zinnige commentaren te zien en te schrappen, en een enkele toe te voegen die meer ter zake is. Dat is ook een handige tactiek om zelf ontworpen toetsvragen op kwaliteit te controleren, maar maak dan de eigen vragen onder toetscondities, dus zonder inzage in sleutel, modelantwoorden, of ontwerp-ideeën van de vragen. Ik heb trouwens de uitzending van de quiz 2005 gemist, en heb nog niet de juiste antwoorden opgeslagen, zodat ook deze herziening nog de charme van deze onschuld kan hebben. De geschoten bokken vallen me wel een keer in de schoot.

Het ontwerp van de vragen in de Nationale Wetenschapsquiz 2005

Ben Wilbrink