http://www.benwilbrink.nl/projecten/wetenschapsquiz2008.htm
Deze analyse van het ontwerp van de vragen in de Wetenschapsquiz is een demonstratie die hoort bij Toetsvragen ontwerpen, een herziening-in-uitvoering van Aula 809, in 1983 verschenen als Toetsvragen schrijven. Deze herziening is hier al beschikbaar.
De reden om juist de Wetenschapsquiz te kiezen is dat in zekere zin deze quiz een voorbeeldfunctie vervult, zoals de betrokkenheid van NWO zelf al aangeeft. Als de Wetenschapsquiz maar een rommeltje is - waar het op dit moment wel op lijkt - is dat het verkeerde signaal naar leraren, inspecteurs, en uitgevers van studieboeken.
Dit jaar geeft NWO (bij de antwoorden 2008 op de site) een lijst namen van indieners van vragen of mogelijk ook referenten daarbij (wat is het, Hein?). Kennelijk is het niet meer zo dat Hein Meijers van NWO zelf de vragen ontwerpt. [Fout: De Volkskrant van 24 oktober 2009 heeft een interview met Hein Meijers, directeur communivatie NWO, waarin: “Misschien zit hij volgend jaar weer een vaste maand in zijn huis in Frankrijk om nieuwe vragen te bedenken voor de National Wetenschapsquiz, zijn geesteskind, samen met de VPRO.”] Dat is goed, maar als Jan en Alleman maar vragen indient, ontstaat versterkt het effect waar alle scholieren en studenten al lang onder gebukt gaan: ondoorzichtige bedoelingen achter de vragen. Iedere docent heeft eigen sterke opvattingen over toetsen, eigenlijk moet je die goed kennen om te weten hoe je de door die docent ontworpen toetsvragen moet begrijpen. Met twintig vragen van evenzovele indieners uit heel Nederland, is daar geen beginnen aan.
De Wetenschapsquiz is een quiz, geen toets. Toch zal ik de vragen behandelen alsof ze toetsvragen zijn.
Ik ben geen specialist op alle in de vragen aangesneden vakgebieden, toch zal ik ongeremd commentaar geven, daarbij ongetwijfeld een aantal vakinhoudelijke bokken schietend. Doe ik het niet goed, laat dat weten.
Het is niet de bedoeling - anders dan oppervlakkig - de aangesneden onderwerpen wetenschappelijk te behandelen, dat wordt al voortreffelijk gedaan in NRC's 'Alledaagse wetenschap' van Karel Knip.
Vrijwel oneranderd overgenomen uit de pagina over de editie 2007. De ontwerper moet natuurlijk wel weten wat de bedoeling met de toets of quiz is, anders hangt het ontwerpen volkomen in de lucht. In dit geval is het de bedoeling vragen voor een wetenschapsquiz te ontwerpen, en dat is meteen alles dat NWO bereid is over de eigen missie met deze quiz prijs te geven. De ontwerper moet zich dan zelf maar een idee vormen van wat het is dat een vraag passend maakt voor een wetenschapsquiz, en wat niet. Eerlijk gezegd, heb ik de afgelopen jaren niet de indruk gekregen dat indieners van vragen zich hier echt enige zorg over hebben gemaakt.
geen triviant
Laten we meteen met elkaar afspreken dat we geen enkele belangstelling hebben voor zoiets als een triviant voor de wetenschappen, dat zijn vragen over feitjes uit de wetenschappen of over geschiedenis en beoefenaars van de wetenschappen. Een voorbeeld in deze categorie zou kunnen zijn: welke van de volgende vier getallen is de constante van Max Planck? Etcetera. De vraag over de constante van Planck is dan nog niet eens echt triviaal, want hij toetst wel degelijk of iemand kennis heeft van de natuurkunde, maar dat lijkt toch niet adequaat voor een wetenschapsquiz die voor een breed publiek is bestemd. De diverse edities van de Nationale Wetenschapsquiz (NWQ) wemelen van de triviale vragen, waarvan een bijzonder irritante subcategorie is die van het incidentele wetenschappelijke onderzoekje, meest uit de sociale wetenschappen, waarin onderzoekers menen te hebben vastgesteld dat A het geval is en niet B, in conditie C, in tegenstelling tot verwachting D. Nonsens, dus. We hebben daar een Nederlands gezegde voor: één ei is geen ei, etcetera.
grondgedachte
Een grondgedachte zou kunnen zijn dat het bij een wetenschapsquiz gaat om het kunnen onderscheiden van argumenten die 'wetenschappelijk' van aard zijn, van argumenten die dat niet zijn, hoewel daarmee niet noodzakelijk onjuist of niet adequaat voor het gegeven casus.
Dit idee is in heel veel vragen van de NWQ te herkennen, overal waar in de keuzealternatieven een argument is vermeld. Of de ontwerpers in al die gevallen zich bewust zijn van deze grondgedachte, dat valt te bezien.
Deze grondgedachte maakt het mogelijk een grote verscheidenheid aan razend interessante vragen te ontwerpen, in iedere moeilijkheidsgraad die men zich maar kan wensen. Een NWQ bevat dan bij voorkeur vragen met een gevarieerde moeilijkheidsgraad, wat noodzakelijk is voor een quiz die een breed publiek aanspreekt.
Er is een interessant verband met de ontwerptheorie voor toetsvragen in het onderwijs. Het inzicht groeit bij tal van betrokkenen dat simpelweg vragen of iets het geval is ja/nee, geen goede manier is om kennis te toetsen en dus ook niet om leerlingen uit te dagen kennis te verwerven. Routine zou moeten zijn om ook te vragen naar het waarom van dat antwoord, van dat ja of nee, of van dat aangestreepte alternatief a., b. of c., te vragen. De crux van dat vraag-en-antwoord spel zit dan in het gegeven waarom. Het is meest het fraaist om de vraag naar het waarom open te houden, maar er is geen principieel bezwaar om goede alternatieven in de vorm van een meerkeuze aan te bieden.
Er zijn tal van soorten van argumenten, waarvan een kleine ondersoort die van de wetenschappelijke argumenten is. Er zijn dus ook tal van contrasten te maken tussen een wetenschappelijk argument, gegeven een bepaald casus, en andere argumenten. Een bijzonder boeiende soort argumenten is die welke voortkomen uit naieve theorieën over de wereld, en inderdaad zijn er nogal wat NWQ-vragen die daar handig gebruik van maken. De wetenschapsgeschiedenis zelf is natuurlijk een rijke bron van mogelijkheden. In onderzoek naar het natuurkundeonderwijs is er een uitgebreide literatuur ontsaatn over de worsteling van leerlingen, studenten en hun docenten met naieve versus wetenschappelijke ideeën. Er zijn argumenten van religieuze aard die met wetenschappelijke gecontrasteerd kunnen worden, zeker wanneer wetenschappers zelf daarmee schermen zoals in maatschappelijke discussies over het creationisme. Ook hier wemelt de wetenschapsgeschiedenis van voorbeelden van strijd tussen beide soorten argumenten: wetenschappelijke en religieuze. Alweer die wetenschapsgeschiedenis: wat wetenschappelijke argumenten zijn, is natuurlijk ook historisch bepaald. In veel gevallen zijn wetenschappelijke argumenten van gisteren, vandaag niet meer geldig. Een prachtige bron van ideeën voor de ontwerper van NWQ-vragen. Dan wil ik nog een onverwacht type niet-wetenschappelijk argument noemen, dat toch in het dagelijks leven veel belangrijker is dan de wetenschappelijke of op zijn minste rationele overweging: dat zijn intuitieve beslissingen zoals experts die op hun eigen vakgebied nemen; of automobilisten in acute noodsituaties; of mensen die verliefd worden; etcetera. Het is een uitdaging om op basis van dat contrast rationeel-intuitief NWQ-vragen te ontwerpen. Het werk van Gerd Gigerenzer kan voorbeelden leveren, maar velen zijn hem voorgegaan in het onderzoeken van de waarde van het intuitieve. We hebben er tegenwoordig zelfs een hoogleraar voor (Nijmegen).
Het is waarschijnlijk mogelijk om een nog algemener formule te vinden over waar het wetenschappelijke over gaat. Onze huidige Westerse samenleving is alleen mogelijk dank zij de wetenschappen, is voor zijn continuïteit daarvan afhankelijk, en loopt er ook enorme risico's mee. Het is dus van enig belang dat iedere bruger en dat maatschappelijke organisaties op goede manieren omgaan met het wetenschappelijke in onze wereld. Wat goede, en wat minder goede manieren zijn, daarover wordt dagelijks in de media bericht. Kijk alleen eens naar de enorme spanning tussen wat politici in feite doen en beslissen, en hoe dat zich verhoudt tot beschikbare en onomstreden wetenschappelijke kennis en inzichten. Of hoe het recht in Nederland verkracht wordt door gezagsdragers die er bepaald middeleeuwse en anti-wetenschappelijke ideeën op nahouden over wat waarheidsvinding is, of daarin op zijn minst grenzeloos naief zijn. Ik ben wel benieuwd of van deze spanningen rond de rol van de wetenschappen in onze samenleving, iets te bespreuren is in de NWQ.
Het bovenstaande is meteen ook een belangrijk kader van waaruit het mogelijk is om de vragen in de NWQ op de kwaliteit van hun ontwerp te beoordelen, voorzover dat uit de vraag zelf is af te leiden.
Een goed uitgangspunt bij het ontwerpen van keuzevragen is dat de stam van de vraag op zichzelf een goede open vraag is. Het is geen doodzonde hiervan af te wijken, maar daar moet dan wel een goede reden voor zijn. Ik heb mijn bril afgezet, en uit een kopie van de quiz alle alternatieven verwijderd. Dat alles nog voordat ik de vragen had gelezen. De volledige lijst, zoals overgenomen van de NWO-website, en na weglaten van de alternatieven, is dan als volgt. Als u de quiz nog niet heeft gemaakt, is het een goed idee eerst eens te proberen deze open vragen te beantwoorden, dat is wat ik voor mijzelf eerst ga doen.
Aan de stam van de meerkeuzevragen in deze quiz is meestal niet af te lezen dat de gestelde vraag op enige manier een wetenschappelijk karakter heeft, tenzij het begrip 'wetenschappelijk' zo breed is dat 95% van de fotonen in het heelal er onder vallen. Ik zou het toch toejuichen dat ik aan aan de stam van een vraag meteen kan zien dat het een interessante filosofische, natuurkundige, of psychologische etcetera vraagstelling is. Dat is: een vraag naar een verklaring van een gegeven verschijnsel. Een verklaring verbindt de gegevens en het verschijnsel aan tenminste een wetenschappelijke wetmatigheid, bijvoorbeeld een van de bewegingswetten van Newton. Daar zit iets subjectiefs in: het is een door meneer Newton voorgestelde wetmatigheid, die tegenwoordig door vrijwel iedereen wel wordt overgenomen, met relativistische voorbehouden (sinds Einstein). Maar ja, wetenschap is ook maar mensenwerk. Niet ieder verschijnsel hoeft verklaarbaar te zijn om 'wetenschappelijk' te zijn: het meten van temperatuur is uiteindelijk in de 19e eeuw uitstekend gelukt ook zonder theorie voor temperatuur (Hasok Chang, 2004). Maar dat bakent dan toch wel ongeveer af wat 'wetenschappelijk' is in iets dat een Wetenschapsquiz' heet. Past 'alledaagse wetenschap' daarin? Jawel, en Karel Knip (NRC Handelsblad) maakt daar altijd iets moois van, maar het is een nis van de wetenschap.
Voor veel van deze twintig vragen is het lastig en soms onmogelijk om te beginnen met het zoeken naar mogelijke oplossingen door te bedenken of je een zelfde soort probleem wel eens eerder hebt opgelost, of je het probleem zou kunnen oplossen wanneer je over nog een extra gegeven zou kunnen beschikken, of je het probleem kunt aanpakken door de oplossing bekend te veronderstellen (algebraïsch, zeg maar), etecera. Soms kun je weten welke vakvrouw jou het antwoord zou kunnen geven: als er in een vraag sprake is van 'fotonen', kun je een natuurkundige vragen. Maar vaak heb je zelfs die clou niet (de opgepompte binnenbanden). Je zou er graag de handige aanwijzing van Georg Pólya (How to solve it, 1957) op toepassen, maar dat gaat dan toch net niet. Waarom is dat zo? Welke van deze 20 vragen zijn daar een gunstige uitzondering op? Waarom dan niet alle vragen die kwaliteit geven?
In een wetenschapsquiz verwacht ik bijvoorbeeld vragen die voor zouden kunnen komen in propedeutische tentamens. Voor wetenschappen die in het middelbaar onderwijs aan de orde zijn, ligt het toch in de lijn van de verwachting dat bepaalde inzichtelijke vragen niet zouden misstaan in een Nationale Wetenschapsquiz. Voor natuurkunde is er toch een via het wereldwijde web toegankelijke literatuur die gaat over typische misvattingen over de oorzaken van natuurkundige verschijnselen (zie bijvoorbeeld hier, auteurs als Hestenes), belangrijke misvattingen vooral, dat biedt toch materiaal bij uitstek voor een wetenschapsquiz?
De keuzevragen hebben drie alternatieven, dat is heel goed. Een vierde alternatief blijkt vrijwel altijd alleen voor spek en bonen mee te doen.
De alternatieven zijn kort geformuleerd, dat is ook goed. Veel tekst in keuzealternatieven is een ontwerpfout: die informatie hoort dan in de stam van de vraag te staan.
Het kan zijn dat al dit moois is gekocht door de vragen in feite te reduceren tot juist-onjuist-vragen. Dat zal blijken in de analyse.
Alternatief c) is door de geroutineerde beantwoorder van keuzevragen te herkennen als gekunsteld, en dus waarschijnlijk onjuist. Alternatief b) is onwaarschijnlijk, dan houd je alternatief a) over. Kwestie van gezond verstand, niets wetenschappelijks aan.
Ah, groter of kleiner is de vraag. In de interpretatie dat de verandering van baan is bedoeld, moet de snelheid worden verminderd. Als bedoeld is het verblijf in die lagere baan, dan blijft de snelheid hetzelfde, alternatief c (= die snelheid verandert niet in die baan). De ellende met deze vraag is de dubbelzinnigheid dat met alternatief c) mogelijk is bedoeld dat de snelheid in de lagere baan gelijk is aan die in de oorspronkelijke baan (wat niet zo is).
Het wetenschappelijke? Klassieke dynamica, dus Newton. Of klassieke kinematica, alleen beschrijven van wat er gebeurt zonder theoretische verklaring. Dat laatste heeft de charmante eigenschap dat je geen wetten van Newton erbij hoeft te halen, want die zijn mogelijk in de grond van de zaak ook alleen maar beschrijvend, en niet verklarend (Brian Ellis, 1965).
In feite is dit een juist-onjuist-vraag: De snelheid wordt dan groter. juist/onjuist
Kunnen we dit ergens in de wetenschappelijke literatuur terugvinden? Zie hier, maar dat is puur speculatie. Laten we het er maar even op houden dat er dit geen 'wetenschappelijke' vraag is, maar een vraag die refereert aan een enkele onderzoekspublicatie.
Deze alternatieven zeggen me niets, behalve dat ik de nodige fysiologische kennis over de huid mis. Hoe dat ook zij, en wat ook het als juist bedoelde alternatief is, het antwoord op de vraag staat er niet bij. Stel het als juist bedoelde antwoord is c., dan geeft dat antwoord niet aan wat dan typisch het verschil in die pigmentlaag is tussen een donkerder en een lichter huid, en zeker niet waarom dat verschil door veel mensen 'gezien' wordt als duidend op een verschil in leeftijd van de betreffende personen. Ben ik duidelijk? Het als juist bedoelde antwoord begs the question.
De stam van de vraag moet dus anders zijn: Verschillen in welk kenmerk van de huid leiden ertoe dat mensen ..... . Dus geen psychologie van de waarneming, zoals in de huidige formulering het geval is.
Geen 'wetenschappelijke' vraag.
Dit is ook weer in feite een juist-onjuist-vraag. Jammer, ik had graag uit de formulering van de keuzealternatieven willen begrijpen wat het 'wetenschappelijke' van de vraag is.
Ik kan hier geen oliebol van bakken. Wat is hier het 'wetenschappelijke'?
Dit moet ongetwijfeld triviaal zijn. Geen 'wetenschap' maar een losstaand feitje uit een of ander toevallig onderzoek. Als dat niet zo mocht zijn, dan had de vraag anders geformuleerd moeten worden, zodat er gelegenheid is een toepasselijk wetenschappelijk beginsel of wet toe te passen.
Dit lijkt me 'wetenschappelijk,' maar mijn kennis van voortplanting van geluid en van horen is niet voldoende om dit te kunnen beantwoorden. Als de alternatieven argumenten zouden bevatten voor wat je hoort, zou het een mooie vraag kunnen zijn.
Uit de alternatieven wordt aannemelijk dat verbrande calorieën een rol spelen. Maar het is hetzelfde probleem als met de voorgaande vraag: in de huidige vorm is de vraag triviaal en zo onwetenschappelijk als wat, terwijl vervangen van de triviale feiten door argumenten er mogelijk een 'wetenschappelijke' vraag van had kunnen maken.
Dit moet echt geweldige onzin zijn. Ik kan er geen licht in zien. Fotonen hebben geen lading en geen eeuwig leven (hun bestaan heeft een begin). Ze gaan dus op in andere deeltjes, maar alleen die 95%? Is die 95% een natuurconstante, of bedoelt de vragensteller ongeveer 95%? En over welk tijdsbestek is dat, de eeuwigheid?
Het onderwerp is hartstikke natuurkundig, maar de vraagstelling lijkt broddelwerk, ik ben benieuwd wat het antwoord en de motivering ervan zal zijn.
Ja, hallo zeg! a. en c. slaan werkelijk nergens op, en b. is geen antwoord maar een herhaling van het gevraagde in andere woorden.
Ik wil graag zien hoe dat gaat. In ieder geval lijkt me dit geweldige Triviant.
Ik was er al bang voor. Gewoon een juist-onjuist-vraag. Een gemiste kans om tenminste in de alternatieven nog iets van een wetenschappelijk argument te geven.
Ik heb een bang vermoeden dat dit een strikvraag is, en anders een geweldig triviale vraag. Geen 'wetenschap.'
Ah, is dat de bedoeling. In de periferie van je blikveld. Dan moet je dus toevallig weten of de visuele waarneming in die periferie gevoeliger is voor een van deze drie. Maar dat weet ik niet (mijn tentamens waarnemingspsychologie dateren van 45 jaar terug) en dan komt het dus aan op testwiseness: voordat je vorm of kleur kunt zien van wat er in je perifere blikveld is gekomen, zul je dat in je blikveld komen hebben gesignaleerd. Dus alternatief c. Maar 'wetenschappelijk'? Nee hoor.
Ik heb hier geen geduld voor. Mogelijk is er iets diepzinnigs bedoeld, maar de vragensteller heeft dan toch alle mogelijke moeite gedaan om die te verbergen.
Dat dacht ik wel. Het 'wetenschappelijke' kan ik niet zien. Zou Christiaan Huygens in zoiets geïnteresseerd zijn geweest? De oplossing is mogelijk makkelijk te 'zien' door eerst de situatie te analyseren zonder die ene extra worp: dan is er symmetrie voor beide deelnemers om te winnen, en er is een kans dat geen van beide wint. Met de ene extra worp zal 'iemand' niets veranderen aan al gewonnen posities, maar wel aan de remise-posities: de kans is dan een half om die in winst om te zetten. Het is dus niet nodig om het exacte aantal worpen te weten. Heb ik het antwoord al verraden? Maar dit is een puzzel, dat is geen 'wetenschap.'
Een rare vraag. Neem alternatief b.: waarmee de sneeuw 'vervuild' is maakt niet uit? En ook niet hoeveel? Maar alle sneeuw is toch wel iets vervuild? Hoe zit het met schone stuifsneeuw? Het lijkt me allemaal absurd. Wetenschappelijk? Nee hoor, de gegevens zijn volkomen ontoereikend voor een stellig antwoord op deze vraag.
Met alle respect, maar gezond verstand zegt al dat alternatieven a. en b. niet meedoen, dan houd je c. over. Dat laatste alternatief begint wel met 'Omdat' maar het is geen verklaring, het beschrijft wat er gebeurt. Dit is allemaal dus niet 'wetenschappelijk.'
Een juist-onjuist-vraag. Hoe meer lucht je onder water moet duwen, des te meer kracht ervoor nodig is. Geweldig 'wetenschappelijk' is dat niet.
Deze quiz kan niet met droge ogen een wetenschapsquiz worden genoemd. Mijn kritiek zal ongetwijfeld een aantal keren onterecht blijken te zijn, maar dan nog is het zo dat de vragen en hun alternatieven die onterechte kritiek uitlokken. De ontwerper van quizvragen doet er verstandig aan dit soort misverstand te voorkomen. Laat een publiekspanel eens een aantal quizvragen uit verschillende jaargangen waarderen op de mate waarin de vraag hen aanspreekt, nieuwsgierig en misschien wijzer maakt.
De antwoorden zijn hier op de site van NWO beschikbaar.
Wie in discussie wil, of aanvullende informatie heeft, mail mij. In het bijzonder nodig ik auteurs van de vragen uit om van gedachten te wisselen. Ik heb niet de ervaring dat dat laatste vaak gebeurt. In feite heb ik maar een keer een gedachtenwisseling met een NWQ-auteur gehad; in dat geval bleek een gemankeerde vraagstelling het gevolg van redactioneel afwijken van de tekst van de auteur. Mijn vermoeden is dat auteurs mijn analyse vanuit eisen van een goed ontwerp ervaren als getuigend van een gebrek aan goede wil om te begrijpen wat de vragensteller met de vraag bedoelt, en zeker als een hoog gehalte hebbend aan gelijkhebberige zout-op-slakken leggerij en spijkers-op-laag-water zoekerij. En daar hebben zij dan tot op grote hoogte gelijk in, zo werk ik ook. Het punt is natuurlijk: is het gewenst of misschien noodzakelijk om zo precies de puntjes op de i te zetten? Ongetwijfeld is dat noodzakelijk. Het Cito doet dat natuurlijk ook, in het kwadraat nog wel, zij het dat inhoudelijke analyses misschien wat onderbedeeld, en statistische analyses daarbij overbedeeld zijn. Overigens blijkt elders in samenwerking met auteurs dat ik als buitenstaander van het betreffende vakgebied meestal niet de fijne nuances kan zien die auteurs juist weloverwogen in hun ontwerp van bijvoorbeeld keuzealternatieven hebben gelegd: dan slaat mijn kritiek de plank nogal eens volkomen mis, mooi vind ik dat.
Eerst maar mijn indrukken van de Quiz-avond, 1 januari. Werkelijk een chaotische bende, en was het maar de kwalitatieve chaos zoals we die kennen van Wim T. Schippers. Een presentator die met teksten van papier moet werken en dus absoluut niet boven de stof staat, niet kan spelen met de toelichtingen die deelnemers op hun antwoorden geven (je zult als scholier maar zo'n docent treffen .... ), een amanuensis die niet goed is voorbereid, proefjes die onduidelijk zijn, en tekortschietende uitleg door het expert-panel. De presentator drong altijd maar weer aan op uitleg door de arme deelnemers, ook wanneer deze evident maar wat moesten verzinnen om hun gok te rechtvaardigen. Je zult er maar staan, en op vreemde en dubbelzinnige vragen antwoorden moeten verzinnen. En dat soms zelfs moeten doen zonder de tijd te nemen er even over na te denken, daar ook toe aangespoord. Kermis dus, geen wetenschap.
Een blunder van jewelste: proef gedaan, in de ruimte, maar geen filmpje ervan ....
We krijgen dan de volgende verzekering. De meeste champagne blijft gewoon in de fles, zoals te verwachten, geholpen door het ontstaan van grotere bellen die de flesopening afsluiten.
Maar waarom is antwoord B niet goed? Is dat niet wat er bijvoorbeeld bij een fles water gebeurt? Op welke manier is dat verschillend van champagne? Is dat verschil er na een paar minuten / een paar uur, nog steeds?
Onbegrijpelijke proef. Wat heeft deze slingerproef te maken met de terugkeer van een space shuttle? Bijvoorbeeld: om het aan een koord rondgeslingerde voorwerp in een kleinere baan te brengen werd dat koord ingenomen, dus de zwaartekracht even opgepept?
Het antwoord is abstract. Het laat mij in wanhoop achter: is de bemanning van de space-shuttle bij het dalen dan bezig om de snelheid van de shuttle op te voeren (om niet te hard te dalen)? Hoe kan de space-shuttle dan beginnen met dalen, daar is toch een snelheids-vermindering voor nodig? De forumlering van de vraag is in dynamische termen ('gaat' draaien, 'wat gebeurt er met' de snelheid), het antwoord is een antwoord op een statische vraag (wat is de snelheid van een satelliet in een stabiele baan, als functie van de afstand tot de aarde). De 'leuke' context werkt hier werkelijk rampzalig uit (waar zien we dat vaker? Precies: realistisch rekenonderwijs).
Uit het antwoord blijkt dat de vragensteller bedoeld heeft te vragen of voor een lagere stabiele baan om de aarde een hogere snelheid nodig is, of niet. De theorie: zwaartekracht evenredig met 1/r2 (niet 1/R2, zoals de website van NWO suggereert (HTML-analfabetisme?)), middelpuntvliedende kracht evenredig met v2/r, die voor een stabiele baan aan elkaar gelijk stellen: v = 1/√r. Die space shuttle werkt alleen maar verwarrend. De abstracte vraag is eenvoudig te beantwoorden door je te realiseren dat veel communicatiesatellieten precies een dag nodig hebben (en dus 'op hun plaats' blijven t.o.v. locaties op aarde), en de Maan een maand. Ergo: een lagere baan heeft een hogere snelheid nodig om de aantrekkingskacht van de aarde niet te laten winnen van de middelpuntvliedende kracht. Dat zou een goede wetenschapsquiz-vraag kunnen opleveren.
Ik houd het er maar op dat dit een ongelooflijk slordig geformuleerde vraag is, met een gemakzuchtig theoretisch antwoord. Het is hetzelfde als met veel realistisch-rekenwerk: de contexten zijn er met de haren bijgesleept, en dat leidt onherroepelijk tot een hoop verwarring. De wrijvingshitte daarvan kan ook pijnlijk zijn.
Een schimmig verhaaltje als verklaring. Het kan waar zijn. Of niet. 'De wisselwerking' is o.a. getijdewerking, zoals in de uitzending werd verklaard. Hoe is aangetoond dat de theorie empirisch adequaat is? De termijn is een paar miljard jaar, toe maar. Hoe zit het nou met die precessie?
De verklaring van het antwoord schiet tekort. Dat geeft te denken wat de kwaliteit van de vraag betreft. Dit is gewoon broddelwerk.
Dit is een ontwerpfout die vaak voorkomt: de ontwerper bedoelt A te vragen, maar formuleert B. Voor een antwoord moet je dus zoeken naar de mogelijke bedoeling van de vragensteller, dat maakt de vraag tot een ongeleid projectiel. Hier gaat de vraag in de gedachte van de ontwerper over schade aan de huid door UV-licht, maar dat blijkt niet uit de vraag zelf.
Het probleem blijkt ook bij analyse van de formulering. Als C. het goede antwoord is, dan zien mensen met een donkere huid er dus vaak minder oud uit door de pigmentlaag. Maar dat is in strijd met de gegeven verklaring van wat het goede antwoord moet zijn. De verklaring is dat ze er minder oud uitzien door minder rimpels en atrofie, een gevolg van de betere bescherming tegen UV-licht door meer pigment in de pigmentlaag (niet de pigmentlaag als zodanig).
Het juist gesignaleerde probleem is ernstiger dan het op het eerste gezicht lijkt. De spelregel van de keuzevraag is dat alles moet kloppen, en dit klopt dus niet. Antwoord C kan niet het juiste antwoord zijn, onder de verklaring zoals gegeven door de ontwerper. Wie zelf die verklaring bedenkt, zal antwoord C afstrepen als een onjuist antwoord: anders zou de ontwerper toch het alternatief hebben geformuleerd als 'bescherming tegen UV-licht,' niet 'door de pigmentlaag.' Dan moet dus een van de twee andere antwoorden juist zijn, en wie geen idee heeft hoe dan verder te redeneren, kan raden.
Een verborgen vooronderstelling van de vraag is dat de vergelijking tussen mensen met donkere en lichtere huid op dezelfde locatie of breedtegraad of hoogte gebeurt (in de uitzending minder impliciet: de donkere huid van een van de experts diende als voorbeeld, dezelfde breedtegraad dus!). Maar dat staat er niet! Enig nadenken levert toch de veronderstelling op dat, als pigment beschermt tegen UV en dus minder veroudering van de huid oplevert, en als sommige mensen meer pigment hebben dan anderen, de verschillen in hoeveelheid pigment samenhangen met de hoeveelheid UV-licht in de leefsituatie van de betrokkenen: ergo, de beschadigingen door UV-licht zullen ongeveer gelijk zijn. Althans, dat is de veronderstelling die enig nadenken over de vraag oplevert. Of de veronderstelling houdbaar is, dat kan alleen empirisch worden bepaald. Over welke empirische gegevens beschikt de ontwerper van deze verouderingsvraag? Is de huid van de autochtone Tibetaan minder verouderd dan die van de autochtone Hollander? Als zij beide ongeveer even oud zijn, ongeveer evenveel tijd buiten hebben doorgebracht, vergelijkbare andere middelen ter bescherming tegen direct zonlicht hebben gebruikt?
Het onderwerp leent zich waarschijnlijk goed voor het ontwerpen van een vraag voor een wetenschapsquiz, maar het ontwerp van deze vraag 4 is onder de maat. Zou het een examenvraag zijn, dan kan de ontwerper zich alleen onder deze bezwaren (in bijvoorbeeld een beroepsprocedure) uitdraaien door te wijzen op de beide andere keuzealternatieven, die mogelijk op geen enkele manier een verdedigbaar antwoord op de gestelde vraag zijn, zodat alternatief C. dan altijd nog het betere alternatief is. Maar zo moet het natuurlijk niet.
Deze vraag is wel een fraai voorbeeld van ontwerpfouten die het gevolg zijn van sloppy thinking van de ontwerper, waardoor er teveel licht zit tussen zijn bedoeling en wat er strikt genomen is geformuleerd. De beantwoorder kent die bedoeling niet, en wordt door de slordigheid van de tekst gedwongen te gissen naar die bedoeling. Waar gaat de vraag dan nog over? Meer over wat de ontwerper bedoelt, dan over het onderwerp. Dat blijkt ook bij het verbeteren van de vraag: wegnemen van de dubbelzinnigheden en taalgebreken leidt in dit geval tot een vraag die niet echt interessant meer is.
Een knullig uitgevoerde 'proef' die niet liet zien wat de bedoeling was.
Het argument is logisch: de hele mechanica is omkeerbaar, de constructie is star. Het probleem met logica is dat die niet altijd in goede relatie met de werkelijkheid staat (grote nonsens kan logisch correct zijn). Beter zou zijn een goede schets van de voor- en achterwaartse draaicirkel te geven: wat is de cirkel, wat het middelpunt ervan, hoe construeer je dat, aangenomen dat op de achterwielen onafhankelijk van de anderen wielen kunnen draaien?
Een deelnemer gebruikte inderdaad hetzelfde argument, van de omkeerbare mechanica: als je een auto achterwaarts inparkeert, en er voorwaarts weer uitrijdt met dezelfde stuurstand, volgen de wielen hetzelfde spoor. Kijk, dan komt er bij de logica ook een beeld, en wordt het al heel wat overtuigender.
Er is iets grappigs aan de hand met deze vraag: het feit dat dit als vraag in de NWQ is opgenomen, maakt achterdochtig: ja ja, het lijkt simpel, maar er zal wat een gemenigheid in schuilen. Eigenlijk gaat de vraag dus over die achterdocht, zou je kunnen zeggen. Wil de ontwerper dat effect vermijden dan zal de ontwerper moeten kijken naar de mechnica van het geheel, en wat je daarvan moet begrijpen om niet alleen het goede antwoord te kunnen geven, maar dat ook te kunnen rechtvaardigen. En daar dan een vraag bij ontwerpen.
Ah, het 'beslag' (de oliebollen) gaat in de kokende olie, en dat zinkt eerst. Ik had die informatie in de stam van de vraag verwacht. De ontwerper denkt daar anders over, en laat het aan de beantwoorder over om dat te bedenken. Dat kan.
Verder is het vooral triviant, lijkt me. Tenzij het de bedoeling is iets te vragen over hoe gassen zich gedragen bij veranderede temperatuur. Als dat zo zou zijn, dan hebben we hier dus weer een geval van een vraag die is ingekleed in een leuke context, waarbij de context voor verwarring zorgt.
Een belabberde proef, een bandje van beroerde geluidskwaliteit (misschien was dat in de stuido beter te beluisteren?). Een hoop nonsens bij elkaar. Wetenschap? Volgens het gepubliceerde antwoord wel. Ik vermoed dat dit een beroerd ontworpen vraag is:
wederom is het de context die verwarrend werkt;
alternatieven a en b, toonhoogte en melodie, zijn eenvoudig als waarschijnlijk onjuist af te strepen
zonder te weten waarom kan alternatief c. dus als beste alternatief worden aangewezen
'het instrument' is waarschijnlijk te algemeen: het staat als een paal boven water dat er heel wat instrumenten zijn waarvan de toon redelijk herkenbaar is, ook zonder de transiënt, bijvoorbeeld klarinet tegenover trompet. Dit bezwaar is ontwerptechnisch te ondervangen door het twee specifieke instrumenten in de stam van de vraag te noemen.
Alleen een stellige verklaring, geen experimenteel bewijs. Dat laatste had ik toch graag gehoord. De verklaring is niet overtuigend, ze schakelt ineens over op wat er in het slakkenhuis gebeurt.
De stelling van de vraagontwerper is dat dit proefje met frequenties boven 15.000 bij mensen die de tonen afzonderlijk niet kunnen horen, in stilte resulteert. Zoek op Google met "sum and difference tones", or "combination tone." bijvoorbeeld: "In music, an acoustical phenomenon in which a third faint tone is heard when two notes are sounded loudly together. The frequency of the combination tone is the difference between the numerical frequencies of the two notes (see hertz). For example, given note 1 = 500 Hz, and note 2 = 300 Hz, the combination tone is: 500 Hz - 300 Hz = 200 Hz. Combination tones are often used and manipulated in electronic music." De vraag is dan: waar bevinden zich die verschiltonen: in de lucht, bij/op het trommelvlies, in de hersens? Alleen in het laatste geval klopt het dat alternatief b. juist is.
E. Schwitzgebel (online gezien 1-2009). Difference Tone Training; a demonstration adapted from Titchener's Experimental Psychology (1901-1905), vol. I, part 1, pp. 39-46. html. Compleet met geluidstestjes. Literatuur ook. Voor wie er maar niet genoeg van kan krijgen.
Ah, inspanning = aantal kJ/min. Dat was niet echt vanzelfsprekend. En wat is dan verder het wetenschappelijke aan deze vraag?
In een cosmologische vraag het woord 'uiteindelijk' gebruiken, is vragen om moeilijkheden.
De verklaring overtuigt mij wel, maar ik moet daarvoor wel vertrouwen in de boodschapper hebben.
Dat over terugkijken naar het 'begin' van het heelal, is er met de fotonen bijgesleept. Wat er staat is, letterlijk genomen, als goed Nederlands verstaan, onzin. Wie al weet waar de ontwerper het over heeft begrijpt wel wat er is bedoeld, maar anderen hebben het nakijken. Weglaten, deze versiering.
Alternatief a. is eenduidig onjuist, dat is mooi. Dat fotonen geen lading hebben, is naar mijn smaak geen triviale kennis, daar kun je dus naar vragen in een NWQ. Ik weet niet of ik dat ook kan zeggen van weten of deeltjes al dan niet hun lading kunnen 'verliezen.' Het probleem dat ik dan met alternatief a, heb is het volgende; eigenlijk snijdt het een onderwerp aan waarover beter afzonderlijk een vraag valt te ontwerpen. Anders krijg je een keuzevraag met een rommeltje aan deelvragen.
Ongelooflijk. Afijn, het blijken de pootjes te zijn. Of beter: pootjes en bodemplaat zijn meestal niet stijf met elkaar verbonden, de bodemplaat moet vrij staan wil de druksensor een correcte lezing geven, dus dan kan een kussen onder die weegschaal onbedoelde effecten hebben. Fantastisch. En zo kunnen we uit de Consumentengids nog zeeën van quizvragen halen. Heeft met wetenschap dus niets van doen. Met technisch ontwerpen, dat zou kunnen, maar niet op hbo-niveau. Oh, excuus, de Universiteit van Cambridge sponsort deze vraag! Neem me niet kwalijk.
Onwetenschappelijke spelfout in het gegeven antwoord: verlaagd ipv verlaagt.
Wonderlijke vraag. Mooi om in de groep te gooien, in de klas uit te laten discussiëren: waarom denk je dat de ontwerper van deze vraag iets met waterdruk, luchtdruk en aantal atmosfeer in gedachten heeft? De stam van de vraag suggereert iets heel anders: daar staat letterlijk in één keer kan leegzuigen. Dat moet iets met longen, longinhoud of zo te maken ehbben. Wie schetst mijn verbazing toen ik zag dat de NWQ-amanuensis op een indrukwekkend hoge stellage stukje bij beetje het glas zo ver mogelijk probeerde leeg te zuigen! Fantastisch. Wat een blunder.
Een slordige vraag, een oppervlakkig verhaaltje als verklaring. Dit is echt niet goed.
Het fenomeen is is natuurlijk volstrekt niet analoog met bijvoorbeeld een rivier waar meer of minder mensen hun bevleoingswater uit aftappen. De ontwerper had die ongelijkheid kunnen benutten voor een aardig ontwerp. (zie bijv. onderzoek van Michelene Chi over hoe scholieren denken over emergente processen)
Het valt redelijkerwijs toch te vermoeden dat het net bevruchte ei het zwaarst is. Wat is hier wetenschappelijk aan?
Naar aanleiding van de vraag krijgen we een uiteenzetting over mini-gaatjes. Zwak.
De expert-toelichting vloog uit de bocht met een bewering dat staafjes 'beweging' zien. No way, beweging is een interpretatie die onze hersenen maken. Maar goed, daar gaat het niet om.
Het probleem met het ontwerp van de vraag is de mismatch tussen de formulering van de vraag, en de bedoeling: de bedoeling is iets te vragen over de werking van het oog (staafjes, kegeltjes); welnu, vraag dat dan, en niet 'wat zie je het eerst als iemand ..... '
Tja. De uitleg tijdens de uitzending was beter: het gaat om de omtrek van een cirkel, 2πr, r is de straal van de cirkel, die straal wordt als het ware iets langer met de dikte d van de handschoen, dan wordt de omtrek 2πd langer (ik voeg er dan maar aan toe: dat is meer dan de 2d, voor de dikte van de handschoen over de toppen van duim en vinger heen).
Het aardige van de opgave is dat je met het opstellen van een geschikt wiskundig modelletje het antwoord moeiteloos kunt vinden, aangenomen dat je weet hoe je de omtrek van een cirkel berekent uit de straal van die cirkel.
Is formulekennis een vereiste voor deelname aan een wetenschapsquiz? Ik dacht het niet, ook al is de formule eenvoudig. Ontwerptechnisch is dat op te lossen door de formule in de stam van de vraag op te nemen. Veronderstel π bekend.
[24 oktober 2009] Die formule doet er helemaal niet toe om het bedoelde antwoord te kunnen geven. Het probleem met deze vraag was juist; wat bedoelt de vragensteller met deze vraag? Dan komt er een uitleg met een formule. Ja, die formule klopt, en heeft met het onderwerp te maken. Kijk eens in de column van Ionica Smeets (24 oktober 2009). Wiskundemeisjes. De Volkskrant, Kennis, p. 5: hetzelfde type probleem, in een ander, even idioot, jasje.
De uitleg dat de situatie 'gewoon symmetrisch' is, is niet acceptabel. Dit is slordige statistiek, dat kan leiden tot kapitale blunders. Het is dus ook geen goede manier om het antwoord snel te beredeneren.
De berekening is omslachtig. Als het moet, dan moet het, en dan kan het op deze manier.
Het aardige is dat je de vraag wel op inzicht kunt beantwoorden (dat lukt niet iedereen, en wie het wel kan lukt het misschien deze keer niet). Ik heb het hierboven aangegeven: de situatie zonder de extra worp is symmetrisch, de kans om te winnen is voor beide deelnemers gelijk. De extra worp maakt voor 'de ander' niets uit wanneer 'de ander' al gewonnen heeft, of verloren heeft (dat kan geen winst meer worden). Alleen bij gelijk spel (beide even vaak 'kop') maakt de extra worp verschil. Dan gaat het ook alleen om die ene worp, de kans om met die worp 'kop' te gooien is ½. Dat lijkt toch een wat tegen-intuïtief antwoord (die kans moet toch groter zijn dan die je eigen kans, is die dan kleiner dan ½, hoe zit dat dan?), de uitleg moet dus nog een stapje verder: de kans dat je zelf vaker kop gooit dan hij, is kleiner dan een half, namelijk met de helft van de kans op een remise. Jouw kans om te winnen is kleiner dan die van 'de ander', wanneer die ander een extra worp mag doen. Hoe meer worpen, zeg 100 in plaats van 1, des te kleiner dat verschil is. Zo hoort het ook te zijn, we kunnen dit probleem te rusten leggen.
Is dit 'wetenschappelijk'? Analyse van kansen is lastig, is in het leven dagelijks aan de orde, met mogelijk belangrijke gevolgen. Het practische belang om zo'n analyse desgewenst zorgvuldig te kunnen doen, is groot genoeg om al vroeg de aandacht van de wetenschap getrokken te hebben, zoals de aandacht van Christiaan Huygens. Wetenschap, dus.
Zoals met veel problemen van statistische aard kan een moeilijkheid zijn dat theoretische kansen en empirische frequenties niet helder zijn onderscheiden, ofwel in de vraagstelling, ofwel in het denken van de oplosser. De formulering 'hoe groot is de kans' is in dit opzicht ook een tikkeltje dubbelzinnig. Neem die dubbelzinnigheid weg door iets te formuleren als 'wat is theoretisch de kans' of 'wat is de theoretische kans.' Technisch gaat het om de verwachte waarde van het aantal keren 'kop,' maar dat valt in kort bestek niet uit te leggen en zou alleen de verwarring vergroten.
Een vlekje op deze vraag is zijn speelgoed-karakter. De suggestie is immers dat het maken van dit type kansberekeningen niet echt belangrijk is, anders was er wel een echt realistische situatie gekozen. Voorbeeld van een realistische context: gegeven de geschatte kans dat een schuif in de Oosterscheldedam niet wil dalen op een kritiek moment (naderende NW-storm), wat is dan de kans dat tenminste een van de 65 schuiven niet kan worden gesloten? NB: het is waarschijnlijk dat bij een zware storm in zo'n sitatie de dam bij de niet gesloten poort wegspoelt.
Dit is triviant. De verklaring is niet triviaal, maar de vraag is redelijk te beantwoorden op basis van een goed vermoeden, bijvoorbeeld dat inderdaad zout ook 'vuil' is.
Het kan ook anders: de ontwerper kan dichter in de buurt blijven van het verklarende proces. Waarom is dat hier niet gebeurd, was die smeltende sneeuw een aardige context voor de vraag over de overgang van kristal- naar vloeibare vorm?
Na schone en vuile sneeuw als alternatief te hebben, moest er kennelijk nog een derde alternatief worden verzonnen. Dat kan wel eens verraderlijk uitwerken. Wie zich realiseert dat stuifsneeuw natuurlijk ook schone sneeuw is, kan bedenken dat alternatieven a. en c. waarschijnlijk de onjuiste zijn.
Een verdraaid aardig proefje, zal in de literatuur al wel meerdere keren zijn beschreven (Minnaert? Alders? Tom Tit?). De verklaring is werkelijk verward. En de verklaring is niet zomaar te beredeneren: welke rol speelt de hoeveelheid water 'in' het flesje precies bij deze proef? Het principe moet talloze serieuze toepassingen hebben. Waarom daar niet een of twee van genoemd?
De alternatieven a) en b) zijn natuurlijke vreselijke klungels, wat van de driekeuzevraag dan een niemendalletje maakt. Terwijl er zoveel briljante mogelijkheden zijn om over deze proef werkelijk goede vragen te ontwerpen.
De eerder gepubliceerde quizvraag is een heel andere dan de op de avond zelf gestelde vraag. Kennelijk is de gepubliceerde versie een eerdere, afgekeurde, versie van de vraag. De vraag in de uitzending is inderdaad tamelijk ondubbelzinnig.
De uitleg rammelt: slap geklets over zwaartekracht die in beide gevallen hetzelfde blijft. Het zou spectaculair zijn als dat anders was. Niet?
De gepubliceerde uitleg is niet echt bevredigend, het is een redenering waarvan de geldigheid niet evident is. Kennelijk is het volgende bedoeld: de massavan het verplaatste water is gelijk aan de massa van de ballast en de band (nu wel 'massa', omdat 'gewicht' dubbelzinnig wordt voor een onder water hangende ballast); het volume van het verplaatste water, en dus ook het niveau van de waterspiegel, is daarom in beide gevallen gelijk; het door het gewicht ingenomen volume is gelijk aan het nu door de band minder verplaatste volume in vergelijking tot de eerste situatie, daarom ligt de band in de tweede situatie hoger in het water. Maar ook dit is maar een redenering, en het kan best zijn dat een goed uitgevoerde proef uitwijst dat er meer aan de hand is met dat nu onder water hangende gewicht: vergelijk het fenomeen dat bekend staat als de hydrostatische paradox van Simon Stevin (is die ook bij de vraag met het 'stevige rietje' misschien in een speciale vorm aan de orde?).
Een paar zaken.
Ben Wilbrink (1983/2006) Toetsvragen schrijven / Toetsvragen ontwerpen. Oorspronkelijke uitgave als Aula 809, het Spectrum pdf 1.4Mb. Herziening in 2006, hoofdstuksgewijs hoofdstuk 1 etc.
Zie Toetsvragen ontwerpen 2006 voor verwijzingen naar de literatuur, voor veel titels zijn daar op het www beschikbare bronnen gegeven.
Zie ook de bespreking van de ontwerpkwaliteit van de vragen in de Nationale Wetenschapsquiz
1994,
1995,
2005,
2006,
2007.
Zie ook de bespreking van de ontwerpkwaliteit van de vragen in De Grote Geschiedenis Quiz 2006 (site).
Zie ook de bespreking van de ontwerpkwaliteit van de vragen in de Nationale Rekentoets 2006, 2007.
NWO site met de vragen van de Wetenschapsquiz vanaf 1994.
NWO site met de vragen van de Wetenschapsquiz Junior vanaf 1994.
VPRO site voor de Wetenschapsquiz.
Discussieforum De Nationale Wetenschapsquiz http://wetenschapsquiz.punt.nl/
Physics 2000 site, een site met interactieve natuurkundige experimenten, en met een missie statement.
Wetenschapsforum.nl http://www.wetenschapsforum.nl/
http://www.vpro.nl/programma/nwq/artikelen/25671964/
http://www.benwilbrink.nl/projecten/wetenschapsquiz2008.htm