http://www.benwilbrink.nl/projecten/wetenschapsquiz2012.htm
De quiz is uitgekomen: 6 december, De Volkskrant, nrc, www.nwo.nl/quiz. De uitzending is 30 december 2012 om 22.10 uur op Nederland 2.
Hierbeneden een paar kritische opmerkingen over het ontwerp van de quizvragen 2012. Ik begrijp heel goed dat het hier gaat om een televisieprogramma met traditioneel veel showelementen, als het even kan letterlijk en figuurlijk spetterend, zeg maar een 21e-eeuwse variant van de publieke demonstraties van natuurwetenschappelijke fenomenen zoals die in de achttiende eeuw populair waren. Ik kijk niet naar de show (die heb ik natuurlijk nog niet gezien), maar naar de gestelde vragen op zichzelf, en probeer dan te ontdekken wat het ‘wetenschappelijke’ is van de betreffende vraag, en vooral van de manier waarop er goede antwoorden op kunnen worden gevonden. Informatie googelen is dan een voorbeeld van een niet-wetenschappelijke aanpak bij de antwoording. Het probleem is dat er geen heldere visie van NWO is op wat de bedoeling van deze wetenschapsquizzen is. Ik ga dan maar af op de taak van de protagonist in kwestie, NWO, en dat is toch vooral het bevorderen van de kwaliteit van het wetenschappelijk onderzoek in Nederland. Een publieke quiz zou als doel kunnen hebben om bij een wat breder publiek, misschien wel bij een breed publiek, belangstelling voor wetenschappelijk onderzoek aan te wakkeren, of de bereidheid om wetenschappelijk onderzoek via de schatkist van het land te financieren. Maar met zulke vage formuleringen kan ik niet goed uit de voeten als het om concrete quizvragen gaat. Ik ga er zelf maar van uit dat het bij deze vragen en hun beantwoording bij voorkeur moet gaan om enig inzicht in de aard van wetenschappelijk onderzoek, en in het karakter van wat wetenschappelijke kennis is. Zelf wetenschappelijk kunnen denken. Dat laatste is niet zo gek als het klinkt: het is juist de stelling van James Flynn (naar wie andere het fenomeen van de steeds maar stijgende intelligentie hebben genoemd: het ‘Flynn-effect’) dat de stijging in het absolute niveau van intelligentie over de laatste eeuw heen juist een uiting is van steeds ‘wetenschappelijker’ naar de wereld kijken en in de wereld staan. Steeds abstracter, en wel op de manier zoals wetenschappers dat doen. Prachtig om op in te haken met een wetenschapsquiz. Toch?
Zie voor de tekst van de vragen de website van NWO, de Volkskrant 8 december wetenschap V5, of de NRC van 8 december. Zie voor de antwoorden de VPRO-gids of de website van NWO. Of Uitzending gemist. Mijn opmerkingen van 30-12-2012 bij de vragen 1 - 15 betreffen de show, niet de antwoorden zoals die op de website van NWO zijn gegeven (bijvoorbeeld de rechte spoorbaan van Maastricht naar Leeuwarden: in de show een uitleg met een absurd model met rijdend treintje en al; op de website staat een keurige meetkunde figuur).
NB: ik weet natuurlijk niet wat de ontwerper(s) van deze vragen precies hebben bedoeld. Ik doe er een gooi naar, en kan het daarbij natuurlijk mis hebben. Mijn spaarzame ervaring elders is dat ik bij kritische analyse van tentamenvragen die weloverwogen door een goede docent zijn opgesteld, er in de helft van de gevallen toch naast zit (ik vind dat zelf wel een heel mooie score). Of ik heb werkelijk geen idee waar de vraag precies over gaat, wat aan mijn inhoudelijk tekortschietende kennis ligt, maar dan kan ik ook geen alternatief voorstellen (bijvoorbeeld bij de eerste twee vragen is het laatste het geval).
Ik begin te vermoeden dat de werkwijze bij NWO is om interessante onderwerpen voor een tv-show te kiezen, waar op zich helemaal niets tegen is, en daar dan quizvragen bij te bedenken die alleen maar moeten dienen om het onderwerp te introduceren. Op dat laatste is op zich ook weinig tegen, als alleen de show telt. Maar het kan beroerde quizvragen opleveren, door liefdeloze verwaarlozing, zeg maar. In onderstaande kritische analyse van wat ik op basis van alleen de quiz zie als het ontwerp van de quizvragen, kies ik een tegengesteld standpunt: ik heb lak aan de show, en concentreer me op de kennis en het inzicht dat van de deelnemers wordt gevraagd om tot goede antwoorden op de gestelde vragen te komen. Dat laatste bovendien zonder te googelen, gezinsleden te raadplegen of kennissen te bellen. In beperkte tijd bovendien. Zonder terugbladeren naar eerder gestelde vragen om daar alsnog een beter antwoord op te geven. De gevraagde kennis en inzichten moeten voldoen aan de eis dat er iets wetenschappeljks in zit. Toevallig weet hebben van een heel specifiek fenomeen reken ik niet tot de wetenschappelijke kennis en inzichten waar het bij een wetenschapsquiz om zou moeten gaan. Oude schoolkennis kunnen gebruiken, dat valt er ook buiten. Als gelezen hebben van de wetenschapsbijlagen van de afgelopen maanden een voorsprong oplevert, omdat ontwerpers van de vragen daar hun inspiratie uit hebben gehaald, dan zou ik daar ook mijn rode potlood bij gebruiken als ik het zou weten.
Wat past dan wèl in een wetenschapsquiz? Er ligt hier een hele wereld open. Enkele suggesties zullen in het ondertaande ook wel langs komen. In voorgaande jaren heb ik daar ongetwijfeld ook al het een en ander over opgeschreven. Voeg daar nu aan toe: een zekere gevoeligheden voor streken zoals door Diederik Stapel uitgevoerd: aanvoelen dat in een gepresenteerd casus er waarschijnlijk onderzoek onder wetenschappelijke vlag is gedaan, maar onder onzuivere motieven. Discussies in de samenleving leveren ook materiaal op. Ik noemde vorig jaar de blunder van een minister van justitie die beweerde dat gebrekkig forensisch DNA-materiaal niet relevant is voor rechtszaken omdat er wel honderdduizend mensen zijn die daarmee zouden ‘matchen’. Wie onwetenschappelijke redeneringen zoekt om daaromheen quizvragen te bouwen, kan ook terecht bij wetenschappers van naam die zich publiekelijk uitlaten over kwesties in vakgebieden waar zij zelf geen wetenschappelijke kaas van hebben gegeten. Een hartstikke relevant voorbeeld: Hans Freudenthal, eminent wiskudige, die met zijn eigengereide werk en gefinancierd door OCenW het Nederlandse reken- en wiskundeonderwijs heeft geschaad. Of kijk in de maatschappelijke discussie over selectie aan de poort van de universiteit, en dan vooral naar astrofysici, statistici en nobelprijswinnaars die brieven in de dagbladpers plaatsen. Schitterend NWQ-materiaal. Daar valt ook best een show van te maken, trouwens. Maak, met andere woorden, van die NWQ een volbloed wetenschappelijk project, met impact op de samenleving.
Ik doe dit (jongleren met geopende champagneflessen) inderdaad dagelijks. Wonderlijk fenomeen. Ik maak een grapje, natuurlijk, maar het punt is dat deze context toch wel heel erg gekunsteld is. Is er geen beter voorbeeld van het bedoelde fenomeen beschikbaar?
Ik zie niet scherp waar de vragensteller heen wil. Kennelijk gaat de vraag over de oorzaak van het bruisen van de champagne na een schok of schudden van de fles, maar de specifieke situatie zoals in de stam van de vraag geschetst doet vermoeden dat mogelijk iets anders de bedoeling is. En als dat laatste niet het geval zou zijn, dan is ontwerptechnisch gezien dat gedoe met twee flessen en die vriend misleidende franje.
Ik heb geen beter voorstel voor de formulering van de vraag, omdat ik geen goed vermoeden heb wat de vraagsteller hier bedoelt te vragen.
Taal: Houden ze allebei dezelfde fles vast? Nee, het zijn twee flessen.
Taal: ‘stof en vlokjes van de zijkant’: van welke zijkant? Zijkant van een champagnefles, kennelijk. Van welke champagnefles, die van mij of die van mijn vriend? En is het de zijkant aan de binnenkant van de fles, of aan de buitenkant? Ook de beide andere alternatieven hebben deze talige problemen: het is gissen wat de vragensteller precies bedoelt.
Stijl: ‘een vriend’. Ik begrijp wel dat de vraag zo wat persoonlijker wordt, maar het is geen goede stijl van ontwerpen van toetsvragen. Het is irrelevante informatie die wel capaciteit van het werkgeheugen vergt. Het stoort, dus. Als de 100 meter sprint als context wordt gekozen voor een rekenvraag, dan is het leuk om de recordtijd van Usain Bolt te nemen, met naam en al, maar dat leidt dus enorm af van wat de bedoeling van de vraag is.
Alternatieven: de drie alternatieven geven ieder een eigen verhaal. In de literatuur heet het dat de alternatieven heterogeen zijn, en dat is een kwaliteitsgebrek. Het alternatief is: de vraag herontwerpen op basis van een van de alternatieven, de beide andere dan dus geheel buiten beschouwing laten.
30-12-2012: De amanuensis was druk bezig met proefjes, maar het blijft natuurlijk een slordige verklaring dat verlaging van druk de koolzuur vrijmaakt: zie maar wat er gebeurt als we de druk verlagen. Wat is hier wetenschappelijk aan?
Een platform dat aan veren hangt en alleen horizontaal kan bewegen?
Een abracadabra-vraag, een gekunstelde situatie. Dat platform is op de een of andere manier waarschijnlijk van belang
Gaan die twee metronomen na enige tijd synchroon lopen? Is dat mogelijk, dan?
Ik heb geen alternatief ontwerp, omdat ik geen vermoeden heb wat de vraagsteller met deze vraag wil.
Alternatieven: deze set alternatieven is homogeen (niet in ieder alternatief een heel nieuw verhaal), en zo hoort het. ‘het gemiddelde van de twee startfrequenties’ is tekst die in de stam van de vraag moet staan, om drievoudig herhalen ervan te voorkomen. Dan is het voor de lezer ook mogelijk om in een enkele oogopslag te zien wat de alternatieven zijn: lager dan, exact gelijk aan, en hoger dan.
Taal: ‘exact gelijk’ is een pleonasme. Dat pleonasme schept tevens een dubbelzinnigheid, want het zadelt de lezer op met de prangende vraag; waarom schrijft de ontwerper van de vraag hier een pleonasme, heeft dat een speciale betekenis, is het een aanwijzing, sluit het iets uit?
30-12-2012: De contraptie die werd binnengereden maakte meteen duidelijk wat met een aan veren hangend platform werd bedoeld.
Interessante mededeling, in het voorbijgaan gemaakt: de wetenschappers in Twente doorgronden het betreffende fenomeen niet.
Na demonstratie was de quizvraag wel helder, in ieder geval voor een natuurkundige: die eindfrequentie zou lager zijn dan het gemiddelde van de oorspronkelijke frequenties. Het hele platform in beweging zetten kost energie, tenslotte. Maar dat is intuïtief geredeneerd.
Het zal wel. Ik kan aan deze vraag niets wetenschappelijks ontdekken. Het gaat om biologische of veterinaire empirische kennis over horzels en paarden. Komen steekvliegen in Nederlandse paardenstallen voor?
Mooi strak geformuleerde vraag, dat wel. Het kan nog iets strakker: ‘Op welke paarden komen de minste steekvliegen af? a. witte, b. bruine, c zwarte.’
30-12-2012: de grap blijkt te zijn dat het gaat om al dan niet gepolariseerd licht, en hoe steekvliegen dat zien. De demonstratie gaat over polarisatie van licht van zwarte, bruine en witte paardenhuid, niet over de feitelijke voorkeur van stekvliegen. We moeten dus maar geloven dat de theorie klopt, en dat is niet echt een wetenschappelijke houding. Hier klopt dus iets niet.
Lekker, dat derde alternatief. Het zal er niet voor niets staan.
De gemeenschappelijke factor is koolstof, en dus welke 100 gram relatief het meeste koolstof bevat. De wereldkennis dat diamant koolstof is, mag bekend worden verondersteld. Hoe diamant gemaakt kan worden niet, maar dat is waarschijnlijk niet relevant voor de beantwoording van deze vraag. Ik vermoed dat voor het beantwoorden van deze vraag specifieke vakinhoudelijke kennis nodig is.
Tekst. De tekst klopt gewoon niet. Je kunt niet tegelijk al 100 gram lichaamsmateriaal hebben, en vervolgens nog een keuze welk lichaamsmateriaal het dan wel zal zijn. Dit is gewoon beroerd geformuleerd. Beter is om de eerste zin weg te laten, en in ieder van de drie alternatieven op te nemen dat het om 100 gram gaat. Bedenk vervolgens een elegante manier om de herhaling kwijt te spelen.
Afleiders: de derde afleider is afwijkend naar inhoud zowel als lengte. Dat kan erop wijzen dat dit de aan te kruisen afleider is.
30-12-2012: het is inderdaad de koolstof, en wie wist dat haar veel koolstof bevat, kon het goede antwoord geven en onderbouwen. Maar wat is er precies wetenschappelijk aan de kennis dat haar meer koolstof bevat dan tanden of verse uitwerpselen, per gewichtseenheid?
Lastig vraagje, maar bedenk eens hoe hoog een televisiezendmast moet zijn om bereik van Groningen tot Maastricht te hebben . . .
Een beter ontwerp lijkt mij dan ook om te vragen hoe hoog een straalzender halverwege Leeuwarden en Maastricht geplaatst moet zijn om beide plaatsen op hoogte van 40 meter boven NAP te bereiken? Of zoiets, want ik formuleer hier slordig.
‘Een kaarsrechte spoortunnel van station Maastricht naar station Leeuwarden’ is een idiote context, hoewel niet ondenkbaar. Mijn bescheiding mening is dat wetenschappers, evenals wetenschappelijke instituties zoals NWO, afstand moeten nemen van alles wat idiote, absurde of onlogische context is. Bedenkers van dergelijke contexten richten ravage aan in ons onderwijs (toetsen, examens, lesmethoden).
30-12-2012: ik zou eigenlijk terug moeten kijken om de verklaringen nog eens door te nemen. Het team waar de natuurkundige deel van uitmaakte, had de vraag geloof ik fout, met een foute verklaring waar een lid van het andere team op attendeerde. Het goede antwoord is 1300 meter, ik zou dat zelf niet zo gegokt hebben.
De uitleg die de presentatrice gaf, was volstrekt onnavolgbaar, en het was zeker geen redenering die een teamlid in de korte beschikbare tijd had kunnen opzetten. Hier blijkt weer eens hoe weinig de ontwerpers van deze NWQ zich kunnen verplaatsen in de quizdeelnemer of ook in de kijker naar deze quiz.
Hallo. Dit komt mij voor een triviale vraag te zijn naar kennis van het bestaan van dieren met groen danwel zwart bloed. Ik ben dan ook benieuwd welke wetenschappelijke draai hieraan te zien is, op 30 december.
30-12-2012: de internist in het wetenschappelijke team had een interessant argument dat zwart onwaarschijlijk is, omdat het alle andere kleuren combineert. Zij had ook het goede antwoord. Ik had graag gehoord of haar argument inderdaad hout snijdt, maar ja, er was geen deskundige jury aanwezig die daar meteen iets verstandigs over had kunnen zeggen.
En dan blijken er ook dieren met roze en met blauw bloed te zijn. Geen flauwe grap over blauw bloed gehoord.
Ik heb dus geen enkel argument gehoord van NWQ-zijde waarom dit een wetenschappelijke vraag zou zijn.
Mug doet het niet meer, mug is dood. (Vrij naar Max Velthuijs)
Mag rechts ook?
Hoe vangt een kikker een mug, is dus eigenlijk de vraag. Dan ligt het antwoord voor de hand.
heterogene alternatieven
30-12-2012: zoals verwacht. Leuk filmpje met in bewegende vinger happende kikker.
Het blijkt dan te gaan over het gezichtsvermogen van kikkers, met een hele uitleg erover. Maar de vraag gaat daar niet over, maar over vliegen vangen. Een mismatch tussen de vraag en de kennis van de wetenschap zoals bedoeld.
Wonderlijke vraag, wat bedoelt de vragensteller eigenlijk? Is dit een cryptogram? Ik houd het er maar op dat dit een mooie vraag is voor meteen weet wat hier is bedoeld, en hoe dat heet. Maar dat is triviale kennis. (excuus: de kennis is natuurlijk niet triviaal, maar ernaar vragen in een wetenschapsquiz is triviaal).
Ongelukkig Nederlands: ‘Welk materiaal heeft te maken met de naam van dit verschijnsel?’
30-12-2012: inderdaad, verwarring troef. De quizmasters halen de aap wel uit de mouw, en laten nog wat leuke effecten zien. Weer een voorbeeld van een vraag die niet in duidelijk verband staat met het fenomeen dat het bedoelde onderwerp is.
Doet het ertoe dat het om topsport gaat?
Ha, ijle lucht, dan stijg je minder makkelijk op. Toch?
Het aerobe energiesysteem?
Dan moet het dat afzetpuntzijn.
Alternatieven: hinderlijk heterogeen.
30-12-2012: inderdaad. Het team van wetenschappers had het mis.
Wat is het wetenschappelijke aan deze vraag? Wat moet er wetenschappelijk worden gedacht? Is de quizvraag gelukt, dan?
Je zou op Venus stante pede gekookt zijn, dan zijn er geen stembanden meer om geluid voort te brengen, of oren om geluid te horen. Dit is een absurde context, niet alleen maar een context die je je wel kunt indenken. Contexten zijn een groot probleem in het Nederlandse onderwijs en zijn examens. Een minimaal criterium voor een geschikte context is toch wel dat het geen nonsens mag zijn.
Ik vermoed dat er legio interpretatieproblemen zijn bij deze vraag, en dat het kiezen van de ‘juiste’ interpretatie niet het oogmerk van de vraagontwerper is geweest.
De vraagontwerper heeft ongetwijfeld een fysisch fenomeen voor ogen, maar dan hoort daar een reële vraag bij.
Ik ben wel benieuwd naar de nabootsing van ‘de atmosfeer van Venus’ die we te zien gaan krijgen.
30-12-2012: ik was er al bang voor: geen demonstratie met een hogedrukketel waarin de atmosfeer van Venus was nagebootst.
Tja. Heel jonge boompjes hebben maar twee blaadjes. Niet? Is dit dus een strikvraag? Ik vermoed dat ik helemaal niet begrijp waar de ontwerper van deze vraag heen wil. Absolute (metafysische) interpretatie van wat ‘met zekerheid’ bedoeld mag zijn? (Zolang nog geen mens voet heeft gezet op de achterkant van de Maan, weten we niet met zekerheid dat de achterkant van de Maan niet van groene kaas is.)
Stel dat het om wat oudere bomen gaat die volop in het blad zitten, dan gaat het om de verhouding van het aantal (oude) bomen in Nederland, en het globale aantal blaadjes dat een (oude) boom heeft.
Wetenschap? Als het vorige het begin van het bedoelde antwoord is, dan is dat zeker een vorm van abstract wetenschappelijk denken. Maar ja, ik heb zelf een restrictie op de vraag ingevoerd.
Het is overigens geen slecht idee om vragen te ontwerpen die alleen zijn te beantwoorden wanneer er passende aannamen worden gedaan. Het is even wennen, maar het is natuurlijk typerend voor wetenschappelijk denken dat we alleen maar heldere antwoorden van de natuur krijgen wanneer we onze vraagstellingen inperken, en de condities manipuleren. Denk aan het mooie hellingbaan-experiment van Galileo Galilei.
30-12-2012: de uitleg was verward, had korter kunnen zijn zoals hierboven aangegeven. De formulering van de vraag gaf verwarring bij enkele deelnemers, die redeneerden dat wiskundige zekerheid en de werkelijke wereld niet met elkaar samenhangen. Dat is dan niet erg wetenschappelijk, maar wel platonisch geredeneerd.
Dit is een stukje psychologie is dat ik als psycholoog redelijk ken. Vragen zoals deze moeten worden verboden. Ik overdrijf natuurlijk weer eens, maar deze vraag gaat over wat mijns inziens 1) flauwekul-kennis is [onderzoekers komen er zelf ook niet uit, zodat zo’n onderzoeklijn eindeloos kan doorlopen), en 2) niet rationeel te beredeneren is (het is een empirische kwestie wat eruit komt).
Een goede gok is, maar ik ken de wat oudere literatuur (Festinger; Linschoten hield een college over motivatie achteraf [Idolen])): de groep met de kleinste beloning. Zij moeten immers voor zichzelf rechtvaardigen waarom ze zo gek zijn geweest om zich voor drie euro te laten vervelen.
De grote lengte van de stam van de vraag geeft al een hint dat dit een geforceerde vraag is.
30-12-2012: beschamend. Nog een filmpje erbij, van een idiote laboratoriumsituatie, vijftiger jaren. Ik blijf bij mijn oordeel: stokslagen voor wie zoiets nog eens bedenkt voor een volgende NWQ.
Flauwe vraag. Of mis ik iets? Eenvoudige natuurkundige verbanden, is dat materiaal voor een wetenschapsquiz?
Waarom zo’n gekunstelde context?
30-12-2012: grappig dat er zoveel verwarring over het contextuele in de vraag kan ontstaan (het netje).
Verkeerd gestelde vraag. Hier moet iets bij de drukker helemaal fout zijn gegaan. Ik begrijp niets van de vraag zoals die gesteld is. Op 30 december zal wel duidelijk worden wat er is bedoeld.
Alternatieven: onnodige herhaling van ‘minimaal’: dat staat immers al in de stam van de vraag. Door deze onnodige verdubbeling kan alleen maar verwarring onstaan.
Stam: de volgorde van vraag en gegeven is niet correct (vanuit ontwerpoogpunt). Een vraag begint met vermelden van wat gegeven is. Daar wordt vervolgens een vraag over of bij gesteld. De reden voor dit ontwerpbeginsel is dat zodoende wordt vermeden dat de lezer na het gegevene nog een keer terug moet kijken wat ook al weer de vraag was.
30-12-2012: de demonstratie maakte duidelijk wat de vraagsteller precies bedoelde.
Spectaculaire demonstratie, maar wat is hier het wetenschappelijke aan?
Onder stress is dit een lastige vraag. De vraag kan waarschijnlijk makkelijker worden gemaakt door een minder complexe spelvariant te kiezen.
Wat is hier het wetenschappelijke aan? Ik zie wel een intuïtieve redenering: bij de laatste zetten in dit spel is het al duidelijk wie wint (tenzij er een foutje wordt gemaakt), zodat in beginsel kan worden teruggerekend naar de openingszet. Inductie.
Een andere, eveneens abstracte redenering maakt gebruik van een aanwijzing in de stam van de vraag: ‘als beiden perfect spelen’. Laat ik het hierbij laten, anders geef ik misschien het antwoord weg.
Taal: ‘altijd’ in de alternatieven is niet alleen overbodig, maar bovendien onjuist (er is immers sprake van één spel dat wordt gespeeld), en daarom verwarrend.
30-12-2012: ik had hier het verkeerde antwoord op. Ik kon de uitleg in real time weer eens niet volgen, maar begrijp dat bij 22 stenen de andere partij op winst kan spelen, evenals bij 17 stenen. Wat ik niet heb gezien.
Het gestelde probleem is te complex om onder stress en in korte tijd te kunnen zien wie wanneer waarom gegarandeerd op verlies of winst staat. Het is ook noodzakelijk om door te redeneren tot de positie van 22 stenen, om zeker te weten of die positie winst of verlies oplevert. Inductief redeneren komt er dus niet aan te pas, tenzij iemand in staat is meteen een wiskundig model op te stellen. Het spel zelf lijkt me gekunsteld, bedacht omwille van de vraag. De wetenschappelijkheid is dan ook weer ver te zoeken.
30-12-2012: Wetenschap? Die heb ik te weinig gezien. Maar al zijn zoveel kansen onbenut gelaten om wel iets van wetenschappelijkheid in de vraagstellingen in te brengen.
Stel nu eens dat je bij deze quiz bij iedere vraag één alternatief terecht als onjuist kunt afstrepen, en tussen de beide overgebleven alternatieven moet gokken, wat is dan de kans op tenminste een score 13? 0,0037 [klik op de link en vul dan in het applet in: items 15, mastery 0,5 (raadkans), option 9013 (kans op score 13 of hoger)]
Voor de tv-quiz kan van iedere vraag een tweetrapsraket worden gemaakt: aankruisen van het juiste alternatief levert alleen een punt op bij een juiste beredenering van het antwoord. Ik hoop dat het nu eens op deze manier is aangepakt.
Ben Wilbrink (1983/2006) Toetsvragen schrijven / Toetsvragen ontwerpen. Oorspronkelijke uitgave als Aula 809, het Spectrum pdf 1.4Mb. Herziening in 2006, hoofdstuksgewijs hoofdstuk 1 etc.
Zie Toetsvragen ontwerpen 2006 voor verwijzingen naar de literatuur, voor veel titels zijn daar op het www beschikbare bronnen gegeven.
Zie ook de bespreking van de ontwerpkwaliteit van de vragen in de Nationale Wetenschapsquiz
1994,
1995,
2005,
2006,
2007,
2008,
2009,
2010,
2011,
2012.
Zie ook de bespreking van de ontwerpkwaliteit van de vragen in De Grote Geschiedenis Quiz 2006 (site).
En ggq ’07,
ggq ’08, ggq ’09, ggq ’10.
Zie ook de bespreking van de ontwerpkwaliteit van de vragen in de Nationale Rekentoets 2006, 2007.
Discussie 29 december 2018 twitterdraadje
http://www.benwilbrink.nl/projecten/wetenschapsquiz2012.htm