• thuis
• Aula 809 pdf
• Toetsvragen ontwerpen hfdst 1
• 2
• 2.6
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• a
• mail

Het ontwerp van de vragen beoordeeld:
De Grote Geschiedenis Quiz voorronde 2007

Ben Wilbrink

De Grote Geschiedenis Quiz 2007 is georganiseerd door de Volkskrant, het Historisch Nieuwsblad en het televisieprogramma Andere Tijden (NPS, VPRO). Publicatie op zaterdag 28 april in De Volkskrant en op de website. De volledige quiz is te vinden - en in te vullen - op http://grotegeschiedenisquiz.nl/. Uitzending van de finale in Andere Tijden: maandag 17 mei (pinkstermaandag) op Nederland 2 html.

Dit is een quiz, geen toets. Dat gezegd zijnde, zal ik de vragen behandelen alsof ze toetsvragen zijn. Dat is ook terecht, omdat deze quiz - misschien onbedoeld - een voorbeeld stelt voor vragen over historische leerstof.

Ik mag dan iets van het ontwerpen van toetsvragen weten, ik ben geen historicus of historisch didacticus. Toch zal ik ongeremd commentaar geven, daarbij ongetwijfeld een aantal vakinhoudelijke bokken schietend. Nooit geschoten is altijd mis.

Alle 25 vragen zijn vierkeuze, wat duidt op een dogmatisch uitgangspunt. Beter zou zijn het aantal keuzealternatieven vrij te laten. Zou een vaste vorm om bijzondere redenen gewenst zijn, neem dan driekeuzevragen, en benut de vrijkomende tijd, energie, en pagina-ruimte om vijf extra vragen op te nemen.

De quiz laat niet uitdrukkelijk toe om vragen die je echt niet weet onbeantwoord te laten. Een gemiste kans om een statement over raden te maken. In 2006 werd bovendien gevraagd of men 'zeker' was van de vraag, of niet. Dat is in 2007 weggelaten, maar het raden is gehandhaafd. In 2008 is er een nieuwe kans om dan toch maar de mogelijkheid bieden om een vraag open te laten, en daar dan een kwart punt voor toe te kennen. Een alternatieve mogelijkheid is om voor open gelaten vragen geen punt toe te kennen, en voor foutief beantwoorde vragen een punt af te trekken; het nadeel van deze 'strafpunten'-scoring is dat ze lastiger is uit te leggen.

Ook deze tweede keer ontbreekt een poging om aan te geven wat ongeveer het historische inzicht of de historische kennis is die de quiz probeert aan te boren. Wat is het om historische kennis te hebben die op deze quiz een voorsprong geeft op anderen die deze kennis in mindere mate hebben? Gaat het om triviale kennisvragen? Of zijn er genuanceerde argumenten nodig om tussen de aangeboden alternatieven te kunnen kiezen?

Ik zoek literatuur waarin analytisch of ook empirisch is uitgewerkt wat naieve ideeën over geschiedenis en zijn beoefening zoal kunnen zijn. Dat past in de meer algemene vraag naar naief gedachtengoed in de humaniora, zie hier

Dit is een mooi strak geformuleerde vraag, waarvan er in deze quiz te weinig voorkomen.

Triviale kennis.

Het probleem met deze vraag is verder dat de alternatieven heterogeen zijn: een rommeltje om uit te kiezen. Met andere woorden: de aangeboden keuzen hebben geen betrekking op een helder onderliggend historisch concept waar de vraag over gaat. Of nog weer anders: de als 'fout' bedoelde alternatieven hebben als enige functie dat ze 'fout' zijn. Daarmee zijn die alternatieven letterlijk als afleiders gebruikt. Is daar iets tegen? Ja, omdat die 'afleiders' niet behoren tot de historische kennnis die de quiz wil aanboren, omdat een dergelijke handelwijze in het onderwijs ethische vragen oproept, en omdat uit empirisch onderzoek aannemelijk is gemaakt dat het gebruiken van deze onzinnige verbanden ertoe leidt dat ze in zekere mate onthouden worden. Van de regen in de drup.

Dit type probleem zal ik in het vervolg labelen als 'heterogene alternatieven,' met een inhoudelijk voorbehoud: ik kan niet uitsluiten dat er een goede historische argumentatie is dat de betreffende alternatieven een enkel historisch concept of thema betreffen. Zo kan ook mijn oordeel 'triviaal' voorbarig blijken, that's all in the game, ik maak mij er kwetsbaar mee, en blijk het iedere quiz wel een paar keer goed mis te hebben. Prima, toch?

Ofwel de alternatieven zijn heterogeen, of de vraag is triviaal, of beide.

Het zou een slechte zaak zijn, wanneer een goed idee van de betekenis van 'seclusie' tot het goede antwoord kan leiden: dat is waarschijnlijk geen historische kennis, maar taalkennis. Maar ja, sommige taalkennis is historische kennis?

De stam van de vraag is strikt genomen niet juist: de school voor vier- en vijfjarigen, meestal niet verbonden aan een school voor lager onderwijs, heette de kleuterschool, het onderwijs kleuteronderwijs, de onderwijzeres kleuteronderwijzeres.

Heterogene alternatieven.

Niet echt triviaal, etymologisch van belang, zeg maar. Maar dan zijn er toch wel andere mogelijkheden om er harde vragen over te ontwerpen.

Ja, mooi hoor. Naar mijn smaak mikt dit teveel op elitaire historische kennis.

De stam van de vraag kan korter. Het is toch wel zwak om voor deze vraag Herodotus expliciet 'geschiedschrijver' te noemen. Die gezanten zijn ook maar tussenpersonen. Kort: Croeses vroeg het orakel in Delphi of ..... Wat kreeg hij te horen?

Kijk nog eens goed naar de stam van deze vraag, en hoe ongelooflijk veel nieuwe informatie erin staat voor iemand die haar klassieken niet ooit heeft gelezen. Ons korte-termijn-geheugen kan zo'n zes stukjes informatie tegelijk bevatten, de stam van deze vraag bevat er meer, en moet door sommige quizdeelnemers dus een paar keer worden gelezen om helder te krijgen wat de gevens zijn en wat de vraag is. Dat is dus echt een kunstfout voor een ontwerper van snel te beantwoorden quizvragen.

Hier gebeurt iets interessants, wat het ontwerp van de vraag aangaat. Alternatief 3 en 4 geven een sterke hint dat een van beide het juiste antwoord zal zijn. Daarmee geeft de ontwerper van de vraag de mogelijkheid weg te toetsen op kennis dat het gaat om die tocht, en niet om de gebeurtenissen 1 en 2.

Een tweede misser in het ontwerp is dat de vraag, in deze vorm van de alternatieven 3 en 4, in feite degradeert tot de triviale vraag of het gaat om een tocht van Medina naar Mekka, of juist omgekeerd.

Door de dwang om te raden verliest de vraag dan iedere waarde die er nog over was, omdat aan de hand van de scores niet meer valt uit te maken wie het wat lastige onderscheid tussen 3. en 4. wist, en wie er naar heeft moeten gissen.

Het gaat om vrouwen die ergens 'de eerste' in waren, zoveel is wel duidelijk, maar dat maakt deze alternatieven nog niet 'homogeen.' 'Ergens de eerste in zijn' lijkt me geen zinvol historisch concept als zodanig, behalve voor ontwerpers van Triviant.

Ik begrijp hier niets van. Is het echt de bedoeling van de ontwerper van deze vraag dat iemand die niet weet wat dat Schisma is, de andere drie alternatieven door slim redeneren (niet door slim historisch redeneren) als in ieder geval 'fout' kan afstrepen? Deze vraag zit in de verkeerde quiz.

Ik neem aan dat de ontwerper van de vraag voor ogen staat dat door historisch redeneren de juiste volgorde kan worden bepaald. Het is wel grappig bij deze vraag te ontdekken dat het lastig is om deze grote gebeurtenissen binnen dat ene jaar in de juiste tijdsvolgorde te plaatsen. Ik vermoed dat de Chinese gebeurtenissen geheel los staan van de Europese, ik ben benieuwd naar het juiste antwoord.

Net als bij vraag 5 is er hier een situatie dat alternatief 3 en 4 met hun identieke volgorde 'Polen-Muur-Ceausescu' sterk suggereren dat een van deze twee de juiste moet zijn, met de plaats van 'Peking' als variabele.

Heterogene alternatieven

De alternatieven bevatten wel veel tekst hoor. Maar dat krijg je bij heterogene alternatieven al snel.

Is dit een toets op kennis van het Nederlands? Ik bedoel dit: kan een zelfstandig werkende schoorsteenveger een 'gastarbeider' zijn? Is het begrip 'gastarbeider' anachronistisch gebruikt?

'Gastarbeider' is een neerbuigende term.

Dit onder het motto 'Nederlanders mogen wel iets meer van Suriname weten'? Het is wel grappig om een lijstje van bijzondere gebeurtenissen te maken die op een uitzondering na waar zijn. Dat scheelt een hoop onzin, maar er blijft nog steeds een onzinnige uitspraak over, tenzij er een historische argumentatie is dat deze uitspraak onzin moet zijn.

In de stam: 'níet' moet 'NIET' of 'níet' zijn, dus sterker benadrukt.

In de Volkskrant staat er een foto van Spinoza met keppeltje bij deze vraag, wat een hint is dat hij joods is. Dat helpt in zoverre dat het een hint lijkt te zijn dat het voor de hand liggende alternatief 3. onjuist is. Ik ben benieuwd. Historische argumenten leiden dan tot het afstrepen van nog twee alternatieven, is het overblijvende dan het juiste? Ik vind dit allemaal geen geweldige historische kennis, maar triviaal lijkt het ook niet te zijn. Een gemiste kans om over Spinoza en zijn invloed iets te vragen dat echt historisch van betekenis is.

Stel de vraag eens aan H-Bot: who banned Spinoza?

Triviaal; heterogene alternatieven. Er is te veel tekst nodig voor de alternatieven.

Heterogene alternatieven. Er is te veel tekst nodig voor de alternatieven. Voor Nederland toch triviaal, niet?

Dit is interessant. Kan discussie opleveren over wat bedoeld is met 'de oorzaak', of hoe verschillend dat mag worden geïnterpreteerd. De vraag kan makkelijk onzekerheid oproepen over wat de ontwerper van de vraag precies aan kennis over die hongersnood heeft, of wat de ontwerper mogelijk zelf vindt dat het beste antwoord hier is. Een onafhankelijke beoordeling van deze vraag door een groep geschiedkundigen laat waarschinjlijk een behoorlijk gebrek aan overeenstemming zien, omdat er niet een gemeenschappelijk kader is vanwaaruit de vraag wordt geïnterpreteerd. Kortom: de ontwerper van de vraag had er beter aan gedaan de vraag precies rond die interpretatieonzekerheid te formuleren. Bijvoorbeeld over wat de Engelsen heel lang als 'de oorzaak' van de hongersnood hebben aangemerkt.

Voor wie het voorgaande abacadabra is: onder de alternatieven komen tenminste twee uitspraken voor die op zich juist zijn, en een bepaalde historische relatie tot elkaar hebben.

Vereenvoudig de stam door 'de Great Famine' weg te laten.

Verdelende rechtvaardigheid? Dit roept voor mij de vraag op waar eigenlijk de grenzen liggen van het historische domein voor deze quiz. Zijn er wel gebeurtenissen die er buiten liggen?

Ik zou het niet weten, maar vermoed dat iemand met een beetje historische kennis over het onderwerp een paar onwaarschijnlijke antwoorden af kan strepen.

Vreselijke vraagvorm; vraag 8 was al weinig fraai, maar dit slaat alles. Gooi de helft eruit, en maak er een behoorlijke keuzevraag van. Vragen van dit type kosten verhoudingsgewijs heel veel tijd om rustig te beantwoorden. Het lijkt wel sudoku.

Wil ik deze historie weten? Waarom zou ik dit moeten willen weten? Stel dáár dan de vraag over, en win een ziel voor het vak geschiedenis.

Wat is dat, 'een staatshoofd delen'? Is dat iets dat landen doen, en dan bij voortduring? Voor Nederlanders die Nederlands als tweede taal spreken, is dit slordige figuurlijke taalgebruik een belangrijke hindernis bij het begrijpen van de vraag. In serieuze toepassingen, bij examens, is zo'n ontwerp een kunstfout.

Ook dit roept toch de vraag op wat historische kennis is: is dat het weten welke projecten in de dertiger jaren werkschaffingsprojecten waren, triviale kennis, of is het inzicht in de politieke, sociale en economische omstandigheden waarin dit fenomeen tot stand kon komen?

De ontkenning in de stam niet (alleen) met een paar accenten aangeven, maar vet of in hoofdletters.

Wat is 'een nuttige tijdbesteding'? Zoals hier geformuleerd, refereert 'nuttig' aan iets dat voor de werklozen van belang is. Zo was het door de wetgever ongetwijfeld niet bedoeld, en werd het door de werklozen niet ervaren. Wederom: dit lijkt flauwe kritiek, maar slordig Nederlands is voor Nederlanders die Nederlands als tweede taal spreken, moeilijk te begrijpen. In dit geval is het beter om die toevoeging over tijdbesteding weg te laten.

'Op zee' moet zijn 'op open zee.'

'Onontbeerlijk' is een lastig woord voor lezers die Nederlands als tweede taal hebben. Het woord heeft een hoog Spitsbergen-gehalte, wat heel aardig is voor een scheepvaartvraag, maar het doet afbreuk aan de kwaliteit van de vraagstelling. 'Afbreuk' is ook onhandig, natuurlijk.

Een natuurkundige moet deze vraag ook zonder meer goed beantwoorden. Het probleem is dat het begrip 'lengtegraad' bekend moet zijn, dat is op zich geen historisch begrip (Ha, er valt toch iets buiten het 'historische domein'? Kennis van de wereld en kennis van geschiedenis zijn verschillende gebieden, maar voor kennis van geschiedenis is bepaalde kennis van de wereld een voorwaarde. Zoiets zal het zijn. Waar vind ik dit helder uitgewerkt? Lorentz? Cunningham? Hempel?)

Over de details ben ik niet zeker, ik ben bang dat er discussie over het juiste antwoord mogelijk is, omdat mogelijk naast het als juist bedoelde instrument ook nog een meting met een van de andere instrumenten noodzakelijk is. Ik twijfel ook over de verleden tijd in deze stam, maar ik vermoed dat tegenwoordig een GPS direct een lengtebepaling oplevert, zonder dat bedoelde instrument.

'Welk instrument uit de achttiende eeuw was ....' is een onhandige tekst. Bedoeld is: 'Welk instrument was in de achttiende eeuw .... ' De 18e eeuw duidt nader aan wanneer dat instrument onontbeerlijk was.

Het blijft klungelen. Het is mogelijk beter de vraag helemaal om te gooien, en bijvoorbeeld te vragen wanneer het mogelijk werd om op volle zee op nauwkeurige wijze de lengtegraad van de positie te bepalen (15e, 16e, 17e, 18e eeuw).

Ondertussen is wel duidelijk dat een mooi historisch onderwerp toch wel wat getrivialiseerd is. Het feit dat tot in de 18e eeuw de lengtegraad op open zee niet te bepalen was, was van grote menselijke, economische en strategische betekenis. Het heeft in heel wat schipbreuken geresulteerd, bijvoorbeeld. Tal van historische gebeurtenissen en verbanden zijn door dit lengteprobleem te verklaren. Welnu, evenzoveel mogelijkheden voor boeiende quizvragen.

Heterogene alternatieven. Weer veel tekst in de alternatieven.

Teach me. Moet ik bedenken welk product er in april-mei geleverd wordt? Dan gaat het niet om 'historische' kennis, toch?

Omdat ze in oorlog waren geraakt, dummy. En waarom waren ze in oorlog geraakt? De stam van de vraag is gewoon dead wrong.

Tja, China heeft al heel lang mijn warme belangstelling, en deze 19e-eeuwse episode ken ik. Toch 'weet' ik het juiste antwoord niet. Het is alweer een trivialisering van de geschiedenis van dit voor China (en de verhoudingen tussen Europa en China) zo bepalende incident. Stel dáár de vraag dan over, en wek zo belangstelling voor deze geschiedenis.

Tikfoutje in de stam, maar dat is toch wel slordig.

Misschien dat Amsterdammers die school zo noemden, maar was dat elders in Nederland ook zo? Dus: noem de plaats of streek waarin die bijnaam werd gebruikt.

Ik vind dit, met alle respect, een w-a-a-r-d-e-l-o-z-e vraag. Heeft niets met historisch inzicht te maken. De andere drie scholen bestaan na 1968 ook, wat zijn hier de diepere gedachten van de ontwerper van de vraag geweest?

En dan de antwoorden ...

Zoals bekend gemaakt in De Volkskrant van 5 mei 2007. Op de website zijn de antwoorden soms iets uitvoeriger.

De meeste antwoorden maken wel duidelijk dat het om triviale historische kennis gaat. Helaas, dat had bepaald anders gekund.

Bij vraag 7 blijkt er geblunderd te zijn in de formulering van het juiste antwoord.

Voor vraag 15 is de sleutel gewoon verkeerd, een fout die is ontstaan door naief gebruik van de term 'de oorzaak' in de vraag.

Bij vraag 21 is ook alternatief a., de sextant, goed.

1c De Hollandsche Lelie was een damestijdschrift.

2d De zoon van Willem II mocht nooit stadhouder worden. Eiki

3c Friedrich Fröbel

4b 'Een groot rijk zal te gronde gaan.' Zelfs bij dit antwoord in de Volkskrant ontbreekt de essentiële informatie dat Darius veronderstelde dat dit sloeg op het Perzische Rijk, maar was het grote rijk van Darius zelf dat ten onderging. Het orakel had er in deze netelige kwestie wel voor gezorgd altijd gelijk te zullen te zullen krijgen. Het antwoord in de volkskrant is overigens strijdig met de informatie in de quizvraag zelf. De versie op de ggq.nl site maakt het nog bonter, daar wordt boud gesteld: 'het orakel had namelijk bedoeld dat zijn éigen rijk ten onder zou gaan.' Dat geeft het orakel teveel eer.

5d Van Mekka naar Medina.

6a Suze Groeneweg

7a Dat vind ik verrassend. 'De benoeming van twee concurrerende pausen' is immers een niet bestaande gebeurtenis, er is nooit zo'n benoeming geweest. Wat blijkt: de ontwerper van de vraag heeft kennelijk twee benoemingen in gedachten gehad, die erin resulteerden dat er twee> pausen waren, die elkaar beconcurreerden. 'De benoeming van twee concurrerende ministers' is een figuur die in Nazi-Duitsland voorkomt, waar Hitler letterlijk elkaar beconcurrerende ministers benoemde, ministers met dezelfde portefeuille!

Mijn aanvankelijke idee dat deze vraag 7 in de verkeerde quiz zat, is nu veranderd in het oordeel dat deze vraag verkeerd is geformuleerd. Dat lijkt me evident, maar hoe komt het dat de ontwerper van deze vraag zijn of haar fout niet heeft gezien?

8d Peking - Polen - Muur - Ceausescu

9c Ter nagedachtenis aan de aldaar ter dood veroordeelde christenen.

10b schoorsteenveger

11c Brazilië heeft Suriname niet aangevallen.

Ik proef een poging in de formulering van dit alternatief om de lezer in de val te lokken, door de informatie kunstmatig meer gedetaillerd te maken, en daardoor geloofwaardiger: ' Suriname werd twee keer zonder succes aangevallen door het fascistische Brazilië.' Dat 'twee keer' is dus onzin, en of 'fascistisch' dat ook is, ik heb geen zin dat uit te zoeken.

In de val lokken mag voor een quize toegestaan zijn, in het onderwijs is dat natuurlijk een normoverschrijding.

12c 'de joodse.' Dat een redacteur de quiz opgeleukt heeft met een afbeelding van Spinoza met een keppeltje, is dan waarschijnlijk een onachtzaamheid geweest.

13b de Luddieten

14b 'Een socialistische Engelse denktank'

15c 'Een aardappelziekte.' Dit is werkelijk fantastisch. Een beetje een ontwerper van toetsvragen moet toch beseffen dat spreken over 'de oorzaak' bij een historische gebeurtenis gelijk staat aan vragen om moeilijkheden. Historische gebeurtenissen zijn geen biljartballen op een glad laken. In dit geval was er zonder aardappelziekte geen hongersnood geweest. Wat betekent dat: er was een hongersnood, die had te maken met een aardappelziekte, maar dat maakt die aardappelziekte nog niet tot 'de oorzaak' van de hongersnood. Tegelijkertijd was er immers voldoende voedsel in Ierland om de bevolking tegen hongersnood te beschermen. Als er een oorzaak zou moeten zijn, dan zou het dus een politieke moeten zijn. Ergo: antwoord 1a, ook al is dat mogelijk historisch niet helemaal correct geformuleerd.

16c 'No limit'

17b 'Nicolaas I'

18a [1c, 2b, 3d, 4a]

19d '1890'

20c 'Feyenoord Stadion'

21d 'chronometer'

Het grote probleem is nu dat ook antwoord 20a goed is, omdat een hoogtemeter nodig is om de lokale tijd te bepalen (de chronometer geeft alleen de Greenwhich-tijd aan), en het 18e-eeuwse instrument daarvoor is de sextant.

'En door tegelijk de zon, maan en sterren in de gaten te houden, konden zeelieden hun positie tot op tien mijl nauwkeurig bepalen.' Werkelijk briljant: hier wordt iets beschreven dat onmogelijk is: tenzij er een volledige zonsverduistering is, zijn de zon en de sterren niet tegelijk in de gaten te houden, 'de sterren' natuurlijk ook al niet omdat die niet allemaal waarneembaar zijn, en bovendien ook de waarneembare niet tegelijk zijn waar te nemen. Afijn, bedoeld is kennelijk dat de breedtegraad door waarneming van de maan, de zon, of sterren werd bepaald, met hulp van een octant of een sexteant en eveneens de tijd. De hoogte van de zon op zijn hoogste punt van de dag bepaalt de breedtegraad, zonder te hoeven weten hoe laat het in Greenwhich is. Volledigheidshalve: omdat de poolster altijd op dezelfde hoogte staat, gegeven de breedtegraad, is daarmee op het Noordelijk halfrond de breedtegraad in beginsel ook bekend.

Met andere woorden: ook de toelichting op het juiste antwoord moet wel juist zijn.

22b 'Een Amerikaans plan'

23a 'Melkstaking'

24a ' China had de handel in en het gebruik van Engelse opium verboden.'

25b 'Huishoudschool'

Ik heb wel meegedaan aan de quiz zelf, maar behoor niet tot de winnaars. Dat was ook niet mijn bedoeling (ik heb ca 13 fouten). Ik ben wel benieuwd naar de hoogste scores die op deze quiz zijn behaald, het artikel vermeldt die niet. Ik geloof niet dat de 20 gekwalificeerde deelnemers allemaal de maximale score op deze quiz hebben behaald. Ik gok dat 23 de hoogste score is, en die door twee deelnemers ie behaald.

Quiz 2006

Om het wedstrijdelement te benadrukken kunnen bonus- of strafpunten worden verdiend door aan te geven zeker te zijn van de juistheid van het gegeven antwoord. Prima voor een quiz, nooit voor toetsen in het onderwijs. De reden is dat er grote persoonlijke verschillen zijn in de mate waarin men zo'n mogelijkheid benut, waarmee de toets mede karakterverschillen gaat meten, dus discriminerend werkt.
De optie 'zeker weten' blijft in het volgende achterwege.

De quiz bestaat uit vierkeuzevragen, conform de Cito-dogmatiek van eind zestiger jaren, een onnodige inperking van de vrijheid van de ontwerper, en bron van problemen bij het ontwerpen. Voor vraag 1 is dat bijvoorbeeld alternatief 'Frankrijk,' dat waarschijnlijk door vrijwel iedereen als 'vroeger dan de anderen' wordt herkend. Vierkeuzevragen zijn heel lastig zo te ontwerpen dat alle alternatieven realistisch zijn - vanuit de bedoeling van de toets dan. Driekeuzevragen zijn meestal doelmatiger.

Een goede aanpak voor het ontwerpen van keuzevragen is, ervoor te zorgen dat de stam van de vraag een goede open vraag is. Vraag 1 wijkt af omdat het een echte keuze is - niet alleen omwille van de vraagvorm - tussen (historische situaties in verschillende) landen. Ontwerptechnisch is dat prima. Of dat hier inhoudelijk ook zo is, zie beneden.

De stam van de vraag kan korter: 'Vrouwenkiesrecht is het laatst ingevoerd in'. Dat leest veel makkelijker, ook omdat de stam zo op natuurlijke wijze aansluit bij de alternatieven, dat wil zeggen: de lezer hoeft niet van de alternatieven terug te kijken naar wat ook al weer het begin van de vraag was.

Is de kwalificatie 'algemeen' nodig in deze stam? Zit hier een addertje onder het gras? Geef geen aanleiding tot onnodige beslommeringen over de betekenis van zo'n woord, laat het weg. Doe als ontwerper je huiswerk, en ga na of actief of passief kiesrecht een verschil zou maken wat het juiste alternatief betreft. Zo ja, kies liever andere alternatieven dan de nuance in de stam van de vraag in te werken.

Geschiedenis is op eindeloos veel manieren op te delen in verschillende thema's, tijdvakken, gebieden, methoden etcetera. Maar waar een vraag op het eerste gezicht over lijkt te gaan, hoeft niet de bedoeling van de ontwerper te zijn geweest. Mogelijk is bij vraag 1. de bedoeling een andere geweest, ik kan me niet voorstellen dat er iets draait om het verschil van invoering in Frankrijk en Zwitserland, om maar eens iets te noemen. Als er wel een betekenisvolle relatie is, vraag dáár dan naar.

Het verborgen curriculum achter vraag 1 is dat wie de geschiedenis van het vrouwenkiesrecht in Zwitserland goed kent, ook dat in Turkije en Marokko zou moeten kennen. Hoezo is dat?

De invuller van deze quiz begrijpt dat van de aangeboden alternatieven er altijd drie pertinent onjuist zijn, hoewel dat niet expliciet is aangegeven. Een goede invulstrategie is dan de alternatieven afgedekt te houden, en eerst te proberen de vraag op zich te beantwoorden. Dat voorkomt in de war raken door aangeboden alternatieven. Vervolgens moet toch de juistheid van de andere alternatieven worden bekeken, je weet maar nooit; ieder alternatief waarvan je weet dat het onjuist is, vergroot de kans het goede antwoord te vinden.

Een andere mogelijkheid voor het ontwerp was geweest dat alternatieven op zich altijd wel tot op zekere hoogte goed zijn, en dat het er dus om gaat het beste alternatief te kiezen. Het is niet goed te begrijpen waarom de ontwerpers hier geen gebruik van maken, omdat ook bij de keuze voor ondubbelzinnig juist of onjuist in de meeste gevallen toch alle alternatieven zorgvuldig moeten worden beoordeeld. Een gemiste kans? Of volgt deze zelfgekozen beperking uit de voorkeur voor vragen over eenvoudige feiten?

De stam van de vraag kan korter, de zorgen van het Vaticaan zijn bladvulling.

De stam van de vraag sluit niet aan op de alternatieven: 'De Turken' is een 'Wie waren', niet 'Wie was.' Is de kerk zelf een 'wie'?

'De Turken' is hier het onwaarschijnlijke alternatief. Laat het weg.

De onjuiste alternatieven zijn hier kennelijk met een 'historische' bedoeling gekozen. Wie het antwoord op de vraag niet weet, moet op basis van historische kennis de onjuiste mogelijkheden af kunnen strepen? Als dat zo is, is dat ontwerptechnisch een sterk punt. De ontwerper van de vraag zou dat wel moeten hebben uitgeschreven, en de vraag zou onder toets-condities aan tenminste een collega ter beantwoording en commentaar moeten zijn voorgelegd. Is dat met deze Grote Geschiedeis Quiz vragen ook gebeurd?

De uitvoerige formulering van de stam geeft weg dat 'Luther' onjuist is, want niet verantwoordelijk voor de groei, en 'de kerk' juist, want het concilie ging over hervormingen om de groei van het protestantisme de wind uit de zeilen te nemen. Let op: dit zijn argumenten op basis van de tekst zoals gegeven, niet op basis van historisch inzicht, en dus oneigenlijk voor waar deze quiz over gaat. Het ontwerp geeft aanleiding tot deze taalkundige analyse, en ook als zo'n analyse onjuist zou zijn, moet de ontwerper er geen aanleiding voor geven. De geldigheid van deze toetsvraag is belabberd.

Het gebruik van 'het meest' is erg verwarrend. Het is een afwijking van de impliciete instructie dat alternatieven ofwel juist, ofwel onjuist zijn. In dit geval is er altijd wel enige verantwoordelijkheid toegedicht, althans dat is wat de stam suggereert (maar is historisch misschien helemaal niet te onderbouwen ...), maar aan wie dan het meest - alles volgens het Concilie? Volgens bepaalde historische logica, die ook concilie-gangers wel zullen hebben gevolgd, is Luther het meest verantwoordelijk, wat niet wegneemt dat de kerk er verstandig aan doet naar het eigen functioneren te kijken. 'Het meest' gewoon schrappen, dus, om deze babylonische spraakverwarring te vermijden. Minder is meer.

Waar de troepen onvrede over hadden, is informatie die niet nodig is, dat kost leestijd. Tweede probleem met overbodige tekst is dat het altijd mogelijk is - volgens de spelregels van quizzen en toetsen - dat deze een cruciale aanwijzing bevat, dat leidt dus enorm af.

De alternatieven zijn niet logisch. Wie er even over nadenkt, kan 'de haven van Den Helder' als onwaarschijnlijk doorstrepen. En dan zal dat schip wel het juiste antwoord zijn. Zit dat niet in de definitie van wat muiterij is, dat dat op een schip is?

Voor een quiz is dit wel een aardige vondst: wie struikelt over deze vraag, en in een gespannen omgeving is dat al gauw het geval, heeft mooi pech gehad. Maar in een toets mag deze vraagvorm natuurlijk niet worden gebruikt.

Wie deze vorm desondanks gebruikt, moet het wel goed doen. In deze vorm is kennis van drie combinaties op zich voldoende voor het juiste antwoord. Er zijn 10 mogelijke combinaties van antwoorden. Gehoorzaam aan het dogma dat gij vier keuzen zult gebruiken, zijn het er hier dus 4. Ook wie maar een of twee combinaties weet, hoeft waarschijnlijk niet te raden voor de overige, omdat 2D, 3B en 4C twee keer voorkomen.
Het is zoveel beter om de hele gedoe te vervangen door een stuk drie ja-nee vragen.

Voor mijn commentaar moet ik het ook maar doen zonder de hulp van encyclopedieën of Google. Ik vermoed dat tenminste twee van die drie 'Duits' genoemde gebieden dikke duim zijn. Dan hebben we hier het eerste voorbeeld van onzin-alternatieven. Geweldig voor een quiz - hoewel hier als weggevertjes uitgevoerd - maar voor een toets een slecht ontwerp.

In alternatief 1. is gebruik van de huidige benaming 'Namibië in plaats van 'Duits Zuidwest-Afrika' problematisch: wat heeft de ontwerper van deze vraag bedoeld?

Wat is het idee bij vraag 6 en 7? Zo zijn er toch eindeloos veel details in de geschiedenis te vinden, waar alleen nog onjuiste alternatieven bij gevonden moeten worden, of berusten die op fantasie? Gaat het hierom, bij geschiedenis?

Wat tekst betreft een mooi spaarzaam item. Het kan nog korter, trouwens.

Deze vorm heeft zijn thuis in de intelligentietest: daar ligt de nadruk op de intellectuele manipulatie en is de inhoud vrijwel perfect bekend. In vraag 8 ligt het accent op de inhoud, en is de veronderstelling dat de intellectuele manipulatie geen oneigenlijke resultaten zal opleveren.

Moet kunnen, zou je denken. Toch niet, als het anders kan, moet het anders worden gevraagd.

Het idee van deze vraag is niet helder. Er zijn twistende groepen in de middeleeuwse Lage Landen, en er zijn typen functionarissen. Die samenbrengen in een vraag, zonder dat er een relatie van historische betekenis is, trivialiseert historische kennis.

Wat is het idee? Wie de uitspraak kent, die heeft hier geen moeite mee. Wie de uitspraak niet kent, kan twee alternatieven als onzinnig afstrepen, maar is dat historisch inzicht? Of: hebben de eerste en de vierde afleider iets met geschiedenis te maken?

Vrijwel iedereen kan de vraag terugbrengen tot een gokje tussen Machiavelli en Marx, met een raadkans van 0,5. Hoera, de vraagontwerper is erin geslaagd een gokje van 0,5 te bedenken, meestal doen we dat door een muntje op te gooien. Het advies is om tussen gelijk eindigende deelnemers aan de quiz te loten, in plaats van daar quizvragen zelf voor te gebruiken.

Ergo, gaat deze vraag ergens over? Misschien, als het vierde alternatief het juiste zou zijn, maar in welke krogten van historische kennis voert deze vraag ons dan?

Ik vermoed dat de onjuiste redenen fantasie zijn. Dat is jammer, waarom geen historisch juiste feiten genoemd, waarvan er maar één een oorzakelijke relatie tot de late toetreding heeft?

Lezers lastig vallen met onzin is hinderlijk, quizzers onzin voorleggen maakt het hen onnodig makkelijk om het alternatief te vinden dat geen onzin is, en in het onderwijs leerlingen lastigvallen met onzin is een doodzonde. Keuzevragen, anders dan open vragen, zijn kwetsbaar op dit punt. Goed gekozen onjuiste uitspraken kunnen best worden gebruikt, dat hant van de onderwijscontext af. Beter is het om onzin te vermijden, wat ook bij keuzevragen heel goed mogelijk is.

De tekst van de alternatieven kan en moet veel korter. Als dat niet mogelijk is, breng dan de leeslast terug door er een tweekeuzevraag van te maken.

Het gaat om de April-Meistaking, schrap de Februaristaking, en de versierende informatie dat het gaat om de grootste uititng van massaal verzet, of zet dat tenminste niet zo dik aan.

Alternatief 1 is onwaarschijnlijk gezien de datum van de staking (drie jaar na capitulatie), alternatief 2 is geen serieuze reden voor een grote staking. Laat die alternatieven gewoon weg, een tweekeuzevraag is prima.

Deze vraag gaat over bekende motto's, is dat ook serieuze geschiedenis? Geschiedenis van de filosofie, maar raakt kennis van uithangborden van de filosofie die geschiedenis zelf?

De stam van de vraag kan korter, en dat geldt ook voor de alternatieven. Cut the crap, sorry, Latin. Die Verlichting is ook met de haren bij gesleept.

Mooi korte stam, inhoudelijk niet goed geformuleerd (er was niet al een Zwarte Maandag, waarop vervolgens iets gebeurt), jammer dat de alternatieven zo ongelijk van lengte zijn, zit daar een hint voor het juiste antwoord in?

Echt een quizvraag, triviant-niveau. Is dit grote geschiedenis?

Niemand zal alternatieven 3 en 4 serieus nemen, maak er dan gewoon een tweekeuzevraag van.

De oddball, alternatief 4, is ongetwijfeld onjuist, weglaten. Of vervangen door 'Om de Noord naar Amerika,' om in stijl te blijven.

Zitten we op de praatstoel? Laat al die ballast uit de alternatieven lopen.

De ontwerper die hier 'Indonesië' gebruikt, verraadt dat het alternatief onjuist is.

De alternatieven zijn onevenwichtig: de Amerikaanse geheime dienst, Britse spionnen. Amerikaanse spionnen, Britse geheime dienst? Is de ontwerper slordig geweest met alternatieven die onjuist zijn?

Ik heb er heel wat over gelezen, maar het enige dat ik kan bedenken is dat de eerste drie alternatieven onwaarschijnlijk zijn, maar ja, het gaat om een onverwachte hoek, niet? Het gaat om de voorbereiding, een hint die wat verborgen ligt in de stam van de vraag, waarschijnlijk zijn reis naar Leningrad? Heeft het Duitse leger, in oorlog met het Russische, die reis mogelijk gemaakt? Ik ben benieuwd. Maar wat is hier nu de grote geschiedenis?

Bedenkelijke vraag, is dat nou nodig? Krijgt iedere groepering in onze samenleving zo'n beurt?

Het citaat verraadt het taalgebruik van zijn eigenaar ('menselijkerwijs handhaven'), dat is niet handig, vallen er zo drie alternatieven af. Een heer uit Nijmegen zou nooit zoiets zeggen over een groep in zijn politieke club, schrap dat alternatief. Jan komt uit dat milieu, heeft iemand hem die uitspraak in de mond gelegd?

Ik ben niet enthousiast over het knippen van uitspraken uit interviews, boeken, triomfbogen. Dan zijn er weinig of geen lezers die het antwoord weten, en krijgen we een feestje van halfgare argumenten, zoals de mijne hierboven. Heeft niets met geschiedenis te maken.

Voor toetsen is er overigens wel een mogelijkheid om om deze vraagvorm te werken. Er is een uitgeklede vorm van toetsen waarbij het alleen de bedoeling is na te gaan of leerlingen de stof wel hebben gezien. Maar dan is de veronderstelling dat de leerling zo'n citaat dus een keer heeft zien langskomen, en dat is toch even iets anders dan bij vraag 16 het geval is (maar dat kan ook nog aan mij liggen, en dat geldt natuurlijk voor al mijn commentaar).

Mooi spaarzaam.

Werk de ontkenning in de stam weg: Welk blad is na de oorlog ontstaan?

Welke rol speelt de vreemde eend in de bijt - Tuney Tunes - hier? Wat wil de ontwerper van de vraag toetsen? De eerste twee zijn algemeen bekende ondergrondse bladen geweest, daar gaat de vraag dus over. Is iedere vraag die over Vrij Nederland en Het Parool in de oorlog is te bedenken, een passende vraag? Het ziet er nu naar uit dat bijna iedereen op deze vraag moet gokken tussen de andere twee alternatieven, willen we dat?

Ik heb me eens uitgebreid verdiept in deze materie bij gelegenheid van een sollicitatie naar de functie van secretaris voor de Brede Maatschappelijke Discussie. Vanuit die achtergrond zeg ik: de stam is een gestoorde vraag, het gaat om een absurd detail.

Maar mogelijk heeft de ontwerper iets anders in gedachten gehad, en gaat het niet om geschiedenis, maar om enig economisch inzicht in zaken van energievoorziening. Als dat zo is, kom daar dan voor uit en formuleer de vraag in die termen. Ook als het een quiz is.

Met de keuze van getallen als alternatieven is er voor de ontwerper geweldig veel speelruimte, die lijkt hier bepaald niet te zijn benut. Wat valt er over deze alternatieven te zeggen: het eerste valt af omdat nota's kernenergie niet over nulopties gaan, het laatste valt af omdat een kernenergiecentrale bij ieder pompstation absurd is. Dan blijft de keuze tussen 5 en 20 over, succes met de keuze.

De discussie over energievoorziening ging destijds ongetwijfeld ergens over, ook al was er nog geen oliecrisis in zicht. Vraag 18 lijkt daar evenwel op geen enkele manier aan te raken.

Dit kan allemaal veel korter geformuleerd.

Wat is het idee? Dit is zo triviaal.

Het type vraag: 'wanneer duikt iets voor het eerst op' is niet de meest handige vraag om te stellen. Sterker nog: niemand kan zoiets weten, er blijft altijd de mogelijkheid van een nog eerder voorkomen. Kies daarom een andere formulering van de vraag.

Ik weet, er is een autoriteit waar het gaat om wanneer welke woorden voor het eerst zijn gebruikt, maar dat naslaan heeft niet echt iets met kennis van geschiedenis te maken, of wel soms?

Het staat wel aardig, zo'n inleidende zin over besmettelijke ziekten, maar die is voor de vraagstelling echt overbodig.

Ik ben wel benieuwd waar de keuze van jaartallen op is gebaseerd.

Ik vermoed dat de stam van de vraag goed moet worden gelezen om het juiste alternatief te vinden. De stad kan wel schoon water krijgen, maar daarmee is het nog niet bij de Amsterdammers. Zet dit de lezer op een verkeerd been? 'Drinkwater' ipv. 'water'?

Ik weet het antwoord niet, en dan moet ik alternatieven afstrepen. Ik vermoed dat de onjuiste alternatieven bestaan uit op zich historische onjuiste uitspraken, die zijn ieder op zich te evalueren als juist/onjuist vragen, en heb er inhoudelijk niets op aan te merken.

Eigenlijk hebben we hier dus vier goede juist/onjuist vragen, die in het keurslijf van een enkele vierkeuzevraag zijn gepropt. Heel ondoelmatig. Zeker weten.

Eens te meer blijkt hier hoe destructief dat dogma van de vierkeuzevraag is. Maar ook als voor een quiz als deze een vaste vorm gewenst is, kan dat natuurlijk ook de tweekeuzevraag zijn, of alles juist/onjuist. Dan levert de toets zoveel meer informatie op, blijvend binnen dezelfde ruimte op de krantenpagina.

Ik weet niet hoe dat met U is gesteld, maar over zo'n merk kunnen ze mij alles wijs maken. Het derde alternatief kan gewoon weg, maar verder is het raden geblazen, behalve voor de Disney-kenner natuurlijk.

De ontwerper van de vraag heeft waarschijnlijk wel een aardig idee gehad, maar de keuze voor deze stam van de vraag is ongelukkig. Of het is een misplaatste uitwerking van de opdracht om de vragen moeilijk te maken. Moeilijk maken is iets anders dan de vraag stellen over een zo klein detail dat gegarandeerd vrijwel niemand de vraag gewoon kan weten (wat voor quiz-vragen soms mooi kan zijn?).

'Als enige'? Moet dat erbij? Een poging om verwarring te zaaien?

Alle vier zijn Nederlander, de mededeling in de stam van de vraag kan weg. Dan blijft er een qua vorm heel strakke vraag over, mooi.

Het lijkt me verder een goede geschiedenisvraag, al val ik er niet voor van mijn stoel.

Het college geschiedenis kan achterwege blijven, evenals de hint dat er in totaal 200.000 Hongaren zijn gevlucht. De vraag is gewoon: 'Hoeveel Hongaren kwamen er in 1956 naar Nederland?

Niet echt bevredigend, die aantallen als alternatieven. Dat is zo abstract, ver van de werkelijkheid van alledag. Te makkelijk ook, vanuit ontwerpersoptiek. 'De meeste Nederlanders in 1960 kenden in hun omgeving wel een of meer gevluchte Hongaren' is een heel ander type alternatief. Of vergelijk het met het aantal asielzoekers over 2005. Maak er meer werk van.

De Grote Citaten Quiz. Niet doen, dit is geestelijke luiheid van de vragenontwerper.

En dan de antwoorden ...

De antwoorden zijn op 1 april gepubliceerd (ik kan er ook niets aan doen), en zouden ook op de site van de GGQ moeten staan. De antwoorden werpen iets meer licht op het ontwerp.

1. suffragettes In Zwitserland is het vrouwenkiesrecht het laatst ingevoerd, overigens kantongewijs. Daardoor zit er toch een vervelende misleiding in de stam van de vraag, waarin sprake is van landen. De dubbelzinnigheid was te vermijden geweest door niet naar landen, maar naar waar te vragen. Het College van Beroep voor de Examens zou wel eens gelijk kunnen geven aan een student die aannemelijk maakt heel goed van de Zwitserse situatie op de hoogte te zijn, en juist daarom niet voor dat alternatief te hebben gekozen, maar voor Marokko.

2. op de brandstapel De paus zei in zijn openingstoespraak dat de kerk eigen schuld zou moeten erkennen. Maar dat was de vraag niet! Het antwoord dekt hier niet de vraag. 'Volgens dit Concilie' had 'volgens de paus' moeten zijn. 'Het meest' komt eveneens niet terug in het gegeven antwoord, waarom niet? Geen toelichting op de andere alternatieven, horen die niet bij de vraag, dan?

3. muiterij Ha, de Harskamp; de muiterij op de Zeven Provinciën was in 1933. Mooie instinker. Fair enough.
Overigens is het, als je het antwoord echt niet weet, altijd nog een goed idee het naamsbekende alternatief te kiezen boven de andere. (literatuur ovr decision making, Gigerenzer)

4. Tricky presidents Geen verrassingen.

5. grensgevecht Het antwoord gaat niet in op de andere alternatieven, toch is dat jammer omdat te vermoeden valt dat veel goede antwoorden door afstrepen van de foute antwoorden zijn verkregen.

6. Ware Vrijheid. Geen verrassing. Niets over de andere alternatieven.

7. inmenging Antwoord: De Nederlandse volksaard. Werkelijk onbegrijpelijk, dit zou dan alternatief e. geweest moeten zijn, want a., b., c. en d. luiden echt anders. Buitengewoon gekunsteld. Alternatief a. zou correct moeten zijn, maar in het antwoord is niet terug te vinden dat a. de opdracht van Ruth Benedict was. Het blijft onduidelijk of het de vraag danwel het antwoord is dat zo ongemeen klungelig is.

8. synoniemen? "De Drossaards en de Baljuws zijn synoniemen." Dit is verrassend, want het zijn functionerissen, geen woorden. Afijn, hoe dan ook is a. natuurlijk het buitenbeentje in het rijtje.
Ik had overigens niet eerder gesignaleerd dat 'Baljuws' in de vraag natuurlijk met een kleine letter moet beginnen. Dit is pure misleiding door de ontwerper van de vraag, die vervolgens door de eigen misleiding op sleeptouw genomen in het antwoord ook hoofdletters gebruikt, alsof het strijdende groepen betreft! Hoe slordig.

9. klassenstrijd Geen verrassing. Geen toelichting op de andere alternatieven.

10. EUhhh Geen verrassing. Geen toelichting op de andere alternatieven, ook niet op die over referenda (zijn die nu wel of niet gehouden?)

11. staken Voor mij in ieder geval een mooie instinker, iets dat ik heb geweten maar niet meer paraat had. Dan was een driekeuzevraag dus mooi geweest, in plaats van mijn onjuiste voorstel voor tweekeuze.

12. Verlicht Geen verrassing.

13. maandag zwartdag WikiPedia Black Monday, 19 October 1987 - the largest one-day decline in recorded stock market history.
NRC: 10 jaar na zwarte maandag html.
De Grote Geschiedenis Quiz bedenkt gewoon zijn eigen geschiedenis, en bombardeert alternatief d. tot het juiste antwoord. Laten we zeggen dat het niet onjuist is, maar alternatief a. is ondubbelzinnig beter. Het artikel in een groot Nederlands Dagblad bewijst dat de naam niet uitsluitend 'Black Monday' is, maar gewoon 'Zwarte Maandag.' Dit is een zwarte dag voor de GGQ. Kop eraf.

14. Om de Jut Geen verrassing. Geen toelichting op de andere alternatieven.

15. linkse hoek Geen verrassingen. Geen toelichting op de andere alternatieven.

16. wormen en maden Geen verrassingen. Geen toelichting op de andere alternatieven.

17. illegale pers Geen verrassingen. Nu wel toelichting op de andere alternatieven.

18. kerncentrales op iedere hoek, bewindslieden regeerden toen al even losgezongen van de werkelijkheid als vandaag de dag. Nog steeds geen idee waarom dit geweldige geschiedenis is, wel aardige vraag om afvallers te krijgen, maar daar ging het toch niet om?

19. guerilla Geen verrassingen. Geen toelichting op de andere alternatieven. Is dit geschiedenis?

20. drinken Geen verrassingen. Geen toelichting op de andere jaartallen. Het antwoord spreekt over 'schoon water' dat werd aangevoerd, dat is inderdaad beter dan 'schoon drinkwater.'

21. Roma analfabeta? Geen verrassingen. Geen toelichting op de andere alternatieven.

22. Fanta Een instinker! En ik had het juiste alternatief gewoon weg willen laten .... .
Ik voel me wat ongemakkelijk bij de formulering van dat alternatief 'In 1941 in Nazi-Duitsland, als vervanger van Coca Cola.' Ik begrijp uit het antwoord dat de Amerikaanse fabriek zelf Fanta uitbracht. De instinker binnen de instinker is dat de ontwerper de tekst zo heeft gekozen dat de Nazi's verantwoordelijk lijken voor deze merknaam. Natuurlijk, in 1941 is Duitsland nog niet in oorlog met Amerika, en de geschiedenisliefhebber moet dat bedenken. Niet fijn.

23. Nobel Geen verrassingen, ik wist dit zeker niet. Geen toelichting op de andere alternatieven.

24. 5.000 " 'Slechts' vijfduizend." Dit lijkt wel erg redactioneel ingekort. De vraag had dus moeten gaan over waarom er 'slechts' vijfduizend Hongaren naar Nederland kwamen, lijkt me. Wie is het daarmee eens? Dat is toch een belangrijk verschil in het ontwerp, niet?

25. slecht, goed "Fiedrich Nietsche." Meer krantenpapier was niet beschikbaar.

de eindscore ... .

Vorm en inhoud zijn uiteindelijk natuurlijk niet helemaal los van elkaar te beoordelen, en het inhoudelijk ontwerp is eigenlijk niet te beoordelen zonder het plan van de ontwerper erbij te hebben. Maar dat geeft niet, het gaat er ook om hoe degene die zo'n toets maakt, dat beleeft. En die beleving vindt ook plaats zonder van de goede bedoelingen van de ontwerper van de toetsvragen iets te weten.

De vorm van deze 25 vragen is door de bank genomen twijfelachtig, afgezien van de eenvoudige ontwerpfouten zoals irrelevante informatie en onwaarschijnlijke alternatieven. De inhoud is gewoon onvoldoende. Wat in deze 25 vragen doorschemert is dat de ontwerpers geen coherente visie hebben op wat kennis en inzicht van geschiedenis bij de gemiddelde Nederlander is, en dat voor de vertaling van kennis en inzicht naar toetsvragen er maar een wilde of gemakzuchtige slag naar is geslagen. Zowel naar vorm als naar inhoud kan het met weinig moeite allemaal zo geweldig veel beter.

En dan de goede bedoelingen van de ontwerpers van deze 25 vragen. Die zullen er ongetwijfeld zijn, en waarschijnlijk krijgen ze er de handen nog voor op elkaar ook, met die van mij erbij. Maar daar gaat het niet om, het oordeel moet streng zijn, en als het even kan empirisch. Laten we zeggen dat een groep historici een evident hogere score moet kunnen halen op deze toets, en iedere afzonderlijke vraag, dan een willekeurig gekozen groep Nederlanders (van dezelfde leeftijd, allemaal hun jeugd in het Nederlandse onderwijs doorgebracht, etc.). Maar dat is een te makkelijke test, laten we het iets moeilijker maken. Als ontwerpers een goed idee achter iedere vraag hebben, dan moeten historici in staat zijn dat idee te herkennen in de vraagstelling, dus voordat de ontwerper het ze vertelt. Laat een groep historici de quiz onder testcondities maken, en bij iedere vraag aangeven wat zij menen dat hier aan historische kennis of inzicht wordt getoetst en of dat adequaat wordt getoetst. Na afloop valt er een hoop te bespreken, maar praten als Brugman kan een empirisch aangetoond gebrek aan overeenstemming dan niet meer wegpoetsen.

voorronde
Deze 25 vragen zijn een voorronde voor de eigenlijke quiz. Het ontwerp voor de vragen in deze voorronde heeft iets te maken met waar de voorronde voor dient. Deze 25 vragen moeten uit potentiële deelnemers degenen boven laten komen die het best zijn toegerust voor de Grote Quiz. Dat is een kwestie van vertrouwen, omdat deelnemers aan de voorronde de eigen score kunnen opkrikken zoveel zij willen. Laten we het daarom omdraaien: een hoge score in de voorronde moet de deelnemer het vertrouwen geven een voldoende beheersing van 'geschiedenis' te hebben om geen pleefiguur - excusez le mot - in de Grote Quiz te slaan.



Dat is wel te vertalen naar het ontwerp van de voorronde-vragen: die moeten voor de gemiddelde deelnemer moeilijk zijn, laten we zeggen dat die gemiddelde deelnemer van alle mogelijke vragen die voor de voorronde in aanmerking komen, er 70% weet, dus zonder raadkans. Kijk dan op deze pagina, Module 1, hoe de kansen voor de gemiddelde deelnemer zijn om hoge scores op de voorronde te halen: 24 of 25 goed is dan nihil. [Invullen zoals in de screenshot hierboven: test items 25, guessing probability 0, mastery 0.7. Klik op de startknop om de bereking van de kansverdeling uit te voeren.] Bovengemiddelde deelnemers weten, laten we zeggen, zo'n 80%, zij hebben een klein kansje 24 goed te scoren. [mastery 0.8]. De echt goede deelnemers weten zo'n 90%, zij hebben een behoorlijke kans, 27%, om tenminste 24 goed te scoren [zie afbeelding, onderste regel].

Nu is het probleem met deze voorronde dat de deelnemers niets in de weg wordt gelegd om te gokken op vragen die ze niet weten. Dat is een misser in de presentatie van de voorronde, maar raakt op zich niet het ontwerp van de vragen. Het probleem is eenvoudig te ondervangen door de deelnemers te instrueren om vragen waar ze niet zeker van zijn, niet te beantwoorden, ook al zouden ze twee alternatieven als onjuist kunnen wegstrepen.

Nu wil het geval dat voor de voorronde een andere oplossing is gekozen voor de onzekere deelnemer: die kan aangeven al of niet zeker te zijn van het antwoord. Ik geef deze oplossing het voordeel van de twijfel: misschien net zo goed als 'bij twijfel, niet antwoorden.' Wel een stuk ingewikkelder, maar voor een quiz kan het de spanning lekker verhogen.

Laten we het dus houden bij de ontwerpeis dat de Nederlander met gemiddelde historische belangstelling van het type vragen in de voorronde er 70% weet.

Het is mijn stellige indruk dat van het soort vragen in de voorronde 2006 die gemiddeld historisch geïnteresseerde deelnemer er minder dan 50% weet. Dat is veel te laag. En het is niet omdat vragen te moeilijk zijn, maar omdat ze over te bizarre details gaan. De voorronde kan boeiender worden door beter te ontwerpen.

domein
Wie over een hoofdstuk, een boek, of een hele literatuurlijst een toets moet ontwerpen, kan daarvoor eerst een inventarisatie van de leerstof maken, wat daarin de belangrijke begrippen, en wat hun onderlinge relaties zijn. Dat verschaft een goede basis om vervolgens de toetsvragen te kunnen ontwerpen. Maar een toets over geschiedenis, hoe moet dat?

Een canon van boeken kan dat probleem helpen oplossen, maar dat is niet elegant. Beter is het om op een of andere manier een reeks begrippen, namen of gebeurtenissen te kiezen, begrippen die niets met elkaar hebben te maken omdat ze over alle actoren, plaatsen en tijdperken gespreid zijn. Voor het ontwerp van de toetsvragen bij ieder van die begrippen etcetera is de werkwijze in beginsel dezelfde als zouden de begrippen uit een enkel leerboek komen. Met dit verschil dat er mogelijk eerst nog een of ander historisch relevant verband voor dat gegeven begrip moet worden gekozen, als basis voor het ontwerp van de toetsvraag. ook de vragen voor De Grote Geschiedenis Quiz kunnen behoorlijk worden ontworpen.

Literatuur

Ben Wilbrink (1983/2006) Toetsvragen schrijven / Toetsvragen ontwerpen. Oorspronkelijke uitgave als Aula 809, het Spectrum pdf 1.4Mb. Herziening in 2006, hoofdstuksgewijs hoofdstuk 1 etc.

Zie Toetsvragen schrijven 2006 voor verwijzingen naar de literatuur, voor veel titels zijn daar online bronnen gegeven.

Zie ook de bespreking van de Grote Geschiedenis Quiz 2006 en 2008.

Zie ook de bespreking van de ontwerpkwaliteit van de vragen in de Wetenschapsquiz 2005. Idem 2006, 2007 en tezijnertijd 2008.

  http://www.benwilbrink.nl/projecten/grotegeschiedenisquiz2007.htm