• thuis
• Aula 809 pdf
• Toetsvragen ontwerpen hfdst 1
• 2
• 2.6
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• a
• mail

Het ontwerp van de vragen beoordeeld:
De Grote Geschiedenis Quiz voorronde 2006 [2007: hier

Ben Wilbrink

De Grote Geschiedenis Quiz 2006 is georganiseerd door de Volkskrant, het Historisch Nieuwsblad en het televisieprogramma Andere Tijden (NPS, VPRO). Publicatie op zaterdag 25 maart in De Volkskrant en op de website. De volledige quiz is te vinden - en in te vullen - op http://grotegeschiedenisquiz.nl/. Uitzending van de finale in Andere Tijden: maandag 17 april (tweede paasdag) op Nederland 3 video html.

Dit is een quiz, geen toets. Dat gezegd zijnde, zal ik de vragen behandelen alsof ze toetsvragen zijn. Dat is ook terecht, omdat deze quiz - misschien onbedoeld - een voorbeeld stelt voor vragen over historische leerstof.

Ik mag dan iets van het ontwerpen van toetsvragen weten, ik ben geen historicus of historisch didacticus. Toch zal ik ongeremd commentaar geven, daarbij ongetwijfeld een aantal vakinhoudelijke bokken schietend. Nooit geschoten is altijd mis.

Het is een quiz over geschiedenis, maar neem nu eens aan dat het een toets is, wat veronderstellen de makers dan over de beheersing van het geschiedkundig materiaal? Ik vermoed - de website is uit de lucht (26-3-2006) dus ik kan het even niet nakijken - dat hier misschien wel over is nagedacht, maar niets is opgeschreven. OK, dan zijn de vragen zelf de operationele definitie van het soort historische kennis en inzicht dat de makers van de quiz voor ogen staat. Overigens zijn er bibliotheken vol geschreven over de bedoelingen van geschiedenisonderwijs, die literatuur blijft mooi even op de plank staan.

Om het wedstrijdelement te benadrukken kunnen bonus- of strafpunten worden verdiend door aan te geven zeker te zijn van de juistheid van het gegeven antwoord. Prima voor een quiz, nooit voor toetsen in het onderwijs. De reden is dat er grote persoonlijke verschillen zijn in de mate waarin men zo'n mogelijkheid benut, waarmee de toets mede karakterverschillen gaat meten, dus discriminerend werkt.
De optie 'zeker weten' blijft in het volgende achterwege.

De quiz bestaat uit vierkeuzevragen, conform de Cito-dogmatiek van eind zestiger jaren, een onnodige inperking van de vrijheid van de ontwerper, en bron van problemen bij het ontwerpen. Voor vraag 1 is dat bijvoorbeeld alternatief 'Frankrijk,' dat waarschijnlijk door vrijwel iedereen als 'vroeger dan de anderen' wordt herkend. Vierkeuzevragen zijn heel lastig zo te ontwerpen dat alle alternatieven realistisch zijn - vanuit de bedoeling van de toets dan. Driekeuzevragen zijn meestal doelmatiger.

Een goede aanpak voor het ontwerpen van keuzevragen is, ervoor te zorgen dat de stam van de vraag een goede open vraag is. Vraag 1 wijkt af omdat het een echte keuze is - niet alleen omwille van de vraagvorm - tussen (historische situaties in verschillende) landen. Ontwerptechnisch is dat prima. Of dat hier inhoudelijk ook zo is, zie beneden.

De stam van de vraag kan korter: 'Vrouwenkiesrecht is het laatst ingevoerd in'. Dat leest veel makkelijker, ook omdat de stam zo op natuurlijke wijze aansluit bij de alternatieven, dat wil zeggen: de lezer hoeft niet van de alternatieven terug te kijken naar wat ook al weer het begin van de vraag was.

Is de kwalificatie 'algemeen' nodig in deze stam? Zit hier een addertje onder het gras? Geef geen aanleiding tot onnodige beslommeringen over de betekenis van zo'n woord, laat het weg. Doe als ontwerper je huiswerk, en ga na of actief of passief kiesrecht een verschil zou maken wat het juiste alternatief betreft. Zo ja, kies liever andere alternatieven dan de nuance in de stam van de vraag in te werken.

Geschiedenis is op eindeloos veel manieren op te delen in verschillende thema's, tijdvakken, gebieden, methoden etcetera. Maar waar een vraag op het eerste gezicht over lijkt te gaan, hoeft niet de bedoeling van de ontwerper te zijn geweest. Mogelijk is bij vraag 1. de bedoeling een andere geweest, ik kan me niet voorstellen dat er iets draait om het verschil van invoering in Frankrijk en Zwitserland, om maar eens iets te noemen. Als er wel een betekenisvolle relatie is, vraag dáár dan naar.

Het verborgen curriculum achter vraag 1 is dat wie de geschiedenis van het vrouwenkiesrecht in Zwitserland goed kent, ook dat in Turkije en Marokko zou moeten kennen. Hoezo is dat?

De invuller van deze quiz begrijpt dat van de aangeboden alternatieven er altijd drie pertinent onjuist zijn, hoewel dat niet expliciet is aangegeven. Een goede invulstrategie is dan de alternatieven afgedekt te houden, en eerst te proberen de vraag op zich te beantwoorden. Dat voorkomt in de war raken door aangeboden alternatieven. Vervolgens moet toch de juistheid van de andere alternatieven worden bekeken, je weet maar nooit; ieder alternatief waarvan je weet dat het onjuist is, vergroot de kans het goede antwoord te vinden.

Een andere mogelijkheid voor het ontwerp was geweest dat alternatieven op zich altijd wel tot op zekere hoogte goed zijn, en dat het er dus om gaat het beste alternatief te kiezen. Het is niet goed te begrijpen waarom de ontwerpers hier geen gebruik van maken, omdat ook bij de keuze voor ondubbelzinnig juist of onjuist in de meeste gevallen toch alle alternatieven zorgvuldig moeten worden beoordeeld. Een gemiste kans? Of volgt deze zelfgekozen beperking uit de voorkeur voor vragen over eenvoudige feiten?

De stam van de vraag kan korter, de zorgen van het Vaticaan zijn bladvulling.

De stam van de vraag sluit niet aan op de alternatieven: 'De Turken' is een 'Wie waren', niet 'Wie was.' Is de kerk zelf een 'wie'?

'De Turken' is hier het onwaarschijnlijke alternatief. Laat het weg.

De onjuiste alternatieven zijn hier kennelijk met een 'historische' bedoeling gekozen. Wie het antwoord op de vraag niet weet, moet op basis van historische kennis de onjuiste mogelijkheden af kunnen strepen? Als dat zo is, is dat ontwerptechnisch een sterk punt. De ontwerper van de vraag zou dat wel moeten hebben uitgeschreven, en de vraag zou onder toets-condities aan tenminste een collega ter beantwoording en commentaar moeten zijn voorgelegd. Is dat met deze Grote Geschiedeis Quiz vragen ook gebeurd?

De uitvoerige formulering van de stam geeft weg dat 'Luther' onjuist is, want niet verantwoordelijk voor de groei, en 'de kerk' juist, want het concilie ging over hervormingen om de groei van het protestantisme de wind uit de zeilen te nemen. Let op: dit zijn argumenten op basis van de tekst zoals gegeven, niet op basis van historisch inzicht, en dus oneigenlijk voor waar deze quiz over gaat. Het ontwerp geeft aanleiding tot deze taalkundige analyse, en ook als zo'n analyse onjuist zou zijn, moet de ontwerper er geen aanleiding voor geven. De geldigheid van deze toetsvraag is belabberd.

Het gebruik van 'het meest' is erg verwarrend. Het is een afwijking van de impliciete instructie dat alternatieven ofwel juist, ofwel onjuist zijn. In dit geval is er altijd wel enige verantwoordelijkheid toegedicht, althans dat is wat de stam suggereert (maar is historisch misschien helemaal niet te onderbouwen ...), maar aan wie dan het meest - alles volgens het Concilie? Volgens bepaalde historische logica, die ook concilie-gangers wel zullen hebben gevolgd, is Luther het meest verantwoordelijk, wat niet wegneemt dat de kerk er verstandig aan doet naar het eigen functioneren te kijken. 'Het meest' gewoon schrappen, dus, om deze babylonische spraakverwarring te vermijden. Minder is meer.

Waar de troepen onvrede over hadden, is informatie die niet nodig is, dat kost leestijd. Tweede probleem met overbodige tekst is dat het altijd mogelijk is - volgens de spelregels van quizzen en toetsen - dat deze een cruciale aanwijzing bevat, dat leidt dus enorm af.

De alternatieven zijn niet logisch. Wie er even over nadenkt, kan 'de haven van Den Helder' als onwaarschijnlijk doorstrepen. En dan zal dat schip wel het juiste antwoord zijn. Zit dat niet in de definitie van wat muiterij is, dat dat op een schip is?

Voor een quiz is dit wel een aardige vondst: wie struikelt over deze vraag, en in een gespannen omgeving is dat al gauw het geval, heeft mooi pech gehad. Maar in een toets mag deze vraagvorm natuurlijk niet worden gebruikt.

Wie deze vorm desondanks gebruikt, moet het wel goed doen. In deze vorm is kennis van drie combinaties op zich voldoende voor het juiste antwoord. Er zijn 10 mogelijke combinaties van antwoorden. Gehoorzaam aan het dogma dat gij vier keuzen zult gebruiken, zijn het er hier dus 4. Ook wie maar een of twee combinaties weet, hoeft waarschijnlijk niet te raden voor de overige, omdat 2D, 3B en 4C twee keer voorkomen.
Het is zoveel beter om de hele gedoe te vervangen door een stuk drie ja-nee vragen.

Voor mijn commentaar moet ik het ook maar doen zonder de hulp van encyclopedieën of Google. Ik vermoed dat tenminste twee van die drie 'Duits' genoemde gebieden dikke duim zijn. Dan hebben we hier het eerste voorbeeld van onzin-alternatieven. Geweldig voor een quiz - hoewel hier als weggevertjes uitgevoerd - maar voor een toets een slecht ontwerp.

In alternatief 1. is gebruik van de huidige benaming 'Namibië in plaats van 'Duits Zuidwest-Afrika' problematisch: wat heeft de ontwerper van deze vraag bedoeld?

Wat is het idee bij vraag 6 en 7? Zo zijn er toch eindeloos veel details in de geschiedenis te vinden, waar alleen nog onjuiste alternatieven bij gevonden moeten worden, of berusten die op fantasie? Gaat het hierom, bij geschiedenis?

Wat tekst betreft een mooi spaarzaam item. Het kan nog korter, trouwens.

Deze vorm heeft zijn thuis in de intelligentietest: daar ligt de nadruk op de intellectuele manipulatie en is de inhoud vrijwel perfect bekend. In vraag 8 ligt het accent op de inhoud, en is de veronderstelling dat de intellectuele manipulatie geen oneigenlijke resultaten zal opleveren.

Moet kunnen, zou je denken. Toch niet, als het anders kan, moet het anders worden gevraagd.

Het idee van deze vraag is niet helder. Er zijn twistende groepen in de middeleeuwse Lage Landen, en er zijn typen functionarissen. Die samenbrengen in een vraag, zonder dat er een relatie van historische betekenis is, trivialiseert historische kennis.

Wat is het idee? Wie de uitspraak kent, die heeft hier geen moeite mee. Wie de uitspraak niet kent, kan twee alternatieven als onzinnig afstrepen, maar is dat historisch inzicht? Of: hebben de eerste en de vierde afleider iets met geschiedenis te maken?

Vrijwel iedereen kan de vraag terugbrengen tot een gokje tussen Machiavelli en Marx, met een raadkans van 0,5. Hoera, de vraagontwerper is erin geslaagd een gokje van 0,5 te bedenken, meestal doen we dat door een muntje op te gooien. Het advies is om tussen gelijk eindigende deelnemers aan de quiz te loten, in plaats van daar quizvragen zelf voor te gebruiken.

Ergo, gaat deze vraag ergens over? Misschien, als het vierde alternatief het juiste zou zijn, maar in welke krogten van historische kennis voert deze vraag ons dan?

Ik vermoed dat de onjuiste redenen fantasie zijn. Dat is jammer, waarom geen historisch juiste feiten genoemd, waarvan er maar één een oorzakelijke relatie tot de late toetreding heeft?

Lezers lastig vallen met onzin is hinderlijk, quizzers onzin voorleggen maakt het hen onnodig makkelijk om het alternatief te vinden dat geen onzin is, en in het onderwijs leerlingen lastigvallen met onzin is een doodzonde. Keuzevragen, anders dan open vragen, zijn kwetsbaar op dit punt. Goed gekozen onjuiste uitspraken kunnen best worden gebruikt, dat hant van de onderwijscontext af. Beter is het om onzin te vermijden, wat ook bij keuzevragen heel goed mogelijk is.

De tekst van de alternatieven kan en moet veel korter. Als dat niet mogelijk is, breng dan de leeslast terug door er een tweekeuzevraag van te maken.

Het gaat om de April-Meistaking, schrap de Februaristaking, en de versierende informatie dat het gaat om de grootste uititng van massaal verzet, of zet dat tenminste niet zo dik aan.

Alternatief 1 is onwaarschijnlijk gezien de datum van de staking (drie jaar na capitulatie), alternatief 2 is geen serieuze reden voor een grote staking. Laat die alternatieven gewoon weg, een tweekeuzevraag is prima.

Deze vraag gaat over bekende motto's, is dat ook serieuze geschiedenis? Geschiedenis van de filosofie, maar raakt kennis van uithangborden van de filosofie die geschiedenis zelf?

De stam van de vraag kan korter, en dat geldt ook voor de alternatieven. Cut the crap, sorry, Latin. Die Verlichting is ook met de haren bij gesleept.

Mooi korte stam, inhoudelijk niet goed geformuleerd (er was niet al een Zwarte Maandag, waarop vervolgens iets gebeurt), jammer dat de alternatieven zo ongelijk van lengte zijn, zit daar een hint voor het juiste antwoord in?

Echt een quizvraag, triviant-niveau. Is dit grote geschiedenis?

Niemand zal alternatieven 3 en 4 serieus nemen, maak er dan gewoon een tweekeuzevraag van.

De oddball, alternatief 4, is ongetwijfeld onjuist, weglaten. Of vervangen door 'Om de Noord naar Amerika,' om in stijl te blijven.

Zitten we op de praatstoel? Laat al die ballast uit de alternatieven lopen.

De ontwerper die hier 'Indonesië' gebruikt, verraadt dat het alternatief onjuist is.

De alternatieven zijn onevenwichtig: de Amerikaanse geheime dienst, Britse spionnen. Amerikaanse spionnen, Britse geheime dienst? Is de ontwerper slordig geweest met alternatieven die onjuist zijn?

Ik heb er heel wat over gelezen, maar het enige dat ik kan bedenken is dat de eerste drie alternatieven onwaarschijnlijk zijn, maar ja, het gaat om een onverwachte hoek, niet? Het gaat om de voorbereiding, een hint die wat verborgen ligt in de stam van de vraag, waarschijnlijk zijn reis naar Leningrad? Heeft het Duitse leger, in oorlog met het Russische, die reis mogelijk gemaakt? Ik ben benieuwd. Maar wat is hier nu de grote geschiedenis?

Bedenkelijke vraag, is dat nou nodig? Krijgt iedere groepering in onze samenleving zo'n beurt?

Het citaat verraadt het taalgebruik van zijn eigenaar ('menselijkerwijs handhaven'), dat is niet handig, vallen er zo drie alternatieven af. Een heer uit Nijmegen zou nooit zoiets zeggen over een groep in zijn politieke club, schrap dat alternatief. Jan komt uit dat milieu, heeft iemand hem die uitspraak in de mond gelegd?

Ik ben niet enthousiast over het knippen van uitspraken uit interviews, boeken, triomfbogen. Dan zijn er weinig of geen lezers die het antwoord weten, en krijgen we een feestje van halfgare argumenten, zoals de mijne hierboven. Heeft niets met geschiedenis te maken.

Voor toetsen is er overigens wel een mogelijkheid om om deze vraagvorm te werken. Er is een uitgeklede vorm van toetsen waarbij het alleen de bedoeling is na te gaan of leerlingen de stof wel hebben gezien. Maar dan is de veronderstelling dat de leerling zo'n citaat dus een keer heeft zien langskomen, en dat is toch even iets anders dan bij vraag 16 het geval is (maar dat kan ook nog aan mij liggen, en dat geldt natuurlijk voor al mijn commentaar).

Mooi spaarzaam.

Werk de ontkenning in de stam weg: Welk blad is na de oorlog ontstaan?

Welke rol speelt de vreemde eend in de bijt - Tuney Tunes - hier? Wat wil de ontwerper van de vraag toetsen? De eerste twee zijn algemeen bekende ondergrondse bladen geweest, daar gaat de vraag dus over. Is iedere vraag die over Vrij Nederland en Het Parool in de oorlog is te bedenken, een passende vraag? Het ziet er nu naar uit dat bijna iedereen op deze vraag moet gokken tussen de andere twee alternatieven, willen we dat?

Ik heb me eens uitgebreid verdiept in deze materie bij gelegenheid van een sollicitatie naar de functie van secretaris voor de Brede Maatschappelijke Discussie. Vanuit die achtergrond zeg ik: de stam is een gestoorde vraag, het gaat om een absurd detail.

Maar mogelijk heeft de ontwerper iets anders in gedachten gehad, en gaat het niet om geschiedenis, maar om enig economisch inzicht in zaken van energievoorziening. Als dat zo is, kom daar dan voor uit en formuleer de vraag in die termen. Ook als het een quiz is.

Met de keuze van getallen als alternatieven is er voor de ontwerper geweldig veel speelruimte, die lijkt hier bepaald niet te zijn benut. Wat valt er over deze alternatieven te zeggen: het eerste valt af omdat nota's kernenergie niet over nulopties gaan, het laatste valt af omdat een kernenergiecentrale bij ieder pompstation absurd is. Dan blijft de keuze tussen 5 en 20 over, succes met de keuze.

De discussie over energievoorziening ging destijds ongetwijfeld ergens over, ook al was er nog geen oliecrisis in zicht. Vraag 18 lijkt daar evenwel op geen enkele manier aan te raken.

Dit kan allemaal veel korter geformuleerd.

Wat is het idee? Dit is zo triviaal.

Het type vraag: 'wanneer duikt iets voor het eerst op' is niet de meest handige vraag om te stellen. Sterker nog: niemand kan zoiets weten, er blijft altijd de mogelijkheid van een nog eerder voorkomen. Kies daarom een andere formulering van de vraag.

Ik weet, er is een autoriteit waar het gaat om wanneer welke woorden voor het eerst zijn gebruikt, maar dat naslaan heeft niet echt iets met kennis van geschiedenis te maken, of wel soms?

Het staat wel aardig, zo'n inleidende zin over besmettelijke ziekten, maar die is voor de vraagstelling echt overbodig.

Ik ben wel benieuwd waar de keuze van jaartallen op is gebaseerd.

Ik vermoed dat de stam van de vraag goed moet worden gelezen om het juiste alternatief te vinden. De stad kan wel schoon water krijgen, maar daarmee is het nog niet bij de Amsterdammers. Zet dit de lezer op een verkeerd been? 'Drinkwater' ipv. 'water'?

Ik weet het antwoord niet, en dan moet ik alternatieven afstrepen. Ik vermoed dat de onjuiste alternatieven bestaan uit op zich historische onjuiste uitspraken, die zijn ieder op zich te evalueren als juist/onjuist vragen, en heb er inhoudelijk niets op aan te merken.

Eigenlijk hebben we hier dus vier goede juist/onjuist vragen, die in het keurslijf van een enkele vierkeuzevraag zijn gepropt. Heel ondoelmatig. Zeker weten.

Eens te meer blijkt hier hoe destructief dat dogma van de vierkeuzevraag is. Maar ook als voor een quiz als deze een vaste vorm gewenst is, kan dat natuurlijk ook de tweekeuzevraag zijn, of alles juist/onjuist. Dan levert de toets zoveel meer informatie op, blijvend binnen dezelfde ruimte op de krantenpagina.

Ik weet niet hoe dat met U is gesteld, maar over zo'n merk kunnen ze mij alles wijs maken. Het derde alternatief kan gewoon weg, maar verder is het raden geblazen, behalve voor de Disney-kenner natuurlijk.

De ontwerper van de vraag heeft waarschijnlijk wel een aardig idee gehad, maar de keuze voor deze stam van de vraag is ongelukkig. Of het is een misplaatste uitwerking van de opdracht om de vragen moeilijk te maken. Moeilijk maken is iets anders dan de vraag stellen over een zo klein detail dat gegarandeerd vrijwel niemand de vraag gewoon kan weten (wat voor quiz-vragen soms mooi kan zijn?).

'Als enige'? Moet dat erbij? Een poging om verwarring te zaaien?

Alle vier zijn Nederlander, de mededeling in de stam van de vraag kan weg. Dan blijft er een qua vorm heel strakke vraag over, mooi.

Het lijkt me verder een goede geschiedenisvraag, al val ik er niet voor van mijn stoel.

Het college geschiedenis kan achterwege blijven, evenals de hint dat er in totaal 200.000 Hongaren zijn gevlucht. De vraag is gewoon: 'Hoeveel Hongaren kwamen er in 1956 naar Nederland?

Niet echt bevredigend, die aantallen als alternatieven. Dat is zo abstract, ver van de werkelijkheid van alledag. Te makkelijk ook, vanuit ontwerpersoptiek. 'De meeste Nederlanders in 1960 kenden in hun omgeving wel een of meer gevluchte Hongaren' is een heel ander type alternatief. Of vergelijk het met het aantal asielzoekers over 2005. Maak er meer werk van.

De Grote Citaten Quiz. Niet doen, dit is geestelijke luiheid van de vragenontwerper.

En dan de antwoorden ...

De antwoorden zijn op 1 april gepubliceerd (ik kan er ook niets aan doen), en zouden ook op de site van de GGQ moeten staan. De antwoorden werpen iets meer licht op het ontwerp.

1. suffragettes In Zwitserland is het vrouwenkiesrecht het laatst ingevoerd, overigens kantongewijs. Daardoor zit er toch een vervelende misleiding in de stam van de vraag, waarin sprake is van landen. De dubbelzinnigheid was te vermijden geweest door niet naar landen, maar naar waar te vragen. Het College van Beroep voor de Examens zou wel eens gelijk kunnen geven aan een student die aannemelijk maakt heel goed van de Zwitserse situatie op de hoogte te zijn, en juist daarom niet voor dat alternatief te hebben gekozen, maar voor Marokko.

2. op de brandstapel De paus zei in zijn openingstoespraak dat de kerk eigen schuld zou moeten erkennen. Maar dat was de vraag niet! Het antwoord dekt hier niet de vraag. 'Volgens dit Concilie' had 'volgens de paus' moeten zijn. 'Het meest' komt eveneens niet terug in het gegeven antwoord, waarom niet? Geen toelichting op de andere alternatieven, horen die niet bij de vraag, dan?

3. muiterij Ha, de Harskamp; de muiterij op de Zeven Provinciën was in 1933. Mooie instinker. Fair enough.
Overigens is het, als je het antwoord echt niet weet, altijd nog een goed idee het naamsbekende alternatief te kiezen boven de andere. (literatuur ovr decision making, Gigerenzer)

4. Tricky presidents Geen verrassingen.

5. grensgevecht Het antwoord gaat niet in op de andere alternatieven, toch is dat jammer omdat te vermoeden valt dat veel goede antwoorden door afstrepen van de foute antwoorden zijn verkregen.

6. Ware Vrijheid. Geen verrassing. Niets over de andere alternatieven.

7. inmenging Antwoord: De Nederlandse volksaard. Werkelijk onbegrijpelijk, dit zou dan alternatief e. geweest moeten zijn, want a., b., c. en d. luiden echt anders. Buitengewoon gekunsteld. Alternatief a. zou correct moeten zijn, maar in het antwoord is niet terug te vinden dat a. de opdracht van Ruth Benedict was. Het blijft onduidelijk of het de vraag danwel het antwoord is dat zo ongemeen klungelig is.

8. synoniemen? "De Drossaards en de Baljuws zijn synoniemen." Dit is verrassend, want het zijn functionerissen, geen woorden. Afijn, hoe dan ook is a. natuurlijk het buitenbeentje in het rijtje.
Ik had overigens niet eerder gesignaleerd dat 'Baljuws' in de vraag natuurlijk met een kleine letter moet beginnen. Dit is pure misleiding door de ontwerper van de vraag, die vervolgens door de eigen misleiding op sleeptouw genomen in het antwoord ook hoofdletters gebruikt, alsof het strijdende groepen betreft! Hoe slordig.

9. klassenstrijd Geen verrassing. Geen toelichting op de andere alternatieven.

10. EUhhh Geen verrassing. Geen toelichting op de andere alternatieven, ook niet op die over referenda (zijn die nu wel of niet gehouden?)

11. staken Voor mij in ieder geval een mooie instinker, iets dat ik heb geweten maar niet meer paraat had. Dan was een driekeuzevraag dus mooi geweest, in plaats van mijn onjuiste voorstel voor tweekeuze.

12. Verlicht Geen verrassing.

13. maandag zwartdag WikiPedia Black Monday, 19 October 1987 - the largest one-day decline in recorded stock market history.
NRC: 10 jaar na zwarte maandag html.
De Grote Geschiedenis Quiz bedenkt gewoon zijn eigen geschiedenis, en bombardeert alternatief d. tot het juiste antwoord. Laten we zeggen dat het niet onjuist is, maar alternatief a. is ondubbelzinnig beter. Het artikel in een groot Nederlands Dagblad bewijst dat de naam niet uitsluitend 'Black Monday' is, maar gewoon 'Zwarte Maandag.' Dit is een zwarte dag voor de GGQ. Kop eraf.

14. Om de Jut Geen verrassing. Geen toelichting op de andere alternatieven.

15. linkse hoek Geen verrassingen. Geen toelichting op de andere alternatieven.

16. wormen en maden Geen verrassingen. Geen toelichting op de andere alternatieven.

17. illegale pers Geen verrassingen. Nu wel toelichting op de andere alternatieven.

18. kerncentrales op iedere hoek, bewindslieden regeerden toen al even losgezongen van de werkelijkheid als vandaag de dag. Nog steeds geen idee waarom dit geweldige geschiedenis is, wel aardige vraag om afvallers te krijgen, maar daar ging het toch niet om?

19. guerilla Geen verrassingen. Geen toelichting op de andere alternatieven. Is dit geschiedenis?

20. drinken Geen verrassingen. Geen toelichting op de andere jaartallen. Het antwoord spreekt over 'schoon water' dat werd aangevoerd, dat is inderdaad beter dan 'schoon drinkwater.'

21. Roma analfabeta? Geen verrassingen. Geen toelichting op de andere alternatieven.

22. Fanta Een instinker! En ik had het juiste alternatief gewoon weg willen laten .... .
Ik voel me wat ongemakkelijk bij de formulering van dat alternatief 'In 1941 in Nazi-Duitsland, als vervanger van Coca Cola.' Ik begrijp uit het antwoord dat de Amerikaanse fabriek zelf Fanta uitbracht. De instinker binnen de instinker is dat de ontwerper de tekst zo heeft gekozen dat de Nazi's verantwoordelijk lijken voor deze merknaam. Natuurlijk, in 1941 is Duitsland nog niet in oorlog met Amerika, en de geschiedenisliefhebber moet dat bedenken. Niet fijn.

23. Nobel Geen verrassingen, ik wist dit zeker niet. Geen toelichting op de andere alternatieven.

24. 5.000 " 'Slechts' vijfduizend." Dit lijkt wel erg redactioneel ingekort. De vraag had dus moeten gaan over waarom er 'slechts' vijfduizend Hongaren naar Nederland kwamen, lijkt me. Wie is het daarmee eens? Dat is toch een belangrijk verschil in het ontwerp, niet?

25. slecht, goed "Fiedrich Nietsche." Meer krantenpapier was niet beschikbaar.

de eindscore ... .

Vorm en inhoud zijn uiteindelijk natuurlijk niet helemaal los van elkaar te beoordelen, en het inhoudelijk ontwerp is eigenlijk niet te beoordelen zonder het plan van de ontwerper erbij te hebben. Maar dat geeft niet, het gaat er ook om hoe degene die zo'n toets maakt, dat beleeft. En die beleving vindt ook plaats zonder van de goede bedoelingen van de ontwerper van de toetsvragen iets te weten.

De vorm van deze 25 vragen is door de bank genomen twijfelachtig, afgezien van de eenvoudige ontwerpfouten zoals irrelevante informatie en onwaarschijnlijke alternatieven. De inhoud is gewoon onvoldoende. Wat in deze 25 vragen doorschemert is dat de ontwerpers geen coherente visie hebben op wat kennis en inzicht van geschiedenis bij de gemiddelde Nederlander is, en dat voor de vertaling van kennis en inzicht naar toetsvragen er maar een wilde of gemakzuchtige slag naar is geslagen. Zowel naar vorm als naar inhoud kan het met weinig moeite allemaal zo geweldig veel beter.

En dan de goede bedoelingen van de ontwerpers van deze 25 vragen. Die zullen er ongetwijfeld zijn, en waarschijnlijk krijgen ze er de handen nog voor op elkaar ook, met die van mij erbij. Maar daar gaat het niet om, het oordeel moet streng zijn, en als het even kan empirisch. Laten we zeggen dat een groep historici een evident hogere score moet kunnen halen op deze toets, en iedere afzonderlijke vraag, dan een willekeurig gekozen groep Nederlanders (van dezelfde leeftijd, allemaal hun jeugd in het Nederlandse onderwijs doorgebracht, etc.). Maar dat is een te makkelijke test, laten we het iets moeilijker maken. Als ontwerpers een goed idee achter iedere vraag hebben, dan moeten historici in staat zijn dat idee te herkennen in de vraagstelling, dus voordat de ontwerper het ze vertelt. Laat een groep historici de quiz onder testcondities maken, en bij iedere vraag aangeven wat zij menen dat hier aan historische kennis of inzicht wordt getoetst en of dat adequaat wordt getoetst. Na afloop valt er een hoop te bespreken, maar praten als Brugman kan een empirisch aangetoond gebrek aan overeenstemming dan niet meer wegpoetsen.

voorronde
Deze 25 vragen zijn een voorronde voor de eigenlijke quiz. Het ontwerp voor de vragen in deze voorronde heeft iets te maken met waar de voorronde voor dient. Deze 25 vragen moeten uit potentiële deelnemers degenen boven laten komen die het best zijn toegerust voor de Grote Quiz. Dat is een kwestie van vertrouwen, omdat deelnemers aan de voorronde de eigen score kunnen opkrikken zoveel zij willen. Laten we het daarom omdraaien: een hoge score in de voorronde moet de deelnemer het vertrouwen geven een voldoende beheersing van 'geschiedenis' te hebben om geen pleefiguur - excusez le mot - in de Grote Quiz te slaan.



Dat is wel te vertalen naar het ontwerp van de voorronde-vragen: die moeten voor de gemiddelde deelnemer moeilijk zijn, laten we zeggen dat die gemiddelde deelnemer van alle mogelijke vragen die voor de voorronde in aanmerking komen, er 70% weet, dus zonder raadkans. Kijk dan op deze pagina, Module 1, hoe de kansen voor de gemiddelde deelnemer zijn om hoge scores op de voorronde te halen: 24 of 25 goed is dan nihil. [Invullen zoals in de screenshot hierboven: test items 25, guessing probability 0, mastery 0.7. Klik op de startknop om de bereking van de kansverdeling uit te voeren.] Bovengemiddelde deelnemers weten, laten we zeggen, zo'n 80%, zij hebben een klein kansje 24 goed te scoren. [mastery 0.8]. De echt goede deelnemers weten zo'n 90%, zij hebben een behoorlijke kans, 27%, om tenminste 24 goed te scoren [zie afbeelding, onderste regel].

Nu is het probleem met deze voorronde dat de deelnemers niets in de weg wordt gelegd om te gokken op vragen die ze niet weten. Dat is een misser in de presentatie van de voorronde, maar raakt op zich niet het ontwerp van de vragen. Het probleem is eenvoudig te ondervangen door de deelnemers te instrueren om vragen waar ze niet zeker van zijn, niet te beantwoorden, ook al zouden ze twee alternatieven als onjuist kunnen wegstrepen.

Nu wil het geval dat voor de voorronde een andere oplossing is gekozen voor de onzekere deelnemer: die kan aangeven al of niet zeker te zijn van het antwoord. Ik geef deze oplossing het voordeel van de twijfel: misschien net zo goed als 'bij twijfel, niet antwoorden.' Wel een stuk ingewikkelder, maar voor een quiz kan het de spanning lekker verhogen.

Laten we het dus houden bij de ontwerpeis dat de Nederlander met gemiddelde historische belangstelling van het type vragen in de voorronde er 70% weet.

Het is mijn stellige indruk dat van het soort vragen in de voorronde 2006 die gemiddeld historisch geïnteresseerde deelnemer er minder dan 50% weet. Dat is veel te laag. En het is niet omdat vragen te moeilijk zijn, maar omdat ze over te bizarre details gaan. De voorronde kan boeiender worden door beter te ontwerpen.

domein
Wie over een hoofdstuk, een boek, of een hele literatuurlijst een toets moet ontwerpen, kan daarvoor eerst een inventarisatie van de leerstof maken, wat daarin de belangrijke begrippen, en wat hun onderlinge relaties zijn. Dat verschaft een goede basis om vervolgens de toetsvragen te kunnen ontwerpen. Maar een toets over geschiedenis, hoe moet dat?

Een canon van boeken kan dat probleem helpen oplossen, maar dat is niet elegant. Beter is het om op een of andere manier een reeks begrippen, namen of gebeurtenissen te kiezen, begrippen die niets met elkaar hebben te maken omdat ze over alle actoren, plaatsen en tijdperken gespreid zijn. Voor het ontwerp van de toetsvragen bij ieder van die begrippen etcetera is de werkwijze in beginsel dezelfde als zouden de begrippen uit een enkel leerboek komen. Met dit verschil dat er mogelijk eerst nog een of ander historisch relevant verband voor dat gegeven begrip moet worden gekozen, als basis voor het ontwerp van de toetsvraag. ook de vragen voor De Grote Geschiedenis Quiz kunnen behoorlijk worden ontworpen.

Literatuur

Ben Wilbrink (1983/2006) Toetsvragen schrijven / Toetsvragen ontwerpen. Oorspronkelijke uitgave als Aula 809, het Spectrum pdf 1.4Mb. Herziening in 2006, hoofdstuksgewijs hoofdstuk 1 etc.

Zie Toetsvragen schrijven 2006 voor verwijzingen naar de literatuur, voor veel titels zijn daar online bronnen gegeven.

Zie ook de bespreking van de ontwerpkwaliteit van de vragen in de Wetenschapsquiz 2005.

  http://www.benwilbrink.nl/projecten/grotegeschiedenisquiz2006.htm