http://www.benwilbrink.nl/projecten/ce_nederlands.htm
http://goo.gl/wy9N6
In een discussie op linkedin, de groep VO Netwerk (helaas een gesloten groep), heb ik het volgende opgeschreven.
Het lijkt me passend om ook hier de discussie over de eindexamens Nederlands te voeren. Ook al omdat er nu woordvoerders in beeld komen die niet echt zinnige bijdragen aan de discussie leveren. Zoals een woordvoerder van het ministerie die het onzin vindt dat meerkeuzevragen gebruikt zouden worden omdat die goedkoper zijn dan gewoon schriftelijk werk. In De Volkskrant van vanmorgen (blz. 8) geciteerd:
Als hoogleraren Nederlands zeker weten dat hier niets wordt getoetst dat met kennis van het Nederlands heeft te maken, kan ik eraan toevoegen dat hier waarschijnlijk verschillen in intellectuele koelbloedigheid worden getoetst. Dat laatste kan best wel eens zinvol zijn, natuurlijk, maar dan wel in de vorm van een op dat doel specifiek ontwikkelde psychologische test. En niet in een eindexamen. en
Of zoals Lee Cronbach het vaak heeft gezegd, in een verdergaande variant: we toetsen vooral hetgeen zich met de ons ten dienste staande middelen laat toetsen, niet hetgeen we eigenlijk (VALIDITEIT) zouden willen en moeten toetsen. Het weinige dat zich laat toetsen dan maar zo betrouwbaar mogelijk toetsen, is vooral irrelevant.
Het is een lastige figuur om zowel meerkeuzevragen (terecht) af te kraken, als open vragen. Wat wil de NRC dan? Het opstel? Lijkt me prima, maar dan toch vooral als ceremoniële oefening (met een feestje bij dat ene werkelijk briljante opstel).
Een dubbele beoordeling van het opstel, door onafhankelijk van elkaar werkende beoordelaars, is nog steeds een bureaucratische procedure die die veel te veel problemen met zich meebrengt. Maar er zijn hier zeker wel goede varianten te bedenken, waar Nederland blij mee zou moeten zijn, zoals het stevig verdisconteren van de geslaagde activiteiten in de laatste schooljaren (de H-onderdelen van A. D. de Groot, zeg maar). Probleempje: de kernvakkenregeling van Van Bijsterveldt; maar we moeten ons niet gek laten maken door de fouten uit het verleden, of die nu in de wet zijn vastgelegd of niet. Als de wet niet deugt, moet de wet anders.
Twan Robben & Patrick Rooijackers (2014). HAND IN EIGEN BOEZEM? Een reflectie op de ontvangst van het examen Nederlands. Levende Talen Magazine 2014|1, 6-11 pdf
Verslag van gesprek CvE - hoogleraren Nederlands 27 september 2013. Examen Nederlands vwo. CvE. pdf
Laat ik een synoniem gebruiken: dit is baarlijke nonsens. Keuzevragen zijn een uitvinding om het testen goedkoper te maken, en in de slipstream daarvan ook het toetsen in het onderwijs. Heel wat psychologen zijn daar voor de Tweede Wereldoorlog mee binnengelopen (over die schaamteloze handel zie hier ), juist ten koste van aandacht voor de kwaliteit van het onderwijs.
Marc van Oostendorp bespreekt hier twee van die keuzevragen.
Het eindexamen vwo 2013 hier laat nog andere monsters zien, zoals deze:
13
Wat is het belangrijkste doel van de tekst?
Het belangrijkste doel van de tekst is
Sinds jaar en dag houd ik mijn gehoor voor dat meerkeuzevragen zoals deze onmiddellijk met de vuilnisman moeten worden meegegeven. Ik kijk er niet als neerlandicus naar, maar als toetsvragenontwerper. Een belangrijke spelregel bij meerkeuzevragen is dat je het ‘beste’ alternatief moet aanstrepen wanneer er niet duidelijk een en slechts een juist alternatief is. Ga er maar aan staan. Om het beste alternatief te kunnen selecteren moet je in beginsel ieder alternatief met alle andere vergelijken: bij vierkeuzevragen zijn dat dus zes vergelijkingen. Met een beetje pech moet je dan jongleren met alle informatie in alle alternatieven tegelijk. Bij exacte vakken is dat misschien nog wel goed te doen voor wie goed in de stof zit. Maar wat te denken van de vaagheden die de kandidaten hier worden voorgeschoteld, over een tekst die zij nog maar oppervlakkig kennen? Kan het kortetermijngeheugen dat goed aan? Lees eens iets over de theorie van mentale belasting (cognitive load theory, John Sweller).
Klein bier: vraag 13 vraagt een mening: wat denk je (kandidaat) dat ik (ontwerper van de examenvraag) denk dat de bedoeling van de schrijver van deze tekst is geweest? Dat is nooit echt handig in examens.
Kwaliteit?
In hetzelfde stukje in De Volkskrant van 4 juni wordt Ted Sanders, hoogleraar taalbeheersing, geciteerd:
Bij examens gaat het in de eerste plaats om betrouwbaarheid.Meerkeuzevragen zijn de meest objectieve manier om kennis en tekstbegrip te testen. Dat blijkt uit onderzoek.
Laat ik hem uit de droom helpen. Het gaat bij examens pas in de laatste plaats om betrouwbaarheid, ongeveer zoals het ook van belang is dat de examenvragen helder zijn geformuleerd en goed gedrukt. Betrouwbaarheid heeft niets met inhoud te maken, huppakee weg ermee. Wil je heel betrouwbare toetsen hebben, vraag dan geboortedatum, geboorteplaats, voor- en achternaam. Verdomd betrouwbaar, kan ik verzekeren: niet alleen zijn er gegarandeerde duidelijke verschillen met andere kandidaten, maar bij hertest blijven die verschillen vrijwel 100% gelijk. Maak ik een onzinnige vergelijking? Helemaal niet, want Sanders zegt dat betrouwbaarheid het belangrijkste is. Vóór inhoud, dus. Ah, maar zo heeft hij het niet bedoeld? Oké, dan moeten we het dus wél allereerst over de inhoud hebben. Over VALIDITEIT dus.
Dan het tweede citaat. Het is inderdaad in de beginjaren van het Cito vaak beweerd dat de enige goede, want objectieve, toetsvragen (meer)keuzevragen zijn. Zelfs nog specifieker: VIERkeuzevragen, maar daar gaat het even niet om (A. D. de Groot schreef mij dat dit een leugentje om bestwil was, om het nieuwe Cito niet te belasten met allerlei varianten van keuzevragen. Ik heb zijn toestemming om dit aan de grote klok te hangen). Er is in 1977 tijdens de Onderwijsresearchdagen een oploop van citomedewerkers geweest, inclusief directeur Solberg, bij een paperlezing waarin werd betoogd dat keuzevragen even subjectief zouden zijn als korte open vragen. Deze stelling bleef in de erop volgende discussie perfect overeind. En opende overigens voor het Cito de weg om zich ook te werpen op toetsen met open vragen zoals die nu eenmaal bij veel eindexamens aan de orde zijn. Ik sta nog steeds achter mijn stelling van destijds: hier
Het probleem is telkens weer dit: je bent je fietssleuteltje kwijt, en met je dronken kop ga je ernaar zoeken onder die lantaarnpaal want daar is het licht en waar je fiets staat is het donker. Hartstikke betrouwbaar en objectief, maar je fietssleuteltje vind je er niet, want je was niet eerder onder die lantaarnpaal geweest.
In een subtielere variant komt het betrouwbaarheidsargument terug in het citaat van Amos van Gelderen, waarbij ik me overigens wel afvraag of Amos er niet bij heeft gezegd dat dat objectief willen nakijken natuurlijk wel een beetje onzinnig is:
Om examens met open vragen op een objectieve manier te kunnen nakijken, moet het correctiemodel heel uitgebreid zijn.
Leg nu het verband met de stelling dat keuzevragen even subjectief zijn als korte open vragen (commentaar hierboven). Het kost dan even wat nadenktijd (voor mijzelf waren dat vele jaren) om in te zien dat het opstellen van correctiemodellen oefeningen in betrouwbaarheid zijn, en NIET bijdragen aan VALIDITEIT van de examens. De Amerikanen spreken bij keuzevragen niet over objectiviteit, maar over ‘frozen subjectivity’, een prachtige term die precies aangeeft wat er gebeurt. Het is een schertsvertoning, met al die correctiemodellen. Dat wil zeggen: wel handig natuurlijk om allerlei discussies kort te sluiten en procedures te voorkomen. Maar daar gaat het niet om; het gaat om kwaliteit, zoals de woordvoerder van OCW opmerkte.
A. D. de Groot — ik bracht hem hierboven al ter sprake — maakte onderscheid tussen P- en H-onderdelen. De P van prestatie, de H van handeling. Hij constateerde de gekkigheid dat practica nogal eens werden afgesloten met een toets over dat practicum. En dat is gekkigheid, omdat het er in het practicum om gaat dat de leerlingen de handelingen adequaat hebben verricht: als dat het geval is, dan is het practicum dus oké, afgesloten. Welnu, als het vak Nederlands vooral de trekken heeft van een practicum, moet het dan met een examen worden afgesloten? A. D. de Groot vraagt het u. Als examenritueel kan dat natuurlijk, met slaaggarantie, maar dan dus niet als onderdeel van de kernvakkenregel die Marja van Bijsterveldt heeft ingevoerd . . . .
Je kunt je misschien wel voorstellen dat ik me wel eens behoorlijk wanhopig kan voelen bij de vele onzin die over examens wordt beweerd, ook door het Cito en het CvE (meesters van de processen). Er is bijna geen beginnen aan om deze Augiasstal uit te mesten. Daarom concentreer ik me op de rekentoetsen als tenminste een overzichtelijk casus. En daarbinnen weer op de gekkigheid van contextrekenopgaven hier. Grappig is dan weer om te zien hoe telkens dezelfde problemen terugkomen, of het nu om rekenopgaven gaat, of opstelvaardigheid.
Over het College voor Examens en Toetsen gesproken. Ik had in februari de gelegenheid om Henk Laan (voorzitter van het CvE) te vragen hoe zijn college zijn taken kon uitvoeren zonder te beschikken over de kennis die daarvoor nodig is. In het organogram van het CvE ontbreekt immers een afdeling ‘Research & Development’. Inderdaad, Laan gaf aan dat zo’n afdeling een grote wens is van het college. Roel Endert (directie VO), ook aanwezig, heeft het hopelijk in zijn oren geknoopt. (Maar ja, OCW schrapt eerst even een paar honderd miljoen in de subsidies aan zijn kwaliteitsinstellingen)
De NRC wijdt een hoofdredactioneel commentaar aan de problematiek: Toets de taalvaardigheid. “De kritiek verklaart het vwo-eindexamen in feite ongeldig.”
Laat ik er toch een enkel minder helder puntje uit halen.
De toegestane spelfouten duiken hier ook weer op, een argument dat de laatste dagen vaker te horen valt. Nu wil het geval dat alweer drie jaar geleden de kamerleden Jasper van Dijk (SP) en Jacob van Dijk (CDA) de minister bij motie vroegen om taalverzorging ( = spelling, interpunctie, zinsbouw) bij alle - ALLE - examenwerk mee te beoordelen; een motie die aangehouden en gewijzigd werd: om althans de mogelijkheden daarvoor te onderzoeken. Omdat velen een bericht hierover lazen in de krant van 1 april, werd . . . . Maar nee hoor, het was serieus. Het is best een interessant onderwerp, vandaar dat ik er met Michel Couzijn en Denny Borsboom een artikel over heb gepubliceerd: hier. Het komt erop neer dat taalverzorging typisch een zaak is die in het onderwijs zelf bij voortduring aan de orde moet zijn, niet in eindexamens. En dat is een opvatting die ook voor de oorlog al bekend was.
Ook een beperking in aantal woorden voor antwoord op open vragen is niet de kat waard die de NRC hier uitdeelt: ‘Een soort tweet dus’.
Deze examens Nederlands liggen al langer onder vuur. Een prachtige beschouwing is die van Volkskrant-columniste Aleid Truijens zie hier over het eindexamen 2008 dat zij mee maakte (dus ook meemaakte :-) en waarbij het onderdeel tekstbegrip handelde over een stuk van . . . Truijens.
Het viel niet mee. Op vragen ‘wat de auteur bedoelt’ moest de auteur het antwoord meermalen schuldig blijven. Bij de vraag naar het ‘doel’ van mijn tekst, waren volgens mij alle antwoorden — a. amuseren; b. informeren; c. beschouwen; d. betogen — goed. Kortom, ik begreep geen barst van mijn eigen verhaal: een dikke onvoldoende.
Begrijpt u nu waarom een vraag zoals hierboven vraag 13 een eindexamenvraag kan zijn? Ik niet.
PS: in 2008 waren de alternatieven van de keuzevraag over de bedoeling van de schrijver kort en helder — a. amuseren; b. informeren; c. beschouwen; d. betogen. Op zich is dat natuurlijk uitstekend. Onbegrijpelijk waarom er dan in 2013 zo’n rommeltje van de alternatieven in vraag 13 is gemaakt. Er is bepaald geen raketwetenschap voor nodig om in te zien dat vraag 13 in 2013, vergeleken met dezelfde vraagstelling in 2008, niet kan deugen.
Opinie van Henk Pander Maat, Jacqueline Evers-Vermeul en Ted Sanders, in De Volkskrant van 6 juni, blz. 30 ‘Natuurlijk is elk antwoord bijna goed’.
Deze auteurs vinden over de stelling van de hoogleraren-briefschrijvers — (mijn samenvatting daarvan:) dat het eindexamen Nederlands irrelevant is —
Deze stelling is tekst- en toetswetenschappelijk gezien onhoudbaar.
Ik sla aan op die toetswetenschappelijke zienswijze. Halve waarheden over toetstechnische zaken zijn erger dan onwaarheden (want lastiger te doorzien). Maar dan blijkt dat de auteurs met ‘tekstwetenschappelijk’ ook iets ‘toetswetenschappelijks’ bedoelen: hoe toets je tekstbegrip? Interessant onderwerp, ik ga er hier liever niet op in maar verwijs naar mijn http://www.benwilbrink.nl/projecten/tekstbegrip.htm (een bak literatuur, als voorbereiding op een kritische analyse van de rol die tekstbegrip speelt in de huidige eindexamens, vooral in ANDERE vakken dan Nederlands, maar uiteraard ook van belang voor het eindexamen Nederlands voorzover dat (ook) tekstbegrip toetst). Laat ik er in ieder geval dit van zeggen: het grote probleem bij toetsen van tekstbegrip is de afbakening van tekstbegrip als onderwezen en geoefende taalvaardigheid, en tekstbegrip als (individuele verschillen in) verbale intelligentie.
Is leesvaardigheid te toetsen met meerkeuzevragen? De auteurs bevestigen dat, en wel hierom:
Onderzoek laat zien dat leerlingen dezelfde cijfers krijgen voor een tekstbegriptoets met meerkeuzevragen als voor een toets met open vragen.
Dit is dan typisch een voorbeeld van een halve waarheid. Dat er een behoorlijke correlatie is tussen beoordelingen op beide vormen van toetsen betekent nog niet dat die toetsen dus hetzelfde zouden meten, en al helemaal niet dat zij beide de vaardigheid-zoals-bedoeld meten (de validiteitsvraag). Wees ervan verzekerd dat er altijd hoge correlaties tussen toetsen zijn wanneer ze zo zijn gebouwd dat ze verschillen tussen de kandidaten zo groot mogelijk maken — want dan toetsen ze vooral verschillen in intellectuele capaciteiten. Maar dat laatste is nu juist wat je in toetsen in het onderwijs niet wilt (wat werkgevers bij personeelsselectie willen weten, is een totaal andere kwestie).
Dan krijgen we vervolgens de nu wel bekende misvatting voorgeschoteld dat het beoordelen bij open vragen allerlei problemen oplevert, en dat heb je niet bij gesloten vragen. Nee, dat haalt je de koekoek: bij gesloten vragen zijn die problemen kunstmatig bevroren (‘frozen subjectivity’), onder het kleed geveegd, onder de pet gehouden. Het is van de gekke om verschillen van inzicht tussen professionals (leraren Nederlands) weg te masseren, en bij onderling fiat te bepalen wat als het beste antwoord uit drie of vier mogelijke antwoorden moet gelden. Als er nu werkelijk íets onwetenschappelijk is, dan is het wel om wetenschap en democratie door elkaar te halen. Afijn, lees mijn 1977.
Een boeiende gedachtengang is ook de volgende (3e kolom): dat het geen probleem is dat vragen behoorlijk moeilijk zijn, wanneer het maar zo is dat de betere kandidaten die moeilijke vragen ook vaker goed hebben dan anderen. (technisch: p-waarden, r-bis) De auteurs formuleren hun betoog hier niet goed, of ze begrijpen het niet, of ik begrijp niet wat ze bedoelen. Dat vaardiger kandidaten een vraag minder vaak goed beantwoorden (negatieve r-bis) is nu juist de klacht van sommige/vele leraren Nederlands; bedoelen de auteurs dat ook? Aan de andere kant kan een hoge r-bis een signaal zijn dat de vraag teveel aanspraak doet op intelligentie, ipv vaardigheid. Dit p-waarde en r-bis verhaal is niet simpel, en we moeten niet net doen alsof het dat wel is.
Heel goed dat deze auteurs opponeren tegen de stelling van de briefschrijvers. Dat er over de inrichting van het examen Nederlands discussie mogelijk en wenselijk is, zal ook Oostendorp wel willen onderschrijven.
[reactie op Klaas Heemskerk, over Cito en CvE]
De positie die het Cito en het CvE kiezen mag wel eens scherp in de schijnwerpers komen. Hierbij een poging.
Waarschijnlijk is het wereldwijd en bijna altijd hetzelfde probleem: toetsvragen worden ontworpen door leraren die daar niet de specifieke deskundigheid voor hebben. Geen kwaad woord over die leraren: ze doen hun stinkende best. Maar de instelling waarvoor ze werken, moet beter weten. Of dat nu het prestigieuze Amerikaanse Educational Testing Service is, of ‘ons eigen’ Cito. Ik zie al vele decennia dat het Cito de specifieke deskundigheid voor het ontwerpen van toetsvragen niet in huis heeft. Daar is ook wel een verklaring voor: in de literatuur — voor de Amerikaanse en Nederlandse — doet nog steeds de mening opgeld dat het kunnen ontwerpen van toetsvragen de een beter afgaat dan de ander, en dat zulks een kwestie is van begenadigd kunstenaarschap. De kritiek daarop kan iedere leerling wel bedenken die met succes een cursus ‘kritisch denken’ heeft doorlopen: toetsvragen die door kunstenaars zijn bedacht, daar kunnen leerlingen zich onmogelijk doeltreffend op voorbereiden.
Ik heb aan deze cultuurwetenschappelijke armoede iets proberen te doen door het onderwerp met een boek op de agenda te zetten: Toetsvragen schrijven. Aula 809. Ik ben nog steeds bezig om dat te herschrijven http://goo.gl/opz8q. Er is wel eens gekscherend tegen mij gezegd dat citomedewerkers er niet verstandig aan deden om met dat boekje binnen het instituut te worden gezien. Hoe dat ook zij, het Cito heeft er nooit belangstelling voor getoond. Dat is toch jammer, want de knulligheid van de toetsvragen van het Cito — zie voor een ander voorbeeld bijvoorbeeld commentaren in de WiskundE-brief van vandaag http://www.wiskundebrief.nl/ over de eindexamens wiskunde — heeft een enorme negatieve impact op het onderwijs in Nederland. Dat onderwijs moet immers ‘presteren’ door beter dan gemiddeld te scoren op de landelijke toetsen die als maatlat worden gebruikt. (De contradictio-in-terminis is bewust gekozen, want dit moet toch wel het beleidsdoel van OCW en Inspectie zijn).
Als het Cito zich als toetsenbakker opstelt, en het CvE als uitvoerder, dan moeten deze instellingen maandag meteen maar worden opgeheven. Stel je voor dat jouw chirurg de bypass-operatie op jouw aanwijzingen gaat uitvoeren!
En het Cito en CvE stellen zich inderdaad op als slaafse uitvoerders, zoals evident is gebleken bij het gedonder rond de eerste rekentoetswijzercommissie ( Wilbrink & Hulshof, 2011, in ‘Examens, Tijdschrift voor de Toetspraktijk’ http://www.benwilbrink.nl/publicaties/11rekentoets_Ex.htm[op de site van ‘Examens’ in beginsel beschikbaar maar nu even niet ivm een verbouwing van de website]) en de voorbeeldrekentoets-3F van het Cito ( http://www.benwilbrink.nl/publicaties/12rekentoets_Ex.htm ). In het bijzonder: de reactie van het CvE (Jan Kastelein) op dat laatste artikel, met een louter procedurele argumentatie en wel precies de argumentie die Wilbrink & Hulshof al in 2011 als academici onwaardig onderuit schoffelden.
Vandaag legt Aleid Truijens het nog een keer uit, in De Volkskrant blz. 22 (10 juni): Bij Nederlands scoort betere leerling slechter.
Heel mooi: zij heeft onder het beoordeelde oog van haar echtgenoot (leraar Nederlands eindexamenklas vwo) het eindexamen Nederlands vwo gemaakt: een zeventje.
Geen best cijfer voor zijn externe kandidaat. Vooral als je bedenkt dat die Nederlands heeft gestudeerd, bevoegd is op het vwo les te geven, en van lezen en schrijven haar beroep heeft gemaakt.
Aleid Truijens laat hier in niet mis te verstane bewoordingen zien wat er niet deugt aan dit eindexamen Nederlands: het bestraft wat de betere vaardigheid is, en beloont wat de examenmakers willen zien maar wat met de vaardigheid Nederlands weinig heeft te maken. Met andere woorden: dit examen ontbreekt het niet alleen aan validiteit (op zich reden voldoende om dit examen onmiddellijk af te schaffen), het toetst de verkeerde vaardigheid.
Toch is het ook voor Aleid Truijens dan weer lastig om een alternatief op de kaart te zetten. Zij ziet graag het opstel terug (prima voorstel), omdat de kandidaten daarin kunne laten zien hoe creatief ze zijn en hoe helder ze kunnen argumenteren. Dat laatste is problematisch, omdat je toch zou moeten willen dat vaardigheden wordt gedemonstreerd waaraan in het voorafgaande onderwijs gericht is gewerkt, dus geen verschillen in intellectuele capaciteiten als zodanig.
Ik vergeet nog iets. Of een examen deugt, moet af en toe ook eens goed worden onderzocht. Van een vakinhoudelijk examen mag worden verwacht dat vakinhoudelijk deskundigen daar vrijwel de hoogst mogelijke scores op halen. Als dat bij een proefneming niet het geval blijkt, en er zelfs een brede kloof blijkt, dan is dat voldoende bewijs voor de ondeugdelijkheid van het betreffende examen. Het toets dan iets anders dan algemene vakinhoudelijke kennis en vaardigheid. Zo simpel is dat. Het omgekeerde kan overigens ook voorkomen: dat experts op een heel ander terrein toch tot de hoogste scores komen; dan is het examen niet specifiek voor het betreffende vak. Zo zijn er nog wel enkele varianten: leg een examen voor aan kandidaten die er in het geheel niet op zijn voorbereid; zij moeten natuurlijk dik onvoldoende scoren. Denkt u.
Mijn ‘beoordeelde oog’ [hierboven] is een foutje. Of was het een ‘meedenkende’ tekstverwerker? De taalfouten in mijn blogs — dat zijn er nogal wat, fouten dan — hebben vaak te maken met tijdens het schrijven veranderende aanpak hoe een bepaald idee woorden te brengen. Wat zegt zoiets eigenlijk over taalvaardigheid? Waarschijnlijk is het een aanwijzing voor een wat grotere wendbaarheid in het formuleren, en slordigheid in het redigeren. Is slordigheid bij het redigeren van je tekst een tekort in taalvaardigheid, of is het gewoon slordigheid?
Manon Vogel (2 juni 2014). Laat de examenmakers herexamen doen. NRC Next. abstract
lead
http://www.benwilbrink.nl/projecten/ce_nederlands.htm
http://goo.gl/wy9N6