• thuis
• sitemap
• publicaties
• projecten
• mail

Geheimhouding van toetsvragen / test secrecy

Truth in testing / test item secrecy / Open Testing / Test Disclosure / Test Security

Ben Wilbrink

9 december 2015, een uitglijder van het CvTE? tweetdraad Karin den Heyer, brief CvTE over wettelijke basis.

Karin: “Bezwaar maken tegen zelfbedachte regels door het CvTE kan niet. Wat volgt? Iedereen een paars pakje aan?”

Ben Wilbrink: Artikel 46 geeft @hetCvTE niet de bevoegdheid om na het examen de afgenomen vragen geheim te houden. Kennelijk heeft @hetCvTE het eindexamenbesluit VO uitgeplozen op welk artikel ze zouden kunnen gebruiken als smoes. Dat heeft een juridische naam: @hetCvTE gebruikt een bevoegdheid (art 46) voor iets waartoe deze bevoegdheid niet is gegeven. De deftige naam is: détournement de pouvoir. Het is een algemeen beginsel van behoorlijk bestuur. @hetCvTE belazert de kluit. Ik herinner mij dat Jan Wiegers (bestuur Cito) eens heeft getwitterd dat geheimhouding door @hetCvTE een centenkwestie is. (ofwel: bewindslieden hebben de extra kosten voor het aanmaken van meer rekentoetsvragen er niet voor over). Toch heeft @hetCvTE die geheimhouding bij de afwijzing van een WOB-verzoek een staatsbelang genoemd. Dit staaft het ‘belazeren’.

Het is een doorzichtige truc van @hetCvTE om leerlingen en leraren te intimideren door ex cathedra te verkondigen dat die geheimhouding onaanvechtbaar is. Het gaat uiteraard niet om die geheimouding op zich, maar de schending van recht die het gevolg is van die geheimhouding: door deze geheimhouding worden leerlingen gekort in hun recht op een eerlijk examen en dus op het recht om in beroep te gaan tegen ondeugdelijke vragen in de #rekentoets. Noodzakelijke voorwaarde voor dat fundamentele recht is uiteraard dat de examenvragen publiekelijk beschikbaar zijn. Documentatie, o.a. van de Cie Bestuurshervorming (Cie-Slagter): [deze webpagina]. Het tragische is dat de geheimhouding in het kader van normhandhaving (10% van de vragen) een maatregel is die op geen enkele manier noodzakelijk en onontkoombaar is: er zijn talloze andere mogelijkheden voor normhandhaving, @hetCvTE welbekend [advies uitgebracht aan CvE over normhandhaving].

Geheimhouding van eindexamenvragen is een ongehoorde schanddaad, die extra gewicht krijgt in het licht van voornemens van @hetCvTE en andere belanghebbenden om over te gaan tot adaptieve eindtoetsen en eindexamens. Een grof schandaal. Het schandaal is dat op deze slinkse technocratische wijze het onderwijs wordt gestolen van leerlingen en hun ouders. En van leraren (dank voor deze aanvulling, Karin!). De Inspectie van het Onderwjs @onderwijsinsp is toezichthouder op @hetCvTE. Het wordt tijd dat de Inspectie in beweging komt. Leuk hoor, al die ideetjes van denktanks, dezer dagen. Maar nu even oogkleppen af, en opletten! @onderwijsinsp @hetCvTE

https://twitter.com/benwilbrink/status/662379462655389696
Conclusie uit bovenstaande: met geheimhouding vd #rekentoetsvragen overschrijdt CvTE zijn bevoegdheid

De Wet College voor Toetsen en Examens somt limitatief op wat de taken van het CvTE zijn, en daar hoort NIET het geheimhouden van rekentoetsvragen bij. Zelfs niet binnen het tijdvak (enkele dagen) waarin de rekentoetsen digitaal worden afgenomen.

Grant Wiggins (Nov 8, 2014). A Fair Test: Ban Secrecy. blog

Google "test item secrecy".

s Randi Weingarten telle Pearson shareholder meeting “to stop spying on children through their social media accounts. And she requested that Pearson stop lobbying and making campaign contributions to politicians for the sake of their testing business.” blog

Is er een inzageprocedure voor de rekentoets? Ja en nee. Twitter draad

• Let op: 4.15 #4 “De vragen zelf mogen tijdens de inzage niet worden ingezien.” De hele inzage is dus nep.

  Dit is een nationale schande, het gaat immers om eindexamenopgaven, opgaven bovendien waarvan genoegzaam is aangetoond, ook ten overstaan van de onderwijscommissie van de Tweede Kamer, dat veel te veel vragen in ernstige mate ondeugdelijk zijn.

  
  

  4.15 Kaders: Inzage en bewaartermijn

  • Inzage
    Voor kandidaten bestaat de mogelijkheid tot inzage, maar omdat de opgaven na de afname niet openbaar zijn, beperkt dit recht zich tot inzage in het eigen werk en de door ExamenTester toegekende score per vraag. De kandidaat kan zo zien hoe zijn antwoorden zijn gescoord door ExamenTester.
    Voor de inzage gelden de onderstaande richtlijnen:
    1. De inzage verloopt via de examensecretaris. De wijze waarop de examensecretaris de inzage met behulp van ExamenTester kan organiseren is beschreven in de handleiding voor de examensecretaris.
    2. De inzage is eenmalig en vindt plaats na de vaststelling van de uitslag.
    3. De inzage vindt plaats onder toezicht van een medewerker van de school, die gehouden is aan de richtlijnen omtrent de geheimhouding (zie paragraaf 4.7).
    4. Tijdens de inzage kan een kandidaat via het leerlingrapport op het beeldscherm zijn antwoorden en de toegekende score op zijn antwoorden inzien. De vragen zelf mogen tijdens de inzage niet worden ingezien.
    5. Als een kandidaat de juistheid van de toegekende score betwist, mag de medewerker die toezicht houdt het nummer van de desbetreffende vraag en het antwoord van de kandidaat op die vraag noteren.
    6. De kandidaat zelf mag tijdens de inzage geen aantekeningen maken.
    7. Als de toezichthoudend functionaris de kandidaat niet kan overtuigen van de juistheid van de toegekende score, dan neemt hij contact op met de Examenlijn van het CvTE.
    8. Met inachtneming van de richtlijnen 1 tot en met 7 kan per kandidaat inzage worden verleend in de toegekende score. Inzage in de omzetting van de score in cijfer kan plaatsvinden door de kandidaat te wijzen op de informatie die het CvTE daarover verstrekt (zie paragraaf 4.10).
    Het is mogelijk om de inzage voor meer kandidaten gelijktijdig te organiseren.
    Dit moet dan wel zó gebeuren dat voor iedere kandidaat de bovenstaande richtlijnen in acht genomen worden.

    
    Bewaartermijn
    Vanwege de mogelijkheid tot inzage moet een bewaartermijn in acht genomen worden voor de digitale bestanden met de antwoorden van de leerlingen op de rekentoets. Die bewaartermijn is dezelfde als die voor de centrale examens: zes maanden na het vaststellen van de uitslag (‘geslaagd’ of ‘niet geslaagd’).

  http://www.examenblad.nl/document/brochure-kaders-rekentoets-vo-2015/2015/f=/brochure_rekentoets_VO_2015_ExamenTester-versie_feb_2015.pdf

Karin den Heijer (25 april 2015) En wanneer mag ik de opgaven van deze leerlingen zien? Denkt u soms dat ze dit verzinnen? Twitter

• Commentaar 5 gym op de aangepaste rekentoets van maart 2015
  Onderstaand commentaar betreft deel 2. Dit is het deel MET rekenmachine.

  Sommige vragen kon je op verschillende manieren interpreteren
  • Het was de bedoeling dat ik ging klokkijken in spiegelbeeld. Wat heeft dat met rekenen te maken?
  • Bij veel vragen was het onduidelijk op hoeveel decimalen je moest afronden
  • Het was onduidelijk of een gegeven prijs van een product inclusief of exclusief korting was
  • Ik moest blokjes tellen van een bouwsel van blokken
  • Ik moest uit mijn duim `uigen hoeveel inwoners Nederland in 2013 had
  • In een opgave moest je zelf verzinnen wat de inhoud van een limonadeglas was.
  • Er zaten ontzettend veel instinkers in
  • Je moet het niveau van de opstellers van de vraag inschatten. Als je meer verstand van de materie hebt dan de toetsmakers, bijvoorbeeld over BTW, dan heb je een probleem.
  • De toetsmakers zijn kennelijk niet op de hoogte wat de regels met betrekking tot significante cijfers zijn.
  • Ik moest een kaart aflezen en zeggen naar welke kant een vliegtuig moest vliegen. Wat heeft dat met rekenen te maken?
  • Het was gewoon een Cito-toets.

De kamerbrief van 17 december 2014 over inzage in de rekentoetsvragen (wat nog weer veel beperkter is dan gewoon vrijgeven zoals overigens voor examenopgaven gebruikelijk - na afloop van het betreffende examen dan.

Houd de vragen van de rekentoetspilot niet geheim. En van welke toets dan ook

compilatie van blog en commentaren VO Netwerk onder bovenstaande titel, 1 april 2013

Het is een ondemocratische misstand dat er in ons land ‘high stakes’ toetsen worden afgenomen waarvan de vragen geheim worden gehouden. Ik wil graag in deze discussie de nodige argumenten en literatuur aanvoeren om aan deze misstand een einde te maken. Het is een klusje dat ik al eens eerder heb gedaan, aan de Universiteit van Amsterdam, waar het College van Bestuur in 1980 inderdaad een verbod op het geheimhouden van tentamenvragen uitvaardigde. Omdat dit verbod docenten noodzaakte meer tijd en aandacht aan het ontwerpen van toetsvragen te besteden, schreef ik een boekje over dat onderwerp, dat als Aula 809 verscheen in 1983 http://goo.gl/opz8q

De principiële kant van de zaak is natuurlijk dat het de samenleving aangaat hoe er wordt getoetst, en in het bijzonder de leerlingen en leraren die het direct betreft. Hier moet vanzelfsprekend openheid de norm zijn. Zodat we niet verstoken blijven van de amusante discussies over idiote missers die onvermijdelijk worden gemaakt door ontwerpers van toetsvragen.

Het CvTE (College voor Toetsen en Examens) meent dat inzagerecht voor examenwerk en #rekentoets niet bestaat, zie de voorlichtingsbrocure van het CvTE, oktober 2014. Dat is een misvatting, zoals bijvoorbeeld uit deze webpagina geheimhouding.htm duidelijk mag zijn.

• Inzagerecht
  Hoewel de deelrapportages (op de domeinen) en de foutenanalyses van Cito hebben bijgedragen aan de ook door de commissie Bosker gewenste transparantie van de rekentoets, blijft het ontbreken van de mogelijkheid om de opgaven te kunnen inzien voor velen een knelpunt.
  Het CvTE wil zo transparant mogelijk zijn, maar opgaven uit centrale toetsen en examens mogen niet vooraf aan kandidaten bekend gemaakt worden. Tenminste zo lang de itembank met rekenopgaven nog niet zo groot is dat alle opgaven na de afname openbaar gemaakt kunnen worden. En omdat de opgaven uit de rekentoets, behoudens de opgaven voor de voorbeeldrekentoetsen, in latere examenjaren worden hergebruikt, kan het inzagerecht voor de kandidaat zich niet uit strekken tot en met de opgaven zelf en blijf dit recht beperkt tot inzage in het gemaakte werk. Voor de centrale examens zelf ligt dit overigens niet anders. Dat het bij de papieren centrale examens wel mogelijk is om de opgaven na de afname in te zien, komt doordat deze niet geheimgehouden kunnen worden. Anders dan nog al eens gedacht wordt is die inzagemogelijkheid geen inzagerecht.
  In de brief die de bewindspersonen in het najaar van 2014 naar de Tweede Kamer sturen, wordt een beslissing bekendgemaakt over het inzagerecht, naar aanleiding van de desbetreffende aanbeveling van de commissie Bosker.

• Bovenstaande tekst is op 12 oktober 2014 getweet aan kamerleden van de onderwijscommissie.
• Uit de brochure blijkt een verbijsterend gebrek aan toetsexpertise bij het CvTE, terwijl dat het hoogste toetscollege is (onder toezicht van Inspectie, dat wel).
• Obligate praat over ‘betrouwbaarheid’ van de #rekentoets. Het CvTE weet niet wat betrouwbaarheid en validiteit zijn. Evenmin wat met ‘mentale belasting’ wordt bedoeld: niet de overladenheid van de hele toets, maar wat nodig is voor het maken individuele opgaven (mentale belasting van het werkgeheugen, dat makkelijk teveel informatie tegelijk moet verwerken, zodat een goede oplossing buiten bereik van de leerling komt).
  “Als we alle reacties, inclusief de gedetailleerde bevindingen van de commissie Bosker, op een rij zetten, dan rijst het idee dat het misschien niet zozeer de taligheid is die een probleem vormt als wel de mentale belasting die van de kandidaat wordt gevraagd. Het zou kunnen dat het inleven in 36 verschillende contexten (in 90 minuten voor 2F en in 120 minuten voor 3F) een grotere mentale belasting vraagt dan bij een ‘doorsnee centraal examen’. Nog veer terugdringen van het aantal contextopgaven (en daarmee de toetslengte) stelt het CvTE voor het dilemma dat dit ten koste gaat van de betrouwbaarheid van de toets. Gezien de positie in de uitslagregel (vanaf 2015-2016) moet de rekentoets een hoge betrouwbaarheid hebben.”

  CvTE 10-2014

  Is het werkelijk zo dat dit hoogste college voor examens van mening is dat het criterium voor kwaliteit van een examenonderdeel zijn betrouwbaarheid is? Een brevet van dinges, zal ik maar voorzichtig zeggen.

• Het CvTE legt bij de #rekentoets-afname beperkingen op die mijns inziens een aanfluiting maken van onze cultuur van vrijheid van informatie. Ik kom er nog op terug.
• Een leerling moet inzage in zowel de vragen als zijn antwoorden hebben, en zich bij kunnen laten staan door bv. mij ;-). Of door een taalkundige, de eigen leraar, ouders.
• Als het je eigen proefwerk zou zijn, zou je als leraar de fouten ter plekke corrigeren. Ik zie geen principieel verschil met #rekentoets. Sterker nog: bij afname #rekentoets zou er altijd iemand aanwezig moeten zijn die bij gesignaleerde problemen kan ingrijpen.
• Gezien casuïstiek/jurisprudentie op deze webpagina (zie hierbeneden) is dat machtsmisbruik / détournement de pouvoir
• Leerlingen kunnen collectief in opstand komen, en alle vragen na afloop reconstrueren. Wel publiekelijk, natuurlijk. Dat voorkomt dat er handel in ‘geheime’ #rekentoets-vragen ontstaat
• Het CvTE MUILKORFT leraren. Kan dat in NL anno 2014 zomaar?
• Een verbijsterend gebrek aan toetsexpertise bij het CvTE, terwijl dat het hoogste toetscollege is (onder toezicht van Inspectie, dat wel).
• Op blz. 20 een paragraaf over inzage, met de hilarische tekst
  “De vragen zelf mogen tijdens de inzage niet worden ingezien.”

• Stap naar de rechter hoort overigens niets bijzonders te zijn, zoals in het HO (of bij selectie aan zijn poorten) de student/kandidaat die zich onjuist behandeld meent zich met zijn bezwaar kan melden bij College van Beroep voor het Hoger Onderwijs.
• Omdat het CvTE een club van goedwillende amateurs is, komt vakkritiek niet over. 'T is me wat ;-). Het CvTE mist de nodige expertise voor zijn taak.
• Het bedroevende van dit alles: het is een centenkwestie: de #rekentoets is alleen maar iets duurder zonder geheimhouding. Rechters weten daar wel weg mee: als tegenover het recht de centen staan, wint het recht.
• Maar hier hebben we een CvTE dat het recht met voeten treedt.

tekening van Peter de Smet staat op http://www.stripsuithedenenverleden.nl/De%20Generaal.html

A request was filed by teacher Karin den Heijer and journalist Ronald Buitelaar under the Freedom Of Information Act [Wet Openbaarheid Bestuur (WOB)] with the department of education for disclosure of the test items of pilot math tests. The department forwarded the request to the Board for Tests and Exams [College voor Toetsen en Examens (CvTE)]. The Board refused disclosure, claiming disclosure would be a serious breach of national interests. That is ridiculous, of course; for the time being, however, it was not deemed wise to bring the case to court.

Karin den Heijer en Ronald Buitelaar vroegen (20 februari 2014) op grond van de Wet Openbaarheid Bestuur OCW om openbaarmaking van de afgenomen rekentoetsen. Zie de blog van Ronald Buitelaar, gedateerd 12 oktober 2014,, met daarin tevens de brieven van het CvTE rond deze WOB-procedure. Want OCW stuurde de vraag door naar het CvTE. De blog van Ronald Buitelaar is overgenomen door DidactiefOnline.

• “Het hergebruiken van opgaven heeft belangrijke voordelen bij het construeren en normeren van de rekentoets.”

  Bovenstaand citaat is het kernargument van het CvTE, en het is misleidende nonsens. En wel hierom.

  1. (1) Voor equivaleren van rekentoetsen (dat is echt iets anders dan ‘normeren’) is geheimhouding te realiseren met niet meetellende opgaven.
  2. (2) Natuurlijk is een vrijgegeven opgave niet meer inzetbaar voor toekomstige toetsen. In de literatuur/jurisprudentie is dat gegeven bekend en voor wetgevers geen belemmering geweest om vrijgeven van toetsvragen af te dwingen bij toetsbedrijven / onderwijsinstellingen. De laatste zullen doelmatiger met toetsen en het ontwerpen van toetsvragen omgaan. Geen probleem. Bv. Wilbrink (1983) schreef daarvoor Toetsvragen schrijven Aula 809. (Gedeeltelijk herziene versie webpagina) Dat de huidige #rekentoets kostbare en toch rampzalige (want te complexe) vragen bevat, valt onder verantwoordelijkheid van het CvTE zelf.
  3. (3) Het CvTE somt wel op wat in zijn ogen de voordelen van geheimhouding zijn, maar blijft in gebreke een analyse van de nadelen te geven. Juist die nadelen zijn van zo groot belang dat eind zeventiger jaren een sterke beweging ontstond: Truth in testing. Het springende punt is dat geheimhouding sterk indruist tegen algemene rechtsgevoelens: bijv. als machtsmisbruik kan worden ervaren. (algemeen beginsel van behoorlijk bestuur: een regeling of positie niet gebruiken waarvoor deze niet is bedoeld. Détournement de pouvoir)
  4. (4) Niet onvermeld mag blijven: het gaat hier om onderwijs. Leerlingen moeten van gemaakt werk kunnen leren. Het moet dus beschikbaar zijn. CvTE (einde 1e brief) definieert ‘gemaakt werk’ als alleen antwoorden. Met alle respect, dat is boerenbedrog. De vraagstelling hoort erbij. Uiteraard hebben kandidaten er recht op dat ondeugdelijke vragen niet meetellen. Deugdelijkheid van de vragen moet toetsbaar zijn: openbaar. Sterker nog: ook betrouwbaarheid & validiteit van de #rekentoets moet voor belanghebbenden inzichtelijk en toetsbaar zijn. Rapporteer erover, CvTE!
  CvTE kan het allemaal weten, bv door Job Cohen's (1982) Studierechten. (proefschrift bij A.D. de Groot; pdf) & NIP Richtlijnen ... studietoetsen
• Bij fatsoenlijke scholen is altijd iemand bereikbaar die direct kan ingrijpen. Rode lijn naar het CvTE?
• Waar komt trouwens het idee vandaan dat bij CE alleen het CvTE bevoegd is, niet de leraar? De generaal heeft in de loop van de tijd toch stilletjes de macht gegrepen ;-)
• Laten we gewoon uitgaan van de (gedeelde) verantwoordelijkheid van de leraar bij het CE, dan is het vanzelfsprekend dat de leraar beschikt over vragen + gemaakte werk, ook na afloop. Ik kijk even in C. W. Noorlander. Recht doen aan leerlingen en ouders. De rechtspositie van leerlingen en ouders in het primair en voortgezet onderwijs. Wolf Legal Publishers, p. 528-529.
  De beslissing tot vaststelling van het cijfer voor een eindexamenvak, binnen het kader van een schoolexamen of een centraal examen, berust voor wat betreft het openbaar onderwijs op een dwingendrechtelijk besluit, te weten het Eindexamenbesluit vwo-havo-mavo-vbo.

  De vaststelling van het cijfer voor een eindexamenvak komt voor de verantwoordelijkheid van een leraar binnen de instelling en een gecommitteerde, die afkomstig is van buiten de instelling (artikel 42 Eindexamenbesluit). Gezien het feit dat de directeur uiteindelijk het cijfer vaststelt, kan de (uiteindelijke) vaststelling van het eindexamencijfer worden toegerekend aan het bevoegd gezag van de school, waarbinnen het eindexamen wordt afgenomen.

  Er is sprake van een extern rechtsgevolg. Een cijfer voor een eindexamenvak bepaalt rechtstreeks de rechtspositie van de kandidaat. Eindexamencijfers zijn immers bepalend voor de vraag of een diploma dan wel een afzonderlijk certificaat voor het vak kan worden verstrekt.

  voetnoot. Vergelijk ook: ABRvS 17 juni 2000. AB 2000, 446, m.nt. BPV; Gst. 2000, no. 7129, p. 545-547, met naschrift HH

  Noorlander, p. 528-529.

• Het lijkt mij dat de wetgevers in de Tweede Kamer nu stevig aan zet zijn: is de rekentoets een uitzondering? Zo ja, is dat bij wet geregeld? Zo ja, klopt die wet staatsrechtelijk dan wel? Ik begin te vermoeden dat de rekentoets als examenonderdeel wettelijk niet houdbaar is geregeld. Dan maar naar de wet:
• Eindexamenbesluit vo
• Artikel 40.3 verklaart leraar incapabel en CvTE alwetend en onfeilbaar.
  Tijdens een toets van het centraal examen worden aan de kandidaten geen mededelingen van welke aard ook, aangaande de opgaven gedaan, uitgezonderd mededelingen van het College voor examens.

  Dit lijkt mij toch wel vrij ernstig. Vanuit de leerling bezien is de situatie immers die van een eindexamenonderdeel waar gewoon de eigen leraar mede voor verantwoordelijk is, en die moet dus kunnen handelen wanneer een vraag onbegrijpelijk blijkt.

• Hfdst 5 regelt CE en rekentoets. Het artikel 46 komt op mij (maar ik ben geen jurist) over als juridische kruiwagen met kikkers
  Artikel 46. De rekentoets

  1. Het College voor examens stelt regels voor de uitvoering van de rekentoets. Het College voor examens stelt in ieder geval een regeling vast voor de uitvoering van de correctie voor zover de rekentoets bestaat uit open vragen.
  2. De regeling, bedoeld in het eerste lid, treedt slechts in werking na goedkeuring door Onze Minister. Onze Minister kan zijn goedkeuring onthouden wegens strijd met het recht of het algemeen belang.
  3. Met inachtneming van de artikelen 23, zevende lid, 24, zevende lid, en 25, vijfde lid, worden de beoordelingsnormen, bedoeld in artikel 2, tweede lid, onderdeel d, van de Wet College voor examens bij de beoordeling van de rekentoets toegepast.
  4. De rekentoets wordt afgenomen in het laatste leerjaar.
  5. In afwijking van het vierde lid kan het bevoegd gezag een leerling uit het voorlaatste leerjaar toelaten tot de rekentoets.
  6. Het College voor examens kan bij regeling bepalen dat de rekentoets niet onder toezicht van een of meer gecommitteerden staat.
  7. Artikel 43 en artikel 44 zijn van overeenkomstige toepassing.

• Ik merk op dat de wetgever het CE en de #rekentoets in een adem noemt, in de titel van dit hoofdstuk 5, en in de de tekst zijn dit hoofdstuk zijn zij nauw verweven. Dus geen kloof in behandeling leerlingen.
• De rechtspositie (Noorlander) van de kandidaat in het CE is natuurlijk in beginsel dezelfde bij de #rekentoets
• Nieuw voor mij: kladpapier en antwoorden #rekentoets door directeur te bewaren! Zie
  Artikel 57. Bewaren eindexamenwerk

  
  1.   Het werk van het centraal examen en de rekentoets der kandidaten wordt gedurende ten minste zes maanden na de vaststelling van de uitslag bewaard door de directeur, ter inzage voor belanghebbenden.

  
  Artikel 57.1 impliceert naar mijn mening de gedachte dat leerlingen naar de rechter moet kunnen, ergo: inzagerecht opgaven.

  En niet te vergeten: antwoorden op de opgaven van de #rekentoets blijven achter in de school!

  Ik kan me niet voorstellen dat art 57.1 een vergissing is. Zo ja, dan is dat teken rammelende wetgeving

• Inzagerecht en openbaarmaking zijn verschillende dingen. Ik ga voor openbaarmaking, zeker bij examens, ook bij proefwerken
• Senator Ken LaValle Renews Push For Common Core "Truth In Testing" Legislation
  April 21, 2014 — Senator Ken LaValle is renewing his push for a “Truth In Testing” legislation to increase disclosure of Common Core testing. The central part of Senator LaValle’s bill (S5540) is to require the actual test questions and answers be made available to parents, students and teachers after the exams are scored. “Truth in Testing” also provides for an appeals process for parents who believe their child received an inaccurate score. In addition, the bill would require an independent audit to review and evaluate the Common Core program.

• Exam Makers Sue To Dismantle Truth-In-Testing fairtest.org
  The standardized testing industry has launched a legal assault on the nation's most important protection for the millions of students required to take college admissions exams each year. Four exam sponsors have brought suit in federal district court to block further enforcement of New York State's landmark truth-in-testing law.

Wet College voor toetsen en examens webpagina

Voor psychologische tests, denk aan intelligentietests, is er een wezenlijk andere situatie dan voor toetsen in het onderwijs.

Het ontwikkelen van een Nederlandse intelligentietest is een buitengewoon kostbare zaak. Hoe staat het met het inzagerecht bij afname van pschologische tests? Zie Hofstee (2007) voor een uitwerking op het scherp van de snede. Psychologische tests mogen niet op straat komen te liggen. Onderwijstoetsen moeten juist wel op straat komen te liggen, voor iedereen ter inzage en bestudering. Toetsen moeten immers doeltreffend zijn voor te bereiden (A. D. de Groot, 1970, heeft dat uitgewerkt http://goo.gl/7ZgrN), psychologische tests juist niet http://goo.gl/1NTQC

Wim K. B. Hofstee (2007). Recht op afschrift van het dossier. Komen tests nu op straat? De Psycholoog, 618-619. http://www.testresearch.nl/divers/hofstee.pdf

In de VS is de thematiek aan de orde onder de naam ‘Truth in testing’, te beginnen met een wet in de staat New York, 1979. Zie bijvoorbeeld:

Alan B. Asay: Truth-in-Testing Legislation: A Brief for the Status Quo.

http://www.law2.byu.edu/lawreview/archives/1980/4/asa.pdf

Googelen op "Truth in testing" en "test disclosure" levert een zee aan informatie op.

Er volgde onmiddellijk een ernstig incident over een verkeerd gesleutelde vraag, waarop het goede antwoord niet ‘7’ was, maar ‘5’: http://goo.gl/SqYTv

De gestelde vraag is hier gereproduceerd: http://goo.gl/AOvtP

Gevolg: voor 240.000 geteste kandidaten moest ETS (Educational Testing Service, zeg maar het Cito van de VS) de score verhogen.

Altijd leuk om te lezen, maar zonder de Truth-in-Testing Law waren deze scores niet verhoogd: er zou geen haan hebben gekraaid, naar dat verkeerd gesleutelde item. O ja, de sleutel was niet per vergissing verkeerd: de testontwerpers hadden verkeerd ontworpen/gedacht.

Komt zo’n ongelukkig ontwerp van een toetsvraag vaak voor? Ja. Het ontwerpen van toetsvragen, of dat nu in de VS gebeurt of in Nederland, gaat helemaal niet zo professioneel als de instituuts-logo’s suggereren. Wie wel eens kritisch heeft gekeken naar de rekenopgaven in een Cito Eindtoets Basisonderwijs weet dat er veel op is aan te merken. Een rekentoets waar niets op valt aan te merken, waar geen enkele leerling op benadeeld is door klunzig ontworpen vragen, is bijzonder.

Hoe gaat dat, kritische analyse van een vraag in de Cito Eindtoets Basisonderwijs? Zie bijvoorbeeld

http://www.beteronderwijsnederland.nl/content/cito-toets-2010

De Nationale Rekentoets 2006, gepresenteerd door Ronald Plasterk, bevat ‘rekenopgaven’ die waarschijnlijk een redelijk adequaat beeld geven van wat in het Cito onder rekenopgaven wordt verstaan. Mijn aantekeningen bij de afzonderlijke opgaven suggereren dat er met het ontwerp van iedere vraag wel ergens iets mis is, vaak op meerdere punten. http://www.benwilbrink.nl/nationalerekentoets2006.pdf

De door het Cito vrijgegeven voorbeeldrekentoets-3F die als pilot in 2012 is gebruikt, zal ons niet vrolijker maken, zie voor kritische commentaar: http://www.wiskundebrief.nl/629.htm).

Er is inzagerecht. Na veel aandringen zal het Cito ook wel inzage willen geven, maar waarschijnlijk onder tal van beperkende voorwaarden zodat de betreffende leerling er in feite geen moer aan heeft (om een rechtszaak te beginnen, moet je documentatie verzamelen, maar hoe doe je dat wanneer je geen aantekeningen mag maken of wanneer je alleen iemand naar het Cito mag sturen die jou vertegenwoordigt?). Ik sluit bovendien niet uit dat het Cito niet in staat is om een printversie van de door leerling X te A gemaakte toets voor te leggen, inclusief de invulling door de leerling, en de vertaling daarvan naar een cijfer. Zie http://goo.gl/ET3KT (eind van die webpagina, na de bespreking van de Nationale Rekentoets 2006, over geheimhouding, en over gronden voor een beroep).

De situatie is nog veel gecompliceerder dan hierboven geschetst. Het Cito heeft een onnavolgbaar ingewikkelde procedure om ruwe itemscores op de rekentoetsen om te zetten naar vaardigheidsscores naar cijfers. Het zou zomaar kunnen dat het Cito niet eens in staat is om die omzettingen te onderbouwen voor individuele kandidaten.

Bijvoorbeeld punt 19 uit dat lijstje met gronden voor beroep:

Als er geen volledige inzage in het eigen werk en de beoordeling daarvan mogelijk is, of de omstandigheden daarvoor zijn in jouw geval bezwaarlijk (het schijnt zo te zijn dat je daarvoor bij het Cito in Arnhem moet zijn, en dan maar afwachten wat zij onder 'inzage' verstaan), ga dan zeker in beroep. Tenslotte mag je jezelf toch wel ervan overtuigen dat de gekregen beoordeling inderdaad die van je eigen werk is? Voor een casus met een verwisseling van examenwerk, waarbij dat alleen bij inzage kon blijken, zie: Annie Kempers en Maarten Heinemann (2005). Niet geslaagd, toch diploma. Een vergissing altijd in het voordeel van de kandidaat? Examens, 2, februari, 23-24.

Het probleem daarvan is o.a. dat je er op die manier niet achter kunt komen of er mogelijk een reden is om in beroep te gaan! Lekker handig voor het Cito. Ik neem aan dat ook een Nederlandse rechter met dergelijke flauwekul korte metten maakt.

Een ander levensgroot bezwaar is dat het Cito een publieke discussie over de rekentoetsen van het Cito effectief onmogelijk maakt, zoals al eerder met de Pabo-toetsen het geval was. Het schandelijke van deze vertoning is dat de geheimzinnigdoenerij gefinancierd wordt met publieke middelen. Erger nog: leerlingen kunnen zich aan deze poppenkast niet onttrekken, want het gaat toevallig wel om een onderdeel van het examen.

We hebben hier dus een casus dat vergelijkbaar is met dat van het huurcontract dat bepaalt dat je geen huisdieren mag houden: de rechter zal die huisdierenbepaling danwel het hele contract nietig verklaren, omdat het recht op huren gaat boven het recht van de verhuurder om malle eisen te stellen.

Ofwel: de leerling is gedwongen om de rekentoets af te leggen — anders heeft hij een groot probleem met zijn examen (kan hij dan alsnog zakken? Interessante gedachte . . . . gezien het uitstel waar Bussemaker en Dekker voor hebben gekozen) — maar dan moet de leerling ook al zijn rechten op inzage van gemaakt werk en beroep op de uitslag krijgen.

Contextopgaven (redactiesommen, ingeklede vergelijkingen) zijn een belangrijke factor in het gedonder over de rekentoetsen. Nooit, nooit, nooit hebben idealisten die zich met het rekenonderwijs bemoeiden en vooral propageerden dat het daarbij toch gaat om het (wiskundig) leren denken, aangetoond dat hun zo geliefde denksommen solide binnen het domein van het rekenen vallen, en niet binnen dat van de verschillen in intellectuele capaciteiten. Terwijl dit toch een kwestie is waarover psychologische theorie iets heeft te zeggen, en waar experimenten antwoorden geven op prangende vragen.

Ik geef maar een voorbeeldje dat ik recent langs zag komen:

Josetxu Orrantia, David Múñez (2013). Arithmetic word problem solving: evidence for a magnitude-based mental representation. Memory and Cognition, 14, 98-108.
http://link.springer.com/content/pdf/10.3758/s13421-012-0241-1 [button: Look inside voor de eerste twee pagina’s]

Uit de Conclusie:

Lees hier een empirisch resultaat dat erop wijst dat een klungelige presentatie/formulering van een contextopgave de leerlingen op het verkeerde been zal zetten. Of ook hun leraar. In ieder geval mij. Dit gebeurt dus massaal (veel opgaven in een willekeurige rekentoets van het Cito; honderdduizenden leerlingen, zo niet veel meer).

De nationale schande is dat die contextopgaven precies NIET doen waarvoor ze bedoeld zijn.

Het achterliggende probleem is immers het vermoeden bij vele rekendidactici dat leerlingen die goed hebben leren rekenen, hun vaardigheid in het dagelijks leven niet altijd blijken toe te passen. Dit is het probleem van de overdracht, vaak aangeduid met de Engelse term ‘transfer’. De volstrekt naïeve gedachte is dan, na de oorlog uitgedragen door de Freudenthal-groep, om dat probleem op te lossen door die situaties uit het dagelijks leven maar binnen het onderwijs zelf te behandelen.

En wat gaan zij dan doen bij de Eindtoets Basisonderwijs en bij de rekentoetsen bij de eindexamens: de leerlingen waarschuwen dat dit een rekentoets is, en ze dan de contextopgaven aanbieden. Terwijl het bij het transfer-probleem juist gaat om het rekenvaardig aanpakken van opgaven in het dagelijks leven ZONDER een waarschuwingssticker met de boodschap ‘hier moet je rekenen’.

Op basis van bovenstaand argument, ondersteund met empirisch onderzoek, moet de conclusie zijn dat contextopgaven in rekentoetsen bij eindexamens NIET valide zijn, en dus NIET in die rekentoetsen thuishoren.

Het voordeel van deze benadering vanuit wetenschappelijk onderzoek is dat het voldoende is om te weten dat de geheimgehouden toetsen vooral bestaan uit contextopgaven, om deze toetsen te kunnen diskwalificeren als REKENtoetsen.

Bijvangst: meteen ophouden met in de rekendidactiek te werken met contextopgaven.

Het Cito gedraagt zich als een monopolist, en Nederland staat dat toe. Er zijn wel uitzonderingen, zoals de RMO die begin 2012 waarschuwde dat naast instituties in de financiële wereld ook die in de zorg en het onderwijs TEGENSPRAAK behoeven:

http://www.adviesorgaan-rmo.nl/Publicaties/Adviezen/Tegenkracht_organiseren_januari_2012

Ook de Onderwijsraad wil wel eens een enkele keer waarschuwen, bijvoorbeeld tegen het geloof van het realistisch rekenen zoals uitgedragen door het Freudenthal Instituut.

De groep VO Netwerk is redelijk omvangrijk. Ik heb de indruk dat serieuze discussies zoals de onderhavige de belangstelling hebben van directies en beleidsmakers.

WiskundE-brief 633

In brief 633 staat een samenvatting van een emailwisseling tussen een leraar en het CvE, over de geheimhouding van de onlangs afgenomen rekentoetsen.

Ik hoop dat de redactie van de WiskundE-brief geen bezwaar heeft dat ik de samenvatting van de brief van het CvE hier citeer:

Dit is een nationale schande. Het is tenslotte een nationaal college, nietwaar?

De leraar wilde graag weten hoe het met die geheimhouding precies zit, omdat hij zijn leerlingen op basis van de resultaten voor de gemaakte toets verder wilde helpen/instrueren. Deze leraar refereert aan de Wet Openbaarheid Bestuur. Dat lijkt me helemaal geen gek idee.

Los van de kwestie van geheimhouding speelt bij deze rekentoetsen nog het volgende probleem: de afname gebeurt digitaal, op een heel specifieke wijze waarbij het voor de leerling niet mogelijk is om terug te bladeren, een lastige opgave even over te slaan om er later naar terug te keren, en nog zo wat curieuze bijzonderheden (zoals de digitaal beschikbaar gestelde rekenmachine). Het is dus nogal dubieus of de resultaten bij deze wonderlijke manier van toetsen gelijk zijn — equivalent zijn — aan die welke bij een gebruikelijke papieren testafname verkregen zouden worden. Hoe krijgen we in de publieke discussie greep op dit probleem, waar het Cito ons ermee in de steek heeft gelaten? Een ingang tot relevante literatuur is:

Ulrich Schroeders and Oliver Wilhelm (2011). Equivalence of Reading and Listening Comprehension Across Test Media. Educational and Psychological Measurement, 71, 849-869. abstract

Jerry S. Gilmer (1989). The Effects of Test Disclosure on Equated Scores and Pass Rates. Applied Psychological Measurement, 13, 245-255. abstract en pdf

Dit lijkt een nogal technisch verhaal te zijn, en dat is het ook. Maar let op: een belangrijk argument van technocraten voor geheimhouding van toetsvragen is dat het alleen onder geheimhouding mogelijk zou zijn om ervoor te zorgen dat van de ene toetsgelegenheid naar de andere de toetsen even ‘moeilijk’ kunnen worden gehouden. Test equating heet dat, en daar zijn ingewikkelde technieken voor beschikbaar die werken met toetsvragen die bij tenminste twee gelegenheden zijn gebruikt, zodat op basis van deze gemeenschappelijke toetsvragen de moeilijkheid van de toetsen in hun geheel, gelijk kan worden gehouden. Dit klinkt allemaal heel gewichtig, maar prik gewoon door die gewichtigheid heen en stel de vraag of al dat technische gedoe wel hout snijdt. Grote kans dat er geen goed verhaal achter steekt. En mocht dat nog meevallen, stel dan gewoon de vraag hoe het mogelijk is dat ondanks alle equating er geen sprake is van gelijke moeilijkheid van huidige examens en toetsen vergeleken met die van twintig of dertig jaar geleden: in tussentijd zijn er tal van politieke beslissingen genomen die al die technische equating doorsnijden. Houd de knaller achter de hand: als er voor equating items geheim moeten blijven, dan is het eenvoudig mogelijk om die items niet mee te nemen bij de bepaling van individuele toetsscores (zie ook hierbeneden de brief van de Commissie voor de Bestuurshervorming, 1979, over meenemen van tentamenvragen).

• Rexford Brown (1980). Searching for the truth about "truth-in-testing" legislation, a background report (Report No. 132). Denver: Education Commission of the States. summary [een origineel is niet online te vinden]
• Darryl G. Greer (1984b). Legal issues in truth-in-testing legislation. Review of Higher Education, 7, 321-356. submitted text
• Strenio, A. (1979). The debate over open versus secure testing: A critical review (Staff circular No. 6). Cambridge MA: Huron Institute, National Consortium on Testing Project. summary: http://goo.gl/3JQRy [de tekst zelf lijkt niet online beschikbaar; mogelijk is bij ERIC een aanvraag in te dienen om een scan beschikbaar te maken]

dossier geheimhouding tentamenvragen UvA 1978-1981

Interessante vondst in mijn eigen archief: een nogal uitvoerig dossier over kwesties rond geheimhouding van tentamenvragen zoals die speelden in de periode 1978-1981 aan de UvA, tot op niveau College van Bestuur. Ik zal er een overzicht van maken, want gezien de actualiteit (2014) van slordig omgaan met inzagerechten door OCW, Cito en CvE, is daar alle aanleiding toe.

Het begon allemaal met een student die zijn tentamenopgaven meenam, ondanks pogingen van surveillanten om dat te voorkomen. Wilde de subfaculteit hier een principezaak van maken? In ieder geval ging er een brief naar het College van Bestuur met de vraag hoe hier gehandeld moest worden. De subfaculteit in kwestie was psychologie aan de UvA, de plek vanwaaruit A. D. de Groot en R. F. van Naerssen de meerkeuzetoets in Nederland aan de man brachten.

er is inzagerecht

De student moet het beoordeelde werk kunnen kunnen inzien, dat is een kwestie van fair play. In het eerdere voorbeeld zou Jansen zonder inzagerecht de verwisseling van haar werk niet hebben kunnen constateren. Het fair play beginsel van behoorlijk bestuur houdt in dat de overheid haar bevoegdheden zo gebruikt dat burgers hun belangen kunnen behartigen. Het belang van de student is te kunnen beschikken over de informatie die voor een eventueel beroep nodig is.

De student moet in beginsel het beoordeelde werk met de beoordelaar te kunnen bespreken (Cohen, hierboven). Deze eis zal vrijwel altijd de anonieme beoordelaar uitsluiten. Komt anoniem beoordelen wel voor? Jazeker. Voor anonieme peer assessment zie Van Boxel, Reumer, Van Os en Boter (2008), die daar geen kritische kanttekening bij plaatsen. Voor anonieme beoordeling van docenten door hun studenten, zie Wilbrink & Hofstee (1984) die uitleggen waarom dat niet deugt (ook als het niet anoniem zou zijn, trouwens).

Patris van Boxel, Christoffel Reumer, Wim van Os & Jaap Boter (2008). De inzet van online peer assessment als formatief en summatief beoordelingsinstrument. Tijdschrift voor Hoger Onderwijs, 26, 229-246.

B. Wilbrink & W. K. B. Hofstee (1984). Docentbeoordeling. Mogelijkheden en randvoorwaarden. Onderzoek van Onderwijs, 13, 52-55. html

Een modelantwoord of een beoordelingsvoorschrift : alleen als dat wordt gehanteerd. Cohen laat doorschemeren dat de aanwezigheid van modelantwoorden en scoringsvoorschriften een kwaliteitseis is, maar dat kan niet waar zijn: modelantwoorden glijden te makkelijk af tot een vorm pseudo-objectieve standaardisering. Als er een modelantwoord is, of een impliciet modelantwoord zoals dat bij meerkeuzevragen het geval kan zijn . . . , kan dat best ondeugdelijk zijn (al was het maar door een foutje van de zetter), en moet het ter inzage zijn. Dus ook die meerkeuzevragen moeten volledig ter inzage zijn.

En dan is die inzage verkregen: maar waar dan op te letten? Wie inzage vraagt, heeft daar waarschijnlijk een goede reden voor, en zal gericht kijken. Maar dat neemt niet weg dat bij het inzien ook andere ongerechtigheden alsnog kunnen blijken. Ik heb in mijn Toetsvragen ontwerpen een overzicht van mogelijke kwaliteitsgebreken van toetsvragen gegeven, in hoofdstuk 8: http://goo.gl/BkuQH.

Wet Openbaarheid van Bestuur

http://www.rijksoverheid.nl/onderwerpen/kwaliteit-en-integriteit-overheidsinstanties/vraag-en-antwoord/wat-is-de-wet-openbaarheid-van-bestuur-wob.html

De vraag bereikte mij of een beroep op de WOB een begaanbare weg is om de geheimgehouden vragen van de recent afgenomen rekentoetsen openbaar te maken.

Eerlijk gezegd zie ik niet in op welke gronden een WOB-verzoek in dit geval zou kunnen worden afgewezen. Het landsbelang is immers niet gediend met geheimhouding. Zie ook hierboven wat de Cie-Bestuurshervorming in 1980 precies over geheimhouding (verbod op het meenemen van tentamenvragen) schreef aan de Universiteit van Amsterdam.

Heeft iemand al eens dit verzoek gedaan? Van plan te doen? Het zou heel goed en gezond zijn wanneer een schoolbestuur dit verzoek zou doen, of de VO-raad.

Adresseren aan een bestuursorgaan, dus bijvoorbeeld OCW directie VO, College voor Examens.

Committee on Psychological Tests and Assessments (2007). Recent developments affecting the disclosure of test data and materials: Comments regarding the 1996 statement on the disclosure of test data. American Psychological Association. pdf

Committee on Psychological Tests and Assessments (1996). Statement on the disclosure of test data. American Psychologist, 51, 644-648. pdf

MHS (2004). MHS' test disclosure policy. Adopted by leading Canadian test publishers and the Canadian Psychological Association. pdf

Grant Wiggins (1994). The immorality of test security. Educational Policy, 8, 157-182. 10.1177/0895904894008002004 abstract & pdf made available by Wiggins

• 
  

  ---

  Grant Wiggins (2014). Twenty years later: The immorality of test security revisited. http://grantwiggins.wordpress.com/2013/05/04/20-years-later-the-immorality-of-test-security-revisited/

  ---

• Received April 25 2015 from Judah Schwartz (see also below): J. L. Schwartz & K. A. Viator (Eds.) (1990). The prices of secrecy: The social, intellectual and psychological costs of testing in America. Report to the Ford Foundation.

] NN (mei 2014). Rekenen-wiskunde. Toetsgids pabo. [Versie 2014-1] abstract

Het is mij niet helemaal duidelijk wat de status is van deze gids. Kennelijk is het serieus. Het is een vreselijk stuk, te beginnen met de titel die direct verwijst naar realistisch rekenen als het gedachtengoed waarop het berust.

Het stuk zegt dat de landelijke kennistoets vooral kennis, inzicht en toepassing toetst, dus niet de hogere niveaus analyse, synthese en evaluatie, uit de stokoude en voor toetsdoeleinden niet valide taxonomie van cognitieve doelen van de commissie over leiding van Benjamin Bloom, vijftiger jaren (van welke eeuw: de vorige).

De inzageprocedure is een aanfluiting, en berooft in feite de kandidaten van uitoefening van het recht om bezwaar te maken tegen beoordeling op basis van ondeugdelijke toetsvragen. Sinds 2007 zie hier is er geen vooruitgang op dit punt geboekt. Een schande voor het Nederlandse onderwijs en voor de rechtsstaat. Erger is misschien nog wel dat deze pabo-studneten worden geïndoctrineerd in een wijze van toetsen die verwerpelijk is. Het zijn immers wel deze studenten aan wie wij straks onze kinderen of kleinkinderen toevertrouwen.

• Deze toetsgids is een handleiding bij de landelijke kennistoets rekenen-wiskunde voor de pabo. Hierin onder meer uitleg over:

  • toetsmatrijs
  • aantal toetsvragen
  • duur van de toets
  • toegestane hulpmiddelen
  • herkansing
• 1.3 - de taxonomie van Bloom

  
  Leraren beheersen hun vak op verschillende niveaus. Ze hebben niet alleen de vereiste feitenkennis, maar komen op basis daarvan ook tot doordachte oplossingen. Taxonomie, zo heet de indeling van kennis naar verschillende niveaus.

  De redactie gebruikt de taxonomie van Bloom. De indeling van deze Amerikaanse psycholoog [sic] is:

  • kennis
  • inzicht
  • toepassing
  • analyse
  • synthese
  • evaluatie

  De landelijke kennistoets test vooral de beheersing van de eerste drie niveaus.

  • 3.3 - inzage

    
    Studenten kunnen de gemaakte toets nadat zij hun uitslag hebben ontvangen, inzien. Dat gebeurt onder examencondities op een centrale locatie in Nederland. Studenten kunnen zich aanmelden voor inzage op de website van 10voordeleraar vanaf 3 werkdagen nadat de uitslag van de toets is verstrekt aan de opleidingen t/m 8 werkdagen nadat de uitslag is verstrekt aan de opleidingen. De inzage vindt plaats uiterlijk 3 werkweken nadat de uitslag is verstrekt aan de opleidingen.

    
    3.4 - bezwaar en beroep

    
    Studenten kunnen tegen de uitslag van de toets bezwaar en beroep aantekenen. Dat dienen ze binnen 6 weken te doen nadat de uitslag aan hen is verstrekt via de opleidingen en verder conform de procedures en reglementen van de eigen opleiding.

  
  

  ---

  
  

  aantekeningen 4-5-81. Geheimhouding van tentamenvragen: aangevoerde bezwaren, etcetera . (uit de adviezen die faculteitsbesturen aan het CvB van de UvA stuurden). Inhoudelijk interessant genoeg om hier toe te voegen.

  
  aangevoerde bezwaren, problemen, nadelen.

  
  arbeids recht

  - een klein vak kan niet anders dan een klein bestand aan multiple-choice vragen opleveren, aangezien de stof slechts een beperkt toetsingsveld biedt.

  - vrijgeven van de vragen (uit een klein vragenbestand) betekent dat die vragen gemakkelijk uit het hoofd kunnen worden geleerd & studenten zouden de toets kunnen halen door enkel op hun geheugen te studeren zonder daarbij het noodzakelijke inzicht te verwerven in de te bestuderen stof.

  - (de mogelijkheid vragen uit het hoofd te leren) zou weer tot gevolg gaan krijgen dat, teneinde de geheugenfactor terug te dringen, hogere scoringspercentages zouden moeten worden geëist voor een voldoende uitslag; dat achten wij een ongewenste ontwikkeling.

  - het steeds weer nieuwe multiple-choice vragen moeten formuleren brengt de kwade kans met zich mee dat de vragen in kwaliteit dalen.

  - bij een toets over een klein stuk leerstof kan het meerkeuze stelsel niet gehandhaafd worden omdat het telkens nieuwe vragen van goede kwaliteit bedenken teveel tijd kost.

  - er is voor meerkeuzetoetsing geen goed alternatief voorhanden, omdat opstelvragen enorm veel onderwijstijd blijken op te slokken.

  
  privaatrecht

  - wij doceren en examineren slechts een beperkt leerstofgebiëd. Over proped dit beperkte aantal onderwerpen is slechts een beperkt aantal optimaal goede vragen mogelijk. Een volgende serie kan niet anders dan van mindere kwaliteit zijn.

  - het vrijgeven van de examenvragen stimuleert het bestuderen van de stof naar het beantwoorden van multiple-choice vragen toe.

  
  encyclopedie.

  - openbaarmaking van vragen zal wellicht leiden tot een studietechniek waarbij de aandacht meer op het vragenboek dan op de literatuur, c.q. colleges en werkgroepen wordt gericht. Dit is in ieder geval voor een vak als het onze minder wenselijk.

  - toetsing m.b.v. vooraf openbaar gemaakte vragen vraagt uitbreiding van het vragenbestand van 150 naar 2000.

  - het opbouwen van een publikabel bestand van 2000 (meerkeuze) vragen vraagt 3 á 4 jaar.

  
  bedrijfseconomie.

  - openbaarmaking van tentamenvragen beperkt de mogelijkheden om van meerkeuzevragen gebruik te maken. Daarmee kan, bij overgang op open vragen bijvoorbeeld, het voordeel van objectiviteit in de beoordeling en automatische analyse van de vragen, verloren gaan.

  - het beschikbaar stellen van vragenboeken leidt er toe dat deze door de student als 'verplichte literatuur' beschouwd worden.

  - het beschikbaar zijn van vragenboeken is een impuls voor para-universitaire activiteiten die er op gericht zijn studenten tegen betaling voor tentamens te repeteren (een grotere ongelijkheid tussen studenten is nauwelijks denkbaar).

  - equating (het over de jaren heen controleren op de relatieve zwaarte van de tentamens) wordt bemoeilijkt door openbaarmaking van vragen. (speciaal voor equating gebruikte vragen niet in het eindoordeel betrekken is principieel onaanvaardbaar: omdat de student er tentamentijd aan heeft besteed, moeten ze ook in de beoordeling meetellen).

  - bij het gebruik van een vragenboek wordt het tentamen doel, in plaats van middelom de vorderingen van een student te toetsen.

  - er zijn zoveel tentamengelegenheden, dat het telkens daarvoor nieuwe vragen moeten bedenken een te groot tijdbeslag oplevert.

  - het openbaarmaken van vragen wordt een zelfstandige factor in de ontwikkeling van de moeilijkheidsgraad.

  
  O.C. economie.

  - bij openbaarmaking van vragen kan de kernitemmethode niet meer gehanteerd worden.

  
  notulen economie.

  - dat openbaarheid meer tijd vraagt voor het schrijven van vragen is geen argument tegen openbaarheid, maar een argument voor meer formatie.

  - het maken van een tentamen moet ook een leermoment zijn. Betwijfeld moet worden of deze doelstelling nog wel haalbaar is bij geheim-houding.

  - praktische bezwaren tegen openbaarmaking vloeien deels voort uit het niet juist toepassen van het multiple-choice systeem. Het ideale bestand vragen dient zo groot te zijn dat het niet loont de stof te bestuderen via de vragen. Er vindt te weinig vernieuwing plaats. Dit geldt ook voor mondelinge tentamens: er was vroeger in deze faculteit een hoogleraar waarvan alle vragen al bekend waren.

  - het opstellen van zinnige meerkeuzevragen zou ook aan studenten gevraagd kunnen worden, bijv. bij het tentamen één zo'n vraag in te leveren. (bijdrage aan het vragenbestand).

  
  sociale geografie.

  - bij het openbaar maken van de antwoorden op toetsvragen zullen de studenten op den duur waarschijnlijk overgaan tot het bestuderen van het toetsvragenbestand in plaats van de leerstof. Dit lijkt ons een ontaarding van het leerproces en het toetssysteem.

  
  oogheelkunde

  - het gaat te ver de meerkeuzevragen inclusief antwoorden vóór het examen vrij te geven.

  
  neerlandistek

  - in deze studierichting worden geen meerkeuzetentamens afgenomen.

  
  opvoedkunde. SFR

  - in overleg met de vakgroepen zal zo spoedig mogelijk uitvoering SFR gegeven worden aan de openbaarmaking van gestelde tentamenvragen; geheimhouding is juridisch niet houdbaar, en kan tot zeer ongewenste situaties leiden.

  
  verloskunde.

  - geen bezwaar

  
  FSW-b

  - steunt CvB standpunt. Overigens worden in deze subfac. geen meerkeuzetentamens afgenomen.

  
  psychiatrie

  - het is praktisch onmogelijk voor ieder tentamen geheel nieuwe vragen te maken. Eén vierkeuze-item construeren vergt van een geoefende itemschrijver ongeveer 22 uur werk.

  
  pathologie

  - openbaarmaking van vragen maakt het werken met kernitems moeilijk of onmogelijk, vooral waar deze kernitems geselecteerd worden op gebleken discriminerend vermogen. (empirisch uitproberen van kern-items, alsook het herhaaldelijk gebruiken van deze items, wordt door openbaarmaking gehinderd).

  
  anesthesie.

  - alle tentamens worden mondeling afgenomen.

  
  sociale geneeskunde.

  - Sinds jaren wordt deze procedure reeds door ons gehanteerd.

  
  subfac. natuur- & sterrenkunde.

  - wij stemmen volledig met uw principe in, en ook wanneer wij weer m.c.tentamens zouden geven, zullen wij de opgaven meegeven, ondanks o.a. de extra belasting die dit de staf oplegt.

  
  andragologie.

  - ter beschikking stellen van tentamenvragen is gebruikelijk binnen de subfaculteit.

  
  antropobiologie

  - vraagformulieren zullen niet meer ingenomen worden; knelpunten worden hierdoor niet verwacht.

  
  microbiol.

  - sinds 1972 worden vragen ter beschikking van studenten gesteld. De praktische problemen (500 vragen per jaar nodig) worden de vakgroep echter te groot.

  
  subfac. psychologie (Folia 14/6/80)

  - SFR spreekt zich uit vóór openbaarheid. Er is een commissie ingesteld die moet bekijken hoe deze openbaarheid precies bewerkstelligd moet worden en hoe de eventuele consequenties zoals die door de examencommissies zijn genoemd kunnen worden opgevangen.

  
  Schöndorff

  - voor onze zwakbemande vakgroep is het onmogelijk om elk jaar tweemaal 40 nieuwe meerkeuzevragen te maken, want dat is een erg moeilijk en arbeidsintensief karwei. (Schöndorff, Folia 2 mei 1981)

  - openbaarmaking maakt een doelmatige toetsmethode onmogelijk, nl. het kunnen werken met vragen die bij voorgaande afnames hun kwaliteit hebben bewezen. (Schöndorff, parafrase).

  - wanneer studenten hun vragenformulier meenemen, vervalt de mogelijkheid om fouten die de student maakt bij het overnemen van zijn antwoorden van dat formulier op het antwoordformulier, achteraf te corrigeren. (Schöndorff, parafrase).

  
  de beroepsmogelijkheid, gelijkheid

  
  arbeidsrecht

  individuele studenten wordt desgewenst de gelegenheid geboden om in aanwezigheid van een staflid het tentamen en hun antwoorden in te zien. Slechts een zodanig klein percentage van de deelnemers aan de toets maakte in de praktijk van deze regeling gebruik, dat de staftijd die eraan moest worden besteed in het niet valt bij de tijd die aan andere oplossingen moet worden besteed. Het tentamen werd niet vrijgegeven maar toch heeft het tot volle tevredenheid, ook van de studenten, gewerkt.

  
  privaatrecht propedeuse.

  onze sectie bespreekt de multiple-choice vragen nadat de tentamen-uitslag is bekend geworden met de studenten en in werkgroepverband. Daarbij wordt de studenten hun eigen werk ter inzage gegeven. Na afloop van de bespreking worden de opgaven weer ingenomen.

  Uiteraard moet door de student beroep kunnen worden ingesteld. Vrijgeven van de vragen zou echter het instellen van beroep stimuleren. Dat nu achten wij niet nodig.

  
  encyclopedie. Aan de mogelijkheid een 40-WUB beroep daadwerkelijk uit te oefenen wordt door de vakgroep tegemoet gekomen door

  - het tentamen telkens in werkgroepverband te bespreken,

  - individuele studenten op verzoek inzage te geven in het door hun afgelegde tentamen

  - met individuele studenten op hun verzoek het afgelegde tentamen te bespreken.

  Aan algemene bezwaren tegen de gestelde vragen wordt tegemoet gekomen door

  - elimineren door de computer van vragen die niet onderscheidend werken

  - toepassen door de staf van de zgn. Nedelski-methode

  - een enkete tijdens de toetsing afgenomen, o.a. m.b.t. de validiteit van de toets.

  het gelijkheidsargument is van toepassing op elke vorm van examinering; ook bij mondeling, essay vragen ed.d. zouden de te stellen vragen tevoren bekend moeten zijn.

  
  economische faculteit.

  Er wordt gestreefd naar 'openbaarheid op termijn': nu nog geen openbaarheid, maar er naar streven dat door uitbreiding van het aantal vragen en betere toepassing van het systeem, deze openbaarheid zo snel mogelijk gerealiseerd kan worden.

  
  bedrijfseconomie.

  Tijdens de tentamenzitting kunnen studenten onvolkomenheden resp. onduidelijkheden in de opgaven aan de surveillanten mededelen. Bij het begin van elk tentamen wordt deze mogelijkheid met nadruk aangekondigd. Als de opmerking van een student hout snijdt, doet de coordinator tijdens de tentamenzitting een algemene mededeling.

  Wie daar behoefte aan heeft, kan het tentamen achteraf met de coordinator te bespreken.

  Vrijgeven van tentamenvragen bevordert de ongelijkheid tussen studenten. De ene student onderhoudt intensieve relaties met ouderejaars waardoor hij over een grotere verzameling van oude tentamenopgaven kan beschikken dan een solistisch studerende student die op grond van zijn geaardheid minder geneigd is een uitgebreid netwerk van contacten met ouderejaars op te zetten.

  
  notulen economie

  wanneer een individuele student tegenover een docent moet beargumenteren waarom hij het met een bepaalde vraagstelling of een beoordeling niet eens is, zal het kennisoverwicht van de docent zwaar wegen. Iemand die goed is ingewerkt in een bepaalde materie kan makkelijk tegen beter weten in zijn gelijk beargumenteren. Studenten kunnen meestal alleen gezamenlijk hiaten in de vraagstelling ontdekken.

  Voor een normale rechtsgang is het noodzakelijk dat studenten in alle rust de meerkeuzevragen kunnen doorlopen op eventuele fouten en dat ze dat niet op hun eentje hoeven te doen.

  Wanneer er in het verleden weinig problemen met geheimhouding zijn geweest, is de reden daarvan mogelijk in de geheimhouding zelf gelegen (waardoor studenten van beroepsmogelijkheden beroofd worden).

  
  Schöndorff

  Studenten hoeven die vragen helemaal niet te hebben om in beroep te gaan. Ze kunnen namelijk te allen tijde het tentamen inkijken, de vragen met ons bespreken, en als iemand in beroep wil gaan wil ik hem of haar graag de weg wijzen. (Schöndorff, Folia 2 mei 1981)

  
  in omloop komen van 'geheime' vragen

  
  privaatrecht propedeuse

  In die gevallen waarin het ons op enigerlei wijze ter ore komt dat vragen in omloop zijn worden deze door ons vrijgegeven, omdat het argument van de rechtsgelijkheid ons zeker aanspreekt.

  
  bedrijfseconnomie.

  
  De inspanning voor het verkrijgen van (geheime) toetsvragen is dermate groot dat het ontstaan van een handel in vragen onwaarschijnlijk is. Door bepaalde maatregelen is de daarvoor noodzakelijke moeite te vergroten: controle; meerdere toetsversies.

  Bij herhaald gebruik van toetsvragen kan de redactie zó veranderd worden dat een student die het antwoord op gromd van voorinformatie meent te weten, min of meer wordt verleid een fout alternatief aan te kruisen.

  
  notulen economie

  Ondanks geheimhouding zijn meerkeuzevragen practisch vaak bij studenten conomie bekend. Dat studenten zich in hun studie richten op het bestuderen van deze vragen is te betreuren, maar het is een praktijk die beter door openbaarmaking, dan door geheimhouding te bestrijden is.

  
  MFAS brief 13/5/80

  Reeds jarenlang blijkt er (binnen de medische faculteit) een uitgebreid net te zijn van mensen, die op allerlei manieren proberen om zoveel mogelijk tentamen-opgaven in handen te krijgen. Twee jaar geleden was er zelfs een groepje studenten, die tentamenopgaven ver boven de kostprijs voor papier e.d. gingen verkopen, teneinde wat extra vakantie-financieën tot hun beschikking te hebben. Verscheidene vormen van handelsgeest en inventiviteit hebben de laatste jaren aanzienlijke proporties aangenomen.

  
  VERBAND 5/12/79

  Op 9/11/79 heeft een student de examenvragen betreffende Algemene Ziekteleer (3e kans) gestolen. Deze oerdomme student beseft niet dat 1. deze vragen natuurlijk nimmer meer gesteld worden (onze noodvoorraad van 786 vragen geeft daar ook geen aanleiding toe); 2. als de dief, want diefstal blijft het, geïdentificeerd is, hij uitgesloten wordt van enige volgende tentamina. De overige studenten wordt dus aangeraden deze examenvragen niet te kopen; het is zonde van het geld en zinloos. J. van Gooi (in VERBAND, 5/12/79).

  
  SPIEGELOOG

  Van diverse multiple choice tentamens circuleren vragen binnen een inderdaad beperkte (maar nog altijd vrij forse) groep studenten. Hoe dichter men bij de bron verkeert, des te groter het aantal vragen dat men kan 'veroveren'(en des te leesbaarder, want daar wil het door het veelvuldig kopiëren van kopieën nog wel eens aan schorten). (jvd, SPIEGELOOG, p. 13, vermoedelijk een nr. uit de jaargang '80).

  
  Schöndorff

  Een illegale handel in tentamenvragen zou niet onopgemerkt blijven. (Schöndorff, Folia 2 mei 1981. parafrase).

  
  (Hieraan was ook toegevoegd dit interessante citaat van Hans Crombag, dat ik 13-09-24 op Twitter heb gebruikt https://x.com/benwilbrink/status/1834560324093034793)

  
  H.F.M. Crombag. Wat u niet moet doen bij het samenstellen van tentamens. (Bureau Onderzoek van Onderwijs, R.U. Leiden, augustus 1980).

  "Samenstellers van tentamens hebben nogal eens weerzin tegen het opnemen van opgaven, waarvan zij verwachten dat alle kandidaten ze goed zullen maken. Dat verwachten ze in het bijzonder bij opgaven die onderdelen van de stof betreffen, waar zij bij hun onderwijs zozeer op gehamerd hebben of die in het leerboek zo uitvoerig ter sprake zijn gekomen, dat je welhaast idioot moet zijn als je daarbij nog fout gaat. Maar waarom werd er in het onderwijs zo gehamerd op die delen van de leerstof? Omdat zij qua onderwijsdoelen tot de kern van de cursus behoorden. Als de docent vermijdt daarover vragen in het tentamen op te nemen, dan vermijdt hij aldus de kern van de leer-doelen te toetsen."

  "Het tentamen dient het gegeven onderwijs getrouw te weerspiegelen, niet meer en niet minder. Het mag voor wie het onderwijs gevolgd heeft, geen enkele verrassing bevatten. Docenten die origineel, geestig, slim of flink willen zijn, moeten dat tijdens hun onderwijs zijn; het tentamen is daarvoor niet het juiste moment. Het belang dat voor de studenten met de uitslag van een tentamen gemoeid is, rechtvaardigt geen enkel experiment."

  
  H.F.M. Crombag. Wat u niet moet doen bij het samenstellen van tentamens. [What to avoid in designing assessments] (Bureau Onderzoek van Onderwijs, R.U. Leiden, augustus 1980).

  
  "Exam compilers often have aversion to including questions that they expect all candidates to do well. They expect this in particular with questions that concern parts of the material that they have emphasized so much in their teaching or that have been discussed so extensively in the textbook that you would almost have to be an idiot to make a mistake. But why was there such an emphasis on those parts of the subject matter in education? Because they were part of the core of the course in terms of educational objectives. If the teacher avoids including questions about them in the exam, he is thus avoiding testing the core of the learning objectives."

  "The exam should faithfully reflect the education provided, no more and no less. It should not contain any surprises for those who have followed the education. Teachers who want to be original, witty, smart or brave should be so during their teaching; the exam is not the right moment for that. The importance that the results of an exam have for the students does not justify any experiment."

Schneider (march 20, 2015). PARCC’s Lately-Published "Test Fairness and Security" Statement. Via Diane Ravitch. page

An Introduction to the Operational Best Practices for Statewide Large-Scale Assessment Programs (2013). pdf

Judah L. Schwartz & Katherine A. Viator (Eds.). The Prices of Secrecy: The Social, Intellectual, and Psychological Costs of Current Assessment Practice. A Report to the Ford Foundation. abstract

The report is not freely available online. researchgate.net [Received pdf April 25 2015 from Judah Schwartz].

• Problems in accountability assessment are examined from a unique perspective by considering the prices paid as a result of the use of secret tests (tests comprised of items drawn from non-publicly available item banks). This report is a compilation of the following articles:

  1. "The Social, Intellectual, and Psychological Prices of Secrecy" (K. A. Viator);
  2. "Secrecy in Testing: The Social Costs from an Equity Perspective" (A. G. Hilliard, ïI);
  3. "The Unfair Effects of Standardized Testing on Blacks and Other Minorities" (C. V. Willie);
  4. "The Legal Advantages of Openness in Testing" (J. P. Heubert);
  5. "Sending Clear Signals to Schools and Labor Markets" (S. E. Berryman);
  6. "The Intellectual Prices of Secrecy in Mathematics Assessment" (J. L. Schwartz);
  7. "Assessment in Science Education" (S. A. Raizen);
  8. "Language and Language Arts Assessment" (C. S. Chomsky);
  9. "Secure Tests, Insecure Test Takers" (G. Wiggins);
  10. "The Psychological Costs of Secrecy and the Promise of Openness: The Impact on the Teacher" (E. K. Stage);
  11. "Testing, Teachers, and Schools" (V. Perrone); and
  12. "A Role for Technology in Changing Assessment: From Bias, Mediocrity, and Intimidation to Fairness, Challenge, and Support" (J. L. Schwartz).

  The papers focus on large-scale standardized tests and the impact of secrecy for three separate aspects of education: social; intellectual; and psychological. It is concluded that disclosure may improve test quality. (SLD)

  the abstract

tweet

Common Core testing group wages aggressive campaign against critics on social media. page

Valerie Strauss - Kevin Days (May 20, 2016). Common Core testing group wages aggressive campaign against critics on social media. Washington Post post

Ruud Jongeling: Digitale examens wiskunde vmbo 2015—2016 webpagina

De gebeurtenissen in twee schooljaren (twee afzonderlijke pagina’s, gebruik groene buttons bovenaan de thuispagina).

DE OPENBAARMAKING VAN DE DIGITALE CENTRALE EXAMENS. WELKE MAATREGELEN ZIJN MOGELIJK NAAR AANLëDING VAN DE MOTIES VAN MEENEN EN VERMUE? NAAR WELKE MAATREGELEN GAAT DE VOORKEUR VAN HET CVTE UIT? 22 november 2016pdf

Behandeling in AO 7 februari 2018.

Ton van Haperen (13 mei 2014). Internet verklapt al die examenvragen. NRC artikel

Kopiëren van examens toch net verboden. De Standaard 14 augustus 2019 artikel

‘Examenvragen: de reikwijdte van het begrip persoonsgegevens en het recht van inzage’ https://europadecentraal.nl/eurrest/examenvragen-reikwijdte-begrip-persoonsgegevens-en-recht-inzage/

nrc (20-12-2007). Psychologische tests in gevaar door openheid. Beroepscode verplicht tot inzage. (blz. 10).

Rinske M. Frima & Rosalinde Visser (april 2008). Ruwe testgegevens: spanningsveld tussen openheid en bescherming. De Psycholoog pdf

Ben Wilbrink (12 mei 1981). 'Geheimhouden tentamenvragen' pdf

Er speelde zich rond 1980 aan de UvA een kleine revolutie af: het CvB wilde een eind maken aan (misstanden rond) geheimhouding van tentamens. Ik was daar ook wel een beetje schuld aan, ik geef het toe. Bezwaren tegen het vrijgeven van afgenomen tentamens kwamen eropneer dat het ontwerpen van telkens nieuwe vragen heel veel tijd van docenten gaat vragen. Het zou wel handig zijn wanneer ze daarbij wat ondersteuning konden krijgen door nieuwe technieken voor dat ontwerpen. Deze notitie voor mijn collega's van het COWO is het voorspel van wat later Aula 809 'Toetsvragen ontwerpen; zou worden, elders op mijn website (of books.google) beschikbaar.

Elmer Smaling (11-6-2020). Rechter: Student Erasmus MC heeft recht op inzage toetswebpagina - Jurisprudentie CBHO 2020: download Het gaat om zaaknummer CBHO 2019/204, uitspraak 10 juni 2020.

Henk van Berkel (2019). Juridisch correct examineren. Een studie naar uitspraken van beroepscolleges in het hoger onderwijs. Proefschrift Universiteit Tilburg, te verdedigen 27 november 2019, 16:00 uur https://www.tilburguniversity.edu/nl/actueel/agenda/promotie-hjm-van-berkel. Embargo ends: 27/11/24 Exemplaren van het proefschrift zijn verkrijgbaar door een e-mail te sturen, met postadres, naar de auteur: henkvanberkel22@gmail.com. De kosten bedragen € 55 per exemplaar, inclusief verzendkosten, te voldoen na ontvangst van de factuur. Embargo tot eind 2024.

abstract

abstract

abstract

      http://www.benwilbrink.nl/projecten/geheimhouding.htm http://goo.gl/9nKDy