Ben Wilbrink, Denny Borsboom en Michel Couzijn (2010). Spelling, grammatica en interpunctie meebeoordelen op eindexamens?. Examens, Tijdschrift voor de Toetspraktijk, september, 5-9. [eind 2011 vrij beschikbaar als http://www.e-xamens.nl/archief/2010/3/tijdschrift.pdf] ÑÑÑÑÑÑÑÑÑÑÑÑÑÑÑÑÑÑÑÑÑÑÑÑÑÑÑÑÑÑÑÑÑÑÑÑÑÑÑÑÑÑÑ CONCEPT KAN AFWIJKEN VAN DE DEFINITIEVE PUBLICATIE [auteurs] Ben Wilbrink, Denny Borsboom en Michel Couzijn. Ben Wilbrink is freelancer onderwijsonderzoek. benwilbrink.nl Dr Denny Borsboom is als universitair hoofddocent verbonden aan de programmagroep Psychologische Methodenleer van de Universiteit van Amsterdam. Dr Michel Couzijn is als universitair docent en onderzoeker verbonden aan het Instituut voor de Lerarenopleiding van de Universiteit van Amsterdam en lid van de expertgroep die voor het College voor Examens van OCW de vernieuwing van het CE Nederlands voorbereidt [titel] Spelling, grammatica en interpunctie meebeoordelen op eindexamens? [lead] Begin april van dit jaar lag er in de Tweede Kamer een motie[BW1] om Ôte bevorderen dat correcte spelling en grammatica op enigerlei wijze meetellen in de beoordeling van elk centraal eindexamenonderdeel.Õ De indieners, Jan Jacob van Dijk (CDA) en Jasper van Dijk (SP), zagen dit als de logische sluitsteen op de wens van de commissie-Meijerink dat taal en rekenen niet alleen de zorg van de docenten Nederlands en wiskunde horen te zijn, maar van alle docenten. Het NRC Handelsblad berichtte over de genoemde motie op 1 april, wat kon doen vermoeden dat hier sprake was van een intelligente aprilgrap. Staatssecretaris Van Bijsterveldt versterkte dat effect nog door te kennen te geven dat zij het niet eens is met de motie, en er de voorkeur aan geeft dat scholen zelf uitmaken of zij in het schoolonderzoek taalfouten meerekenen bij alle vakken. Sommige idee‘n druisen zozeer in tegen verstandig examenbeleid, dat ze moeilijk serieus zijn te nemen. De ontstane publieke discussie over de verdienste van deze motie bracht de indieners ertoe de tekst te wijzigen, en eerst om een onderzoek te vragen naar de mogelijkheden om Ôcorrecte spelling en grammaticaÕ mee te tellen in elk centraal eindexamenonderdeel. Deze motie is met brede steun aangenomen. [kop 2]beeldvorming De achtergrond van de motie is de beeldvorming dat onderwijs tekortschiet in het bijbrengen van basale reken- en taalvaardigheden. De Commissie-Meijerink heeft nagegaan of empirische gegevens deze beeldvorming ondersteunen (Meijerink, 2008). Voor het mbo: ÔOnderzoekers constateren dat er te weinig onderwijsaanbod in taalvaardigheid is; er wordt te weinig tijd aan taalvaardigheid besteed, de aanpak is niet functioneel genoeg en de eindtermen Nederlands zijn vaag of niet omschreven.Õ Voor de hele breedte van het onderwijs steunen de empirische gegevens de beeldvorming niet, volgens de commissie; wat niet wil zeggen dat alles okŽ is. En de problemen met taalvaardigheid zijn bepaald breder dan alleen spelling en grammatica. Het rapport van de commissie geeft een nuttig overzicht, met een uitwerking van spellingniveaus. Overigens doet de commissie geen aanbeveling om spelling en grammatica ook bij andere vakken dan Nederlands mee te beoordelen. [kop 2]niet van vandaag of gisteren Het is duidelijk dat er zorg bestaat over de beheersing van spelling en grammatica. Maar ligt het dan wel voor de hand om een maatregel in de sfeer van de eindexamens te nemen? Gezien het feit dat de klacht van alle tijden is, heeft het zin om de opvattingen van voorgangers in deze discussie nader te beschouwen. [kop 2]didactische oplossing Zo beschrijft Moormann in 1936 (p. 120) dat leerlingen in proefwerken van andere vakken de ergerlijkste spellingfouten maken. Door de betreffende docenten te vragen de belangrijkste fouten te noteren, kon hij de leerlingen in de eigen lessen Nederlands daarop bijspijkeren, met goede gevolgen voor het Nederlands in het eindexamenwerk. Moormann deed dat in de schaarse uren Nederlands die in klas vier en vijf beschikbaar waren: twee uren! Moormann geeft de juiste benadering van het probleem: niet via de examens, maar door een didactische aanpak, mede gericht op het besef dat taalverzorging ertoe doet, ook bij andere vakken. Daarom is een Algemene Maatregel van Bestuur die sleutelt aan de eindexamens ongewenst, op zijn minst totdat empirisch is bewezen dat een didactische oplossing niet volstaat. Reeds in 1962 ligt er de volgende uitspraak van een commissie van neerlandici (Van Dis, 1962, p. 121). ÔTenslotte geldt voor gymnasium, h.b.s.-A en h.b.s.-B de bepaling, dat men bij de berekening van het eindcijfer van het schriftelijk-Nederlands rekening moet houden met het Nederlands van de vertalingen uit het Frans, Engels en Hoogduits. Dit is een dood voorschrift. In de eerste plaats heeft de neerlandicus in het drukste deel van de cursus geen gelegenheid om naast zijn eigen twee werkstukken ook nog drie vertalingen per kandidaat door te nemen, zonder daardoor de correctietijd van gecommitteerden of deskundigen aanzienlijk te verkorten. Maar afgezien van dit praktische bezwaar, vertalen is een integrale bezigheid, waaruit men goed of slecht gebruik van de ontvangende taal niet los kan pellen. Daarom moet men de kwaliteiten van een werkstuk waarboven staat ÒVertaal in goed NederlandsÓ niet in twee rubrieken onderbrengen, maar overeenkomstig de opdracht als een geheel waarderen. Zo gebeurt het over het algemeen ook.Õ [kop 2]pro en contra Zowel de didactiek van Moormann als de analyse van Van Dis en anderen bieden op zich een argument dat sterk genoeg moet zijn om de huidige poging tot sleutelen aan de eindexamens te stoppen. Dit artikel zal vanuit verschillende invalshoeken meer van dergelijke argumenten leveren. Wellicht zijn er ook argumenten die pleiten v——r beoordeling van spelling, interpunctie en grammatica in eindexamenwerk. Wat zijn bijvoorbeeld de argumenten geweest om in het huidige centrale eindexamen Nederlands vwo strafpunten te geven voor taalfouten in de samenvatting, terwijl dit examen toch uitdrukkelijk leesvaardigheid bedoelt te toetsen? Over dit meebeoordelen van taalfouten in de samenvatting is een discussie gevoerd waarin de meningen van de docenten Nederlands verdeeld bleken. Een deel van de docenten vat de samenvattingsopdracht niet alleen als een leestoets op, maar ook als een schrijfopdracht, en wil daarbij de conventionele criteria als spelling- en formuleervaardigheid niet geheel buitenboord zetten. Maar twee zo verschillende vaardigheden in dezelfde toets beoordelen, levert dezelfde bezwaren op die het bij een toets natuurkunde zou doen: zie de hieronder te bespreken validiteitskwestie. [kop 2]empirische gegevens? Alvorens in de examens in te grijpen, is het verstandig om te inventariseren wat precies het probleem is waarvoor de ingreep een oplossing moet bieden. Op het moment vindt in het centraal schriftelijk eindexamen Nederlands havo-vwo wel degelijk een beoordeling op spelling en grammatica plaats., bij gelegenheid van de al vermelde samenvatting. Maar over de resultaten van deze beoordeling op spelling zijn helaas geen empirische gegevens beschikbaar, althans niet in de publieke verslaglegging van het Cito. Dan blijft het dus gissen welke (groepen) kandidaten aan het eind van het vo in welke mate tekortschieten in taalverzorging. Hoe dat ook zij, als de taalverzorging in principe goed is, is er geen reden om toetsing tot andere vakken uit breiden; als de taalverzorging onder de maat is, dan schiet het onderwijs tekort en zijn d‡‡r maatregelen nodig, niet in het eindexamen. Als niemand het weet, en ook de commissie-Meijerink er geen uitspraken over doet, waarom dan denken aan meebeoordelen van taalverzorging in alle onderdelen van de eindexamens? Moormann merkt al in 1936 op dat de ergerlijke taalfouten in proefwerken voor andere vakken het gevolg zijn van toegestane slordigheid, omdat dezelfde leerlingen bij het vak Nederlands wel goed blijken te kunnen spellen. Als dit ook geldt voor het huidige onderwijs, maar ook daar missen we actuele empirische gegevens over, dan ligt het niet voor de hand om daar iets aan te willen doen via een exameningreep. [kop 2]Pygmalion Het voorstel om taalverzorging bij elk examenonderdeel in de beoordeling te betrekken, roept bij lezers die hun methodologie van De Groot (1961, 7:3:2) kennen de tegenvraag op: zijn er niet juist maatregelen nodig om te voorkomen dat taalverzorging onbedoeld de beoordeling van het gemaakte werk be•nvloedt? Dit is een interessante spanning: een werkstuk op A beoordelen, maar door be•nvloeding B loopt de beoordeling van A schade op. Het is niet onwaarschijnlijk dat de slechter spellende leerlingen in hun schoolloopbaan zowel als in hun examenwerk onbedoeld meebeoordeeld zijn op hun slechtere spelling; De Groot: het halo-effect. Van Oudenhoven (1985) rapporteert empirische bevindingen op dit punt, in het basisonderwijs, De Glopper (1983) in het voortgezet onderwijs[BW2]. Mogelijke gevolgschade is dat de leerkracht de verwachtingen voor deze leerling naar beneden bijstelt, in zoiets als een omgekeerd PygmalionÐin-the-classroom-effect: door een negatieve indruk over het taalgebruik ontwikkelt de docent lage verwachtingen van de capaciteiten van deze leerling in zijn schoolvak, zoals geschiedenis, etcetera; een verwachting waardoor de minder uitgedaagde leerling daadwerkelijk minder kan gaan presteren. De voorzichtige positie is dan: ieder voorstel om taalverzorging uitdrukkelijk mede in de beoordeling van examenwerk te betrekken, zal moeten onderbouwen dat dit geen extra nadeel berokkent aan leerlingen die in hun onderwijsloopbaan mogelijk al zijn benadeeld door onbedoeld meebeoordelen van hun achterblijvende taalverzorging. [kop 2]taalverzorging beoordelen In het huidige centraal schriftelijk eindexamen (CSE) Nederlands havo/vwo, tellen bij het onderdeel samenvatting ook de taalfouten mee, en wel letterlijk: het aantal gemaakte fouten telt, en dat leidt tot strafpunten die van het puntentotaal afgaan. Dit is traditioneel gedacht, en gaat voorbij aan een meer bedachtzame beschouwing van wat het is om spelling en grammatica behoorlijk te beheersen, en hoe dat valt te beoordelen. Het tellen van fouten is een eeuwenoude methode in het onderwijs, maar meet niet het vermogen van de kandidaat om goed Nederlands te schrijven. Voor dat laatste is het bijvoorbeeld nodig om na te gaan of de kandidaat de gangbare maar lastige regels kan toepassen op normale gevallen. Het aantal missers bij die toepassing zegt minder over die beheersing dan het aantal hits doet, en zeker minder dan de verklaring die de kandidaat zelf voor de gekozen spelling kan geven. Want het gaat er hier niet om of de kandidaat slechter spelt dan anderen, maar of de kandidaat in absolute zin de regels onvoldoende weet toe te passen. Dit benadrukt nog eens, zoals Van Dis en anderen impliciet ook deden, de vanzelfsprekende kwaliteitseis dat alleen bevoegde leraren Nederlands de taalverzorging van examenwerk beoordelen. En zelfs dan is het dubieus of dat beoordelen valide kan zijn, wanneer het examenwerk betreft dat ˆndere kennis moet toetsen, zoals van natuurkunde. Dit thema keert ook in het hiernavolgende terug. [kop 2]een taalstandaard? Een eerste probleem met het tellen van fouten is dat beoordelaars verschillen van inzicht over wat in concrete gevallen correct is: goed Nederlands is niet zoÕn evidente goed-fout-kwestie als goed rekenen, zie bv.: de Algemene Nederlandse Spraakkunst (ANS, p. 24). De oplossing die door het College voor Examens en dus door docenten Nederlands wordt gehanteerd is het kiezen van een standaard om deze meningsverschillen uit te sluiten, zoals de ANS, de Schrijfwijzer of de Woordenlijst van de Nederlandse taal. Een standaard kan goede diensten bewijzen in het onderwijs, maar is voor de beoordeling in eindexamens geen probleemloze oplossing: vasthouden aan een gekozen standaard, waar afwijkingen verdedigbaar zijn, en soms zelfs onderwezen worden, is een evident willekeurige behandeling van de eindexamenkandidaten. [kop 2]ongestandaardiseerd toetsen Belangrijker is het probleem dat het beoordelen van fouten in het Nederlands in werk dat iets anders beoogt te toetsen, op ongestandaardiseerde wijze gebeurt. Om daar een aspect van te noemen, zie ook Van der Velde, (1956, p. 342): de kandidaat die weet op spelling te worden beoordeeld, zal bewoordingen zo proberen te kiezen dat zich zo min mogelijk spellingproblemen voordoen. Omdat de kandidaat zelf de woorden kiest, is het examenonderdeel als meting van taalverzorging dus ongestandaardiseerd. Het oordeel over taalverzorging weegt in feite de verbale intelligentie mee bij het omzeilen van spellingproblemen. Kortom, als de staatssecretaris er op staat dat taalverzorging in het CSE aan de orde komt, dan zou dat in een gerichte toets moeten gebeuren, waarin het niet gaat om aantallen fouten op spellingproblemen die de leerling voor zichzelf opwerpt, maar om kennis en de juiste toepassing van spellingregels. Kandidaten moeten dus de juiste spelling kunnen geven, eventueel met de verklaring ervoor, die hun regelkennis indiceert. [kop 2]validiteit[BW3][BW4] Wat de integriteit van de eindexamens aangaat, is het belangrijkste punt dat meebeoordelen van taalverzorging de validiteit van elk afzonderlijk examenonderdeel aantast, en daarmee van het examen in zijn geheel. Als dat meebeoordelen gaat in de vorm van strafpunten voor natuurkunde, dan is het cijfer voor natuurkunde geen zuivere maat meer voor kennis van natuurkunde. Natuurlijk is het mogelijk om voor taalverzorging van al het examenwerk een afzonderlijk cijfer te geven, en dat mee te laten wegen in het eindcijfer voor Nederlands. Dat lost een deel van het probleem op, als de logistiek ervan uitvoerbaar zou blijken Ð wat niet waarschijnlijk is. Maar dat neemt niet weg dat kandidaten weten dat naast alles wat zij over natuurkunde opschrijven, ook hun taalverzorging ter beoordeling staat. Dus verdelen zij hun aandacht over natuurkunde en het Nederlands; zouden ze dat niet doen, dan benadelen zij zichzelf. Is het met verdeelde aandacht gemaakte examenwerk natuurkunde dan wel de beste prestatie natuurkunde die de kandidaat kan leveren? Met die verdeelde aandacht, wat is dan de validiteit van de natuurkundige verklaringen die ze opschrijven? Is dat een marginale kwestie? Wie dat meent, mag dat kandidaten die op zo'n marginale kwestie menen gezakt te zijn, uitleggen. [kop 2] testtheoretische problemen samengevat Psychometrisch gezien valt te verwachten dat het meebeoordelen van een tweede domein zoals taalverzorging leidt tot een lagere validiteit van het examenonderdeel, meer ruis Ð onsystematische variantie Ð in de scores, en het ontstaan van bias. Bias betekent systematische groepsverschillen Ð denk aan jongens versus meisjes, leerlingen met Nederlands als tweede taal Ð in scores die niet zijn terug te voeren op het oorspronkelijke kennisdomein, zoals natuurkunde, etcetera. In welke mate deze problemen zich in de praktijk voordoen, valt moeilijk te voorspellen; maar het is evident dat een maatregel die de psychometrische kwaliteit van examens eigenlijk alleen maar kan verlagen, alleen genomen mag worden wanneer het echt niet anders kan. Aan deze voorwaarde is in het voorliggende geval niet voldaan, zie de besproken didactische oplosmogelijkheden. [kop 2]studierechten Eveneens een op zichzelf beslissend argument, tenslotte, is het volgende. Het meebeoordelen van zaken buiten wat een examenonderdeel specifiek beoogt te toetsen Ð natuurkunde, etcetera Ð tast de rechtsbasis van het examen aan. Onzorgvuldig omgaan met het examen zal leiden tot beroepszaken waarvan de uitkomst voorspelbaar is: veroordeling van de inbreuk op wat voor een behoorlijk examen is vereist. Job Cohen (1981) heeft goed beschreven wat de eisen zijn die in juridische zin gelden voor afsluitende toetsen en examens. Zo mogen kandidaten verwachten dat een eindexamen natuurkunde gaat over natuurkunde, niet tevens over Nederlands, en een toets taalverzorging over hetgeen ook is onderwezen. [kop 1]Afsluiting In het CSE is het niet mogelijk om op behoorlijke wijze examenwerk mede op spelling en grammatica te toetsen; taalverzorging toetsen kan eventueel alleen in een daarop gerichte toets. Wat in het CSE niet realiseerbaar is, mag in het schoolonderzoek evenmin gebeuren. Goede taalverzorging Ñ wat iets anders is dan foutloze taalverzorging Ñ is van groot belang, maar moet een zaak van aanhoudende zorg in het onderwijs zelf zijn. Bij dat laatste hoort ook dat alle leerkrachten zelf hun taal goed verzorgen, de taalverzorging van de leerlingen in de gaten houden, en bij werk waar geen tijdsdruk op staat Ñ huiswerk, geen proefwerken Ñ structureel een [KW5]redelijke taalverzorging eisen voor in te leveren werk. [kop 1]Literatuur Cohen, M.J. (1981). Studierechten in het wetenschappelijk onderwijs. Proefschrift R.U. Leiden. Zwolle: Tjeenk Willink. Dijk, J.J. van, & Van Dijk, J. (31 maart, 14 april 2010). Motie Tweede Kamer dossier 32290-14 en 19. ikregeer.nl/ Dis, L.M. van, en anderen (1962). Didactische handleiding voor de leraar in de moedertaal. Amsterdam: Meulenhoff. Glopper, K. de (1983). Opstelkenmerken en opstelbeoordelingen: onderzoek naar de validiteit van globale opstelbeoordeling. Proefschrift Universiteit van Amsterdam. Amsterdam: SCO Groot, A.D. de (1961). Methodologie. Den Haag: Mouton. Ook integraal op dbnl.nl Haeseryn, W., Geerts, G., de Rooij J., & Van den Toorn, M.C. (Red.) (1997). Algemene Nederlandse spraakkunst. Groningen: Wolters-Noordhoff. http://www.let.ru.nl/ans/ J. P. van Oudenhoven (1985). Spelvaardigheid en de ongelijke kansen van arbeiderskinderen in het onderwijs. In E. Assink & G. Verhoeven: Visies op spelling (155-163). Groningen: Wolters-Noordhoff. Meijerink (Voorz.) (2008). Over de drempels met taal en rekenen. Eindrapport Expertgroep Doorlopende Leerlijnen Taal en Rekenen. slo.nl/nieuws/dll/Hoofdrapport.pdf/download Moormann, J.G.M. (1936). De moedertaal. Een didactiek voor het middelbaar en lager onderwijs. Nijmegen/Utrecht: Dekker & Van de Vegt. Renkema, J. (1979). Schrijfwijzer. Staatsuitgeverij. Velde, I. van der (1956). De tragedie der werkwoordsvormen. Een taalhistorische en taaldidactische studie. Proefschrift R.U. Groningen. Groningen: Wolters. Woordenlijst Nederlandse taal. woordenlijst.org ÔHet groene boekje.Õ