Ben Wilbrink website
Er is grote beleidsdrukte over het rekenonderwijs. Rekenprestaties blijven achter (PPON 2004), ‘dus’ zet het beleid in op verbetering. Maar doet dat zonder onderzoek naar de oorzaken van het achterblijven (Memorie van Toelichting 32 290 nr 3 pdf zwijgt daar immers over, de Handelingen van 31 maart 2010 pdf 1e deel geven wel vragen maar geen antwoorden). In een tweede notitie ‘Situationisme, cognitieve psychologie, en rekentoets’ pagina laat ik zien dat de rekenproblemen direct hebben te maken met bijzondere opvattingen over didactiek en toetsen die internationaal bekend staan als situationisme en constructivisme, in Nederland ook als ‘realistisch rekenen’ en ‘het nieuwe leren’. De commissie-Dijsselbloem info heeft ws. verzuimd het realistisch rekenen te onderzoeken, maar ja, maar dat was dan ook wel een heel oude onderwijsvernieuwing . . .
Twee intellectuele reuzen, beide wiskundigen, spelen opmerkelijke rollen. Hans Freudenthal, briljant wiskundige, vroeg en kreeg in 1971 de gelegenheid om met het IOWO het rekenonderwijs radicaal te veranderen zonder die veranderingen eerst behoorlijk te onderzoeken. A. D. de Groot promoveerde in 1946 op ‘Het denken van den schaker’ dbnl, een hoeksteen in de opkomende cognitieve psychologie; richtte het CITO op., pleitte voor het primaat van transparantie van toetsen en examens pdf. Vooral dat laatste is mijn baken bij de volgende kanttekeningen bij de rekentoetsen-F (te onderscheiden van de rekentoets-3S van de cie-Van de Craats pagina).
Vanuit mijn veertigjarige bemoeienis met van alles dat met toetsen heeft te maken, zie ik deze waslijst met ernstige problemen:
0 De puntenvolgorde is willekeurig.
1. Geheimhouding van rekentoetsvragen na de afname van dit eindexamenonderdeel is ongehoord, en zal bij rechterlijke toetsing niet standhouden info
1a. De noodzaak om dan telkens nieuwe toetsvragen te ontwerpen leidde al in 1983 tot Aula 809 over het ontwerpen van toetsvragen info
1b Jan Wiegers (bestuur Cito) 11:41am 27 Nov 13: geheimhouding is simpel kwestie van geld. Hergebruik (zie tweet )
2. Rekentoetsen zijn digitaal. Eindexamenkandidaten gebruiken als proefkonijnen voor nieuwe, digitale, examentechnieken is niet sjiek. Ook leerlingen hebben rechten: Job Cohen (1981) ‘Studierechten’ (dissertatie Leiden). [digitaal beschikbaar, mail mij, ik moet de scans nog op een website plaatsen]
2a. Tot de rechten van examenkandidaten behoort het recht op beroep. Direct met dat recht in strijd is het CvE-voorschrift dat kladpapier moet worden ingenomen en vernietigd. Het is vernietiging van bewijsmateriaal dat de kandidaten nodig kunnen hebben bij verweer tegen onjuiste beoordeling.
2b. NB: wereldwijde lobby van Microsoft/Cisco/Intel om via digitale examens de verdere digitalisering van onderwijs te bewerkstelligen atc21s.org, info en horror uit de VS i.v.m. ‘Common Core’ (VS ‘referentieniveaus’) (@DianeRavitch bijv.) [Voor dit doel komt de atc21s.org heel open uit. Ik herhaal het hier alleen maar in eigen woorden. b.w.]
2c. In de literatuur is vaak te vinden dat digitale afname zoveel meer ontwerpmogelijkheden biedt. Maar niet iedere mogelijkheid is ook gewenst, zoals het toevoegen van afbeeldingen aan rekenopgaven. Belangrijker is vooralsnog dat ict ook ontwerpbeperkingen oplegt, wat tot verschraling van het onderwijs kan leiden.
3 Het zal kamerleden en andere Nederlanders verrassen, maar de rekentoetsen-F vragen niet om algoritmen (rekenbewerkingen op papier: + - x : ), zie de rekentoetswijzer-F pdf, wel mogen leerlingen op kladpapier werken.
3a De cie-Schmidt heeft schriftelijk optellen etc. weggelaten pdf, de referentieniveaus vermelden ze wel pdf (zoek in dat document op "op papier") (het is een moeizaam document, ik moet nog uitzoeken hoe PRECIES dat op papier uitwerken in de referentieniveaus staat)
3b ‘Practice & drill’ hoort in de opvattingen van situationisme en constructivisme eigenlijk niet in het onderwijs thuis. Zie in http://goo.gl/6ULfY4 wat K. Anders Ericsson, expert over wat het is om expertise te verwerven, erover meldt in zijn bijlage bij het hoofdstuk.
4 Wie de rekentoetswijzer leest na Anderson cs pdf ziet hoe de wijzer door-en-door situationistisch/constructivistisch is
4a Ik maak een aparte notitie over dat situationisme/constructisvisme, want hier ligt de kern van het falende realistische rekenonderwijs
4b Ik volsta hier met erop te wijzen dat deze pseudo-wetenschappelijk stroming (ic RR) door OCW is behangen met gezag in het onderwijsveld
4ba Holle frase? Referentieniveaus en rekentoetswijzer-F in de wet dwingen leraren haast tot situationistische didactiek met contextopgaven
4bb Het dilemma voor leraren: is het niet beter om gewoon stevige rekenlessen te geven, met bijvoorbeeld Van de Craats & Bosch ‘Basisboek rekenen’ pagina
4bc Zou de Tweede Kamer willen investeren in deze vraag? Is de TK bereid om naast het situationisme ook wetenschap weer een plek te geven?
5. Voor een testpsycholoog bizar: #rekentoets met rekenmachine-gebruik. Scores zijn dan niet meer interpreteerbaar als rekenvaardigheid
5a Bij alle contextopgaven is een rekenmachine (RM) geschikbaar. De referentieniveaus geven anders aan. De Handelingen 31-3-2010: geen RM
5b De kamerleden Dijkgraaf SGP en Van der Ham D66 dienden een motie in om gebruik RM terug te dringen, verdere info http://goo.gl/ver8l
5c Wie een voorbeeldrekentoets maakt weet dat bij veel opgaven getallen zijn gegeven waarbij je die RM echt wel gebruikt. RM stuurt toets!
5d Pfaltzgraff laat voor vb 3F 12 zien dat eenvoudige getallenkeuze voldoet (1e commentaar; uitgeklede sommen) http://www.henkshoekje.com. Geen RM nodig.
5e Het CvE adviseert de minister dat zonder RM er geen realistische examenopgaven meer mogelijk zijn ( = situationisme in het CvE) pdf
5f Ook SLO adviseerde over de RM, zie bijlagen voor commentaren van deskundigen (o.a. Lenstra, Van de Craats, Tijms, NVvW, FIsme) pdf
5g Het CvE bedrijft radicaal situationisme in de getallenkeuze, zie Van der Zwaart (CvE voorzitter vaststellingscie-2F) Euclides 11-'13 http://goo.gl/o2AKtW
6 Contextvragen (functioneel rekenen in situaties) zijn pure uitingen van situationisme (zie daarvoor goo.gl/VdJp3z en 2e notitie)
6a Testpsychologisch, en rekendidactisch, is het onhandig probleemoplossen en rekenvaardigheid te vermengen
6b De rekentoetswijzer-F schrijft probleemoplossen voor. Zie bijlage. Contextopgaven zijn daarvan de concretisering http://pic.twitter.com/HG6BCDzyhA
6c De contextopgaven voldoen niet aan relevante ontwerpeisen voor probleemoplossen, zie daarvoor Hoofdstuk 7 van ‘Toetsvragen ontwerpen’: pagina
6ca Kort samengevatte ontwerpeis: leerlingen hebben instructie gehad die vlot oplossen van goed omschreven klassen van problemen mogelijk maakt.
6cb In (1983) ‘Toetsvragen schrijven’ komt het ontwerpen van contextvragen niet voor. In een mogelijke nieuwe editie zal het onderwerp worden behandeld in hoofdstuk 8: over kwaliteit van toetsvragen, en inbreuk daarop.
6d Er lijken wel enkele vaker terugkerende contexten te zijn, maar waarschijnlijk de meeste stellen leerlingen voor echt nieuwe problemen. Dat is een probleem.
6da Typen contextopgaven die regelmatig terugkeren: daar kan op worden getraind. Maar waar zijn we dan mee bezig in ons rekendonderwijs?
6db In de rekentoetsen van Pisa komen typen opgaven voor http://t.co/e6HsTIzLn0 die gelijk zijn aan die in de rekentoets-3F
6dc Dat er vaste typen contextopgaven zijn betekent dat de contexten worden gezocht bij de rekenopgaven. Kennen we dat? Ja, dat was al voor de oorlog de kritiek op redactiesommen. En het is een situationisme dat haaks staat op het eigen gedachtengoed, maar dat moeten de situationisten zelf weten.
6e Cohen is glashelder: in het onderwijs — dus ook in afsluitende examens — moeten summatieve toetsen binnen de omvang van de stof blijven http://goo.gl/AKDoaA. Of A.D. de Groot 1970: http://goo.gl/IPIie
6f Toetsen buiten de omvang van de behandelde stof is testen op intelligentie: Wilbrink, Hulshof, Pfaltzgraff 2012 http://goo.gl/Pz6jqB
6g Tot 70% onvoldoende (pilots 2012 en 2013 vmbo en havo; ca 20% vwo) kamerbrief http://goo.gl/l5ZP37 wijst op testen buiten de leerstof
6h Situationisme formuleert als doel ‘gebruiken in situaties van het dagelijks leven’, maar dat zet Cohen en A.D. de Groot niet buitenspel
6i Voor een vergelijkbaar casus: 2003 New York State, Math A, graduation from high school, described by Karen W. Anderson NYT http://goo.gl/0a1pGE.
6j Gebrekkige kwaliteit van contextvragen in de voorbeeldrekentoets-3F is een fenomeen op zich http://goo.gl/Gd9FM en http://goo.gl/0juONi
6k Kritische beschouwing van contextvragen (situationisme) leidt tot de stelling: deze zijn in beginsel dubbelzinnig: de spanning tussen schools en realistisch laat zich binnen examens niet oplossen.
6ka Bijvoorbeeld de opgave die staatssecretaris Sander Dekker als voorbeeld gebruikte, waarop de vernietigende kritiek is: kun je 60 keer precies 75 L zand in een kruiwagen scheppen? http://goo.gl/ozDsJ8
6kb Dubbelzinnigheid van contextopgaven brengt in het geding hoe verschillende leerlingen daarmee verschillend omgaan, en dat mag in een eindexamen gewoon niet voorkomen
6l Ik benadruk nog de talrijke systematische - en gewilde - ontwerpfouten, zoals onnodige plaatjes, onnodig laten zoeken in de informatie.
6m Genoemde kwaliteitsproblemen (ook taligheid, overlading geheugen, wereldkennis) maken dat verschillen in intelligentie worden getoetst.
6n Principieel punt (A.D. de Groot; Cohen): ‘situaties uit het dagelijks leven’ horen natuurlijk niet tot de omvang van de leerstof, en kunnen in alle redelijkheid geen deel uit maken van eindexamens.
7 ‘Validiteit’ is een testpsychologische term. Validiteit is contingent op situatie en gebruik van de toets. Zie http://goo.gl/uikoj8 meer: http://goo.gl/NhcdwM
7a Bij bijzondere toetsen passen bijzondere vragen naar validiteit: Welk probleem moeten deze toetsen oplossen? Beter situationeel rekenen?
7b Of is het situationisme juist de oorzaak van de NL rekenproblemen, waar de analyse van Anderson, Reder en Simon http://goo.gl/VdJp3z op lijkt te wijzen?
7c De OCW/KNAW-rekencommissie-Lenstra, niet een onafhankelijke commissie, is kennelijk voor deze vraag teruggeschrokken: er is geen aandacht aan besteed.
7ca De cie-Lenstra had Anderson en Reder kunnen uitnodigen. Beter nog: de KNAW had een commissie van drie kunnen installeren.
7d Concreet: Wilbrink cs 2012 http://goo.gl/kA5Lln stellen dat de rekentoets-3F niet valide is, op meerdere gronden, zie al het voorgaande.
7e Het CvE heeft gereageerd http://goo.gl/GfdArP met de stelling dat alles procedureel correct is gegaan, de rekentoets is dus valide.
7f Ook het CvE benadert de validiteitsvraag dus op eigen wijze, maar wel geheel buiten de testpsychologie om. Is die kennis niet in huis?
7g In de dupliek (blz 3 Kastelein) stellen Wilbrink cs dat in dit dossier ieder zijn procedurele ding doet en zo het rekenonderwijs verliest.
7h Het Cito communiceert (o.a. met mij) via Twitter: Cito gaat niet over de inhoud, dat is aan het CvE http://goo.gl/qqEB9U Lees dit!
7i Het Cito geeft staatssecretaris Sander Dekker wel degelijk informatie over validiteit: brief http://goo.gl/m7HF5A tekst: http://pic.twitter.com/bofV5QZnkl
Uw Kamer heeft mij verzocht om — samen met het CvE en CITO — na te gaan of de rekentoetsen in balans zijn. Het gaat daarbij om toetsen die inzichtelijk moeten maken of een leerling het vereiste referentieniveau beheerst. CvE en CITO hebben aangegeven dat de toets valide en betrouwbaar meet wat in de referentieniveaus beschreven staat. De referentieniveaus vereisen zowel toetsing van parate kennis als toetsing van de toepassing van die kennis in een zinvolle context. Hoe de school de leerlingen voorbereidt is een didactische kwestie en het is niet aan de overheid om daarover te beslissen.
7ia Ik kan het niet laten: is het nu overheidsbeleid om overal te examineren in of met ‘zinvolle contexten’? Staats-situationisme?
7ib Merk op: Cito/CvE perken ‘validiteit’ in tot: toets gaat over wat in referentieniveaus staat. Dat verdient niet ‘validiteit’ te heten.
8 Voor het bepalen van de grens voldoende-onvoldoende [cesuur] bestaan geen wetenschappelijke methoden. Dus ook voor de rekentoetsen-F niet.
8a Cesuurbepaling is een kwestie van afspraak, onderhandeling, compromis. Zie bv. Hofstee (1983) The Case for Compromise in Educational Selection and Grading, In Scarvia B. Anderson and John S. Helmick (Eds.) (1983). ‘On educational testing’ (109-127). Jossey-Bass. http://goo.gl/zFzEYW (vaak opgevraagd!)
8b ‘De lat op de rekentoets. Willekeur bij cesuur?’ wiskundebrief.nl/621.htm en http://goo.gl/Ax5K7 Majeur probleem — zijn er praktische oplossingen?
8c In pre-moderne tijden was het eenvoudig: rangordenen op basis van punten was algemeen. Hoewel: ‘Who’s #1?’ http://goo.gl/nx5Hhc
8d De 19e eeuw vond uit dat we kunnen doen alsof we absoluut beoordelen: ontwikkeling van het cijgergeven, zie Chervel in ‘Assessment in historical perspective’ goo.gl/4ThG3w
8e Vraag aan Cito/CvE en staatssecretaris Sander Dekker: Waar staat voorgeschreven dat de #rekentoets cijfers moeten opleveren? ‘Voldoende’ voldoet toch?
8ea Er komt zojuist informatie langs dat het Cito zou hebben aangedrongen tot alleen voldoende/onvoldoende beoordelen (pass-fail). Goed punt.
8f Als 70% ‘onvoldoende’ is gemaakt, dan kan dat nog van alles betekenen. En ‘alles’ is heel wat, zoals ik de onderwijscommssie op 8 oktober schreef http://goo.gl/fJuBpV
9 De rekentoets zit disproportioneel zwaar in de eindexamens. Per sector verschilt dat: ik ga hier uit van havo/vwo, en behandel de 2 kansen.
9a Bij de 2e kans een ‘4’ of lager? Dan geen eindexamen. Dat is idioot zwaar, omdat voor de leerlingen dit risico meestal te groot zal zijn.
9aa Bij de 2e kans een ‘5’ betekent dat de ene toegestane ‘5’ in de kernvakkenregeling al binnen is. Ook dit risico is niet beheersbaar
9b A.D. de Groot 1970 pagina: een toets moet doeltreffend zijn voor te bereiden, in casu met redelijke kans op het resultaat ‘voldoende’.
9c Van Naerssen 1970 pagina gaf een eerste ‘tentamenmodel’ voor deze kansen, ik maak hier gebruik van een meer volledige versie http://goo.gl/c4DmFL
9d Stel een bepaalde leerling heeft 33 goed op #rekentoets (net onvold.), wat is de voorspelling bij direct herkansen? http://pic.twitter.com/DnplHBXM2T
9da De kans om bij de 2e gelegenheid te slagen is natuurlijk ca 50%, maar let op de enorme spreiding van mogelijke uitkomsten. Eerst maar even bijspijkeren!
9db Oké, na een half jaar stevig bijspijkeren is de score op een proeftoets van 30 vragen: 20 goed. De voorspelling: http://pic.twitter.com/xX5aqbyePh
9dbc Volgens deze voorspellende toetsscoreverdeling is de kans op een voldoende nog steeds maar 83% (ExpU is verwacht drempelnut slagen = 1 zakken = 0)
9e Politieke keuze. Welk risico is redelijk: als 1 op de 100 goed voorbereide leerlingen voor de 2e kans en voor het examen zakt? Meer? Minder?
9f In de mate waarin verschillen intellectuele capaciteiten bij de toetsafname een rol spelen, valt er niet doeltreffend voor te bereiden.
9g Praktische oplossing: sta onbeperkt herkansen toe (maar dat neemt probleem 9f niet weg) (voorstel Examens '11 #4) http://pic.twitter.com/vpIOgNtjSH
10 De rekentoetsen gaan deel uitmaken van de kernvakkenregel. Het is nodig om die regel eerst kritisch te beschouwen.
10a De kernvakkenregel gaat in tegen de verworvenheden van de testpsychologie: de regel miskent dat examenonderdelen maar steekproeven zijn.
10aa Klassieke artikelen op dit onderwerp (onomstreden): Frederic M. Lord (1962) abstract en idem (1963) abstract
10b Hofstee heeft in zijn rede (1969) behandeld hoe aanscherpingen zoals de kernvakkenregel slechts kortstondig effect plegen te hebben. [niet digitaal beschikbaar]
10c Waarom dan toch die regel? Jaap Dronkers heeft ervoor gelobbyd (geen examenexpert), de Onderwijsraad idem, enz. http://pic.twitter.com/HQ95CAWKLj
10d Statistiek: minder compensatie geeft meer toevalligheden, dus het examen wordt minder doeltreffend voorbereidbaar (A.D. de Groot, 1970)
10e Cito heeft OCW geadviseerd over effecten van de kernvakkenregel, in termen van aantal terechte/onterecht geslaagd/gezakt. Die analyse is ten onterechte.
10ea Terecht of niet slagen is een onzinnige en platonische categorie. Zie mijn dupliek op Zwitser & Béguin http://goo.gl/WNLlSQ
10eb Edgeworth heeft het eind 19e eeuw prima uitgelegd http://goo.gl/CpaQi8 in artikelen die de mathematische statistiek op de wereld zetten.
10ec Onzinnig: omdat die cesuur, ook als die platonisch is gedefinieerd, een grens bij fiat is (zie punt 8). ‘Terecht’ is dan tautologisch.
10f Leerlingen moeten gewoon knokken voor niet meer dan één ‘5’ - mèt rekentoets erbij is dat moeilijker.
10g Wat gaat er op termijn rond de examens gebeuren: dat is stilzwijgende collectieve ‘onderhandeling’ tussen de leerlingen van Nederland en het CvE enz.. Model: van James Coleman. Een voorbeeld van hoe zoiets werkt, en onderzoekbaar is: http://goo.gl/eC1W80
10h Kennis van examens is een vak. Verbeter onderwijs door investeren in leraren enz, niet door sleutelen aan examens