De Jo Boaler-petitie
Ben Wilbrink
In november 2012 is in de LinkedIn-groep VOR (Vereniging voor Onderwijs Research) door Pauline Vos een discussie gestart over een aanklacht van Jo Boaler ‘When academic disagreement becomes harassment and persecution’ (zie de website van Jo Boaler).
Naar aanleiding van deze aanklacht van Jo Boaler is haar netwerk in het geweer gekomen met een petitie gericht aan het bestuur van Stanford, met het verzoek om een officieel onderzoek in te stellen naar de acties ondernomen tegen Jo Boaler.
Professor Boaler’s report describes some serious breaches of academic integrity (protecting the confidentiality of human subjects) and of ethical behavior (harassment and personal attacks). We view the behavior that has been reported as a threat to Professor Boaler’s academic freedom, that is, her freedom to conduct research without harassment. Professor Boaler is a valued and respected member of our community, and we cannot stand by and see such activity without lodging a protest. Furthermore, we see the attacks on the work of Professor Boaler, and Stanford’s inaction in response, as threatening to the work of the mathematics education research community.
Omdat het hier gaat om een besloten discussiegroep, zal ik hierbeneden mijn ingebrachte commentaren overnemen, en waar nodig een samenvatting van de commentaren van anderen geven. Ik houd de temporele volgorde in de discussie aan (de exacte datering gaat in de systematiek van LinkedIn helaas verloren).
Het begin van de discussie is moeizaam: ik ging uit van de veronderstelling dat de aanklacht van Boaler terecht zou kunnen zijn. Bovendien stond ik even op het verkeerde been omdat ik Wayne Bishop verwisselde met Alan Bishop. De laatste is een doorgwinterde constructivist, hoofdredacteur van een Reidel-serie over wiskundeonderwijs (waarin o.a. de boeken van Freudenthal zijn uitgebacht, en een vertaling van het proefschrift van Treffers). (Reidel was een uitgeverij die het universitaire bibliotheekwezen als geldmachine gebruikte, als ik het goed heb: onbetaalbare boeken).
Ben Wilbrink --- Heel verontrustend. De term ‘oorlog’ blijkt door sommigen wel heel letterlijk te worden genomen.
Ik zie in het bekende artikel van Schoenfeld over de ‘Math wars’ ( abstract: http://epx.sagepub.com/content/18/1/253 )dat hij Wayne Bishop citeert (overigens zonder bronvermelding): “Let the war rage.”
Dat citaat is geplaatst tegenover “Can’t we all just get along?” van Rodney King.
Het spijt mij te moeten lezen dat ik de academische integriteit van Milgram moet onderzoeken. Over Wayne Bishop had ik al wel twijfels (niet over zijn integrieit, maar vanwege holle praat).
Ben Wilbrink --- De juiste link naar het artikel van Bishop, Clopton, Milgram (ongedateerd) ‘A Close Examination of Jo Boaler’s Railside Report’ :
ftp://math.stanford.edu/pub/papers/milgram/combined-evaluations-version3.pdf
Ik zal dit stuk zeker nauwkeurig bestuderen. Het probleem is evenwel, aangenomen dat het verhaal van Jo Boaler correct is (ik heb geen reden om daaraan te twijfelen, maar zou daar wel graag officiële stukken als onderbouwing bij zien), dat ik niet kan vertrouwen op academische integriteit van deze auteurs. Evenmin is er een externe toetsing op dit stuk geweest, als het inderdaad alleen op de website van Milgram is gepubliceerd.
Deze valse start wordt onmiddellijk bevestigd in de eerste alinea’s van het stuk. Zo begint de tweede alinea als volgt:
“As is the case with much education research of this nature, Prof. Boaler has refused to divulge the identities of the schools to qualified researchers.”
Het is alsof ik Hans Freudenthal lees, over onderwijsonderzoek (zijn Weeding and Sowing). In eerste instantie lees ik over dit soort naïviteit heen, maar hier blijkt de angel juist in de ‘naïviteit’ te zitten.
Wie verbaasd is over geheimhouding van deelnemende scholen: denk eraan dat het in Nederland nog maar sinds kort is dat de scores op de Cito Eindtoets Basisonderwijs publiek worden gemaakt, althans de gemiddelde scores per school. En dat het nog maar sinds kort is dat scholen er ook publiekelijk op worden ‘afgerekend’. Met alle gevolgen van dien, niet alleen positieve (waar voorstanders tuk op zijn), maar ook negatieve (vaak onder het grote vloerkleed geveegd). Om op onderwijsonderzoek terug te komen: in schoolgevoelige zaken zoals prestaties op rekentoetsen is het om meerdere redenen gewenst of noodzakelijk om terughoudend te zijn op het punt van de identiteit van deelnemende scholen. Bedenk dat dubbelblind onderzoek hier onmogelijk is, zodat de onderzoeker wil voorkomen dat oneigenlijke motieven het onderzoek doorkruisen. Een praktische reden is natuurlijk: verkrijg maar eens medewerking van scholen wanneer je belooft de resultaten onmiddellijk publiek te zullen maken, ook als ze onverwacht negatief uitpakken. Enzovoort.
Wie hier aan de wetenschapsfraude van Diederik Stapel moet denken, die immers beweerde te beschikken over de medewerking van scholen bij het verzamelen van zijn ‘data’: dat is een totaal ander casus. Hij gaf waarschijnlijk evenmin de namen van die scholen prijs, maar zijn reden daarvoor was dat hij de zaak bedonderde.
Ik begrijp, na een snel rondje googelen, dat er ook bij Milgram en Bishop sprake kan zijn van bewust verdraaien van feitelijke gegevens. Ik kan dergelijke verdraaiingen niet opsporen, omdat daar kennis van lokale omstandigheden voor nodig is. Maar dat betekent dat ik word teruggeworpen op wat ik strikt in de tekst zelf kan analyseren. Zoals de hierboven geciteerde zinsnede laat zien, kan ook zo’n beperkte analyse in beginsel best uitsluitsel geven over de vraag of de auteurs het vertrouwen van de lezer mogen genieten. Het kan geen positief uitsluitsel zijn, maar een negatieve conclusie — geen vertrouwen schenken — is mogelijk.
Ben Wilbrink --- Moet ik nog verder gaan met dit onderzoekje? Ik heb er wel weer van geleerd: nog achterdochtiger zijn, zeker waar het Amerikaanse oorlogs-publicaties betreft. Vergelijk de publieke aanklacht met de oratie van Marja van den Heuvel-Panhuizen, of met haar Australische voordracht, waarin zij zich beklaagt over de KNAW die het gewaagd had een commissie over het rekenonderwijs in te stellen. Ik kan me wel voorstellen dat mensen zich persoonlijk belaagd voelen wanneer hun gedachtengoed niet door iedereen in de samenleving evenzeer wordt gewaardeerd, maar persoon en zaak zijn toch echt onderscheiden. Zie ook http://benwilbrink.nl/projecten/debat.htm
De ‘most significant events’ van Boaler langslopen (in volgorde):
1. een mededeling die lastig is na te trekken, en op zijn best een interpretatie van Milgram oplevert die af zal wijken van die van Boaler.
2. Ik neem aan dat dit een correcte mededeling is, maar wat is de functie ervan?
3. Ik heb geen bronnen voor deze beschuldiging. Ik vermoed dat Boaler een zegswijze van Bishop letterlijk neemt.
4. Dit gaat over lerarenopleidingen, bijv in http://en.wikipedia.org/wiki/Category:Schools_of_education_in_California en een nogal botte manier van zich uitdrukken door Bishop. Maar een politiezaak?
5. Boaler geeft niet aan waar precies die resultaten zijn gepubliceerd
6. Hier wordt veel beweerd, maar geen enkele bewijsplaats gegeven. Ik heb die bewijsplaatsen nodig, want Boaler geeft kennelijk persoonlijke interpretaties van gebeurtenissen en geschriften.
7. Ook deze wat langere uiteenzetting wordt niet ondersteund door enige bewijsplaats. Probleem is hier ook dat zowel individuele persoenen als instellingen worden aangeduid als ‘subjects’. Uit niets blijkt hier dat Bishop geprobeerd zou hebben met leerlingen in contact te komen. Dat Bishop bot kan zijn, dat is evident, maar geen reden tot paniek.
8/ Het ‘stuk’ van Milgram en Bishop wordt niet verder geïdentificeerd. Ik neem aan dat ‘A Close Examination of Jo Boaler’s Railside Report’ bedoeld is. De suggestie van Boaler is dat de identiteit van de experimenteerschool (als ik dat zo mag noemen) in dat stuk zou zijn onthuld, maar dat is meen ik toch niet het geval. Waarom een oordeel dat de leerlingen van die school geen goed begrip van wiskunde hebben een ‘aanval’ zou zijn, ontgaat mij. Wat Stanford vond: geen bron aangeduid.
9. Het is nog maar de vraag of het stuk van Milgram en Bishop identiteiten onthult (die anders verborgen zouden zijn gebleven). Dat het betreffende stuk niet in een tijdschrift is gepubliceerd, is niet echt opmerkelijk. Mijn eigen website staat vol met niet gepubliceerde stukken. Het is mogelijk nooit voor publicatie aangeboden. Toch? Beweren dat geen tijdschrift het hefet geaccepteerd, impliceert dat Boaler zou weten dat het bij veel tijdschriften is aangeboden.
10. Feitelijke mededeling over vertrek, de aangegeven reden zal best juist zijn, maar is een persoonlijke beleving.
11. Dat iemand tegen een bepaalde benoeming is, is de normaalste zaak van de wereld, anders zouden er geen benoemingscommissies ingesteld hoeven worden.
12 Hier is sprake van een groep mensen die de opvattingen van Milgram en Bishop ondersteunen. Dat is een bijzondere manier van spreken over een opvatting over wiskundedidactiek die door brede groepen in de samenleving wordt gedeeld, en min of meer tegenover die van de reformbeweging in de wiskundedidactiek staat (zie het artkel van Schoenfeld, 2004, over de Math Wars, die daar een nuchtere beschrijving van geeft). De kwaliteit van de publieke discussie in Ierland zal best te wensen hebben overgelaten, dat is ook in Nederland wel het geval; dar moet een onderzoeker toch een beetje tegen kunnen. Als je de eigen positie niet goed over het voetlicht krijgt, is dat in eerste aanleg toch het eigen tekort, en pas daarna een gebrek aan intelligentie bij het gehoor. Of iets dergelijks.
13. Geen bron voor wat Wurman gezegd of geschreven zou hebben.
1 month ago
Ben Wilbrink --- Een paar snippers meer informatie:
http://www.insidehighered.com/news/2012/10/15/stanford-professor-goes-public-attacks-over-her-math-education-research
o.a. een commentaar van Milgram. En enkele nuchtere commentaren uit wiskundige hoek ('a reader': I am also a research mathematician . . . )
(Sam B. Nadler, Jr.: I am a methmatician . . . )
Ik heb het stuk van Bishop, Clopton en Milgram niet bestudeerd, maar een belangrijk onderdeel ervan is het stuk getiteld
‘The validity of the measurements provided by the Boaler tests’ [blz. 18 e.v.]
Dit gaat gewoon over de wiskunde in de toetsen van Boaler, mede afgezet tegen de standaarden in Californië. Als de auteurs hier een potje van zouden hebben gemaakt, was het toch eenvoudig voor Jo Boaler om dat te laten zien?
De auteurs:
“Conclusion. We conclude that these tests cannot measure that which they are supposed to measure, and consequently, whether or not they are consistent measurement instruments, they are of minimal value in determining student achievement in mathematics at the ninth and tenth grade levels.
As a consequence of our analysis we can say that it is unrealistic to try to draw any valid conclusions about student mathematics achievement at the high school level based on the Boaler tests. It is consistent with this conclusion that all the other measures of student achievement we studied gave a dramatically different picture than the Boaler tests did.”
Dit type analyse komt mij overigens bekend voor: samen met Joost Hulshof en Henk Pfaltzgraff hebben wij een in de verte vergelijkbare analyse gemaakt van de voorbeeldrekentoets-3F van het Cito (dit voorjaar als pilot afgenomen op een groot aantal scholen). Die toets is een model voor de rekentoetsen zoals die straks worden toegevoegd aan diverse eindexamens in het voortgezet onderwijs, mogelijk ook die voor het vwo (tenzij OCW kiest voor de rekentoets-3S, opgesteld door de commissie-Van de Craats). Wij zetten meerdere vraagtekens bij de validiteit van deze rekentoets-3F, als rekentoets en onderdeel van eindexamens. Hebben wij dat stuk gepubliceerd? Ja, in ‘Examens, Tijdschrift voor de Toetspraktijk’, augustus jl. Zie voor een conceptversie van dat artikel http://goo.gl/9OzGo Verdere publieke discussie vindt o.a. plaats op het door SBO georganiseerde congres over toetsen in het VO, 5 februari a.s., tussen vertegenwoordigers van OCW,het CvE en de NVvW, de (oud-)voorzitters van de toetswijzercomissies (resp. 3F en 3S), hopelijk ook het Cito, en mijzelf.
1 month ago
Ben Wilbrink --- De affaire-Diederik gaat ook voor andere vakgebieden consequenties hebben, ook voor het type onderwijsonderzoek zoals dat door Boaler wordt gedaan.
Dat sociale psychologie geen krachteloos vak hoeft te zijn dat alleen maar onderzoek naar het eten van vlees en M&M-tjes, laat de volgende grap zien:
Robyn M. Dawes (1977). Suppose We Measured Height With Rating Scales Instead of Rulers. Applied Psychological Measurement 1, 267-273.
http://conservancy.umn.edu/bitstream/98548/1/v01n2p267.pdf
25 days ago
Ben Wilbrink --- Overigens staat het door James Milgram en Wayne Bishop gekritiseerde onderzoek van Jo Boaler beschreven in het volgende online beschikbare artikel:
Jo Boaler & Megan Staples (2008). Creating Mathematical Futures through an Equitable Teaching Approach: The Case of Railside School. Teachers College Record Volume 110, Number 3, March 2008, pp. 608-645. http://goo.gl/3uPBy
24 days ago
Ben Wilbrink --- Welke Silver mag dat zijn?
Recent rapport waar Jo Boaler aan meewerkte:
Raising Expectations and Achievement Levels for All Mathematics Students (REALMS)
FINAL REPORT TO THE ESMéE FAIRBAIRN FOUNDATION
Judy Sebba, Phillip Kent, Lori Altendorff, Geoff Kent & Claire Hodgkiss, Jo Boaler
http://goo.gl/OSoQQ
Waarschijnlijk op basis van voorgaand rapport:
Jo Boaler, Lori Altendorff & Geoff Kent (2011): Mathematics and science inequalities in the United Kingdom: when elitism, sexism and culture collide, Oxford Review of Education, 37: 457-484. http://dx.doi.org/10.1080/03054985.2011.595551 (abstract only)
Ben Wilbrink --- Edward Silver (website: http://www.soe.umich.edu/people/profile/edward_silver/ ) was o.a. editor van het Journal for Research in Mathematics Education. Dit is een tijdschrift waar ik niet goed hoogte van kan krijgen, maar het blijkt in ieder geval ook een platform voor ontwikkelingsonderzoek door aanhangers van de reform-filosofie. Het is wel nuttig om dat eens concreet te illustreren, ik doe dat aan de hand van de volgende recente publicatie:
Michelle Stepan & Didem Akyuz (2012). A proposed instructional theory for integer addition and subtraction. Journal for Research in Mathematics Education, 43(4), 428-464. preview: http://goo.gl/wceMb [ik heb geen toegang tot een digitale versie, maar kon wel een ouderwetse fotokopie maken]
De auteurs gebruiken de term ‘experiment’ voor hun onderneming. Het experiment vindt plaats op een school met 1500 leerlingen. Nee, dat is niet het aantal proefpersonen, dat aantal is 20, de klas waar de eerste auteur les gaf. Je gelooft je ogen niet. Afijn, bij een ‘experiment’ hoort in de opvatting van de auteurs natuurlijk een toets vooraf en een toets achteraf, om vast te kunnen stellen of er verschil is gemaakt door de opzet van de betreffende lessen (een stuk of vijf, ik kan het zo snel niet terugvinden). Er wordt natuurlijk getoetst of de scores na de lessen hoger zijn dan ervoor, en ja hoor: de verschillen zijn zeer (statistisch) significant ten voordele van het lesgeven. Hadden we anders mogen verwachten? Ik denk het niet, lesgeven resulteert meestal toch wel in enige leerwinst, en die leerwinst is zeker gegarandeerd wanneer de toetsen zijn afgestemd op wat er in de lessen is behandeld. Overigens wordt het tabelletje met de toetsresultaten gepresenteerd in de afsluitende discussie, maar een kniesoor die daarop let. In het hele artikel lopen trouwens opmerkingen van theoretische aard overal tussendoor.
Terug naar de preview, de eerste pagina van het artikel. Dit optellen en aftrekken gebeurt in klas 7, dus dertienjarigen! Ik geef toe: het aftrekken wordt beoefend in financiële contexten (een negatief getal aftrekken is het wegnemen van een schuld), en dat lijkt me inderdaad lastig te begrijpen.
In het abstract geven de auteurs openhartig aan dat zij de realistische visie op rekenonderwijs aanhangen. Pikant is dan, dat zij aangeven dat er ook een andere opavatting is over hoe rekenonderwijs gegeven moet worden. Dan zou je dus verwachten dat het ‘experiment’ precies over dat contrast gaat, maar dat is niet zo. De auteurs gaan aan de slag met het realistische/constructivistische gedachtengoed, inclusief het idee dat ontwikkelingsonderzoek ook onderzoek is. Hoe wetenschappelijk kun je zijn? Ik zal mijn punt onderstrepen door een passage over contexten te citeren (blz. 430):
“In the last twenty years, much research has shown that grounding students’ work in real-world contexts can be an instructional aid to the process of abstraction (De Lange, 1987; Gravemeijer, 1994; Stephan, Bowers, Cobb & Gravemeijer, 2003). Other researchers have conducted experiments that seemingly contradict this premise and claim that students best transfer learning to abstract domains if they first encounter them in abstract ways rather than concrete contexts (see Kaminski, Sloutsky, & Heckler, 2008; De Bock, Deprez, Van Dooren, Roelens, & Verschaffel, 2011). Our intent is not to debate this issue; our work is based on the first idea, that learning in context provides students greater opportunities to abstract mathematical structure as well as meaning.”
Het is te prijzen bij deze auteurs dat zij melding maken van onderzoek dat resultaten oplevert die op gespannen voet staan met de eigen overtuiging. Maar de wetenschappelijke onderneming gaat natuurlijk niet om bevestigen van eigen standpunten, maar om waarheidsvinding. Nou ja, of zoiets. Bijvoorbeeld de eigen theorie proberen te verwerpen in een slim opgezet experiment.
24 days ago
Ben Wilbrink --- Joost,
RTL doet kennelijk ook al onderwijsonderzoek. Het moet niet veel gekker worden. RTL werd al voorgegaan door het CPB.
Voorlopig is dit bericht van RTL voor mij een onzin-resultaat. En niet alleen omdat ik niet weet hoe de Inspectie aan het oordeel ‘onvoldoende’ komt voor welke afdeling van welke school dan ook. Cijferterreur is het. Til die cijfers op naar een geaggregeerd niveau, en je kunt de gekste dingen ‘aantonen’. Heeft gee relatie tot enige werkelijkheid op de onderwijsvloer, totdat anders is bewezen.
Overigens kun jij de publicaties van Jo Boaler prima beoordelen op de wiskunde die erin doorschemert. Doe dat. Volg James Milgram hierin.
24 days ago
Ben Wilbrink --- Dit artikel, Joost:
Jo Boaler & Megan Staples (2008). Creating Mathematical Futures through an Equitable Teaching Approach: The Case of Railside School. Teachers College Record Volume 110, Number 3, March 2008, pp. 608-645. http://goo.gl/3uPBy
Voor antwoorden op jouw vragen doe je er goed aan eigen discussie te starten, en daar niet de VOR-groep voor te gebruiken. Onderwijsonderzoekers doen er goed aan het zich aan te trekken wanneer hun goede naam in het geding is. In de zaak van Jo Boaler gaat het erom of de kritiek van wiskundigen op haar werk mogelijk terecht is. Zij gaat in haar eigen aanklacht precies deze vraag uit de weg. Nu kan een onderwijsonderzoeker ook niet eenvoudig beoordelen of inhoudelijke kritiek van wiskundigen hout snijdt, maar het is wel deeglijk mogelijk om na te gaan of Jo Boaler en onderzoekers die zich achter de Boaler-petitie scharen, in hun onderwijsonderzoek wel voldoen aan eenvoudige eisen van methodologische aard (inclusief theorievorming).
24 days ago
Ben Wilbrink --- ( . . . ) Terug naar Boaler & Staples 2008.
De auteurs leggen een enorme claim neer. In een lastige situatie waarin kennelijk zowel het wiskundeprogramma is gewijzigd (reformdidactiek), als de groepering van de leerlingen is veranderd (van tracking naar bij elkaar houden in heterogene groepen). De claim (blz. 609):
“One of the findings of the study was the success of Railside school, where the mathematics department taught heterogeneous classes using a reform-oriented approach. Compared with the other two schools in the study, Railside students learned more, enjoyed mathematics more and progressed to higher mathematics levels. This paper presents largescale evidence of these important achievements and provides detailed analyses of the ways that the Railside teachers brought them about, with a focus on the teaching and learning interactions within the classrooms.”
Het springende punt is: is dat grootschalige bewijs met dit artikel geleverd? Milgram en Bishop stellen dat zulks niet het geval is. Laten we eerst eens zien hoe Boaler en Staples hun zaak brengen. (Ik ben voortdurend beducht op verkeerd spellen van de naam van Megan Staples, en verdraaid, ik deed het weer fout)
24 days ago
Ben Wilbrink --- Joost,
Je schrijft dat je het artikel van Boaler en Staples hebt doorgenomen: “DAT artikel had ik al bekeken in de hoop er iets in tegen te komen. Helaas, lappen met tekst, geen wiskunde, behalve de kommagetallen en percentages van een statistiek waar ik me niet in ga verdiepen. Ik zou veel liever voorbeelden van lesstof zien.”
Milgram en Bishop zaten met hetzelfde probleem, en zijn gaan kijken naar de toetsen wiskunde zoals Boaler die heeft gebruikt. In het stuk van Milgram en Bishop zijn de wiskundevragen te vinden, en zijn ze besproken. Als ik me goed herinner, concluderen Milgram en Bishop dat dit geen wiskundevragen zijn, althans niet de wiskundevragen waar het op dit niveau van middelbaar onderwijs om moet gaan. Als dat juist is, valt meteen de bodem onder de claim van Boaler en Staples weg: dan is het onderwijs op Railside geen wiskundeonderwijs geweest. Waarmee het nog niet zinloos hoeft te zijn geweest, maar dat is een andere kwestie (de ideologie van ‘leren denken’ door wiskunde in contexten).
24 days ago
Ben Wilbrink --- Ik heb het artikel van Boaler & Staples (2008 http://goo.gl/3uPBy ) nu gelezen.
Het springende punt, in het kader van de petitie-Boaler, lijkt nu te zijn dat Boaler en Staples hun fantastische claims over de wiskundeprestaties van de leerlingen van Railside koppelen aan het gebruik van reform-didactieken door het wiskunde-team van Railside. Ook in het artikel zelf wordt af en toe stevig benadrukt dat het bij het wiskundeonderwijs gaat om reformdidactiek (‘realistische wiskunde’, zeg maar). Het zal best zo zijn dat het wiskundeonderwijs op Railside ook ‘realistische’ trekken heeft, maar dat is in het hele Railside-verhaal echt een volkomen ondergeschikt punt. Als dan het vermeende Railside-succes door voorstanders van ‘realistische’ wiskunde wordt aangegrepen als bewijs voor de deugdelijkheid van die reformdidactiek, dan zijn natuurlijk in de Amerikaanse situatie de rapen gaar bij wiskundigen als Milgram en Wayne Bishop. En terecht. Boaler en Staples hebben bijzonder onzorgvuldig geformuleerd, en daarmee de ellende ook wel over zichzelf afgeroepen. Laat ik een aantal punten noemen.
(1.) Het gaat NIET om een onderwijsexperiment. Boaler en Staples verzamelen zeer uitgebreid informatie bij een school die zij met het pseudoniem Railside aanduiden, en melden geen enkele eigen bemoeienis met het curriculum of wat dan ook.
(2.) De school is NIET een willekeurige keuze uit bijvoorbeeld de scholen in Californië, maar is evident gekozen vanwege de wijze waarop het wiskundeonderwijs er wordt gegeven. Het is dus volstrekt onduidelijk wat gegevens die op deze school zijn verzameld, kunnen betekenen voor andere scholen (behalve als inspiratie om eens op een anere manier naar het onderwijs te kijken).
(3.) Om de resultaten niet helemaal te laten zwemmen, zijn hetzelfde soort data ook verzameld op twee andere scholen met een ‘gewoon’ wiskundeprogramma. Gewoon als contrast met Railside; het hefet dus verdraaid weinig zin om ‘prestaties’ van leerlingen op Railside te vergelijken met die van de beide andere scholen.
(4) Wat van doorslaggevend belang is voor het onderwijs van de wiskundesectie is hoe deze leraren intensief met de vormgeving van hun eigen onderwijs bezig zijn, en voor dat onderwis vormen hebben gekozen of ontwikkeld die het beter mogelijk maken om ALLE leerlingen in dat wiskundeonderwijs mee te nemen (wat overigens niet echt is gelukt: er is relatief veel uitval naar het 11e en 12e leerjaar toe, waar Boaler en Stapels meen ik geen uitleg over geven). Dit hele complex van bijzondere omstandigheden is niet specifiek voor het wiskundeonderwijs: het had net zo goed de taalsectie op Railside kunnen betreffen (maar dan had het waarschijnlijk niet de aandacht van Boaler en Staples getrokken).
Dat is eigenlijk wel voldoende kritische analyse. Heel verrassend. Het artikel is eigenlijk vooral een verslag van een soort middenschool-situatie, en ik vind dat deel van het artikel best wel interessant (maar door gebrek aan behoorlijke data is het niet overtuigend, en de grootste vraag waar de lezer mee blijft zitten is of dit een onderwijsvorm is die door ieder willekeurig docententeam is uit te voeren (nee dus).
Het is heel ongelukkig dat Boaler en Staples dit verslag over het werk van een bijzondere groep leraren hebben betrokken in de controverse over conventioneel versus ‘realistisch’ wiskundeonderwijs.
23 days ago
Ben Wilbrink --- Na het wollige artikel avn Boaler & Staples (2008) is het lezen van het van de harde data in het stuk van Bishop, Clopton & Milgram een heel aparte ervaring. Je komt een heel andere wereld binnen. Toch gaat het over dezelfde school. Bizar is dat Bishop, Clopton & Milgram data gebruiken die ook Boaler & Staples bekend hadden moeten zijn; en dat zij gebruik maken van enige wiskundige kennis die toch ook bij Boaler en Staples aanwezig had moeten zijn. Hoe duidelijk kan het zijn? In theorie is het nog mogelijk dat Boaler en Staples alle argumenten van Bishop, Clopton en Milgram onderuit kunnen schoffelen; Boaler heeft naar de auteurs toe op enkele zaken een inhoudelijke reactie gegeven, zie de voetnoten in Bishop c.s., maar die reacties lijken haar positie niet echt te versterken. Ik concludeer voorlopig maar dat de analyse van Bishop c.s. geen grove onjuistheden bevat. Hoe denken de ondertekenaars van de Boaler-petitie daarover?
23 days ago
Ben Wilbrink --- In het licht van het rapport van de commissie-Levelt — de aanbevelingen aan het adres van de gemeenschap van onderzoekers (sociaal-psychologie) — is het dus heel goed dat er een ‘second opinion’ is gekomen op de claim van Boaler en Staples dat ‘realistisch’ wiskundeonderwijs tot betere resultaten leidt dan conventioneel onderwijs. Concreet is het heel goed dat Bishop, Clopton en Milgram op een reeks van punten informatie hebben vergaard die direct van belang is voor de interpretatie van de resultaten van Boaler en Staples, maar door de laatste auteurs niet in hun artikel is vermeld (sloppy science).
Bishop, Clopton en Milgram hebben hun onderzoek netjes gedaan, zich beperkt tot zaken die ieder verstandig mens kan uitzoeken (onderzoekjournalistiek: welke andere gegevens op gestandaardiseerde tests zijn er voor het door Milgram en Staples onderzochte cohort, enzovoort), en welk niveau hebben de opgaven in de gebruikte algebratoetsen hebben (alle drie auteurs zijn betrokken geweest bij het opstellen van de referentieniveaus voor algebra in Californië) (NB: dat niveau ligt bijna drie jaar lager dan gepast zou zijn!). Zij hebben zich niet uitvoerig uitgelaten over de problemen van de reformdidactiek zelf, dat is een onderwerp waarover zij uiteraard wel sterke opvattingen hebben maar zij hebben geen autoriteit op dat onderwerp).
Dit casus ‘Railside’ is een bijzonder passend voorbeeld van hoe een als ‘wetenschappelijk’ gepresenteerd onderzoek verslodderd is, en hoe dat in een replicatie (hier opgevat als een contra-expertise) glashelder boven water komt.
23 days ago
Ben Wilbrink --- Je zou nu verwachten dat de redactie van het tijdschrift dat het artikel van Boaler en Staples plaatste actie zou ondernemen. Dat is niet het geval. http://www.tcrecord.org/
Het is mogelijk op deze website te posten, en zo is er een korte wisseling van commentaren geweest tussen Ze’ev Wurman en Jo Boaler, waarin Boaler stelt dat Bishop, Clopton en Milgram een federale wet (FERPA) hebben overtreden (bescherming privacy van leerlingen). Boaler zegt niet dat zij aangifte heeft gedaan, zodat we voorlopig niet zullen weten of het in Californië voor onderzoekers mogelijk is om zich achter deze wet te verschuilen als zij andere onderzoekers geen inzage in hun data willen geven (een doodzonde voor de commissie-Levelt).
http://www.tcrecord.org/discussion.asp?i=3&aid=2&rid=14590&dtid=0&vdpid=3519
Jo Boaler vindt dat de identiteit van scholen waarop zij dit onderzoek heeft gedaan verborgen moet blijven voor andere onderzoekers. Dat is toch een pikante opvatting: Diederik Stapel heeft zijn fraude bekend op het moment dat zijn rector magnificus zei dat zij beiden dan NU naar de scholen gaan waar Stapel zijn gegevens vandaan zegt te hebben, maar die hij niet wil onthullen.
Heeft de redactie van het tijdschrift het artikel van Boaler en Staples teruggetrokken, of er een mededeling bij geplaatst dat dit onderzoek omstreden is? Zie zelf:
http://www.tcrecord.org/content.asp?contentid=14590
Terug naar Nederland. De hoogleraar-directeur van het Freudenthal Instituut voor Didactiek van Wiskunde en Natuurwetenschappen van de Universiteit Utrecht, H. M. C. Eijkelhof, heeft de Boaler-petitie ondertekend. (zie de lijst ‘Latest’ op http://www.change.org/petitions/the-community-of-mathematics-educators-join-in-defending-fundamental-values )
Met als commentaar:
“I fully agree with Jere Confrey's comment.”
Jere Confrey CARY, NC : “Disagreements are common, and even welcome, in the Academy, but personal attacks on one's academic freedom and a failure to preserve confidentiality are not acceptable. I support Jo Boaler in her effort to stop this unacceptable behavior.”
Het Freudenthal Instituut draagt het gedachtengoed van de reformdidactiek in de wiskunde uit, zoals onlangs nog in zijn formele reactie op de conceptrekentoetswijzer-3S van de commissie-Van de Craats (zie verslag veldraadpleging en reacties, http://staff.science.uva.nl/~craats/#rtw3S [tijdelijk niet beschikbaar omdat de tekst netjes wordt gemaakt voor publicatie op de SLO-website]). De directeur van het Freudenthal Instituut heeft geen neutrale positie in deze kwestie-Boaler. Evenmin als zijn hoogleraar:
Marja Van den Heuvel-Panhuizen UTRECHT, NETHERLANDS:
“In the Netherlands we also have a group mathematicians who repeatedly unfoundedly malign the research done at the Freudenthal Institute.”
Mijn mailbox is inderdaad niet helemaal verschoond gebleven van kwaadaardigheid (vanuit het Freudenthal Instituut), maar overigens onderhoud ik goede contacten met voorstanders van ‘realistisch’ reken- en wiskundeonderwijs, en wil ik dat zo houden. Laat mevrouw Van den Heuvel-Panhuizen haar academische waardigheid gestand doen met goed onderzoek om claims tegen het realistisch gedachtengoed zo mogelijk te weerleggen.
Ik ben dit kleine onderzoekje begonnen omdat het een casus betreft in het hart van de strijd over wel of geen reformdidactiek in het reken- en wiskundeonderwijs. Op het verkeerde been gezet door de aanklacht van Jo Boaler — het is toch onvoorstelbaar dat iemand zo’n ongehoorde klaagzang aanheft wanneer daar geen goede redenen voor zouden zijn — is het bij lezing van de relevante stukken toch snel duidelijk, zeker voor een onderwijsonderzoeker, dat hier sprake is van een persoonlijk drama, en van schending van elementaire wetenschappelijke principes (lees het rapport van de commissie-Levelt over wat daarmee bedoeld kan zijn) aan de kant van Jo Boaler.
23 days ago
Ben Wilbrink --- Ha, het meeste onderzoek bevat fouten en foutjes. Maar dat is iets anders dan je onderzoek erop richten om je eigen theorie te bevestigen, in plaats van te weerleggen (Popper, recht-voor-zijn-raap). Dat is nogal sterk uitgedrukt, maar in het casus-Boaler volstrekt aan de orde, gezien de claim die zij neerlegt over het succes van de reformdidactiek. En de toch wel als misleiding te kwalificeren pseudo-tegenstelling tussen Railside en de beide andere scholen.
(Overigens staat in het rapport van Bishop-Clopton-Milgram een boeiende passage over het wiskundeonderwijs op de beide andere scholen: dat was juist van reform- naar conventioneel onderwijs overgegaan; Boaler was tenminste bekend met dit feit voor een van die scholen. Ouders op één van die scholen kregen de keuze voor reform- danwel conventioneel wiskundeonderwijs: 90 procent koos voor het laatste)
23 days ago
Ben Wilbrink --- Het overige onderzoek van Jo Boaler ken ik niet. Ik ben wel benieuwd of ook dat onderzoek (op thema’s die mij overigens zeer aanspreken) methodologisch zwak is en te sterke conclusies bevat, maar ik ga daar echt geen verdere studie van maken. Het gaat in dit petitie-casus niet over Jo Boaler als onderzoeker, maar over haar rapportage van een specifiek observatie-onderzoek dat zij presenteert als zou het een sterk bewijs zijn voor de juistheid van het reform-paradigma als de betere didactiek voor het wiskundeonderwijs.
Hoe de integriteitscommissie van Stanford heeft geopereerd en gerapporteerd, dat weet ik niet. In deze kwestie lijkt het me dat het niet handig is om uit te gaan van goed vertrouwen, maar dat het beter is de stukken te bestuderen: en wel eerst het artikel van Boaler en Staples, omdat pas na lezing daarvan duidelijk is dat Bishop, Clopton en Milgram een verwoestende contra-expertise hebben geproduceerd, waarop Jo Boaler geen overtuigende dupliek publiek heeft gemaakt (maar wel een aanklacht heeft gepubliceerd die niet materieel is onderbouwd).
22 days ago
Ben Wilbrink --- Als het de vraag is welke wiskundeprogramma’s effectiever zijn dan andere, in de VS, dan is daarover de volgende informatie beschikbaar:
Robert E. Slavin, Cynthia Lake & Cynthia Groff (2009). Effective programs in middle and high school mathematics: A best-evidence synthesis. Review of Educational Research, 79, 839-911. pdf van het rapport dat ten grondslag ligt aan het artikel is beschikbaar op http://www.bestevidence.org/math/mhs/mhs_math.htm
(genoemd: ongepubliceerd onderzoek van Jo Boaler op Greendale, IMP-curriculum)
Slavin c.s. geven in dat overzichtsartikel ook aan wat de methodologische struikelblokken/voorwaarden bij effectiviteitsonderzoek zijn.
Hoe kom ik hier nu op? Een eerder artikel over rekenonderwijs was juist voorafgaand aan de rekenconferentie van Beter Onderwijs Nederland uitgekomen:
Slavin, R.E. & Lake, C. (2008, September). Effective programs in elementary mathematics: A best-evidence synthesis. Review of Educational Research, 78, 3, 427-515. pdf van het rapport dat ten grondslag ligt aan het artikel is beschikbaar op http://www.bestevidence.org/math/mhs/mhs_math.htm
Ik werd eraan herinnerd door
Robert E. Slavin, Alan Cheung, GwenCarol Holmes, Nancy A. Madden & Anne Chamberlain (2012 online preprint). Effects of a Data-Driven District Reform Model
on State Assessment Outcomes. American Educational Research Journal
22 days ago
Ben Wilbrink --- Wat er in ieder geval op het eerste gezicht uitziet als een ‘goed’ onderzoek (‘is er zoiets als goed en fout onderzoek’) is beschreven in het volgende recente artikel, de evaluatie van een ingreep in het geven van rekenlessen tegen controleklassen waar die ingreep niet werd gedaan:
Amanda VanDerHeyden, Tara McLaughlin, James Algina & Patricia Snyder (2012). Randomized Evaluation of a Supplemental Grade-Wide Mathematics Intervention. American Educational Research Journal, 49, 1251-1284.
http://aer.sagepub.com/content/49/6/1251
In het onderzoek van VanDerHeyden c.s. zitten verschillende thema’s die we ook bij Boaler en Staples zijn tegengekomen, maar dan op een totaal andere manier. Bijvoorbeeld: de gepleegde interventies in het rekenprogramma waren niet gericht op meer met elkaar praten in groepjes, maar op het verzekeren van voldoende basale vaardigheden, wat vooral ten voordele uitpakte van de zwakkere leerlingen aan het begin van het schooljaar.
In hetzelfde toptijdschrift ook een theoretisch en methodologisch mooi opgezet, uitgevoerd en gerapporteerd onderzoek naar probleemgeoriënteerd leren (een behoorlijk omstreden onderwijsconcept). (Dat laat zien dat ook lastige onderwerpen zoals probleemoplossen in het wiskundeonderwijs zich prima lenen voor degelijk onderzoek: laat de protagonisten dat dan ook doen.)
Clarice Wirkala & Deanna Kuhn (2011). Problem-based learning in K-12 education: Is it effective and how does it achieve its effects? American Educational Research Journal, 48, 1157-1186. http://aer.sagepub.com/content/48/5/1157.abstract (gebaseerd op het proefschrift van Wirkala, zie http://gradworks.umi.com/34/51/3451518.html , ik heb het helaas niet)
22 days ago
Ben Wilbrink --- Pauline,
Review, en integriteitscommissie
Het blijft nog even rondzingen. Boaler en Staples publiceren in de Teacher College Record. Ik neem aan dat dit tijdschrift manuscripten aan een review onderwerpt. Het probleem voor de reviewers is dan voor iedereen nu zichtbaar: zij kunnen in feite alleen afgaan op eigen expertise en op wat de auteurs in het artikel zelf hebben te melden. Een reviewer die een eigen contra-expertise doet zal een zeldzaamheid zijn, en dat lijkt me ook niet de taak van een reviewer. Kortom: een artikel waarin de auteurs cruciale informatie niet vermelden, om welke reden dan ook, zal door reviewers niet worden tegengehouden wanneer zij geen reden hebben om te vermoeden dat de betreffende informatie niet is gegeven. Het eigen onderzoek van Bishop, Clopton en Milgram heeft laten zien dat essentiële informatie inderdaad ontbreekt in het artikel van Boaler en Staples.
Ik kan mij heel goed voorstellen dat de gegevens die Bishop c.s. verzamelden, aanleiding geven tot ernstige bedenkingen bij de wetenschappelijkheid van dit artikel van Boaler en Staples. En ik kan me ook heel goed voorstellen dat een Stanford-commissie die hierin heeft te oordelen, een veilige koers vaart en zich als een ‘reviewer’ van het artikel van Boaler en Staples opstelt: met alleen de informatie in dat artikel (en wat Boaler aan vertrouwelijke informatie aan de commissie levert) lijkt het artikel niet onwetenschappelijk van aard te zijn. En zo is iedereen dan voor de gek gehouden (dat heet bij ons ‘de kool en de geit sparen’, maar leidt natuurlijk tot verder voortwoekerende misstanden, zoals het gedoe dat we er nu in eigen land over hebben en dat niet nodig had moeten zijn).
22 days ago
Ben Wilbrink --- Pauline,
Je hebt aangegeven dat het Amerikaanse onderzoek van Jo Boaler op Railside en twee controlescholen waarschijnlijk een soort replicatie is van eerder onderzoek van Jo Boaler in Engeland. Dat klopt, dat maakt het ook begrijpelijk dat Jo Boaler zo heftig reageert op de harde contra-expertise op haar Amerikaanse onderzoek: dat doet immers de vraag rijzen of een dergelijke conra-expertise ook voor haar Engelse onderzoek gewenst is. Dat Engelse onderzoek rapporteert zij (in de herziene editie vooral ook voor een Amerikaans publiek) in
Jo Boaler (2002). ‘Experiencing School Mathematics. Revised and expanded edition.’ Erlbaum. http://www.routledge.com/books/details/9780805840056/
De uitgever heeft een oorlogsverklaring op de achterkant van het boek gedrukt. Let wel: dit boek gaat over een onderzoek waarin driehonderd leerlingen gedurende drie jaar zijn gevolgd. Een heel bescheiden onderzoek dus, waargeen onbescheiden conclusies bij passen.
“The book draws some radical new conclusions about the ways that traditional teaching methods lead to limited forms of knowledge that are ineffective in non-school settings.”
Wat is de positie van Alan Schoenfeld eigenlijk? Daarvoor zou ik graag een pdf van het volgende artikel te pakken zien te krijgen:
Alan H. Schoenfeld (2007). Problem solving in the United States, 1970-2008: research and theory, practice and politics. ZDM, The International Journal on Mathematics Education, 39, 537-551. abstract: http://link.springer.com/article/10.1007%2Fs11858-007-0038-z
Lees dat abstract, weet dat Alan Schoenfeld zwaar heeft geïnvesteerd in probleemoplossen in het wiskundeonderwijs (interessante literatuur!), en dat in Nederland die reformistische nadruk op probleemoplossen in het wiskundeonderwijs de dikke rode draad is in het dit jaar verschenen ‘Handboek wiskundedidactiek’ (evenals in het op het werk van cTWO gebaseerde nieuwe wiskundeprogramma voor het vo).
Waar blijft de onderwijsresearch die wiskundeleraren helderheid kan verschaffen over de vraag of die reformbeweging waar Jo Boaler deel van uitmaakt (en Alan Schoenfeld soms een beetje afstand van probeert te bewaren) hun iets heeft te melden/brengen?
abstract, toch ook maar hier geplaatst (let op de tendentieuze formulering van Schoenfeld in de laatste zin):
Problem solving was a major focus of mathematics education research in the US from the mid-1970s though the late 1980s. By the mid-1990s research under the banner of “problem solving” was seen less frequently as the field’s attention turned to other areas. However, research in those areas did incorporate some ideas from the problem solving research, and that work continues to evolve in important ways. In curricular terms, the problem solving research of the 1970s and 1980s (see, e.g., Lester in J Res Math Educ, 25(6), 660-675, 1994, and Schoenfeld in Handbook for research on mathematics teaching and learning, MacMillan, New York, pp 334-370, 1992, for reviews) gave birth to the “reform” or “standards-based” curriculum movement. New curricula embodying ideas from the research were created in the 1990s and began to enter the marketplace. These curricula were controversial. Despite evidence that they tend to produce positive results, they may well fall victim to the “math wars” as the “back to basics” movement in the US is revitalized.
22 days ago
Ben Wilbrink --- ( . . . ) Joost.
N.a.v. je eerdere commentaar:
Het werk van Boaler gaat niet over de wiskunde die wordt onderwezen, maar over het onderwijzen van wiskunde (en in de marge daarvan: probleemoplossen (reform) versus procedures (conventioneel)). Ik heb het boek uit 2002 over het onderzoek op twee Engelse scholen voor me liggen. Het is waarschijnlijk heel moeilijk of onmogelijk om daaruit een beeld te krijgen van de onderwezen wiskunde op de beide scholen. Dat is natuurlijk heel beroerd. Bishop en Milgram waren terecht achterdochtig over de aard en de omvang van de onderwezen en getoetste wiskunde, en hebben daar dus ook hun contra-expertise op gericht.
Het Engelse onderzoek lijkt sterk op het Amerikaanse. Het is GEEN experimenteel onderzoek, maar vergelijkt twee niet toevallig gekozen scholen met elkaar. De scholen verschillen van elkaar zowel in de opvattingen over het onderwijzen van wiskunde, als in de wijze van groeperen van de leerlingen (homogene groepen versus heterogene). Dat leidt tot tal van problemen wanneer de ene school dan met de andere wordt vergeleken. Zo kunnen leerlingen op de aanvangstoetsen best vergelijkbaar hebben gescoord, maar dat laat de mogelijkheid onverlet dat de ouders van deze leerlingen de school mede hebben gekozen op basis van het uitgedragen onderwijsconcept.
Boaler verzamelt vreselijk veel informatie gedurende drie jaar bij vooral de driehonderd betrokken leerlingen. Dat is niet onnut, maar het is mij niet duidelijk wat ze daarmee aan het doen is: waar kijkt ze naar, wat is het theoretisch kader, welke voorzorgen heeft ze genomen dat er niet met een gekleurde bril wordt geobserveerd, wat is de invloed van al dat observeren geweest op de betrokken leraren en op de leerlingen? Wat ik ook dolgraag zou willen weten: successen op korte termijn, stel dat die reëel zijn, zijn geen garantie voor successen op langere termijn (vergelijk: dat Nederlandse leerlingen prachtig scoren op PISA en TIMSS betekent niet dat de aankomende studenten in technische opleidingen dan ook beschikken over wiksundige kennis en vaardigheden die op peil zijn).
Het is uit alles duidelijk dat Jo Boaler zoekt naar bewijs dat de reform-oriëntatie in het wiskundeonderwijs leidt tot betere resultaten op wiskundetoetsen (daar legt ze ook de sterkste claim in zowel het Engelse als het Amerikaanse onderzoek), en daarnaast ook dat het eraan meewerkt dat meisjes hun relatieve achterstand inlopen, dat onderwijs in heterogene groepen beter is, en nog zo enkele op zich best prijzenswaardige emancipatorische doelen.
Ik vraag mij af of er in Engeland ook pogingen zijn gedaan om onafhankelijk van Jo Boaler inzicht te krijgen in het wiskundeonderwijs zoals dat op de beide scholen is gegevens, de resultaten van de leerlingen op landelijke toetsen, de verdere studieloopbaan van deze leerlingen in het hoger onderwijs.
Ik weet nog niet of ik dit boek diagonaal ga doornemen: ik ben bang dat ik voortdurend niet zal weten wat ik precies lees: bijna alles is kwalitatief, gekozen uit veel meer beschikbaar materiaal, en kwantitatieve gegevens kan ik niet interpreteren (scores op landelijke gestandaardiseerde toetsen). Alan Schoenfeld weet dat overigens wel, zo schrijft hij in het voorwoord: hij herkent er veel in van wat hij zelf in honderden klassen in de VS heeft gezien. Maar ja, ik ben Schoenfeld niet. Toch voert Schoenfeld dit onderzoek aan als bewijs voor de juistheid van de reform-oriëntatie, maar ik kan zijn bewijs niet volgen.
Onderwijsonderzoek gaat niet over het opschrijven van mooie verhalen (in die zin is het boek ongetwijfeld geslaagd), maar over het vergaren van kennis over wat wanneer en hoe werkt en wat niet, Repliceerbaar. Met een onderzoekvraagstelling en onderzoekopzet die zekere garanties biedt dat wanneer de onderzoekvraagstelling onjuist is, dat ook uit de te verzamelen data zal blijken.
21 days ago
Ben Wilbrink --- Joost,
Jo Boaler heeft een zeer uitgebreid netwerk, onder andere in kringen van reform-georiënteerde (constructivistische, ‘realistische’) onderwijsontwikkelaars, -adviseurs en -onderzoekers. Haar actie tegen James Milgram is opmerkelijk, en haar publieke pamflet tegen Milgram is buitengewoon opmerkelijk en in academische kringen ‘not done’. Daar komt dan een internationale petitie-actie overheen. Het is heel goed dat er in Nederland en juist in kringen van onderwijsonderzoekers aandacht aan wordt besteed. Al was het maar omdat blijkt dat de ‘realistische kerk’ (het Freudenthal Instituut) die petitie onderschrijft. Dat een en ander voor mij reden is geweest om er inhoudelijk in te duiken, en daarover te rapporteren, is alleen maar prima: het laat zien dat emoties maar beter door argumenten kunnen worden vervangen.
( . . . )
21 days ago
Ben Wilbrink --- Joost,
Ik mag hopen dat het Cito mijn opmerkingen op het forum over waarschijnlijk vrijgegeven vragen van de Eindtoets Basisonderwijs serieus neemt. Het Cito communiceert niet geweldig met de samenleving. Dat is ook te zien in de wel heel korte mission statement op de website van het Cito: plechtige belofte dat het Cito zijn best doet, maar niets over verantwoording daarvan naar de samenleving http://www.cito.nl/over%20cito/missie.aspx . Ik neem aan dat je als bestuurslid van BON hebt gesproken met de raad van bestuur van het Cito. Tegenwoordig zit de inhoudelijke expertise van het Cito niet meer in het bestuur ( http://www.cito.nl/over%20cito/dit_is_cito/bestuur/leden_rvb.aspx ), maar op lagere echelons. Wat het risico in zich houdt dat het Cito (voor wat de examens betreft: de Stichting) zich beperkt tot het uitvoeren van opdrachten en geen eigen verantwoordelijkheid meer neemt voor de validiteit van de te maken toetsen en examens.
Wat is de relatie tot de Jo Boaler kwestie: het Cito is ongemerkt dan wel bewust de laatste decennia opgeschoven naar constructivistische onderwijsopvattingen, zoals in de Eindtoets Basisonderwijs te zien aan de contextuele ‘reken’-opgaven. Om over de voorbeeldrekentoets-3F van het Cito (in opdracht van het CvE) maar niet te spreken.
21 days ago
Ben Wilbrink --- Ik heb zojuist iets onaardigs over Jo Boaler gezegd: dat zij tot de school van het constructivisme behoort. Misschien beschouwt zij het juist als een compliment. Hoe dat ook zij, een goede bewijsplaats is het slot van haar boek over het Engelse onderzoek op twee scholen (Phoenix Parks ging kort na haar onderzoek over op een conventionele aanpak van het rekenonderwijs, onder maatschappelijke druk begin negentiger jaren in conservatief Engeland):
. . . . the enormous wealth of research evidence, spanning over 60 years, that has shown the advantages of these approaches [‘an open apporach’, i.e. problem-based learning. b.w.] (Baird & Northfield, 1992; Benezet, 1935a, 1935b, 1936; Charles & Lester, 1984; Cobb, Wood, Yackel & Perlwitz, 1992). Phoenix Parks’ open, project-based approach has been eliminated, and there is a real possibility that the students who left the school in 1995 as active mathematical thinkers will soon be replaced by mathematics students who are submissive and rule-bound and who see no use for the methods, facts, rules, and procedures they learn in their school mathematics lessons . . .
Herken hierin de bekende en tot de draad versleten drogreden van Hans Freudenthal en de velen die hem in zijn onderwijsopvattingen volgden, in het bijzonder Adri Treffers: er is mechanistisch onderwijs (schande) en er is realistisch onderwijs (de toekomst).
De literatuur die zij noemt (een zwaktebod):
J. R. Baird & J. R. Northfield (Eds.) (1992). Learning from the PEEL experience. Monash University. http://www.peelweb.org/index.cfm?resource=product&productid=book_learningfrompeel [Dit is een omvangrijk project, waarvan de kern is ‘leren leren’. Waarom dat de claims van Boaler zou ondersteunen, is mij een raadsel.]
L. P. Benezet (1935). The teaching of arithmetic: The story of an experiment. Journal of the National Education Association, 241-244, 301-303, 241-244.
http://www.inference.phy.cam.ac.uk/sanjoy/benezet/three.html [Dit mag amusant zijn, maar ook hier zie ik niet wat Boaler ermee wil aantonen, behalve die zestig jaar dan]
R. Charles & F. Lester, Jr. (1984). An evaluation of a process-oriënted program in mathematical problem solving in grades 5 and 7. Journal for Research in Mathematics Education, 15(1), 15-34. preview: http://www.jstor.org/discover/10.2307/748985 Zie ook [http://goo.gl/FEBHO ] [Dit is een experimentje met een cursus probleemoplossen in klas 5 en 7, ik zie het verband met het werk van Boaler niet; over probleemoplossen is ondertussen wel het een en ander bekend, en echt iets anders dan wat in dit experimentje aan de orde is]
P. Cobb, T. Wood, E. Yackel & M. Perlwitz (1992). A follow-up assessment of a second-grade problem-centered mathematics project. Educational Studies in Mathematic, 23, 483-504. preview http://link.springer.com/article/10.1007%2FBF00571469?LI=true [constructivisme]
21 days ago
Ben Wilbrink --- Is het dan zo lastig om de doeltreffendheid van de ene didactische methodiek tegen een andere te onderzoeken? Niet lastiger dan ander vergelijkend onderzoek. Een goed Nederlands voorbeeld is het MORE-onderzoek waaraan het Freudenthal Instituut heeft deelgenomen. Een hele recente onderzoeklijn die als voorbeeld kan dienen: die van Lieven Verschaffel (Leuven, Vlaanderen). Internationaal vergelijkend onderzoek naar relaties tussen didactisch handelen van leerkrachten en prestaties op TIMSS. Blijft de vakkennis van de leerkrachten hierbij nog wat op de achtergrond, zie dan recent onderzoek van Heather Hill c.s. (en lees nog eens Shulman’s betoog uit 1986 over de onverantwoordelijke verwaarlozing van vakinhoud in zowel onderwijsbeleid als onderwijsonderzoek). Wat vooral lijkt te ontbreken: wat de relaties zijn tussen wiskundeonderwijs in het secundaire onderwijs, en wat er in vervolgonderwijs of beroepen aan wiskundige basiskennis gewenst is. Dat laatste heeft te maken met het probleem dat Shulman al aankaartte, en met het praktische probleem dat voor onderzoek op dit vlak wiskundigen moeten samenwerken met (onderwijs)onderzoekers. Wiskundigen hebben daarbij de handicap dat zij weinig affiniteit hebben met empirisch onderzoek, zodat samenwerking met onderzoekers op zijn best moeizaam zal verlopen.
Over de inhoud van PISA en TIMSS heb ik het maar even niet, dat is een probleemveld op zich, maar geen reden om af te zien van gebruik van de TIMSS-gegevens.
20 days ago
Ben Wilbrink --- Jos,
Dat kan op verschillende manieren: applaudiseren, of afspraken bezegelen.
We moeten er maar eens verder over van gedachten wisselen. Wat denk je bijvoorbeeld van het volgende ondersheid naar categorieën overwegingen:
STOP: de wiskunde in het vwo, van instituut X, in didactiek Y, in leerplan Z, of in didactisch handboek H bevat pertinente WISKUNDIGE ONZIN. (bijvoorbeeld 2/3 = 0,66, en dat niet als foutje van de zetter)
Daar is onmiddellijk de volgende variant op:
STOP: de wiskunde in het vwo, van instituut X, in didactiek Y, in leerplan Z, of in didactisch handboek H bevat pertinente PSYCHOLOGISCHE ONZIN. (bijvoorbeeld: dwepen met ‘wiskundig leren denken’ in plaats van ‘wiskunde leren’, en dat niet stijlbloempje, maar als dekmantel voor het binnenhalen van onduidelijke psychologie)
RISKANT: kennis en procedures laten leren/oefenen die in een later stadium moet worden afgeleerd (bijvoorbeeld: ‘handig’ laten rekenen voordat de leerlingen het rekenen perfect beheersen) (bijvoorbeeld: kansrekening voor basisscholieren)
VRIJ: welke specifieke wiskundige onderwerpen worden behandeld in het vo is, met het oog op vervolgonderwijs waarin wiskunde aan de orde is, waarschijnlijk van ondergeschikt belang, als het maar stevige wiskunde is.
MINIMUM: Er is een bepaalde kern waarvan een zekere beheersing toch wel van cruciaal belang is: voor het basisonderwijs is dat rekenen (conventioneel, uiteraard), voor het voortgezet onderwijs algebra. (bijvoorbeeld is voor rekenen een goede behandeling van breuken waarschijnlijk van groot belang, zowel wiskundig bezien voor de erop volgende algebra, als empirisch onderzocht als voorwaarde voor enig succes in vervolgonderwijs zowel als voor de waarschijnlijkheid dat leerlingen kiezen voor exacte vakken)
STORMBAL: de hype van ‘probleemoplossen, flexibiliteit, transfer, vaardigheden van de 21e eeuw’. (Voor publicaties over deze romantiek worden jaarlijks vele bossen gekapt, maar het gaat bijna uitsluitend over ideologische uitspraken over de wereld, meest zonder dat ook maar een begin wordt gemaakt met enige behoorlijke empirische toetsing van deze hoogdravendheid.)
BRONNEN: didactische beweringen (over effectiviteit van X, of feitelijkheid van Y) horen onderbouwd te zijn met adequate bronnen. (Ook studenten aan de Pabo of lerarenopleidingen zouden dit adagium in de oren moeten knopen, en er hun docenten aan houden) (bijvoorbeeld: meningen van anderen zijn geen adequate bronnen, waarmee een belangrijk deel van de Nederlandse publicaties van voorstanders van realistisch rekenen door de vloer zakt).
Enzovoort. Er is zodoende een catalogus van kernpunten op te stellen, waarbij hopelijk al het nodige empirische onderzoek (goed theoretisch geworteld, dus geen incidenten-onderzoek) uit de literatuur bij elkaar is te halen.
20 days ago
Ben Wilbrink --- Kees Hoogland is geen onderwijsresearcher (als hij dat toch pretendeert, zoals dit jaar in een paper voor een coferentie in Zuid-Korea, loopt hij het risico daarin fantastisch te blunderen. Zoals in dit paper gebeurde: geen onderscheid maken tussen statistische significantie, en of een gevonden verschil van enige importantie is).
Jo Boaler presenteert zich wel als onderzoeker van onderwijs, voelt zich verongelijkt door zakelijke kritiek van wiskundigen op een ideologisch standpunt dat zij ventileert over de effectiviteit van reformdidactieken in het wiskundeonderwijs, en heeft van dit onzakelijke sentiment een issue gemaakt waar anderen weer op hebben ingehaakt met een petitie-actie.
Als je vraagt naar de betekenis van deze draad, en wat mijns inziens de conclusie van de discussie is (waar helaas maar weinigen aan hebben deelgenomen), dan staat die hierboevn geformuleerd.
10 days ago
Ben Wilbrink --- Ik zou het geen soap noemen. Frank van Kolfschooten (‘Ontspoorde wetenschap. Fraude, plagiaat en academische mores’) wijst op de gedragscode voor wetenschappelijk (onderwijs en) onderzoek, opgesteld door de VSNU:
http://www.vsnu.nl/files/documenten/Domeinen/Onderzoek/Code_wetenschapsbeoefening_2004_(2012).pdf
De Nederlandse Gedragscode Wetenschapsbeoefening
Principes van goed wetenschappelijk onderwijs en onderzoek
* herziening 20121 Vereniging van Universiteiten VSNU.
(noot bij de herziening: De gedragscode wetenschapsbeoefening (december 2004) is in mei 2012 op een enkel punt aangepast: Op pagina 5, waar de bepaling is toegevoegd dat van elke wetenschapsbeoefenaar wordt verwacht dat hij
in zijn wetenschappelijke omgeving handhaving van de code zo goed mogelijk zal bevorderen; En op pagina 10 is het vermelden van nevenfuncties een verplichting voor de wetenschapsbeoefenaar geworden. Deze tekst is aanpast aan de afspraken die daarover in het AB VSNU in 2009 zijn gemaakt. Voor het overige is de tekst van de code gehandhaafd.)
De vraag is nu, of ondertekenen van de Boaler-petitie zonder de deugdelijkheid van de aanklachten van Boaler te hebben getoetst, past binnen deze gedragscode.
preambule punt 4: ... Integer handelen door iedere wetenschapsbeoefenaar is een essentiële voorwaarde voor het stellen van vertrouwen in de wetenschap door belanghebbenden. Integer handelen is de steunpilaar waarop goede wetenschapsbeoefening rust.
preambule punt 5: .... Een tweede overkoepelend principe is transparantie; iedere wetenschapsbeoefenaar dient inzichtelijk te (kunnen) maken hoe hij deze principes in praktijk brengt.
preambule 6. De code beschrijft gewenst gedrag en is in dat opzicht complementair aan de regelingen die de universiteiten en het Landelijk Orgaan Wetenschappelijke Integriteit (LOWI) hebben opgesteld over de handelwijze bij ongewenst gedrag. Daarom bevat de code geen sanctieregels of klachtenprocedures.
Reden om eerst maar even bij dat LOWI te gaan kijken:
http://www.knaw.nl/Pages/DEF/28/514.bGFuZz1OTA.html
Over normen van wetenschappelijk onderzoek en een Landelijk Orgaan voor Wetenschappelijke Integriteit (LOWI) Notitie Wetenschappelijke Integriteit:
http://www.knaw.nl/Content/Internet_KNAW/publicaties/pdf/20011082.pdf
Daaruit bijv. de volgende passage, direct een claim va Jo Boaler weersprekend:
“Andere onderzoekers moeten de gelegenheid krijgen onderzoekresulta-ten op hun waarde te beoordelen, onder meer om de bruikbaarheid daarvan voor vervolgonderzoek of voor toepassingen te kunnen bepalen. De methoden waarmee de onderzoekresultaten zijn verkregen, moeten zodanig worden beschreven dat anderen de validiteit hiervan kunnen beoordelen en de moge- lijkheid hebben het onderzoek te herhalen of uit te breiden.”
Uit het lijstje gedragingen die een inbreuk op de wetenschappelijke integriteit vomen:
- het selectief weergeven van resultaten, met name het weglaten van onge- wenste uitkomsten;
- het zeer onzorgvuldig of opzettelijk verkeerd interpreteren van resultaten en conclusies van onderzoek;
- het door onzorgvuldig gedrag in de hand werken van onjuiste interpretaties van onderzoekresultaten door de media;
- het onheus bejegenen van collega’s en ondergeschikten teneinde uitkom- sten van onderzoek te beïnvloeden;
Zie verder de notitie, over de vertrouwensinstantie die iedere instelling moet hebben (loket om vermeende misstanden te melden). Nuttige literatuurlijst (tot 2001, o.a. het eerder boek van Frank van Kolfschoten: ‘Valse vooruitgang’ (1993)).
23 hours ago
Ben Wilbrink --- De nieuwe ontwikkelingen waar Joost op doelt zijn uitvoerige stukken van James Milgram zowel als van Wayne Bishop, waarin zij uitvoerig op specifieke aanklachten van Jo Boaler ingaan. James Milgram en Wayne Bishop hebben op enkele plaatsen wel eerder een enkele opmerking geplaatst, maar dit is toch de eerste gelegenheid voor serieuze wederhoor, zal ik maar zeggen. Al die petitie-ondertekenaars hadden hier maar beter even op kunnen wachten.
Wayne Bishop (with R. James Milgram): A Response to Some of the Points of: When Academic Disagreement Becomes Harassment and Persecution
http://math.stanford.edu/~milgram/Jo-Boaler-reveals-attacks-AccusationsResponse-trans.html#footnote-5
R. James Milgram (7 december 2012). Private Data - The Real Story: A Huge Problem with Education Research
http://math.stanford.edu/~milgram/test-build-website.html
Zie overigens ook, op het kwalijke punt van Boaler’s beschuldiging van racisme van Wayne Bishop:
Tony Norman 22 oktober 2002): Character assassination in math debate doesn't add up
http://old.post-gazette.com/columnists/20021022tony1022p5.asp
23 hours ago
Ben Wilbrink --- Dit zijn dagen van overdenking. Wat ik overdenk is ook het volgende. De KNAW heeft zich ondubbelzinnig gecommitteerd aan wetenschappelijke integriteit, en dat bevestigd in het Landelijk Orgaan Wetenschappelijke Integriteit LOWI
http://www.knaw.nl/Pages/DEF/28/514.bGFuZz1OTA.html
Het is de bedoeling, bij het vastleggen van richtlijnen voor wetenschappelijke integriteit zoals die van de VSNU, en bij het sanctioneren van wetenschappelijk minder integer gedrag zoals dat uiteindelijk door het LOWI kan gebeuren, dat de hele academische gemeenschap deze richtlijnen heeft geïnternaliseerd en dus vanzelfsprekend naleeft.
Nu is er een KNAW-commissie geweest die zich heeft gebogen over de controverse over de didactiek van het rekenonderwijs, onder voorzitterschap van Jan Karel Lenstra. Deze commissie heeft zich niet ondubbelzinnig expliciet uitgesproken over de kwestie waarover zij was aangesteld (maar lees het commissierapport vooral ook tussen de regels). Ik realiseer mij nu pas, kennis genomen hebbend van de genoemde stukken over wetenschappelijke integriteit, dat de voorzitter van de KNAW hier mogelijk een steek heeft laten vallen door niet de integriteitsvraag te stellen, maar wel in diverse media, mijns inziens ten onrechte, te ventileren dat zijn commissie tot de slotsom zou zijn gekomen dat noch de ene partij (de reform-georiënteerde didactici van het Freudenthal-Instituut), noch de andere partij (de voorstanders van conventioneel rekenonderwijs) empirisch heeft aangetoond dat de eigen didactiek de betere is.
Wat ik mis in het rapport van de KNAW is een antwoord op de vraag of er redenen zijn om verder onderzoek te doen naar de wetenschappelijke integriteit van de werkwijze van het Freudenthal Instituut. Misschien mag ik dat ook niet van deze commissie verwachten, omdat zij in zekere zin paritair was samengesteld uit voorstanders van een realistische rekendidactiek, en anderen; maar dan had het op de weg van de voorzitter van de KNAW gelegen om in in deze lacune te voorzien. Wie de richtlijn van de VSNU doorneemt, ziet onmiddellijk waar de schoen wringt: bij het propageren van het eigen gelijk, zonder te wijzen op het mogelijke gelijk van andere theorieën. Het lijkt me dat ik hier toch met een half woord wel kan volstaan. Zie anders bijvoorbeeld de oratie van Marja van den Heuvel-Panhuizen.
Het ondertekenen van een pamflet over de deugdelijkheid van het op realistische leest geschoeide rekenonderwijs, zoals achttien hoogleraren dat publiekelijk hebben gedaan http://vorige.nrc.nl/opinie/article2039486.ece , lijkt op het eerste en tweede gezicht niet in overeenstemming met de code zoals door de VSNU opgesteld. (Eén van de ondertekenaars is nadien door zijn eigen mand gevallen). Voor het publiekelijk ondertekenen van de petitie voor Jo Boaler lijkt mij hetzelfde te gelden.
14 hours ago
Ben Wilbrink --- Wetenschappelijk onderzoek: dilemma's en verleidingen
Johan Heilbron tweede druk KNAW, 2005
http://www.knaw.nl/Content/Internet_KNAW/publicaties/pdf/20041076.pdf
Zie daarin vooral ook hoofdstuk 6, over opdrachtonderzoek en dus de relatie tussen de opdrachtgever en de opdrachtnemer (wetenschapper).
De ontwikkelingen rond de door de overheid gewenste rekentoetsen bij de eindexamens vo en mbo kennen vele conflicten tussen opdrachtgevers en opdrachtnemers, waarbij op zijn minst vragen gesteld kunnen worden die in het hoofdstuk ‘wetenschappelijke integriteit’ thuishoren. Het kan immers niet zo zijn dat de wetenschapper zijn werk ondergeschikt maakt aan commissieoordelen, of dat hij opdrachten accepteert die hij als wetenschapper mogelijk niet voor zijn rekening kan nemen. De discussie hierover is aangezwengeld door Wilbrink en Hulshof (2011 http://www.e-xamens.nl/archief/2011/3/tijdschrift.pdf ), en loopt voorlopig nog door (in ‘Examens, Tijdschrift voor de Toetspraktijk’ link en op het SBO-congres Toetsen in het VO, 5 februari a.s. http://www.sbo.nl/onderwijs/toetsenvo/ ). Zie ook Wilbrink, Hulshof & Pfaltzgraff, 2012 (Examens, Tijdschrift voor de Toetspraktijk, #3 [http://www.benwilbrink.nl/publicaties/12rekentoets_Ex.htm ], met in #4 een reactie van het College voor Examens), waarin het Cito wordt gevraagd de validiteit van zijn rekentoets-3F te onderbouwen.
3 hours ago
Ben Wilbrink --- ‘Rekenonderzoek vanuit de rekenlectoraten’
Hoe zit het nu met onderzoekers aan hogescholen? Heeft de HBO-Raad de integriteitscode van de VSNU overgenomen? http://www.hbo-raad.nl/onderzoek/kwaliteit
Ik zie geen aandacht voor integriteitsvraagstukken. Is een ‘Diederik Stapel’ in het HBO ondenkbaar?
Ik mag toch aannemen dat lectoren in het HBO universitair zijn gekwalificeerd. Vallen zij daarmee in beginsel ook onder de werking van de integriteitscode van VSNU/NWO/KNAW?
De code serieus nemen zou toch moeten betekenen dat onderzoekers die werken vanuit constructivistische opvattingen, dat telkens expliciet aangeven en daarbij doorverwijzen naar wat overigens de belangrijkste wetenschappelijke benaderingen van de betreffende thematiek zijn.
42 minutes ago // 2 days ago
Ben Wilbrink --- Het LOWI werkt ook met de volgende codes:
OECD report Best Practices for Ensuring Scientific Integrity and Preventing Misconduct (2007) http://www.oecd.org/science/scienceandtechnologypolicy/40188303.pdf
The European Code of Conduct for Research Integrity (2011) http://www.nsf.gov/od/oise/Code_Conduct_ResearchIntegrity.pdf
The Singapore Statement on Research Integrity (2012)
http://www.singaporestatement.org/
Samen met de Nederlandse codes zijn dit uitstekende instrumenten om kritischer om te kunnen gaan met het werk van wetenschappers, en dan vooral die wetenschappers die belangen hebben in bijvoorbeeld het onderwijsveld. Wat zijn belangen? Bijvoorbeeld het behoud van je baan.
Het gaat natuurlijk niet om de majeure misstappen van fraude en fictieve data, maar vooral om de kleine stapjes waarin men afwijkt van het pad van de zuivere argumenten en bevindingen, om op korte termijn een goed doel wat dichterbij te helpen brengen. Al die kleine stapjes vormen door de jaren heen mogelijk wel degelijk een majeure disinformatie van het Nederlandse publiek.
1 day ago
Ben Wilbrink --- Het artikel van Boaler en Staples (2008) was in 2005 beschikbaar als preprint.
Jo Boaler, Megan Staples, “Transforming Students Lives through an
Equitable Mathematics Approach: The Case of Railside School,” preprint
and Teachers College Record, 110(3) (2008), 608-645.
Milgram (7 december 2012): “It is also worth noting that Prof. Wayne Bishop had requested the identities of the three schools from Prof. Boaler shortly after the 3/2/2005 preprint had appeared, but she refused to identify them saying that it was against the law, the requirements of her NSF grant, and her agreements with the three schools.
It is worth noting again that her refusal is contrary to federal recommendations (see Appendix), and to Stanford’s openness of research requirements.”
In dit (dec. 2012) stuk van Milgram geen woord over de klachtenprocedure in 2006.
Ook Milgram geeft geen informatie over deze 2006-klachtenprocedure (wel uitvoerig over de klacht die Boaler aanhangig maakte bij deze commissie, tegen Bishop: interessant, want Boaler legde hier een aantal van haar bekende klachten neer, Bishop kon in zijn weerwoord de commissie ervan overtuigen dat de aanklachten ongegrond waren).
Die klachtenprocedure in 2006 blijft mysterieus. Meer informatie geeft:
http://www.insidehighered.com/news/2012/10/15/stanford-professor-goes-public-attacks-over-her-math-education-research
maar hier ontbreekt eveneens de tekst van de klacht van Milgram. Duidelijk is wel dat de Stanford-commissie niet treedt in de argumenten voor of tegen een bepaalde opvatting over wiskundeonderwijs:
“We understand that there is a currently ongoing (and apparently passionate) debate in the mathematics education field concerning the best approaches and methods to be applied in teaching mathematics. It is not our task under Stanford's policy to determine who is 'right' and who is 'wrong' in this academic debate. We do note that Dr. Boaler's responses to the questions put to her related to her report were thorough, thoughtful, and offered her scientific rationale for each of the questions underlying the allegations. We found no evidence of scientific misconduct or fraudulent behavior related to the content of the report in question. In short, we find that the allegations (such as they are) of scientific misconduct do not have substance.”
Bovenstaande bewoordingen suggereren dat de klacht is geweest dat Boaler haar data gefabriceerd heeft, maar zolang de tekst van Milgram”s aanklacht niet bekend is, blijft dat gissen. (De herhaalde weigering, niet alleen bij de verzoeken van Milgram en Bishop maar ook van anderen, om de data voor onderzoek vrij te geven, wekt uiteraard het vermoeden dat er iets met de data niet in orde is. De onderzoeker zal dan uiteraard blijven proberen die data toch in handen te krijgen, via beschikbare juridische mogelijkheden, zoals in dit geval een klachtencommissie, of via wetgeving over openbaarheid van overheidsstukken en dus ook stukken van publieke scholen).
19 hours ag
Ben Wilbrink --- Dat niet vrijgeven van onderzoekgegevens is een ernstige schending van welke wetenschappelijke code dan ook, in dit geval ook van de code van Stanford. Milgram, Clopton en Bishop waren zich in 2005 niet bewust van het voorschrift in de Stanford code http://rph.stanford.edu/2-6.html dat onderzoekers hun data beschikbaar moeten stellen aan gekwalificeerde onderzoekers die daarom vragen (Milgram schrijft dat in zijn stuk december 2012). Ik leid daaruit af dat de aanklacht van Milgram in 2006 NIET is geweest dat Boaler haar data niet beschikbaar wilde stellen. Ik kan natuurlijk niet overzien hoe de klachtenprocedure zou zijn gelopen wanneer dat WEL de aanklacht van Milgram was geweest.
Hoe belangrijk is dat al dan niet beschikbaar stellen van onderzoekgegevens? Ik wijs slechts op het door de mand vallen van Diederik Stapel: bij het besluit van zijn rector om dan stante pede de scholen te gaan bezoeken waar hij zijn onderzoeken zou hebben gedaan, bekende hij zijn fraude (publieke mededeling hierover door Bram Buunk, hoogleraar sociale psychologie in Groningen).
18 hours ago
Ben Wilbrink --- De geheimzinnigheid van Jo Boaler over haar data staat niet op zich. Althans, dat is de ervaring van James Milgram. Dat is op zichzelf nog geen ramp, maar het blijkt dat op basis van halfwas-onderzoek zoals van Jo Boaler, er grootschalige verschuivingen in de didactiek in het secundair onderwijs plaatsvinden, of plaats dreigen te vinden. Hij noemt (in zijn stuk van 7-12-2012) een ander voorbeeld:
Diane J. Briars & Lauren B. Resnick (2000). Standards, assessments - and what else? The essential elements of Standards-based school improvement. CRESST Technical Report 528
http://www.cse.ucla.edu/products/reports/tech528.pdf
Dit is saillant, want Lauren Resnick is een grote naam, al laat zij zich tegenwoordig in met misschien meer ideologisch/politiek dan wetenschappelijk gedreven groepen. Zoals de beweging (of moet ik zeggen: onderneming?) van de vaardigheden van de 21e eeuw.
http://www.lrdc.pitt.edu/BOV/documents/Resnick_NestedLearningSystems_033012.pdf-http://www.washingtonpost.com/wp-dyn/content/article/2009/01/04/AR2009010401533_2.html?sid=ST2009010500945 -
http://www.educ.ethz.ch/pro/litll/oecdbuch.pdf [een OECD boek, met interessante bijdragen. Die van Lauren Resnick is onbegrijpelijk zonder de aangehaalde literatuur te kennen, en het meeste ken ik niet]
Wayne Bishop heeft in een brief van 2002 een en ander te melden.
http://www.nychold.com/let-bishop-020410.html
In feite is het een relaas over een speurtocht om te achterhalen of de schooldata van Briars en Resnick bestaan, zo ja waar dan, en of ze dan ook kloppen. De brief van Bishop is compact gevuld met specifieke details, ik kan dat niet eenvoudig overzien. Kennelijk is hier eveneens het probleem dat de onderzoekers Briars en Resnick hun data niet beschikbaar willen stellen aan andere onderzoekers die gewoon meer willen weten van dat specifieke onderzoek. Overbodig te zeggen dat Briars en Resnick zich met dit onderzoek in de Math Wars hebben begeven.
Zie ook:
http://mathforum.org/kb/search!execute.jspa?forumID=206&threadID=485647&q=resnick&rankBy=10001 -
http://goo.gl/mzkFp (Bishop voordracht 2002)
http://goo.gl/KoSa3 (antwoord van Resnick op kritiek op een vergelijkbaar onderzoek in New York)
https://www.mheonline.com/assets/pdf/download/em_scientific_research_and_evidence_of_effectiveness.pdf ( Everyday Mathematics )
Het is heel onbevredigend dat ik in een uur tijd geen informatie van Lauren Resnick en/of Briars kan vinden, waarin zij reageren op de naspeuringen van Wayne Bishop. Waarschijnlijk hebben zij niet publiekelijk gereageerd, neem ik dan maar aan. Dat wil niet zeggen dat zij het CRESST-rapport hebben teruggetrokken. Vanuit CRESST wordt er in latere rapporten naar verwezen, zonder te melden dat er een controverse is over dat onderzoek. Wat een gedoe. Gaat het ergens over? Jazeker, want met al dat googelen vind k op heel wat plekken een verwijzing naar Briars & Resnick 2000, als empirisch bewijs voor de effectiviteit van een reform-curriculum wiskunde.
56 minutes ago
Ben Wilbrink --- Bishop (2002): “One other lingering disillusionment, we never were provided the list of PPS schools singled out for study in CRESST Report #528 in spite of the request in our original proposal and repeated requests before and after and in spite of signing confidentiality statements to minimize embarrassment to the schools in question. It is only reasonable to assume that there are professional interests at stake making sure that the Everyday Mathematics track record at these schools does not become known to the Board or to outside observers. It is only reasonable to assume that it would contradict the inflated rhetoric of the CRESST paper, the US House testimony mentioned herein, etc. The closest we came to getting the names of these schools was a memorandum, that we were instructed to keep confidential, from Dr. Briars on our arrival. It was dated October 23 and my analysis of April 10, 2002, to the Board was thoroughly discredited therein. ”
1 second ago
Ben Wilbrink • Het gegeven citaat van Bishop komt uit
Presentation to the Pittsburgh Public Schools Board of Directors October 24, 2002 (Word: http://goo.gl/16OCB )(herstel van verkeerde link hierboven)
Ik moet bekennen dat ik toch wel behoorlijk geschokt ben. Het wordt steeds duidelijker dat vooraanstaande onderzoekers, reform-georiënteerd, zoals Jo Boaler en Lauren Resnick, waarschijnlijk bereid zijn om ter bevordering van hun streven het minder nauw te nemen met eenvoudige codes voor wetenschappelijk gedrag.
Nota bene: ik heb het hier alleen over het niet vrij willen geven van de onderzoekgegevens op basis waarvan artikelen zijn gepubliceerd die vervolgens in de reform-gemeenschap zijn aangehaald als bewijs voor de effectiviteit van de reform-georiënteerde wiskunde-didactiek (in Nederlandse termen: realistisch wiskundeonderwijs).
Waar ik me vervolgens ook zorgen over maak: hoe Alan Schoenfeld hierin staat. Wayne Bishop zegt er in zijn brief van 2002 iets over dat onheilspellend is. Schoenfeld (2002) is uitvoerig over het Pittsburgh onderzoek, en hij meldt de controverse in zijn 2004-artikel:
“Shortly after an article describing the successes of standards-based instruction in Pittsburgh, PA was published (Schoenfeld, 2002), anti-reformers mounted a campaign that resulted in a “showdown” before Pittsburgh’s board of Education. This past year, New York City’s mathematics curriculum choices were embroiled in so much controversy that it became front-page news across the country.”
Wat hij met de showdown bedoelt, weet ik niet; het memorandum van Briars dat geheim moest blijven?
In 2002 gebruikt Schoenfeld de Pittsburgh-data van Briars & Resnick voor een jubelverhaal over de fantastische resultaten van het reform-georiënteerde wiskundeonderwijs aldaar. Ik gebruik met opzet deze woorden, om te benadrukken dat het toch merkwaardig is dat deze wonderbaarlijke resultaten (zie Figuur 1 in zijn 2002) tien jaar later niet hebben geleid tot een top-vijf positie van de VS op internationale tests.
In het licht van de geheimzinnigheid van Briars en Resnick over hun onderzoekgegevens en waar die zijn verzameld, is het opmerkelijk dat Schoenfeld zich waagt aan de volgende uitspraak (blz. 11):
“The remainder of this section reviews such data, focusing largely on data from the city of Pittsburgh, Pennsylvania. The reason for devoting so much space to that discussion is that Pittsburgh offers an early and unusually well documented set of results concerning the large-scale implementation of reform -- including extensive data regarding the impact of reform curricula on the racial “performance gap” discussed above.”
Lees in het bovenstaande ook dat de resultaten van het reform-onderwijs in Pittsburgh anno 2002 ongeveer de enige beschikbare empirische gegevens vormden waarmee de reform-gemeenschap naar buiten kon/wilde komen. Dit verklaart mogelijk de heftigheid van de controverse zoals die zich in Pittsburgh ontrolde: na de mega-claims van Briars, Resnick en Schoenfeld konden zij onmogelijk daarop terugkomen zonder ernstig gezichtsverlies. Aan de andere kant staan dan de scherpe wiskundige analytici Milgram en Bishop die zeker weten dat hier iets niet klopt, maar die de cruciale onderzoekgegevens kunnen krijgen.
Alan H. Schoenfeld (2002). Making mathematics work for all children: issues of standards, testing, and equity. Educational Researcher Vol. 31 No. 1 (January-February), pp. 13-25
http://wera-web.org/links/Schoenfeld_Equity_paper.pdf
Alan H. Schoenfeld (2003 draft). Math wars. http://www.math.cornell.edu/~henderson/courses/EdMath-F04/MathWars.pdf
Publicatie: Educational Policy, 18, 2004, pp 253-286
http://epx.sagepub.com/content/18/1/253 (abstract)
Het ziet ernaar uit dat ik zelf de analyse van Schoenfeld 2002 (resp. Briars & Resnick 2000) (roept veel vragen op) moet vergelijken met die van Bishop (2002 voordracht). Ook de claims in Schoenfeld 2004, trouwens.
1 second ago
Ben Wilbrink --- De eerste stap in verder onderzoek is nu: kritische analyse van wat Schoenfeld (2002) schrijft over de resultaten in Pittsburgh. Iedereen kan dat doen (Milgram heeft het gedaan), maar ik geef vast een paar handreikingen:
* Schoenfeld gaat waarschijnlijk uit van goed vertrouwen in het onderzoek en de rapportage van Briars en Resnick. Dat is helemaal niet bijzonder, maar soms moeten er wel kritische vragen worden gesteld. Doet Schoenfeld dat?
* Wij, onderzoekers van het gebruik van ‘Everyday Mathematics’, keuren onze eigen resultaten. Ook in Nederland zijn er wel ersnstige conflicten geweest met onderwijsvernieuwers die verlangden dat hun vernieuwing zou worden geëvalueerd met toetsen die op de vernieuwing waren gebaseerd. (De uitgever van ‘Everyday Mathematic’ heeft daar overigens een gezond oordeel over, zoals geciteerd door Milgram in zijn 2002-voordracht).
* Of leerlingen tevreden zijn is behoorlijk irrelevant. Hetzelfde geldt voor leraren en ouders. Uiteindelijk tellen alleen de resultaten. Zijn die goed, deugen ze?
* Inhoudelijk: als ‘Everyday Mathematics’ claimt een algebra-programma te bieden, dan is het eenvoudig vast te stellen of het gebodene inderdaad algebra is. Of iets anders.
* Deelname: wat is de relatieve deelname aan het oude/nieuwe wiskundeprogramma. Nemen alle deelnemers dan ook del aan de toetsing? Zijn bij de rapportage alle resultaten van alle getoetste leerlingen meegenomen?
* vervolgstudie: hoe vergaat het de leerlingen uit het vernieuwde programma in hun eerste collegejaar, vergeleken met eerdere cohorten van dezelfde school, met leerlingen van andere scholen.
* circumstantial evidence: Er wordt heel wat getest en getoetst in Amerika, in beginsel komt dat in geanonimiseerde vorm in publieke bestanden terecht. Ook de leerlingen uit et vernieuwde wiskundeprogramma leggen andere toetsen af. Hoe doen zij het daarop? Bijvoorbeeld op de toetsen die diverse colleges eisen bij selectieve toegang? Dit is niet eenvoudig uit te zoeken, maar het zou bij zulke sterke claims als Schoenfeld doet, zeker moeten gebeuren. Vóórdat de claims de wereld in gaan.
* Openheid. Ik blijf het maar herhalen: onderzoekers die andere onderzoekers geen toegang tot hun data geven, inclusief hoe en waar die data zijn verzameld, zetten zichzelf buiten het wetenschappelijke discours. Dan blijft alleen een vernieuwingsbeweging over die ieder argument aangrijpt om het eigen gelijk te bevestigen (anti-popperiaans, dus).
* Gaat Schoenfeld concreet in op publiekelijk gestelde vragen over het Brairs-Resnick-onderzoek? Of worden zij weggezet in de hoek van behoudende wiskundigen die ouders voor het eigen karretje proberen te spannen?
* Is mijn vertrouwen in Schoenfeld door hemzelf beschadigd?
Prettig weekeinde.
O ja, voor de psychologen onder ons: deugt de psychologie achter/onder de NCTM-Standards? En dus van een programma zoals ‘Everyday Mathematics’ (die van 1990, danwel de herziene van 2000)? Dit is dezelde vraag als die naar de psychologische zin en onzin van wat als de ‘vaardigheden van de 21e eeuw’ in het onderwijs wordt gepropageerd door diverse belangengroepen.
1 day ago
Ben Wilbrink --- Ik wees op hoofdstuk 2 in het proefschrift van Pauline, maar dat was niet omdat zij daarin het beleid in het vierde kwart van de vorige eeuw verdedigt: zij beschrijft het in neutrale zin.
Over wiskunde-A als vak waarin het denken in concrete contexten de overhand heeft gekregen boven de algebra, valt nog het volgende te filosoferen.
Opgaven in de vorm van concrete contexten waarover moet worden nagedacht, passen goed in intelligentietests. De stelling dat realistische reken- en wiskundetoetsen intelligentietests zijn, laat zich goed verdedigen. (Dit is een actueel en heet onderwerp, betreffende de rekentoets-3F: http://goo.gl/9OzGo )
Uit de literatuur dit voorbeeld. Context: ‘Je broer gaat in zijn pickup truck naar de stad . . . ’ Antwoord van leerling uit de Lute-indianenstam: ‘Mijn broer heeft geen pickup’.
Dit voorbeeld doet mij denken aan een heel ander voorbeeld van onvermogen om abstract te denken, geciteerd door James Flynn, zoiets als: op een logische vraag over een ijsbeer in Parijs kon de oude boer alleen maar antwoorden dat er in Parijs geen ijsberen zijn.
Het vermoeden van James Flynn is dat de stijging in IQ zoals we die in West-Europa al een eeuw documenteren, vooral zit op het steeds beter kunnen abstraheren, de wereld als het ware door een wetenschappelijke bril kunnen zien. Dat maakt dat jongelui van vandaag gemiddeld twee standaarddeviaties hoger scoren dan hun overgrootouders op dezelfde leeftijd deden. Dat is een fantastisch verschil, terwijl we tegelijk weten dat die overgrootouders bepaald niet minder intelligent in generieke zin kunnen zijn (relevante evolutionaire processen zijn er immers niet op deze superkorte termijn).
Lezen we nog eens de interessante columns van Ed de Moor (in Bartjens, of zoals verzameld in zijn 1999-boekje) over rekenonderwijs in vroeger tijden terug, vooral in de negentiende eeuw, dan valt op hoe vaak daar bij pedagogen en didactici sprake is van het streven om leerlingen via het rekenen of de wiskunde te leren denken. Dat thema heeft natuurlijk de speciale belangstelling van De Moor, ook al omdat Hans Freudenthal op het wiskundig leren denken zo de nadruk had gelegd, maar toch.
Koppel nu een en ander aan elkaar. Een creatieve daad, zal ik maar zeggen. Dan krijgen we de volgende stelling: in de negentiende eeuw hadden leerlingen ongetwijfeld veel moeite om abstract te leren denken, veel en veel meer moeite dan leerlingen vandaag de dag daarmee hebben. Rekenen en wiskunde, als abstracte kennis en vaardigheid, konden in die tijd waarschijnlijk terecht worden gebruikt om dat vermogen tot abstract redeneren bij te brengen. Het vermogen om te ‘denken’ dus.
Vervolgstellingen liggen dan voor de hand. Dat streven van wiskundigen om leerlingen te leren denken geven zij door van generatie op generatie, tot op de dag van vandaag. Maar de wereld is intussen veranderd: jongeren kunnen door de bank genomen al ongelooflijk goed abstract denken, vergeleken met hun overgrootouders. Het wordt tijd dat deze ideologie van het reken- en wiskundeonderwijs eens kritisch-empirisch op de hak wordt genomen. Een en ander raakt dan ook de ideologie van reken- en wiskundeonderwijs als breekijzer om maatschappelijke ongelijkheden te reduceren (de ‘equity’-ideologie in vooral de VS, maar ook in Nederland). Er is niets mis met een politiek streven om maatschappelijke ongelijkheden terug te brengen tot breed aanvaardbare proporties. Het onderwijs is daar zeker ook instrumenteel in, en daarmee tevens speelbal van politieke sentimenten. Maar het is waarschijnlijk een of twee bruggen te ver dat de didactiek van het reken- en wiskundeonderwijs daar instrumenteel bij zou kunnen zijn, of moeten zijn. Afijn, daar valt een maatschappelijke discussie over te voeren, waar een discussie over het werk en de positie van Jo Boaler zeker bij hoort.
1 hour ago
On Jo Boaler's website: Math Wars
pdf (on Jo Boaler website) (via Harry Webb)
Is this Boaler's answer to Wayne Bishop?
In the Netherlands behavior like this would be an infringement of the integrity code:
Jo Boaler (2009). The elephant in the classroom. Helping children learn and love maths. Souvenir Press. isbn 9780285638754
info on revised edition; chapter 1 pdf annas archive
Jo Boaler (2015). Mathematical mindsets. Jossey-Bass. isbn 9780470894521 reviewed
Greg Ashman (2016). Why the Scientific American article on maths education doesn’t add up
blog
Why Math Education in the U.S. Doesn't Add Up. Research shows that an emphasis on memorization, rote procedures and speed impairs learning and achievement
By Jo Boaler, Pablo Zoido on November 1, 2016 Scietific American article
Daniel Willingham, Danile Ansari (March 13, 2019). Objections to Jo Boaler's Take on Neuroscience and Math Education blog
On February 28th Stanford Professor Jo Boaler and one of her students, Tanya Lamar, published an article that we think is a fine example of how not to draw educational conclusions from neuroscientific data. While we’re more interested in applauding great work than pointing out problems, we feel we can’t ignore an article in a high-profile venue like Time Magazine.
Psychological Imprisonment or Intellectual Freedom?
A Longitudinal Study of Contrasting School Mathematics Approaches and Their Impact on Adults’ Lives
Jo Boaler, Sarah Kate Selling 2018) pdf
Professor Karen? Woke Stanford education prof calls the cops on Berkeley prof who exposed her $5000/hour consulting fee! Stanford Review 5 April 2022. article
Maxwell Meyer (Aug 13 2021). The Two-Front War on Academic Standards. A deep dive into the equity hustlers destroying American education from top to bottom. Pirate Wires article
Greg Ashman (December 15, 2021). California Moves to Replace Math With “Data Science,” in the name of Equity and Inclusion. Education Next blog
Boaler, Jo (October 2012). "When Academic Disagreement Becomes Harassment and Persecution". pdf
Dit verschrikkelijke stuk is beantwoord door Bishop en Milgram:
Bishop, Wayne; Milgram, R. James. "A Response to Some of the Points of: When Academic Disagreement Becomes Harassment and Persecution". math.stanford.edu. Archived from the original on 24 March 2017. No longer available there. However, get it here
Milgram, R. James. Private Data - The Real Story: A Huge Problem with Education Research pdf
Annymous anonboaler@proton.me (March 20, 2024). Boaler citation misrepresentation complaint (to Stanford provost and vice-provost). via @rastokke https://twitter.com/garrytan/status/1770505733173625301 pdf
Susannah Luthi (March 20, 2024). Complaint against Jo Boaler alleges 52 instances of misrepresented research. The Washington Free Beacon. article
Jo Boaler (not dated, supposedly arpil 2024) The Silencing of Research. Threo. article
"Stanford was forced to investigate and reviewed all my data. The university concluded that there was no evidence of misconduct and closed the investigation." What I have understood is that Stanford did NOT investigate the charges against her work. And Boaler did NOT answer them, though she had promised to do so on a short term.
http://www.benwilbrink.nl/literature/boaler.htm
http://goo.gl/5zIde