24 april 2012 \ contact ben at at at benwilbrink.nl
http://www.benwilbrink.nl/projecten/opbrengstgericht.htm
De kreet ‘opbrengstgericht werken’ vertrouw ik niet. Je ziet in de beschrijvingen van o.a. de Inspectie dat het allemaal PROCES is wat de klok slaat. Of CONTROLE, het is maar net welke bril je opzet: alles draait om toetsresultaten en wat daar aantoonbaar mee is gebeurd, dus om de administratieve sporen die je scholen kunt dwingen te vormen.
Natuurlijk moet je het nodige doen met de toetsresultaten die zijn verzameld. Maar dit is wel een smalle ingang op de thematiek van de kwaliteit van het onderwijs.
Bijvoorbeeld: met een gebrekkige didactiek opbrengstgericht werken is een fluitje van een cent, volgens de definitie van de Inspectie, maar zal dus nauwelijks iets opleveren. Het is hetzelfde probleem met geavanceerde toetstechnieken, zoals de rekentoetsen per computer: garbage in = garbage out. Erger nog: de procesgerichtheid gaat ten koste van aandacht voor de inhoud (in dit geval: de didactiek, de rekenkennis van de leraar).
Het intrigeert me wel. Vandaar deze pagina.
De kreet ‘opbrengstgericht’ komt voor mij een beetje uit de lucht gevallen, maar de algemene thematiek is natuurlijk goed bekend uit meer dan een eeuw onderwijsonderzoek. Dat politici proberen door het opvoeren van de druk, scholen tot betere prestaties aan te zetten, is van alle tijden. Dat het een politiek is die eigenlijk nooit positieve resultaten oplevert, en eigenlijk altijd wel negatieve, is een al even oud resultaat. Wees dus achterdochtig.
Daar komt nog bij dat scholen en leraren, of dat nu in Nederland is of elders in de wereld, altijd inventief blijken in het manipuleren van de adminsitratieve gegevens. Het grijze gebied rond de Cito Eindtoets Basisonderwijs is daar een voorbeeld van (welke leerlingen mogen met de toets meedoen? Welke leerlingen blijven al eerder een jaartje overdoen? Hebben we dit jaar een paar goede toetsen om de kinderen op die afneme te trainen? Enzovoort).
Mogelijk is met ‘opbrengsgericht’ hetzelfde bedoeld wat in het Engels ‘value-added’ heet: wat voegt de school toe aan de kennis en kunde van de leerlingen? De Engelse term is adequater: daar zit immers ondubbelzinnig is dat de school zich niet de autonome ontwikkeling van de leerlingen moet toeeigenen. Bij de Nederlandse term blijft dat onduidelijk: opbrengst is opbrengst. De redenering kan zijn dat een opbrengstverbetering na een koerwijziging in het schoolbeleid, waarschijnlijk veroorzaakt is door die koersverandering. Maar dat is echt te kort door de bocht: zo’n verband is lastig aan te tonen, en het gaat om de opbrengst als zodanig, niet om het verbeteren van die opbrengst (dat is misschien een eenmalige zaak bij scholen die echt iets te verbeteren hebben).
Of is met opbrengstgericht onderwijs eigenlijk bedoeld dat onderwijsmethoden enzovoort evidence-based zouden moeten zijn?
Hierbeneden een aantal studies die aangeven dat er belangrijke verschillen tussen leraren zijn, verschillen die spectaculair zijn. Het laat zich raden dat wat voor verschillen tussen leraren geldt, ook geldt voor verschillen in de kwaliteit waarin leraren hun rekenmethode enzovoort in de klas uitvoeren. Dus ook voor verschillen in kwaliteiten tussen rekenmethoden, en rekendidactieken. Zo is er een belangrijk kwalitatief verschil tussen de typische methode van rekenlesgeven in de VS, en die in Japan, om maar eens iets te noemen. Ik meen in het kader van TIMMS is er een programma geweest waarin opnamen van rekenlessen zijn gemaakt, die door onderzoekers zijn geanalyseerd. De referenties zal ik nog opzoeken.
Abigail B. Brown & Jack W. Clift (2010). The unequal effect of adequate yearly progress: Evidence from school visits. American Educational Research Journal, 47, 774-798. abstract
Hoe de No Child Left Behind Act van George W. Bush impact heeft op scholen, leraren en ouders. Mind you: NCLB (die wet) is een specifieke invulling van wat opbrengstgerichtheid van Amerikaanse scholen moet zijn (volgens George W. dan).
Raj Chetty, John N. Friedman & Jonah E. Rockoff (december 2011). The long-term impact of teachers: teacher value-added and student outcomes in adulthood. Cambridge. Mass.: National Bureau of Economic Research. Working Paper 17699. pdf van executive summary — pdf van rapport
Eric A. Hanushek (2011). The economic value of higher teacher quality. Economics Education Review, 30, 466-479. abstract (Working Paper 16606, National Bureau of Economic Research, Cambridge, MA, 2010 pdf)
Op het CPB lezen ze dit tijdschrift ook: werk van Hanushek wordt aangehaald in het kader van de claim dat ondermaats wiskundeonderwijs ons land op termijn zo’n 10 miljard jaarlijks kost aan gederfd inkomen). Ingersoll & Perda (2010) laten voor de VS zien dat er een probleem is bij het op peil houden van een lerarenbestand dat behoorlijk bevoegd is, althans in de VS:
Richard M. Ingersoll & David Perda (2010). Is the supply of mathematics and science teachers sufficient? American Educational Research Journal, 47, 563-594. abstract
Mary Kay Stein & Julia H. Kaufman (2010). Selecting and supporting the use of mathematics curricula at scale. American Educational Research Journal, 47, 663-693. abstract
Here we report on research that begins to unravel the question, “What curricular materials work best under which kinds of conditions?” We address this question from the point of view of teachers’ capacity to implement curricula that place varying demands on and provide varying levels of support for their learning.
William M. Saunders, Claude N. Goldenberg and Ronald Gallimore (2009). Increasing achievement by focusing grade-level teams on improving classroom learning: A prospective, quasi-experimental study of Title I schools. American Educational Research Journal, 46, 1006-1033. abstract
In this article, we present a brief review and critique of the research base and describe a 5-year quasi-experimental investigation comparing achievement gains in nine Title I schools relative to six matched schools. The nine experimental schools organized and trained grade-level teams to increase tested achievement by focusing on the improvement of students’ classroom learning. The results indicated that significant achievement gains were achieved when grade-level teams were provided with consistent meeting times, schoolwide instructional leadership, and explicit protocols that focused meeting time on students’ academic needs and how they might be instructionally addressed. This might be one of the first quasi-experimental investigations demonstrating increased average achievement over time in schools that implemented teacher teams focused on improving student learning.
Ronald H. Heck & Philip Hallinger (2009). Assessing the contribution of distributed leadership to school improvement and growth in math achievement. American Educational Research Journal, 46, 659-689. abstract
( .. ) there is increased interest in how leadership is shared or “distributed” among administrators, teachers, and parents in schools
In this article we ask, How does distributed leadership contribute to the improvement of learning in schools? We test a conceptual model in which the effects of distributed school leadership on growth in math achievement are mediated by the school’s academic capacity and social-curricular organization. Our proposed analysis of leadership effects differs from previous quantitative work in this field through its focus on measuring organizational variables and student learning on multiple occasions and describing how changes in the initial levels of these organizational variables predict subsequent growth in student learning.
Carol Corbett Burris, Jay P. Heubert & Henry M. Levin (2006). Accelerating mathematics achievement using heterogeneous grouping. American Educational Research Journal, 43, 105-136. abstract
In their analysis of American students’ achievement in the Third International Mathematics and Science Study, William Schmidt and his colleagues (1999) noticed how tracking creates differences in students’ opportunities to study mathematics and how reduced opportunities result in lower achievement. Commenting on tracking in mathematics and science, they noted that although there will be differing access to courses as a consequence of state and local control of schools, there are other differences in access that stem from policies, such as tracking, that deny students access to educational opportunities. We examined how students’ mathematics course-taking patterns and mathematics achievement were affected when the policy of tracking was abandoned and all students took accelerated mathematics study in heterogeneously grouped classes. In the following, we summarize findings of importance along with implications for practice, policy, and future research.
Adrie Visscher & Melanie Ehren (2011). De eenvoud en complexiteit van Opbrengstgericht Werken. Analyse in opdracht van de Kenniskamer van het Ministerie van Onderwijs, Cultuur en Wetenschap. pdf
De samenvatting die de auteurs zelf geven, is juichend van toon over wat er zoal mogelijk is. De vraag is natuurlijk: is die optimistische toon terecht?
K. Verbeeck en M. Verschuren (2010). Het kwartje valt. Doelgericht rekenen in anders georganiseerd onderwijs. KPC-groep. pdf hier ophalen
Wilma Willems en Kris Verbeeck (2011). De leraar als regisseur. Opbrengstgericht rekenonderwijs bij de invoering van de referentieniveaus in PO en VO. KPC-groep. pdf hier ophalen
Een rapport met een bescheiden omvang, desondanks vijf bladzijden literatuuropgaven. Ook een heel klein lijstje met ‘handige websites’: een van SLO, de overigen van het FI. De drie delen van het rapport: Doorlopende leerlijnen rekenen; Opbrengstgericht onderwijs; De referentieniveaus in de praktijk: meten en meetkunde. Als bijlagen: Checklist Didactiek rekenonderwijs; Kijkwijzer Opbrengstgericht rekenonderwijs.
NWO PROOO (oktober 2010). Programmeringsstudie Rekenonderzoek in het primair onderwijs. pdf
“Het Ministerie van Onderwijs, Cultuur en Wetenschap (OCW) heeft mede naar aanleiding van het rapport van de KNAW aan NWO/PROO het verzoek gedaan om een onderzoeksprogramma op te zetten ter versterking van het empirisch onderzoek naar effectieve aanpakken in het rekenonderwijs in het regulier en speciaal basisonderwijs. De programmeringsstudie die hier voor u ligt geeft een korte schets van hetgeen bekend is over knelpunten in rekenvaardigheden en over effecten van rekenaanpakken op de rekenvaardigheid van leerlingen. De programmering richt zich op twee typen onderzoek: fundamenteel wetenschappelijk onderzoek en research and development (R&D).”
Er hoort een commissie bij dit NWO-onderzoekprogramma:
Het Cito weet meer te melden dan NWO: “Met de toekenning van de projecten is in totaal 2,7 miljoen euro vergeven. Voor wetenschappelijk onderzoek zijn twee van de zes ingediende aanvragen toegekend en bij de R&D-projecten drie van de elf.”
Inspectie van het Onderwijs (2010). Opbrengstgericht werken in het basisonderwijs. Een onderzoek naar opbrengstgericht werken bij rekenen-wiskunde in het basisonderwijs. pdf
Inspectie van het Onderwijs (2008). Basisvaardigheden rekenen-wiskunde in het basisonderwijs. Een onderzoek naar het niveau van rekenen-wiskunde in het basisonderwijs en naar verschillen tussen scholen met lage, gemiddelde en goede reken-wiskunderesultaten. pdf
Interessant rapport.
De bovenstaande signalen wijzen op het belang van reflectie op wat goed reken-wiskundeonderwijs nu eigenlijk inhoudt. In navolging van Van der Craats (2007), Gelderblom (2007) en Van Putten (2008) pleit de inspectie voor meer evidence-based reken-wiskundeonderwijs. Omdat er tot nu toe in Nederland weinig onderzoek is uitgevoerd naar de relatie tussen de kwaliteit van onderwijsprocessen en de kwaliteit van de opbrengsten, geeft het onderhavige onderzoek aanleiding tot het doen van vervolgonderzoek naar het reken-wiskundeonderwijs.
p. 52-53
Op basis van het onderhavige onderzoek kan geconcludeerd worden dat met name het analyseren van de resultaten, het borgen van de kwaliteit van het leren en onderwijzen, het didactisch handelen, de leerlingenzorg en de geplande onderwijstijd te beschouwen zijn als kritische succesfactoren voor hoge opbrengsten. Deze factoren zijn ook door scholen te beïnvloeden.
p. 53
Bijlage I — Geraadpleegde deskundigen
Dr. Nina Boswinkel — Freudenthal Instituut
Gert Gelderblom — CPS
Prof. Dr. Koeno Gravemeijer — Freudenthal Instituut
Prof. Dr. Marja van den Heuvel — Freudenthal Instituut
Prof. Dr. Wied Ruijssenaars — Rijksuniversiteit Groningen
p. 59
Onderwijsraad. Advies (28-2-2011). Naar hogere leerprestaties in het voortgezet onderwijs. pdf
http://www.rekenpilots.nl/ (Projectbureau Kwaliteit, onder bestuurlijke verantwoordelijkheid van de PO-Raad (wat is dit voor malle constructie?)) (gericht op het speciaal onderwijs)
Actieplan ‘Basis voor presteren’ pdf
In de discussie over rekendidactiek noemen partijen diverse kenmerken van gewone en van realistische rekendidactiek die zorgelijk zouden zijn. Voor opbrengstgericht werekn lijkt dat op het eerste gezicht geen aanknopingspunten te bieden, maar dat is toch niet juist. Immers, juist op de strijdpunten is het van belang om de empirische gegevens behoorlijk op een rij te krijgen, ook op het niveau van de afzonderlijke klas en leerling. De strijdpunten horen de leerkracht gevoelig te maken voor de mogelijkheid dat de rekenresultaten niet zo goed zijn als had mogen verwacht, en daarvoor is het niet nodig om partij te kiezen voor of tegen een paalde opvatting over rekendidactiek.
In dit verband is een goede ingang de publieke discussie tussen voor- en tegenstanders van de realistische rekendidactiek. Zo’n discussie is bijvoorbeeld het gesprek tussen Treffers en Van Putten, opgetekend door Van Zanten en Buijs, 2009.
M. van Zanten & K. Buijs (2009). Aandachtspunten voor verbetering van het reken-wiskundeonderwijs - een dubbelinterview met A. Treffers en K. van Putten -. Reken-wiskundeonderwijs: onderzoek, ontwikkeling, praktijk, 28 nr 1, 78-83. pdf.
A. Treffers (2007). De kwaliteit van het reken-wiskundeonderwijs - een virtueel vraaggespek -. Reken-wiskundeonderwijs: onderzoek, ontwikkeling, praktijk, 26, nr. 4, 11-17. pdf
C. M. van Putten (2008). De onmiskenbare daling van het prestatiepeil bij de bewerkingen sinds 1987 - een reactie -. Reken-wiskundeonderwijs: onderzoek, ontwikkeling, praktijk, 27, nr. 1, 35-40. pdf
Een aardig overzicht om mee te openen (geeft ook relevante literatuur aan):
Kees Vernooy (2007). Hoe leren leerlingen het beste? Evidence based principes en het voortgezet onderwijs. Onderzoek alles maar behoud het goede (Paulus). Remedial 2006/2007 nr 3/4, 47-52. pdf
“De roep om meer evidence based onderwijs kan gezien worden als een reactie op een vernieuwingspraktijk in het onderwijs waar vaak nieuwe methoden en aanpakken geïntroduceerd worden zonder dat duidelijk is dat het nieuwe beter is dan het voorgaande. Dit geldt ook voor interventies voor zwakke leerlingen. Met name risicoleerlingen waren daar dikwijls de dupe van. Juist voor die leerlingen is op degelijk onderzoek gebaseerd onderwijs van groot belang. Leerlingen hebben recht op onderwijs dat goed en verantwoord is en waar mogelijk gestoeld op wetenschappelijk bewijs. Bewijs dat een belangrijke rol dient te spelen bij beslissingen van scholen en de overheid, onder andere met betrekking tot wat er in klassen dient te gebeuren. En heel veel onderzoek laat zien, dat de meest belangrijke schoolfactor met betrekking tot de leerresultaten de leerkracht is.”
Onderwijsraad (2006). Naar meer evidence based onderwijs. pdf
Rekenen en wiskunde: veel ontwikkelwerk en ontwerponderzoek
Op het gebied van rekenen en wiskunde zijn de onderzoekers/ontwikkelaars van het Freudenthal Instituut tot nu toe meer geneigd geweest ontwikkelings- of ontwerponderzoek uit te voeren dan effectonderzoek. ‘Design experiments’ of ontwikkelingsonderzoek kenmerken zich door praktijkgerichtheid, vernieuwingsgerichtheid en lokale theorievorming. Bij praktijkgerichtheid gaat het om de nauwe samenwerking tussen enerzijds onderzoekers en anderzijds praktijkmensen als leraren en schoolleiders en mogelijk anderen, zoals leermiddelenontwikkelaars. Bij vernieuwingsgerichtheid of innovatie moet gedacht worden aan het handelen om tot verandering van het onderwijs te komen op basis van een gemeenschappelijke visie. Voor het wiskundeonderwijs in Nederland is dat bijvoorbeeld de visie van het realistisch wiskundeonderwijs.34 De term ontwikkelingsonderzoek wordt ook gebruikt voor formatieve evaluaties waarbij in het kader van de ontwikkeling van een methode of didactische werkvorm effecten worden gemeten.
De nadruk op ontwikkelingsonderzoek in tegenstelling tot effectonderzoek vloeit voort uit de opvatting over wiskunde-leren, die ervan uitgaat dat dit leren een sterk persoonsgebonden karakter heeft; elke leerling ontwikkelt als het ware zijn eigen wiskunde. Vanuit die opvatting was men huiverig voor vergelijkend effectonderzoek, dat immers sterk abstraheert van situatiekenmerken. Deze traditie is sterk, maar niettemin is hier wel enige kentering in gekomen. Dit blijkt onder meer uit het voorgenomen onderzoek betreffende prestaties van leerlingen die realistisch wiskundeonderwijs volgen in vergelijking met de prestaties van leerlingen bij traditioneel wiskundeonderwijs. Ook de betrokkenheid van het Freudenthal Instituut bij het PISA-onderzoek wijst erop dat er een verschuiving naar meer harde onderzoeksmethoden plaatsvindt.
Zoals ook de besproken ervaringen elders laten zien, moet er een nadrukkelijk ervaren noodzaak zijn om meer evidence based te werken. Dat gevoel moet leven bij alle betrokkenen: beleidsontwikkelaars en -beslissers, onderwijsonderzoekers, methodenontwikkelaars, ondersteuners, schoolleiders en leraren. Te vaak blijven in hun aard interessante nieuwe concepten zoals competentiegericht leren, probleemgestuurd onderwijs, realistisch rekenen, het nieuwe leren en het studiehuis steken in uitwerking en voortijdige toepassing van het concept, zonder voldoende kritische reflectie en onderzoek naar effecten (zie ook paragraaf 3.3).
Eerst maar een onderzoek dat niet de sleutelterm value added voert, maar daar uitdrukkelijk wel over gaat: zijn privé-scholen beter dan publieke, als het om het rekenonderwijs gaat (in de VS, in dit geval). Het onderzoek is relevant voor het opbrengstgerichte streven in Nederland. De auteurs wijzen erop dat Amerikaanse publieke scholen heel lang is voorgehouden zich te spiegelen aan de privéscholen, omdat deze betere prestaties zouden leveren. Toch een beetje vervelend wanneer dan laat op de dag blijkt dat dit idee niet empirisch wordt ondersteund. Kern van de kwestie: de achtergrond van de leerlingen, precies het punt dat de Inspectie de laatste jaren nou niet geweldig serieus neemt, als ik me niet vergis. Ok&ecaute;, dit is Amerikaans onderzoke in typisch Amerikaanse situaties, met het broerde rekenonderwijs waar de Amerikanen zich al heel lang ernstige zorgen over maken. Wat is dan de relevantei voor Nederland: de methodologie. Dus: hoe onderzoek je of beoogde opbrengsten inderdaad door het gevoerde beleid worden gerealiseerd? Enzovoort.
Sarah Theule Lubienski and Christopher Lubienski (2006). School Sector and Academic Achievement: A Multilevel Analysis of NAEP Mathematics Data. American Educational Research Journal, 43, 651-698. abstract
Heather C. Hill, Laura Kapitula & Kristin Umland (2011). A validity argument approach to evaluating teacher value-added scores. American Educational Research Journal, 48, 794-831. abstract
Spyros Konstantopoulos & Vicki Chung (2011). The persistence of teacher effects in elementary grades. American Educational Research Journal, 48, 361-386. abstract
John P. Papay (2011). Different tests, different answers: The stability of teacher value-added estimates across outcome measures. American Educational Research Journal, 48, 163-193. abstract
John Papay is een doctoraalstudent van Harvard, die al een artikel in een toptijdschrift heeft gescoord. Het punt is dat in de VS, met zijn testgekte, leraren al worden afgerekend/beloond op wat tests laten zien dat zij ‘aan waarde hebben toegevoegd’ aan hun leerlingen. Dat is de neoliberale gekte ten top. Papay geeft een overzicht van de literatuur die laat zien dat het aantonen van toegevoegde waarde allesbehalve simpel is, dat is mooi meegenomen. Zijn onderzoek berust op een simpel idee: gebruik eens een andere toets om die toegevoegde waarde vast te stellen: zet die de betreffende leraren in dezelfde rangorde? Nee dus. Dramatisch.
Inspectie van het Onderwijs (augustus 2011). Analyse en waarderingen van opbrengsten. Primair onderwijs. [Zie ook Regeling van de Minister van Onderwijs, Cultuur en Wetenschap van 18 juni 2011, nr. WJZ/305395 (2775), Staatscourant 4 juli 2011, nr. 11708. ] pdf. documenten hier ophalen. wijzigingen tov sept 2010.
Jeremy Roschelle, Nicole Shechtman, Deborah Tatar, Stephen Hegedus, Bill Hopkins, Susan Empson, Jennifer Knudsen and Lawrence P. Gallagher (2010). Integration of Technology, Curriculum, and Professional Development for Advancing Middle School Mathematics : Three Large-Scale Studies. American Educational Research Journal, 47, 833-878. abstract
Ik weet niet of dit nu een ontwikkeling is die we moeten toejuichen. Het zit in de sfeer van RME, pretendeert ook ‘design research’ te zijn. Wat toch een beetje merkwaardig is, want het gaat hier om toetsend empirisch onderzoek, op grond waarvan stevige verbeteringen van onderwijsresultaten worden geclaimd. Kortom, dit artikel vraagt om kritische analyse. Ik verwacht — ik heb dit artyikle nog niet doorgenomen — dat de onderzoekers voor de effecten van hun experimentele wiskundeprogramma heel erg dichtbij hebben gekeken (zoals in ontwikkelingsonderzoke gebruikelijk), en niet op effecten op langere termijn, of voor zwakkere leerlingen, hebben gekeken. Ik ben benieuwd.
David Hursh (2007). Assessing No Child Left Behind and the rise of neoliberal education policies. American Educational Research Journal, 44, 493-518. abstract
No Child Left Behind and other education reforms promoting high-stakes testing, accountability, and competitive markets continue to receive wide support from politicians and public figures. This support, the author suggests, has been achieved by situating education within neoliberal policies that argue that such reforms are necessary within an increasingly globalized economy, will increase academic achievement, and will close the achievement gap. However, the author offers preliminary data suggesting that the reforms are not achieving their stated goals. Consequently, educators need to question whether neoliberal approaches to education should replace the previously dominant social democratic approaches.
Robert Balfanz, Nettie Legters, Thomas C. West and Lisa M. Weber (2007). Are NCLB’s Measures, Incentives, and Improvement Strategies the Right Ones for the Nation’s Low-Performing High Schools? American Educational Research Journal, 44, 559-593. abstract
http://www.benwilbrink.nl/projecten/opbrengstgericht.htm