Rekenproject: Ontwikkelingsonderzoek

Ben Wilbrink


wetenschapsopvattingdebat
    observeren
    drogredenensectarismenapratenpublic relationsWiskrant
    constructivismegeen empirisch onderzoek doen — ontwikkelingsonderzoek




De term ‘ontwikkelingsonderzoek’ is al van wat oudere datum, en kan ik voorlopig traceren tot Carel van Parreren, hoogleraar psychologie aan de universiteit van Utrecht, en wel in relatie tot zijn inspanningen om het werk van Russische psychologen bekendheid te geven in het Westen. Van Parreren is mijn leermeester geweest, in de zestiger jaren, toen er althans in ons land nog geen sprake was leerpsychologie uit de Sovjet Unie.



J. M. C. Nelissen & A. C. Vuurmans: Een onderwijsontwikkelingsprojekt. In G. de Zeeuw & W. Hofstee (Red.) (1983). Funderend onderzoek van het onderwijs en onderwijsleerprocessen (35-44). Onderwijs Research Dagen 1983. Swets & Zeitlinger.


Dit is een interessant paper: het is een vroeg voorbeeld van ontwikkelingsonderzoek, en wel buiten de groep van Hans Freudenthal (namelijk het Schooladviescentrum in Utrecht), maar wel degelijk over rekenen/wiskunde (zoals de auteurs het noemen).




Stelling 1.: Wat de Freudenthal-groep ontwikkelingsonderzoek noemt, is ontwikkeling van onderwijs, en moet ook zo genoemd te worden. Het Engelse design research heeft een iets andere connotatie, zeker als je het terugvertaalt als ontwerponderzoek. Dat gaat over ontwerpen, wat in technisch-wetenschappelijke kringen betekent dat een product wordt ontwikkeld dat aan nauwkeurige specificaties moet voldoen. Ook desgn research is een benaming met een suggestieve lading, zoiets hoort in het wetenschappelijke discours niet thuis. Het is gewoon ontwerpen, niet ontwerponderzoek. Het zou overigens wel veel beter zijn geweest wanneer de Freudenthal-groep van meet af aan niet alleen maar vrijblijvend rekenonderwijs had ontwikkeld, maar rekenonderwijs had ontworpen binnen strakke kaders van wat het met welke beschikbare middelen in welke tijd moet opleveren aan rekenprestaties.


Stelling 2.: Het ontwikkelingsonderzoek van de Freudenthal-groep is geen wetenschappelijk onderzoek, omdat het werkt zonder enige bench mark, zonder vergelijking met gewoon rekenonderwijs bijvoorbeeld. Met andere woorden: het ontwikkelde rekenonderwijs wordt typisch niet op de proef gesteld in vergelijking tot gewoon onderwijs. [Een van de zeldzame uitzonderingen daarop is het, overigens in tendentieuze bewoordingen gerapporteerde, MORE-onderzoek: er is natuurlijk niets op tegen om eerst nieuw onderwijs te ontwikkelen, en het daarna te evalueren tegen gewoon onderwijs.]



Anthony D. Pellegrini (2013). Observing Children in their Natural Worlds. A Methodological Primer. Psychology Press. site


Het zou zomaar kunnen zijn dat dit boek van Pellegrini van kaft tot kaft een aanklacht is tegen de slordigheid van het ontwikkelingsonderzoek zoals dat door reform-geïnspirerde onderzoekers typisch wordt gedaan. Zonder dat Pellegrini ook maar een keer verwijst naar deze vorm van ‘design research’.



Kenneth Howe & Margaret Eisenhart (1990). Standards for Qualitative (and Quantitative) Research: A Prolegomenon. Educational Reseracher, 19, may: 2. first page




wat is adequaat onderzoek naar wiskundeonderwijs?




Rosetta Zan (1999). The quality of research in mathematics education. doc

Herbert Simon (1969/1976). Psychologie en systeemtheorie Het Spectrum. Aula 569. [vertaling van: The sciences of the artificial. MIT Press]




onderwijsontwikkeling wordt ontwikkelingsonderzoek genoemd


Ontwikkelingsonderzoek is een term die tegenwoordig door de Freudenthal-groep wordt gebruikt voor het ontwikkelingswerk dat zij voor hun reken- en wiskundeonderwijs doen. De pretentie is dat ontwikkelingsonderzoek onderzoek is, maar dat is alleen zo voor de Freudenthal-groep. Wat zijn de argumenten van de Freudenthal-groep, en wat zijn de argumenten die daar tegein zijn gebracht? Als dit ontwikkelingsonderzoek geen onderzoek is zoals dat in wetenschappelijke publicaties wordt begrepen, dan is hier sprake van suggestief woordgebruik (pagina drogredenen


Een vroeg gebruik van de term, in de titel van een proefschrift, is Goffree (1979), in de interessante samenstelling: onderwijsontwikkelingsonderzoek.

Fred Goffree (1979). Leren onderwijzen met Wiskobas. Onderwijsontwikkelingsonderzoek 'Wiskunde en Didaktiek' op de pedagogische akademie. Proefschrift Rijksuniversiteit Utrecht.


K. P. E. Gravemeijer & P. A. Cobb (2007). Ontwikkelingsonderzoek als methode voor onderzoek rond innovatieve leergangen. Pedagogische Studiën, 84, 330-339.

G. Kanselaar, W. van Dooren & L. Verschaffel (2007). Wiskunde en ICT. Een discussiebijdrage. Pedagogische Studiën, 84, 418-427.

“”

blz.

Naar mijn smaak demonstreren Kanselaar, van Dooren en Verschaffel (2007) hier het gebrek aan zelf-reinigend vermogen van het onderzoekveld: die collega’ van de Freudenthal-groep kom je telkens weer tegen, je kunt ze maar beter te vriend houden dan tot vijand maken. Is dat typisch Nederlands? De Amerikaanse wetenschapscultuur is dan toch bepaald harder, ik hoop daar ook serieuze kritiek op de ‘design research’ van Gravemeijer en de zijnen tegen te komen, van onderzoekers die nog volop in de race zijn. Nederland moet het van de pensionado’s hebben, de enige onderzoekers die niet meer afhankelijk zijn van bovengestelden en potentiëele opdrachtgevers. Maar laat ik niet klagen: binnen de Freudenthal-groep is het onverbloemd elkaars rug krabben, zoals bijvoorbeeld is te zien in de vele besprekingen die Jo Nelissen in Pedagogische Studiën heeft gegeven van boeken en proefschriften uit zijn Freudenthal-groep.



Joke Torbeyns, Lieven Verschaffel & Pol Ghesquière (2006). The development of children’s adaptive expertise in the number domain 20 to 100. Cognition and Instruction, 24, 439-465. abstract

A third issue concerns the descriptive nature of our work. We analyzed the development of children’s adaptive expertise in a given instructional setting rather than in the context of a teaching or design experiment that stimulated this development. Although such descriptive studies provide indirect evidence about the characteristics of mathematics instruction that might facilitate the flexible use of diverse strategies in the domain of elementary arithmetic, they need to be complemented with carefully designed teaching experiments to directly assess the efficacy of instructional tools aimed at enhancing children’s adaptive expertise in this domain and to evaluate the feasibility and desirability of such instruction for mathematically weak children in particular.

p. 462



Erich Ch. Wittmann (1995). Mathematics education as a ‘design science’. Educational Studies in Mathematics, 29, 355-374.



Paul Cobb, Qing Zhao & Chrystal Dean (2009). Conducting design experiments to support teachers’ learning: A reflection form the field. The Journal of the Learning Sciences, 18, 165-199. abstract


Our goal in sharing these reflections from the field is to contribute to the task of extending the design experiment methodology to investigate the learning of groups of practicing teachers rather than groups of students.



Jeremy Roschelle, Jennifer Knudsen, Nicole Shechtman, Jim Kaput & Bill Hopkins (2008). Scaling up innovative technology-based mathematics. The Journal of the Learning Sciences, 17, 248-286. abstract


We report on a pilot experiment within a program of research that utilizes representationally innovative technology and associated curricula to change classroom instruction. This program has progressed from design-oriented research, in which feasibility and fine tuning to classroom conditions was the focus, to rigorous evaluation research intended to answer more far-flung questions and, ultimately, influence policy. We call this latter focus scaling research. A central concern of this kind of scaling research is whether and how the promising innovation will be implemented “in the wild” (Hutchins, 1995) if its use becomes a matter of widespread policy. Because the effectiveness of any classroom-based instructional innovation is mediated by teaching practices and conditions, we are concerned here with whether innovative technology-based mathematics can scale up to be useful for a wide variety of teachers and in a wide variety of teacher settings. [de verwijzing: Hutchins, E. (1995). Cognition in the wild. Cambridge, MA: MIT Press. zie ook hier]



Daniel C. Edelson (2002). Design Research: What We Learn When We Engage in Design. The Journal of the Learning Sciences, 11, 105-121. abstract

This new wave of research, characterized by iterative design and formative research in complex real world settings, has been variously called design experiments (Brown, 1992; Collins, 1992), design research (Cobb, 2001), and development research (Richey & Nelson, 1996; van den Akker, 1999).

( . . . )

In the recent literature on design experiments and design research, researchers present a different picture of the role of design in their research (Brown, 1992; Kelly&Lesh, 2000; Richey&Nelson, 1996; van den Akker, 1999). They describe a process in which design plays a critical role in the development of theories, not just their evaluation.

( . . . )

Numerous examples of this iterative design research have been reported in recent years representing a wide range of design domains and research questions. The domains include design of learning activities (Brown & Campione, 1994; Cognition & Technology Group at Vanderbilt, 1997; Hmelo, Holton, & Kolodner, 2000; Palincsar & Brown, 1984; Penner, Giles, Lehrer, & Schauble, 1997), software design (Bell, Davis,&Linn, 1995; Guzdial, Turns, Rappin,&Carlson, 1995; Hancock, Kaput, & Goldsmith, 1992; Jackson, Stratford, Krajcik, & Soloway, 1996; Scardamalia et al., 1992; White & Frederiksen, 1998), and professional development (Schifter, 1996; Sherin, 1998). This research has led to both applied (design-oriented) theories and basic theories on topics such as cognition, motivation, and social context.

Edelson gaat dan verder met mijns inziens een kletsverhaal, maar ja, dan moet je eigenlijk eerst ook kijken in de literatuur waarnaar hij verwijst. Hij besluit met drie argumenten voor ontwikkelingsonderzoek, waar ik enkele steekwoorden uit citeer:

it provides a productive perspective for theory development

( . . . )

the usefulness of its results

( . . . )

involves researchers in the improvement of education

( . . . )

Taken together, these three arguments present a view of educational research as an applied science that differs from the view of research that is held by the broad community of educational researchers and has been taught in graduate schools of education in the past. Changing that view may be the key to enabling educational research to play a larger role in educational reform in the future.

Wat een rommel maakt Edelson ervan. Sterker nog: hij geeft drie argumenten waarom ontwikkelingsonderzoek zo goed zou zijn, hij geeft er geen empirische data bij die dat kunnen onderstrepen. Bijvoorbeeld: hij claimt dat ontwikkelingsonderzoek alleen maar mogelijk is met een volledig gespecificeerde theorie, anders kunnen ontwerpers van onderwijs er niet mee uit de voeten. Kijk in de geschiedenis van Wiskobas en realisch rekenen, en zie hoe op basis van theoretisch broddelwerk (de idiosyncratische denkbeelden van Hans Freudenthal, de pseudo-psychologie van Treffers, de theorie van de niet empirisch aangetoonde niveaus van Van Hiele) er heel wat is ontworpen en in de wereld gezet.


Jan van den Akker (1999). Principles and methods of development research. In J. van den Akker, R. M. Branch, K. Gustafson, N. Nieveen, & T. Plomp (Eds.): Design approaches and tools in education and training (pp. 1-14). Boston: Kluwer Academic. pdf

A typical difference between formative research and many other sorts of research is that one can hardly isolate, manipulate and measure separate variables in the same study. On the contrary, it is the very nature of formative research to investigate comprehensive interventions that deal with many interrelated elements at the same time. That makes it very hard to apply, for example, experimental approaches.

Kom op, Jan, dat meen je toch niet. Wat je hier zegt is: de wereld is complex, met een harde empirische benadering (laten we zeggen: De Groot, Methodologie) kunnen we die complexiteit niet te pakken krijgen, dus moeten we wel terugvallen op ontwikkelingsonderzoek. Als Mozes niet naar de berg komt . . . . Het is toch van tweeën één: ofwel er is gewoon degelijk empirisch onderzoek mogelijk, ofwel dat is niet mogelijk. In dat laatste geval gaan we de leemte toch niet opvullen met knullig amateurisme?

Natuurlijk, voor het ontwikkelen van nieuwe producten is een soort onderzoek nodig, dat je ontwikkelingsonderzoek zou kunnen noemen (maar waarom zou je dat willen?). Het schijnt dat Ikea onderzoekt hoe vaak je een bepaald kastdeurtje dicht kunt klappen voordat het uit de kast valt. Een nieuw soort kuntstof voor autobumpers heeft een lang ontwikkelingstraject nodig met trek-, val- en andere proeven. Kamerlingh-Onnes kreeg het bepaald niet in één keer voor elkaar om helium vloeibaar te maken (of was het waterstof?).

Terug naar het rekendidactische ontwikkelingsonderzoek: als dat activiteiten zijn om een bepaalde opvatting over didactiek op een bepaalde manier in het onderwijs te concretiseren, dan heb ik daar op zich geen moeite mee, maar ik signaleer wel dat NIETS in een dergelijke benadering heeft te maken met het verantwoord ontwikkelen van nieuw onderwijs. Immers, voor dat laatste is een popperiaanse benadering nodig: de doelmatigheid en doeltreffendheid van het vernieuwde onderwijs moet immers niet als betrokken op zichzelf, maar op zijn minst in vergelijking tot de beschikbare alternatieven worden onderzocht, maar ook op effecten op de echt heel lange termijn (het gaat immers om onderwijs). Welnu, in het ontwikkelingsonderzoek van rekendidactici ontbreekt dat laatste kenmerkend. Jan, als ik het verkeerd heb dan hoor ik het wel. Ik zie wel in dit hoofdstuk dat jij ook met dit probleem worstelt, eigenlijk doorheen heel je tekst, zonder het overigens glashelder neer te zetten.

Het is perfect mogelijk om de verkeerde onderwijsvormen heel goed te ontwikkelen; maar wie heeft daar baat bij? Van den Akker schetst hier een sterk opgepoetst beeld van wat ontwikkelingsonderzoek in zijn zondagse pak zou kunnen zijn. Ik zet daar graag tegenover hoe de Freudenthal-groep (ik blijf hier maar even in Nederland) de afgelopen veertig jaar (2011 is een jubileumjaar, geloof ik) dat ontwikkelingsonderzoek in feite en zoals gepubliceerd, heeft gedaan.



David Yun Dai (Ed.) (2012). Design Research on Learning and Thinking in Educational Settings. Enhancing Intellectual Growth and Functioning. Routledge. inhoudsopgave blz 1 - 30


Het boek ligt op mijn leesstapel, en ik zal er waarschijnlijk aan moeten geloven om het kritisch door te nemen. Hier lopen namelijk een paar werelden door elkaar: die van serieuze wetenschap (o.a. Robert Sternberg heeft de redacteur van advies gediend), die van de pseudo-wetenschap (‘design research’ kennen we in eigen land als het ontwikkelingsonderzoek zoals dat wordt beoefend door de Freudenthal-groep Gravemeijer, Drijvers, Panhuizen) en die van de op drift geraakte verbeelding over de mogelijkheden van ICT (wat specifiek 21e eeuw zou zijn, maar groter onzin dan dat heb ik zelden gehoord).

Dit door Dai geredigeerde boek staat niet op zichzelf (er is een stortvloed van vergelijkbare publicaties). Het probleem ermee is dat het boodschappen aflevert die als overtuigend over zullen komen bij de argeloze lezers. Dat geldt ook voor mij: het kan jaren duren voordat het besef doordringt dat hier iets grondig mis mee is, omdat bij alle drukte van het ontwikkelingsonderzoek de kritische toets ontbreekt zoals die alleen in experimenteel onderzoek bestaat.

Werk aan de winkel? Nou, nee hoor, ik laat de onzin de onzin.


Susan McKenney & Thomas C. Reeves (2012). Conducting Educational Design Research. Routledge.

Ik citeer de eerste zin uit hoofdstuk 1, en krijg meteen een sterke indruk van methodologisch agnosticisme. Dat is wel prettig, dan kan ik de rest van het boek overslaan. Nou ja, de tweede zin neem ik nog mee: ontwikkelingsonderzoek wordt hier neergezte als een soort bezigheidstherapie. Anything goes, zolang we maar druk in de weer zijn.


Jan van den Akker, Koeno Gravemeijer, Susan McKenney & Nienke Nieveen (eds.) (2006). Educational Design Research. pdf


Kees Buijs (2008). Leren vermenigvuldigen met meercijferige getallen. Proefschrift. download pdf

The whole process of designing, trying and revising is recorded and analyzed as carefully as possible in order to be able to develop an empirically grounded instruction theory.

summary, p. 334

Als dat ontwikkelingsonderzoek zo zou werken, dan zouden we nu toch wel eens een stevige theorie moeten hebben, niet? Die theorie is er niet niet, en zal er op deze manier ook niet komen. Is dit niet het naïeve idee dat je eerst wat gegevens verzamelt, en daar vervolgens een theorie uit bakt? Maar zo gaan die dingen niet.


Jerome S. Allender (1986). Educational research: A personal and social process. Review of Educational Research, 56, 173-193. abstract

Verwijst o.a. naar Van Maanen, J. (Ed.). (1983). Qualitative methodology. Beverly Hills, CA: Sage. En Van Maanen, J., Dabbs, J. M., Jr., & Faulkner, R. R. (1982). Varieties of qualitative research. Beverly Hills, CA: Sage


Evelyn Jacob (1987). Qualitative research traditions: A review. Review of Educational Research, 57, 1-50. abstract

Paul Atkinson, Sara Delamont & Martyn Hammersley (1988). Qualitative research traditions: A British response to Jacob. Review of Educational Research, 58, 231-250. abstract

Paul Atkinson, Sara Delamont & Martyn Hammersley (1988). Qualitative research traditions: A British response to Jacob. Review of Educational Research, 58, 231-250. abstract

Evelyn Jacob (1989). Qualitative research: A defense of traditions. Review of Educational Research, 59, 229-235.

Yvonna S. Lincoln (1989). Qualitative research: A response to Atkinson, Delamont, and Hammersley. Review of Educational Research, 59, 237-239.

Margret Buchmann & Robert Floden (1989). Research traditions, diversity, and progress. Review of Educational Research, 59, 241-248.



Paul Cobb, Michelle Stephan, Kay McClain & Koeno Gravemeijer (2001). Participating in classroom mathematical practices. The Journal of the Learning Sciences, 10 abstract



Paul Cobb & Erna Yackel (1996). Constructivist, emergent, and sociocultural perspectives in the context of developmental research. Educational Psychologist, 31, 175-190. pdf

Het is herdrukt in Carpenter, Dossey & Koehler (2004, p. 209-226, met een beschouwing van Janet Bowers op p. 208, helemaal juichend over dit gedachtengoed over ontwikkelingsonderzoek).

Wie in dit artikel bladert, het abstract leest, en ziet dat het nergens gaat over wiskundeonderwijs in eigenlijke zin, begint te begrijpen dat de reformbeweging het reken- en wiskundeonderwijs smoort in goedbedoelde warhoofderij.



Thomas P. Carpenter, John A. Dossey & Julie L. Koehler (Ed.) (2004). Classics in Mathematics Education Research. National Council of Teachers of Mathematics. preface en contents



P. Cobb, T. Wood & E. Yackel (1992). Learning and interaction in classroom situations. Educational Studies in Mathematics, 23, 99–122.



P. Cobb &E. Yackel (1996). Constructivist, emergent, and sociocultural perspectives in the context of developmental research. Educational Psychologist, 31, 175–190. abstract



William A. Sandoval & Philip Bell (2004): Design-Based Research Methods for Studying Learning in Context: Introduction, Educational Psychologist, 39:4, 199-201 abstract



Christopher M. Hoadley (2004): Methodological Alignment in Design-Based Research, Educational Psychologist, 39:4, 203-212 abstract



William A. Sandoval (2004): Developing Learning Theory by Refining Conjectures Embodied in Educational Designs, Educational Psychologist, 39:4, 213-223abstract



Iris Tabak (2004): Reconstructing Context: Negotiating the Tension Between Exogenous and Endogenous Educational Design, Educational Psychologist, 39:4, 225-233 abstract



Diana Joseph (2004): The Practice of Design-Based Research: Uncovering the Interplay Between Design, Research, and the Real-World Context, Educational Psychologist, 39:4, 235-242abstract



Philip Bell (2004): On the Theoretical Breadth of Design-Based Research in Education, Educational Psychologist, 39:4, 243-253 abstract



Angela M. O’Donnell (2004): A Commentary on Design Research, Educational Psychologist, 39:4, 255-260abstract



Terry Anderson & Julie Shattuck (2012). Design-Based Research: A Decade of Progress in Education Research? Educational Researcher, 41 January/February: 16-25.



Anthony E. Kelly (2008). Reflections on the National Mathematics Advisory Panel Final Report. Educational Researcher, 37 #9: 561 first page



Rhonda G. Craven, Herbert W. Marsh, Raymond L. Debus & Upali Jayasinghe (2001). Diffusion Effects: Control Group Contamination Threats to the Validity ofTeacher-Administered Interventions. Jour­nal of Educational Psychology, 93, 639-645.abstract


Ontwikkelingsonderzoek werkt typisch niet met experimentele en controlegroepen, maar het is wel onderzoek dat zich binnen klassen afspeelt. Ik vermoed dat dit artikel relevante observaties bevat voor de vraag of ontwikkelingsonderzoek wel onderzoek mag heten.



Katherine M. Robinson (2001). The validity of verbal reports in children’s subtraction. Jour­nal of Educational Psychology, 93, 211-222.abstract



Ericsson, K. A., & Simon, H. A. (1980). Verbal reports as data. Psychological Review, 87, 215-251.

Ericsson, K. A., & Simon, H. A. (1993). Protocol analysis: Verbal reports as data (Rev. ed.). MIT Press.


Ik heb deze titels genoteerd n.a.v. Robinson (2001). Ik heb er drie gedachten bij: 1) iedere uitspraak is een constuctie, dus uitspraken opvatten als indicatoren van cognitieve processen is alleen hierdoor al riskant, 2) ook al zijn uitspraken valide, dan nog missen ze de cognitieve processen die ontoegankelijk zijn voor introspectie: er is dus sterke theorie nodig om van deze uitspraken iets zinvols te bakken, en 3) de reden om de titels op deze pagina te nomen is dat ontwikkelingsonderzoek typisch sterk berust op uitspraken van leerlingen.



van den Broek, G. (2012), “Innovative Research-Based Approaches to Learning and Teaching”, OECD Education Working Papers, No. 79, OECD Publishing.
http://dx.doi.org/10.1787/5k97f6x1kn0w-en of ga direct voor de pdf: http://goo.gl/3eTyf



22 november 2012 \ contact ben at at at benwilbrink.nl    

Valid HTML 4.01!   http://www.benwilbrink.nl/projecten/ontwikkelingsonderzoek.htm http://goo.gl/Dt4z0