Stellan Ohlsson (2011). Deep Learning

Twitter thread July 13

Stellan Ohlsson (2011). Deep Learning: How the Mind Overrides Experience. Cambridge University Press. info Reviewed by Jared Freeman. If you do not have access to the book, study its review!

preface

• The theme of this book is that human beings possess cognitive processes that enable them to override the imperatives of past experience and to act and think in novel ways, and that these processes di er from the types of cognitive processes usually envisioned in psychological theories of learning. e capa- bility for what I call deep learning — or, more precisely, non-monotonic cognitive change — constitutes a distinct aspect of mind that follows its own laws and hence requires its own theory.

  p. vii

Dit voorwoord is toch wel een bijzonder epistel. In een notedop de geschiedenis van hardcore cognitive science vanaf 1980, hoe een kleine kerngroep van wetenschappers de motor was achter belangrijke ontwikkelingen waar destijds jonge wetenschappers zoals Stellan Ohlsson en Anders Ericsson intensief in participeerden. Ik kan er jaloers op zijn, zo’n kerngroep van cognitief psychologen was er niet in Nederland, ook niet rond A. D. de Groot die in 1946 toch een hoeksteen van die cognitieve psychologie had gelegd. Een bijzondere charme van het werk van Ohlsson is dat het in de breedte gaat met op het oog sterk uiteenlopende thema’s, terwijl het telkens om grensverleggend onderzoek gaat. Verrassend is dan om te zien wat uiteindelijk deze onderscheiden thema’s met elkaar verbindt. Ik noem er dus maar een aantal, ongeveer in de volgorde waarin ze in het voorwoord opduiken:

• creativiteit, aanpassing en bekering [boek]
• theorie van inzicht [hfdst 4]
• vaardigheden verwerven [Anzai & Simon 1979 abstract] [hfdst 6] en leren van fouten [hfdst 7]
• intelligente tutors
• inzicht en taal [Schooler, Ohlsson & Brooks, 1993 pdf]
• filosofie van de verklaring [hfdst 2] en de aard van declaratieve kennis in het algemeen [Chi & Ohlsson, 2005 pdf]
• belief revision [hfdst 10]
• opschalen van micro/lab/individu naar groepen [hfdst 5 en 8], lange tijdsperioden en hogere niveaus van complexiteit
• complexe systemen

1. The need to override experience

Ik heb dit hoofdstuk na twee jaar opnieuw gelezen, en dat was best wel verrassend. Ik kan nu beter plaatsen waar Ohlsson het over heeft. De wereld waarin we leven is voor een belangrijk deel niet statisch en voorspelbaar, maar voortdurend anders en onvoorspelbaar. Ook op verschillende niveaus van analyse: de dag van vandaag, dit jaar, dit mensenleven, tijdsspannen van duizenden jaren. In dit boek komen die verschillende niveaus ook telkens weer terug, bijvoorbeeld in de vraag of een fenomeen dat we op micro-niveau zien, opschaalbaar is naar bovenliggende niveaus. Zoals de kust van Engeland en Schotland dezelfde structuur blijft houden, ook als je steeds kleinere gedeelten bekijkt.

Ohlsson begint dan met een stukje wetenschapsgeschiedenis: natuurkunde uiteraard. Het beeld dat hij schetst kennen we wel van Dijksterhuis zijn Mechanisering van het wereldbeeld: de natuurkunde van Newton enzovoort is de wetenschap van het kunstmatige, het laboratorium, het voorspelbare. Maar dat is dus niet de wereld waarin wij leven. Die wereld is vooral chaotisch, onvoorspelbaar, complex, en emergent (Bedau & Humphreys, 2009). Nancy Cartwright heeft al uitvoerig beschreven hoe onze mooie natuurkunde een netjes opgepoetst beeld van de fysische wereld geeft. Te netjes.

• . . . the laws of physics, as formulated in the traditional way, describe an idealized, stable world that is quite different from the unstable, evolving world in which we live.

  Ilya Prigogine, geciteerd door Ohlsson, p. 10 uit Prigogine 1997, p. 26

Als Ohlsson verwijst naar literauur die ik hier afzonderlijk wil noemen, zal ik dat erbij zetten. Dijksterhuis, Bedau & Humphreys, Cartwright komen in zijn uitgebreide literatuurlijst niet voor.

E. J. Dijksterhuis (1950/1975). De mechanisering van het wereldbeeld.

Nam P. Suh (2005). Complexity. Theory and applications. Oxford University Press. isbn 0195178769 info

Mark A. Bedau and Paul Humphreys (Eds) (2008). Emergence. Contemporary readings in philosophy and science. MIT Press. isbn 9780262524759 dedicated website

Nancy Cartwright, bijvoorbeeld (1993) How the Laws of Physics Lie pdf; (1993) The Dappled World. A Study of the Boundaries of Science info; (met Penrose, Shimony en Hawking:) (1997) The large, the small and the human mind. info

I. Prigogine (1997). The end of certainty: Time, chaos, and the new laws of nature. info [Ohlsson p. 10]

Ohlsson zal voortdurend de mechanistische wetenschapstheorieën tegenover de complexiteitstheorieën zetten. Niet omdat de eerste categorie onjuist zouden zijn: op hun eigen domein hebben zij zeker nut en geldigheid (Newton’s wetten hebben ons ongelooflijke voorspoed gebracht). Zo ook met leertheorieën: de meeste zijn lineair van karakter, voorspelbaar, enzovoort, maar hebben geen goede verklaringen voor creativiteit, aanpassing en geloofsverandering. Ohlsson brengt theorieën over de voorspelbare wereld samen onder het label empirisch inductivisme (morgen zal net zo als gisteren en vandaag zijn).

3. The production of novelty

In dit hoofdstuk geeft Ohlsson aan de hand van een historische lijn een analyse van waar de theorievorming over creativiteit tekortschiet in het geven van een volledige verklaring. Het is moeizaam leeswerk, maar absoluut onmisbaar. En dan is daar ineens een passage die een aantal grote puzzelstukken op hun plaats lijkt te leggen. Het onderwerp is de Gestalt-theorie van Wertheimer-Köhler-Koffka: een prachtige theorie, maar natuurlijk geen theorie van alles wat het denken betreft. Er draait niets om de precieze formulering van Ohlsson, ik heb de passage vrij vertaald:

4. Creative insight: the redistribution theory

Als ik het goed heb, dan gaat dit hoofdstuk over het oplossen van problemen, in het bijzonder van die problemen die ondanks verwoede pogingen nog niet tot een oplossing zijn gebracht. Laat ik beginnen met een twitterdraad van april 2015

• Ever since people, mathematicians and others, became interested in the processes that lead to the solution of problems, this aspect of productive thinking has appeared most astounding. Since, for the most part, we do not produce such sudden structurings intentionally, but rather find ourselves suddenly confronted with their emergence, we are forced to conclude that, under the stress of our wish to solve a certain problem—and after our thorough consideration of various parts of the given material—sometimes brain processes tend to assume new forms or structures whicht, when reflected in our minds, suddenly make us see new relations and thus give us new insights whicht tend to bring about the solution.

  Wolfgang Köhler (1972). The task of Gestalt Psychology (p. 154) [als eBook in KB] bron op Google Books

Een mooi citaat waar Ohlsson het hoofdstuk mee begint. Het komt mij niet vreemd voor: Gestalt Psychologie zat stevig in het kandidaatsprogramma voor psychologie in Utrecht, ten tijde van Johannes Linschoten. Er staat mij bij dat het vak werd gegeven door de heer Sacco, en dat het moeilijke boek van Koffka (in zijn moeizame Engels geschreven) de stof was.

Het werk van de creatieveling (zoals dat van een wetenschapper) bestaat voor het grootste deel uit routine en analytisch denken, met af en toe momenten van inzicht (een creatieve inval). Die momenten zijn echt momenten. Ohlsson noemt het fenomeen ‘het beginsel van de krenten in de pap’, Raisins in the Dough Principle. De opgave is nu om deze creatieve momenten te verklaren: het gebeuren van het inzicht uiteen te leggen in deelprocessen die eenvoudig genoeg zijn om niet naar verdere verklaringen te hoeven zoeken. Maar dan nog wel even demonstreren dat deze eenvoudige deelprocessen inderdaad leiden tot denkgebeurtenissen, mental eventes, geen ‘denkactiviteiten’ want het gaat om autonome processen. Ohlsson hakt het probleem in drie secties:

1. framing the problem of insight (p. 88)
2. Analytical problem solving (p. 93) en
3. The theory of insight (p. 104)

Het gaat mij om die laatste sectie, maar ik zal toch de voorafgaande twee ook doornemen.

De meeste problemen in deze wereld worden soepeltjes opgelost door vaklui die van wanten weten. Of door examenkandidaten die goed in de stof zitten. Maar goed, vaak komen problemen op het bordje van mensen of leerlingen die niet de intellectuele bagage hebben die nodig is voor hun oplossing. Geen van die categorieën probleemoplossen is voor ons interessant. Wél interessant: de kandidaat die een probleem krijgt op te lossen, de kennis daarvoor ook in huis heeft, maar zich toch in het probleem verslikt — en een tijd later de impasse blijkt te kunnen doorbreken. In dit laatste geval blijkt de impasse‘onterecht’ (unwarranted): de kandidaat had de benodigde kennis wel, maar die was kennelijk niet bereikbaar. Komt die kennis ineens wél beschikbaar, dan zeggen we dat deze persoon een ‘inzicht’ heeft. Ik blijf maar dicht bij het Engelse insight. Als dat inzicht inderdaad tot de oplossing leidt, noemt Ohlsson het ‘volledig inzicht’, anders is het ‘vals inzicht’. Een tussencategorie is het ‘gedeeltelijke inzicht’: de kandidaat moet nog verder met zijn probleem omdat met het gedeeltelijke inzicht de oplossing nog niet in zicht is. Ohlsson noemt de vierslag van search, impasse, insight & aftermath de ‘inzichtreeks’. So far, so good. Niets wetenschappelijks hier, het gaat om onomstreden verschijnselen die iedereen wel kent. Maar een en ander schreeuwt wel om verklaring. Ik citeer een hele alinea:

Next stop: analytical problem solving (p. 93).

5. Creative insight writ large

6. Adaptation

Over het leren van vaardigheden. Nee, dat is een beetje krom geformuleerd: vaardigheden oefen je, declaratieve kennis leer je. Hoewel, dat leren van declaratieve kennis kun je natuurlijk oefenen noemen. Afijn. Dit is een belangrijk hoofdstuk. In eerste aanleg had ik over dat belang heen gelezen, omdat het oude koek is die Ohlsson hier behandelt. Maar de koek komt in negen smaken, en dat smaakpalet is waar het om draait. Minder mysterieus: bij het oefenen van een vaardigheid gaat het al gauw om meerdere leermechanismen, contingent op meerdere typen informatie die de oefening ‘sturen’. Het bijzondere van de behandeling die Ohlsson het oefenen van vaardigheden geeft is nu precies die integratie van tot negen verschillende typen informatie met hun bijbehorende leermechanismen in het verwerven van één en dezelfde vaardigheid. En het is bijzonder omdat in de literatuur, zeker in de onderzoekliteratuur, meestal gaat over één leermechanisme en één type informatie dat daarbij van belang is. Op basis van de onderzoekliteratuur is het dan ook lastig om zich een beeld te vormen van het leren van een vaardigheid in de wereld van alledag, laten we zeggen dat het leren optellen beneden de twintig is. Het mag ook ingewikkelder: de substitutieregel voor het evalueren van integralen (die zich daartoe lenen). Autorijden. Whatever.

Irving I. Gottesman & Daniel R. Hanson (2005). HUMAN DEVELOPMENT: Biological and Genetic. Processes. Annual Review of Psychology, 56, 263-286. abstract Dit is precies de lijn van denken zoals Ohlsson (2011, hoofdstuk 1) die aangeeft: dynamisch, emergent, aanpassing, tegenover de oude benadering vanuit vaste gegevenheden zoals genetische opmaak van het individu. Lees het abstract

Het leren van een vaardigheid in het dagelijkse/schoolse leven is ongetwijfeld een ingewikkelde combinatie van deze negen typen van informatie met hun leermechanismen. Wie alleen naar de vorderingen kijkt, en die in grafische vorm brengt, ziet dan al gauw regelmatigheden in die leercurven. Newell & Rosenbloom behandelen de formule ervoor: een machtsfunctie — power law —

(1)     T_n = T₁ × n^-a

De tijd T die nodig is om de taak voor de n-de keer te doen is gelijk aan de tijd nodig voor de eerste keer, maal het aantal trials n tot de macht -a. Die a is een parameter die van situatie tot situatie verschilt. Tenslotte is de ene taak de andere niet. Zie voor de nitty gritty details en de relevante theorie het artikel van Newell & Rosenbloom.

Hoe is dit relevant voor bijvoorbeeld de didactiek van het rekenonderwijs, of de discussie over wat heet ‘de vaardigheden van de 21e eeuw’: niet-monotone cognitieve processen? Het antwoord op de tweede vraag geeft Ohlsson nu juist met heel zijn boek. Het antwoord op de eerste vraag zal ik zelf moeten opstellen. Maar met deze lange aanloop is wel duidelijk waar dat naartoe gaat: bij het leren rekenen komen veel verschillende leermechanismen om de hoek kijken, zodat te verwachten is dat op dogmatische leest geschoeide didactieken ernstige leemten zullen laten zien. Dat zal waarschijnlijk zowel voor de reformdidactiek gelden (constructivisme, sociaal constructivisme, situationisme, ‘realistisch rekenen’ dus) als voor conventionele didactieken. Mijn verwachting is dat de conventionele didactiek uit een dergelijke analyse goed tevoorschijn zal komen, maar dat zal ingewikkelder komen te liggen wanneer het gaat om de vaardigheid om contextopgaven aan te pakken.

Ohlsson Nine Modes Theory

Ik was even vastgelopen op de Nine Modes Theory (sectie die begint op p. 199). Het blijkt dat je voor een goed begrip juist de daaraan voorafgaande sectie The Information Specificity Principle aandachtig moet bestuderen (192-199).

Een hoofdrol daarin speelt figuur 6.3 op blz. 193, waarin globaal drie fasen van skill acquisition onderscheiden zijn.

Fase 1 ‘getting started’ (p. 194) gaat over het geklungel om een iets nieuws voor de eerste keer tot een ‘goed’ einde te brengen. Maar pas op: ‘goed’ kan dus hartstikke fout zijn, het is alleen maar ‘goed’ omdat je erin bent geslaagd een antwoord te vinden/beredeneren/construeren whatever. Dat antwoord kan fout zijn, om tal van verschillende redenen.

In deze Fase 1 kunnen zomaar een stuk of wat leermechanismen tegelijk een rol spelen, of soorten informatie. De mechanismen die Ohlsson hier noemt (instructie, redennren met beschikbare declaratieve kennis, gebruik maken van praktische kennis (Thorndike: elementen) die van nut lijkt voor het probleem, kijken hoe anderen het doen (voorbeelden), gewoon proberen.

Die leermechanismen zijn alleen in fase 1 relevant, lijkt het. In fase 2 en 3 komen andere leermechanismen aan de bak.

Fase 2 (Mastery). Let weer op. Bij Ohlsson heeft ‘mastery’ een iets andere betekenis dan elders in de onderwijsliteratuur. Het is nog geen vaardigheid, maar slechts het consistent correct uit kunnen voeren, in een mogelijk veel te traag tempo etcetera. In Fase 2 gaan we dus van een gebrekkige uitvoering als resultaat van Fase 1 naar een consistent correcte uitvoering.  

De bottom line is simpel: iedere nieuwe poging kan ofwel goed ofwel fout aflopen. Twee leermechanismen dus: leren van wat je goed doet (Thorndike: strangthening), leren van je fouten. Over leren van fouten gaat hoofdstuk 7.

Maar ook leren van wat goed doet is nog niet zo eenvoudig als het lijkt, want bij iedere nieuwe poging is er weer een nieuwe situatie, en de vraag is dan hoe je uit een eerdere goede poging informatie put voor een volgende poging onder iets andere omstandigheden. Inductie-probleempje. Ohlsson: bottom-up rule generation.

Aha, het gaat om het leren van regels, in situatie S, bij doel G, doe A. Als in een iets andere situatie S' die actie  A ook goed is, dan is kennelijk van belang wat situatie S en S' gemeen hebben. Enzovoort.

Ohlsson zegt hier dat een en ander in computermodellen is uitgewerkt. Dat is mooi. Maar hoe werkt het in het onderwijs? Eerder verwees hij (p. 196) naar Hilgard & Bower 1966 (heb ik tot mijn beschikking) en natuurlijk naar Edward Thorndike. Hoe dat ook zij, het lijkt me niet problematisch, maar ik moet wel even de juiste vindplaatsen uit de literatuur bij elkaar scharelen (noemt Ohlsson ze in zijn notes?).

Leren van fouten is het pièce de résistance. Interessant is allereerst te constateren dat een goede theorie daarvoor tot nu toe kennelijk ontbrak. Het onderwijs heeft het dus zonder theoretische onderbouwing voor het leren van fouten moeten doen. Het kan zomaar zijn dat een stevige theorie voor het leren van fouten kan leiden tot krachtiger methoden in het onderwijs. Ik ben benieuwd.

Merk op dat in het onderwijs vaak genoegen wordt genomen met leren dat in de buurt komt van Ohlsson’s mastery: ‘kun je het consistent goed?’ Maar dat kan natuurlijk niet echt de bedoeling zijn, op zijn minst gaat het om vaardigheden die de moeite waard zijn om te leren, dus ook de moeite waard om ze bij te houden. Ik vermoed dat het bijhouden van vaardigheden die je maar net ‘beheerst’ een frustrerende aangelegenheid is, en dus verwaarloosd zal worden. Verlies verlies. Het onderwijs zal dus ook met Fase 3 aan de bak moeten.

In fase 2 is doelgericht oefenen (Ericsson) dus van groot belang: als je er met je gedachten niet bij bent, blijft het generaliseren van aanvankelijke regels buiten bereik.

Fase 3. Optimization.

Dit gaat over automatiseren: snelheid en behendigheid ontwikkelen. Verkortingen ontdekkingen en gebruiken. Een bijzonder soort verkorting is: 6 x 7 al zo vaak uitgerekend hebben dat het antwoord meteen al in het werkgeheugen opduikt (statistical regularities).

Ohlsson schrijft het niet, maar het mag duidelijk zijn: als een vaardigheid de moeite van het leren waard is, dan is het zaak dat leren voort te zetten tot en met stevig in deze Fase 3.

En dat is wat typisch ontbreekt in progressivistisch onderwijs, dat blijft makkelijk hangen in Fase 1: allerlei weetjes over de vaardigheid verzamelen, maar de vaardigheid zelf dus niet in de vingers krijgen.

Een verdere verdieping op Fase 3 zou bestaan uit Ericsson’s deliberate practice, waarbij het uiterste wordt gehaald wat betreft mogelijke verkortingen en ‘statistical regularities’ (chunking?).

de kern van het leren

Wat ik ga schetsen is de kern van het leren. Er zijn tal van belangrijke zaken die er direct verband mee houden, maar dat wil ik allemaal even buiten beeld houden (‘transfer’: geen probleem op zich, maar een vorm van leren; ‘leren leren’: waarschijnlijk een onzinnig idee omdat de bekende leerprocessen vooral onbewuste processen zijn [mijn idee, een stelling dus]).

Het interessante van de werkwijze van Stellan Ohlsson is dat hij absoluut geen geouwehoer en losse einden accepteert, en zeker geen mannetjes in hoofden (homunculi). Een goede theorie voor een bepaald leerproces moet bijvoorbeeld de empirische data goed verklaren (niet verrassend), maar ook een simulatie van dat leerproces moet dat doen (dat is wel verrassend, en des te meer zo omdat het Ohlsson en collega’s lukt om die truc goed uit te voeren). In bijv. SOAR en ACT-R zijn een bijna alle door Ohlsson straks te onderscheiden 9 leermechanismen wel terug te vinden, dus onderbouwen met bronnen kan op die manier pijlsnel gebeuren: heeft Ohlsson dat zelf al gedaan, bijvoorbeeld in de voetnoten?

Een eerste grove indeling is dat het eerste stadium van een leerproces eruit bestaat om het betreffende type opgave te proberen totdat het de eerste keer helemaal lukt; het tweede stadium bouwt verder tot beheersing van de vaardigheid: er kan een betrouwbare prestatie worden neergezet; het derde stadium bouwt erop voort: het handelingsverloop wordt verkort, en geautomatiseerd. De indeling is alleen om een idee te geven: scherpe scheidslijnen zijn er niet.

information specificity principle p. 192

Bron voor het principe: Ohlsson 2008a

Om welke leerprocessen gat het? De psychologie kent uiteindelijk maar een stuk of negen onderscheiden leerprocessen. De meeste daarvan zijn altijd wel aan de orde bij leren dat die naam mag hebben; ook dat is een slordig door elkaar heen lopen, al horen sommige leerprocessen evident bij het begin van het leren, andere bij het eindstadium ervan. Het is nog een behoorlijke klus om deze negen kort neer te zetten, en met de relevante literatuur (sleutelpublicaties) te onderbouwen. Maar dat is te doen. Ik zal de negen leerprocessen hier kort noemen. Ze hebben in ieder geval gemeen dat ze werken op basis van de informatie die beschikbaar is voor de lerende, en dat er een doel is (een criterium voor wat een adequate prestatie is). Ik gebruik even de termen die Ohlsson hanteert (pp 201-202)

1. Proceduralization
2. Practical Reasoning
3. Learning from analogy
4. Internalization - learning from examples
5. Caching
6. Generalization
7. Learning from error
8. Shortcut discovery
9. Optimization

1. Proceduralization: voer maar eens uit wat de leraar net heeft uitgelegd over hoe je het zou moeten doen. Extreem voorbeeld: het handboek piloot uit het hoofd kennen betekent nog niet dat je een vliegtuig kunt besturen.
2. Practical Reasoning: op basis van aanwezige kennis beredeneren hoe de gestelde opgave kan worden opgelost. Dit is wat veel mensen denken hoe het meestal gaat, maar meestal gaat het niet zo. Het kán wel, dat wel.
3. Analogy: op basis van een analoog probleem een aanpak voor het huidige probleem kiezen. Dit komt bijvoorbeeld voor in het werk van George Polya over wiskundige probleemoplossen (maar is niet de kern van Polya’s probleemoplossen).
4. Internalization: leren van voorbeelden. Hier is een uitgebreide onderzoekliteratuur over. In het reken- en wiskundeonderwijs heel bekend.
5. Caching: we proberen maar wat (trial and error), en houden ons vast aan wat succes heeft.
6. Generalization: als een poging succes heeft gehad, proberen verder te komen door te bedenken wat de succesvolle poging onderscheidt van de niet succesvolle.
7. Learning from error: als een poging een ander resultaat oplevert dan verwacht, kan de informatie daaruit worden benut om een betere poging (= regel) te bedenken. Dit is een nog niet goed onderzocht gebied; Stellan Ohlsson biedt een theorie aan, in zijn hoofdstuk 7.
8. Shortcut discovery: verkorten van het handelingsverloop. Met de nodige ervaring is het steeds beter mogelijk om stappen te verkorten of over te slaan.
9. Optimization: dit is wat we ‘automatiseren’ noemen. Er komt een moment dat 7 x 8 zo vaak is uitgerekend, dat het antwoord meteen al uit het geheugen beschikbaar is.

Dit lijstje doorlezend, is het duidelijk dat hier nog het een en ander aan verheldering bij hoort. De claim van Ohlsson is dat deze lijst van negen leerprocessen/leermechanismen vrijwel alles dekt wat er aan leerprocessen te beleven valt, dus ook aan leerprocessen in het onderwijs. Laten we even aannemen dat Ohlsson gelijk heeft (hij claimt het wel, maar zegt erbij dat de claim niets voorstelt omdat deze in het psychologische veld vanzelfsprekend is).

Deze negen leerprocessen vormen een sterk theoretisch kader om er allerlei problematiek en gedoe in het onderwijsveld mee aan te pakken. Misschien wel om te beginnen de claims van protagonisten van de ‘vaardigheden van de 21e eeuw’.

7. error correction: The Specialization Theory

Een lastig hoofdstuk: er moeten knoppen worden omgezet. Het gaat vooral over declaratieve kennis. De knop die moet worden omgezet: dit is niet zozeer beschrijvende kennis, alswel voorschrijvende (prescriptieve) kennis. Ik zei al dat het lastig gaat worden. Het leren in dit domein (als onderscheiden van het oefenen van vaardigheid) gebeurt door op basis van eenvoudige regels te komen tot telkens iets uitgebreidere regels die voorkomen dat in specifieke situaties de aanvankelijk eenvoudiger regels tot fouten leiden. Het mechanisme is dan kort door de bocht geformuleerd dat voortdurend op basis van de beschikbare declaratieve kennis wordt voorspeld wat het aanvaardbare resultaat van acties moet zijn (dit is vooral vaak een onbewust proces). Een fout kan natuurlijk ontstaan door een moment van onoplettendheid, dan is een herstel van de fout geen probleem; dit is niet de categorie van fouten die Ohlsson hier bij de taas heeft. Als er geen aanvaardbaar resultaat is, er is een fout opgetreden, dan is dat omdat op een specifiek punt het resultaat afwijkt van de verwachting. Ergo: de verwachting klopt niet, dus de regel geeft in deze situatie een fout resultaat en moet worden uitgebreid met clausule die fouten van dit type voortaan afvangt.

Een aardige conlusie die je hier misschien zou kunnen trekken (niet genoemd door Ohlsson) is dat het leren langs deze lijn zich goed verdraagt met de cognitive load theory. Immers, de leerling begint met een eenvoudige regel, die geen al te grote mentale belasting oplevert, en gaat met deze regel oefenen in situaties waarin de eenvoudige regel aanvaardbare resultaten oplevert. De vervolgstap is dan: toepassen in situaties waarvoor de regel te eenvoudig blijkt, zodat deze kan worden verbijzonderd. De regel wordt dus complexer, maar dat blijft hanteerbaar omdat de onderliggende eenvoudige regel ondertussen zo is geoefend dat deze als chunk en minimale belasting van het werkgeheugen oplevert, en de extra complicatie er dus makkelijk bij kan. Maar dit dus terzijde.

De laatste secties in dit hoofdstuk zijn het belangrijkst, voor wie het onderwijs op het oog heeft dan. Het is daarvoor wel nodig om de theorie van de constraints paraat te hebben, de knop omgezet te hebben wat declaratieve kennis betreft. Maar dan zijn er ook een reeks interessante onderzoeken beschikbaar, die verhelderen hoe het leren volgens deze theorie in zijn werk gaat: scheikundige formules, tellen, aftrekken. Simulatiestudies vooral, maar die blijven niet vrij zweven omdat ze wel degelijk de empirische resultaten uit ander onderzoek ook moeten kunnen verklaren.

p. 205
Het hoofdstuk begint heel erg ‘21e eeuw’: alles verandert voortdurend, de vaardigheden van gisteren passen niet meer op de taken van vandaag en morgen. Een mooi begin, want Ohlsson gaat in dit hoofdstuk behandelen hoe we dit probleempje cognitief-psychologisch moeten zien: niets nieuws onder zon, het is gewoon het uitbouwen van al aanwezige vaardigheden. De veranderende omgeving dwingt ertoe op een vanzelfsprekende manier: de vaardigheid van gisteren is net niet toereikend want leidt tot fouten, en daar precies de informatie in die nodig is om de vaardigheid zodanig te verbijzonderen dat het allemaal weer klikt. Hoe? Dat behandelt Ohlsson in dit hoofdstuk. Het interessante hiervan is bovendien dat het aloude ‘transferprobleem’ ineens niet meer blijkt te bestaan: het is een gewoon leerproces geworden, niets bijzonders. Ik koppel even terug naar een citaat van Bruner, op p. 205 gegeven.

Het aardige van dit citaat: Bruner is door constructivisten tot hun goeroe gebombardeerd. Ik heb er dus een genoegen in om te laten zien dat hij door constructivisten verkeerd wordt geïnterpreteerd. Het sturen van doelgericht gedrag is natuurlijk niet iets dat door een homunculus gebeurt; het zal meestal onbewust zijn. Het controlemechanisme, als ik dat zo mag noemen, is overigens goed beschreven in ACT-R-theorie (Anderson, 2007).

De enige literatuurverwijzingen in zijn inleidende sectie komen uit de evolutionaire hoek, omdat de mens bij uitstek gespecialiseerd lijkt te zijn in het vermogen om van eigen fouten te leren.

• L. L. Cavalli-Sforza (2000). Genes, peoples, and languages. Farrar, Strauss and Giroux.
• S. Olson (2002). Mapping human history: discovering the path through our genes. Houghton Mifflin.
• C. Stringer & R. McKie (1997). African exodus: The origins of modern humanity.

framing the problem

p. 206

error detection

error correction

The anatomy of a single learning event

p. 229 3e alinea
HS: Heuristic Self-Improvement. Dit is een simulatieprogramma van Ernest Rees en Stellan Ohlsson. Een snelle vertaling: Voor een simulatie geef je het model een zoekruimte op, gedefinieerd als een uitgangssituatie voor het probleem, een doel, en een verzameling beschikbare acties. Bovendien geef je een aantal aanvankelijke regels op minimale condities, en een aantal constraints die voor de gestelde taak bepalen wat correct is. Het model leert al doende: maakt fouten op weg naar het gestelde doel, detecteert deze en corrigeert ze door de gemankeerde regel te specialiseren.

p. 230

Stellan Ohlsson gaat dan verder het beschrijven van de simulatie van het leren werken met Lewis-structuren in scheikunde; zie ook de oorspronkelijke publicaties Ohlsson (1993 waarvan een versie online beschikbaar is; 1996b).

p. 233
De drie centrale begrippen zijn

1. declaratieve kennis is voorschrijvend, niet beschrijvend; het gaat niet om waarheden , maar om beperkingen (constraints). Ohlsson vat het netjes samen. Een en ander lijkt in te houden dat ik de paragraaf ‘inferentie’ in Toetsvragen ontwerpen grondig moet herzien.
2. Praktische kennis (vaardigheid) begint algemeen en wordt al lerend meer specifiek. Dat is een scherpe stelling, omdat de algemene opvatting is dat leren gaat van concreet (specifiek) naar abstract (algemeen), niet omgekeerd. (In 2008 wekte werk van Jennifer Kaminski in deze richting (publicatie in Science) nogal wat beroering, ook in Nederland en België, en leidde De Bock en Verschaffel e.a. tot replicatieonderzoek). Voetnoot 38 gaat daar wat uitgebreider op in, o.a. de niveaus van Piaget, en voeg dus ook maar de niveaus van Van Hiele en van Freudenthal hieraan toe. Spectaculair. Vaardigheden worden geleerd door oefening, niet door inductief redeneren. Het resultaat daarvan is niet abstractie, maar competentie. “According to the specialization principle, the acquisition of practical knowledge thus moves in the opposite direction to what is often assumed in education, philosophy and psychology.”
3. In deze theorie ligt de aandacht op de informatie besloten in negatieve uitkomsten, niet die in positieve uitkomsten.

Stellan Ohlsson (1993). The interaction between knowledge and practice in the acquisition of cognitive skills. In A. Meyrowitz & S. Chipman: Foundations of knowledge acquisition: Cognitive models of complex learning (147-208). Kluwer. pdf onderliggend rapport [aanwezig: KB, ter inzage, nog niet ingezien]

Stellan Ohlsson (1993). Abstract schemas. Educational Psychologist, 28, 51-66. abstract [nog ophalen]

Stellan Ohlsson (1994). Declarative and procedural knowledge. In T. Husen & T. Nevelli-Postlewaithe: The international encyclopedia of education (2nd edition, volume 3, 1342-1434). Pergamon Press [ws aanwezig Wassenaarseweg]

Stellan Ohlsson (1996a) Learning from performance errors. Psychological Review, 103, 241-262.

Stellan Ohlsson (1996b). Learning from error and the design of task environments. International Journal of Educational Research, 25, 419-449. abstract

Stellan Ohlsson & Antonija Mitrovic (2006). Constraint-Based Knowledge Representation for Individualized Instruction. Computer Science and Information Systems, 3, 1-22. pdf [zie ook publicaties van Tanja Mitrovic in Artificial Intelligence in Education: over constraint-based tutors, enzovoort] Niet door Ohlsson genoemde literatuur over het leren van fouten

Johannes Bauer & Christian Harteis (Eds.) (2012). Human Fallibility. The ambiguity of Errors for Work and Learning. Springer. table of contents

• Twee keer wordt gerefereerd aan Ohhlsson, 1996 (Psychol. Rev.)
• Enkele hoofdstukken:
• Dealing Effectively with Errors during Training Nina Keith. abstract
• Reflecting on Learning from Errors in School Instruction - Findings and Suggestions from a Swiss-German Video Study Inger Marie Dalehefte, Manfred Prenzel, and Tina Seidel. abstract [Razend interessant, natuurlijk. Een uitvoerige literatuurlijst met verwante studies, zoals natuurlijk ook uit de TIMSS video onderzoeken]
• Learning from Errors: The Role of After-Event Reviews Shmuel Ellis. abstract

Martin Gartmeier, Johannes Bauer, Hans Gruber & Helmut Heid (2008). Negative Knowledge: Understanding Professional Learning and Expertise. Vocations and Learning, 1, 87-103. pdf

Johannes Bauer (2008). Learning from Errors at Work. Studies on Nurses’ Engagement in Error-Related Learning Activities. Inaugural-Dissertation zur Erlangung der Doktorwürde der Philosophischen Fakultät II (Psychologie, Pädagogik und Sportwissenschaft) der Universität Regensburgpdf

the problem of transfer

Ohlsson begint met geschiedenis van het begrip overdracht (transfer) in de psychologie, in de uitvoerige noten 40 en 41 (434-435).

• Thorndike & Woodworth (1901): identical elements
• Kieras & Bovair (1986)
• Singley & Anderson (1989): identical production rules
• James (1890 vol. 1 505-508, vol 2. 345-348): kennis is overdraagbaar omdat het abstract is. Ohlsson: de abstractie wordt gevormd ten tijde van de oefening
  • Bassok & Holyoak, 1989
  • Goldstone & Sakamoto, 2003
  • Ohlsson, 1993b
  • Ohlsson & Lehtinen, 1997
  • Reed, 1993
  • Salomon & Perkins, 1989
  overdracht gebeurt via analogie, ten tijde van de overdrachttaak
  • Gentner, 1983
  • Gick & Holyoak, 1980, 1983
  • Hummel & Holyoak, 2003
  • Markamn & Gentner, 2000
  Ohlsson, 2007a: overdracht-mechanisme in constraint-based theory
• Nokes, 2009: er is niet slechts een enkel mechanisme
• reviews:
  • Detterman & Sternberg, 1993
  • Haskell, 2001, Transfer of Learning. Cognition, Instruction, and Reasoning. Academic Press. [als eBook in KB]
  • Salomon & Perkins, 1989
  • Detterman, 1993: onderzoeken waar geen overdracht wordt gevonden
• In the absence of a standard metric and an acceopted baseline for the amount of transfer, claims that transfer effects are great or small are moot.
  • Gagné, Foster & Crowley (1948): savings measures of transfer: hoeveel tijd is er nodig om een overdrachtstaak te leren na voorafgaande training versus geen voorafgaande training.
  • Nokes & Ohlsson, 2004: gebruikt savings measure
  • Singley & Anderson, 1989: gebruikt savings measure
• Ook in het bedrijfsleven lukt het niet om overdrachtseffecten gestandaardiseerd vast te stellen:
  • Baldwin & Ford, 1988: training in bedrijfsleven
  • Salas & Cannon-Bowers, 2001, pp 488-489: idem
  • Yamnill & McLean, 2001: idem

noot 42 en 43:

• Bereiter & Scardamalia, 1985: inert knowledge
• Bransford & Schwartz, 1999: transfer as preparation for future learning
• Morris, Bransford & Franks, 1977: the principle of transfer-appropriate processing
• Renkl, Mandl & Gruber, 1996 (later developments)
• Tulving, 1985, hfdst 5; Tulving & Thomson, 1973: encoding specificity

noot 45, 48: over leren tellen (niet over transfer)

• Rochel Gelman & C. R. Gallistel (1978). The child's understanding of number. Harvard University Press. 2nd, 1985. Pb with new preface, 1986.
• Gelman & Meck, 1983
• Gelman, Meck & Merlin, 1986
• Rochel Gelman (2000). The epigenesis of mathematical thinking. Journal of Applied Developmental Psychology, 21, 27-37. abstract en scihub pdf.

noot 46, 47, 49

• Ohlsson, 1993a zie hier
• Stellan Ohlsson & Ernest Rees (1991a). The function of conceptual understanding in the learning of arithmetic procedures. Cognition and Instruction, 8, 103-179. abstract , zie onderliggend rapport uit 1988. (transfer simulations) Dit is een sleutelpublicatie voor het rekenproject, waar het leren rekenen betreft, dus direct de rekendidactiek rakend.
• Stellan Ohlsson & Ernest Rees (1991b). Adaptive search through constraint violations. Journal of Experimental and Theoretical Artificial Intelligence, 3, 33-42. pdf van onderliggend rapport uit 1990, publiek domein
• Ohlsson, 2007a
  abstract This chapter presents a computational model that shows how information migrates from declarative to procedural knowledge and provides a powerful new learning mechanism for machine-learning algorithms. The model is used to examine the effects of learning three different counting tasks. The model predicts order effects that vary in several dimensions, including the number of times the model has to revise its knowledge and how long it will take to learn. Although some of these effects are quite large within a subtask, the overall effect is muted by other aspects of the task, including interaction. This model suggests that the complexity of a task's constraints is important for computing transfer between similar tasks. The model's behavior has been compared to human performance, and a general summary is provided.

Exit flexibility en transfer als 21st century skills.

the problem of tutoring

Kurt VanLehn, Stephanie Siler, Charles Murray, Takashi Yamauchi & William B. Baggett (2003): Why Do Only Some Events Cause Learning During Human Tutoring? Cognition and Instruction, 21, 209-249. abstract

Norbert Wiener’s insight

Literature

Michelene T. H. Chi & Stellan Ohlsson (2005). Complex declarative learning. In K. J. Holyoak & R. G. Morrison: The Cambridge Handbook of Thinking and Reasoning (Pp. 371-399). Cambridge University Press. pdf

Stellan Ohlsson (2007a). The effects of order: A constraint-based explanation. In: F. E. Ritter, J. Nerb, E. Lehtinen & T. M. O’Shea: In order to learn: How the sequence of topics influences learning (151-165). Oxford University Press.

Stellan Ohlsson (2008a). Computational models of skill acquisition. In Ron Sun: The Cambridge handbook of computational psychology (359-395). Cambridge University Press. [niet online][nog niet gezien, UB Leiden; PSYCHO C6.-144] [als eBook in KB]

Hierin de oorspronkelijke formulering van het Specificity Principle.

Chi, M.T.H. (Submitted). Learning from Observing Experts. To appear in J.J. Staszewski (Ed.), Expertise and skill acquisition: The impact of William G. Chase. New York: Psychology Press. (gebaseerd op dit congres)

• Plaatsvervangend leren, ofwel: vicarious learning. Dit is van direct belang voor wat er in de klas kan gebeuren.

Herbert A. Simon (1999). Learning to research about learning. Keynote address. In Sharon M. Carver & David Klahr: Cognition and Instruction. Erlbaum. inhoudsopgave; pdf van concept.

usage

Jared T. Ramsburg and Stellan Ohlsson (2016). Category Change in the Absence of Cognitive Conflict. Journal of Educational Psychology, 108, 98-113. abstract

Michelene T. H. Chi & Stellan Ohlsson  (2005). Complex declarative learning. In K. J. Holyoak & R. G. Morrison (Eds.), The Cambridge Handbook of Thinking and Reasoning (Pp. 371-399). Cambridge University Press. [PSYCHO C6.2.-61] pdf

• Because the acquisition of procedural knowledge has been researched so extensively in the past few decades, there are several recent reviews (Holyoak, 1995; Lovett, 2002; Lovett & Anderson, this volume; VanLehn, 1989). Therefore, this chapter will focus primarily on the acquisition of a body of declarative knowledge.

Stellan Ohlsson (2013). Beyond Evidence-Based Belief Formation: How Normative Ideas Have Constrained Conceptual Change Research. Frontline Learning Research open access

Jonathan W. Schooler, Stellan Ohlsson, and Kevin Brooks (1993). Thoughts Beyond Words: When Language Overshadows Insight Journal of Experimental Psychology: Genral, 122, 166-183 pdf

  < http://goo.gl/VVHqGu