21st century skills: we can write and talk about them; they do not exist otherwise.

21st century skills are like fire without fuel. A fantasy.


Ben Wilbrink


Good characteristic of the 21st century skills craze tweet:

Designing education to meet the emerging needs of a knowledge society is a priority of education systems worldwide. At this writing, it appears that these efforts are dominated by test-driven “21st-century skills” approaches, often sponsored by major corporations. ( .. ) Although no one is likely to question the value of creativity, problem solving, collaborativeness, and other items that are central 21st-century skills, “21st-century skills” enthousiasts tend to gloss over serious questions of teachability, transfer of learning, and test validity. Experienced educators recognize that tacking the word “skill” onto a desirable human trait does not make it teachable, and so they are likely to find expressions like “empathy skills” ludicrous. Furthermore, to educators who have been in the business for enough years, the skills movement evokes a “been there, done that” reaction. It is not much different from “higher order thinking skills” and related movements that have come and gone over the past six decades.

Marlene Scardamalia and Carl Bereiter (2014). Knowledge building and knowledge creation: theory, pedagogy, and technology. In R. Keith Sawyer: The Cambridge handbook of the learning sciences (p. 411). Cambridge University Press. [the 2006 version of this chapter: http://ikit.org/fulltext/2006_KBTheory.pdf]

.


Those 21st century skills [such as flexibility, creativity,cooperation, probem-solving] are just the skills that can not be cost-effectively computerized. Meaning they are rather low level skills. In terms of IQ: let's say below 100. In terms of education: these skills do not even deserve to be called goals. The hype of 21st century skills is about next to nothing. Do not believe me, read David Autor 2015. What about all those jobs HIGH in the skills spectrum? Well, the skills involved here are just the usual skills we call expertise. For the important things to know about expertise, read Ericsson & Pool (2016) Peak (reviewed here). Is this just a low-IQ act of folksy creativity? No, the result of a long search after the roots of the mistaken concept of 21st C skills. In this context, read Tricot & Sweller (2014 on biologically primary capabilities, way too complex to get computerized; biologically primary, very very complex, gifts from evolution, f.e. one's native tongue, cooperation capability, means-end problem-solving. tweets






afbeeldingen ‘21st century skills’ in Google


Dit kan niet waar zijn, toch? Er wordt ons een oor aangenaaid. Wat zeg ik: twee oren.



VO-Raad (4 maart 2015). Neem deel aan onderzoek '21e eeuwse vaardigheden'. web page


On can talk about 21st century skills, write white papers about them; however, that does not make them exist.



Bernie Trilling & Charles Fadel (2009). 21st century skills. Learning for life in our times.. Jossey-Bass. [als eBook in KB te leen]


De moeders van alle 21e-eeuwse vaardigheden? In ieder geval een snorkend begin: 4 bladzijden bejubelen, voordat je bij het titelblad bent. De auteurs staan op het titelblad afgetiteld als ‘Co-chairs of the Standards, Assessment and Professional Development Committee of the Partnership for 21st Century Skills.’



Harry Webb (February 8, 2015). The trouble with education. [blog no longer publicly available; see websofsubstance.com]




Daniel Willingham (2007). Critical thinking, why is it so hard to teach? American Educator, summer 2007, 8-19. pdf


Critical thinking is not a skill. Absoluut lezen. Sterk tegengif voor aanvallen van 21st century skills poison.



Chatting with John Hattie — Pt. 3 “I have a problem with this notion of twenty first century skills” blog




Michiel van Nieuwstadt (31 augustus 2013). Een iPad is geen Steen der Wijzen. NRC Handelsblad, NRCWEEKEND website NRC


Michiel van Nieuwstadt schrijft in de NRCWeekeind (31-8-2013) in een kort artikel precies op wat de problemen zijn met proza zoals ‘De toekomst telt’ van SLO. Ik ben wel blij met dit sprankje licht. Een mens is toch wel eens geneigd aan zichzelf te twijfelen wanneer de hele spraakmakende wereld (behalve de wetenschappelijke) schijnt te geloven in wat jij juist als kwakzalverij ontmaskert.



Joke Voogt & Natalie Pareja Roblin (2012). A comparative analysis of international frameworks for 21st century competences: Implications for national curriculum policies. Journal of Curriculum Studies, 44, 299-321.


De auteurs zijn blij dat ze aanbevelingen hebben kunnen geven voor de implementatie van de vaardigheden van de 21e eeuw. Alsof dat inderdaad vaardigheden zijn (op deze kwestie gaan zij gelukkig in de voorlaatste alinea van de Conclusies in), en alsof dat vaardigheden zijn die in curricula thuishoren. Quod non.



N. Boswinkel en E. Schram (2011). De toekomst telt. Enschede: SLO. pdf


Ik heb dit rapport uitvoerig van aantekeningen voorzien hier. Je weet niet wat je leest. Vooral over vaardigheden van de 21e eeuw. Napraten en onzin beweren.



Binkley, Marilyn, Ola Erstad, Joan Herman, Senta Raizen, Martin Ripley, & Mike Rumble (2010). Defining 21st century skills. University of Melbourne. pdf



Commentaar overbodig. Voor de zekerheid dan toch maar: dit is geen wetenschap, maar promotie van ICT (Kozma en Roth zeggen dat ook met zoveel woorden in het slot van het voorwoord, zie hier). Over de band van een mega-lijst competenties, in bijlage 2 afgedrukt, zie ook deze reactie. Het is werkelijk ontstellend het volgende te lezen (p. 18 in het boek):

“ Hence, new standards for what students should be able to do must replace the basic skills and knowledge expectations of the past. To meet this challenge schools must be transformed in ways that will enable students to acquire the sophisticated thinking, flexible problem solving, collaboration and communication skills they will need to be successful in work and life.”

Dit is onderwijsterrorisme; de auteurs zijn hier bezig een bom onder het onderwijs te plaatsen. Zie voor een adequaat antwoord, al vijftien jaar geleden gegeven: John Anderson, Lynn Reder en Herbert Simon, in enkele artikelen over ‘situated learning’, constructivisme, en in het algemeen het oppervlakkig denken over wat de cognitieve psychologie zou betekenen voor het onderwijs. Voor links naar deze artikelen, zie hier.

Op blz. 233 (van het boek) blijken de kennis en vaardigheden nog binnen boord te zijn gehouden. Het is dus geen geweldig consistent verhaal dat hier wordt gehouden. Let bij het lezen op de vele vanzelfsprekendheden die de betogen moeten onderbouwen, vanzelfsprekendheden die dat natuurlijk bij een paar seconden nadenken helemaal niet zijn.


Ondertussen zijn alle white papers gebundeld en uitgegeven door Springer:


Patrick Griffin, Barry McGaw & Esther Care (Eds.) (2012). Assessment and Teaching of 21st Century Skills. Springer. read online



Anthony Salico (Vice President for Microsoft Education) (2013). The importance of assessing students’ 21st century skills, not just math, science and reading. blog


Schaamteloos. Lees eerst die blog, anders gelooft u mij niet.

Het is een ernstige zaak, want het gaat om een ingreep in PISA, Ik bedoel niet dat ons onderwijsbeleid door de OECD wordt gemaakt, maar soms komt het er toch wel dicht bij. Politici zijn gevoelig voor de hitlijsten waar de PISA-afnamen toe leiden. Voordat we er erg in hebben, blijkt meneer Andreas Schleicher (OECD, de afdeling die PISA runt) dan meer invloed op het Nederlandse onderwijsbeleid te hebben dan onze eigen bewindspersonen. Salico citeert Schleicher:

Een griezelige ontwikkeling. Lichtpuntje is dat meneer Anthony Salcito er geen doekjes om windt dat Microsoft uit is op grote invloed op ons onderwijs. Ook in de onderliggende stukken van de atc21s (white papers, hierboven al ter sprake geweest) staat onverhuld dat het gaat om invloed, om in de markt zetten van de nodige ICT/software voor gebruik in het onderwijs, te beginnen met gebruik voor landelijke toetsen. Ik weet niet hoe het Cito hierin zit: Arnhem is al wat langer bezig om Nederland aan de digitale toetsen te helpen, aanvankelijk via de toetsen voor de Pabo, en nu veel en veel grootschaliger voor de rekentoetsen bij de eindexamens vo en mbo. Met bijzonder ongewenste gevolgen op het punt van geheimhouding van afgenomen toetsen.

Het wordt tijd voor kamervragen aan de verantwoordelijke staatssecretaris: zijn er afspraken met het Microsoft-Intel-Cisco consortium, afspraken van OCW, van het Cito, maar dus ook van de OECD? Wat de OECD beterft is het kennelijk vragen naar de bekende weg, maar voorzover mij bekend is er in Nederland nog geen discussie over op gang gekomen.



Tony Wagner (2008). The global achievement gap. Why even our best schools don’t teach the new survival skills our children need and what we can do about it. Basic Books.




Joke Voogt & Natalie Pareja Roblin (2010). 21st century skills. Een discussienota. Universiteit Twente. pdf


Deze literatuurstudie is gedaan in opdracht van (‘Dit rapport is opgesteld voor Kennisnet’) Kennisnet. Op het eerste gezicht belooft dit rapport een nuttig overzicht te geven van wat er leeft bij allerlei clubs die de publieke en politieke opinie beïnvloeden. Op het tweede gezicht lijken de auteurs de uitgezonden boodschappen voor zoete koek aan te nemen (p. 1):

Hoezo staat al vast dat deze verbeterde mens in het onderwijs gemaakt moet gaan worden? Want het is weer dezelfde riedel van prachtige kenmerken die de mens van deze eeuw zal/moet hebben:


Goeroetaal. Het is nog erger, blz. 2:

Komt dit de ICT-industrie even goed van pas! Kortom: gebruik dit rapport om de bronnen van de PR-blep over de kritische mens van de 21e eeuw te traceren. Nuttig dus, dat ‘De toekomst telt’ dit rapport noemt. Maar ook onthullend voor ‘De toekomst telt’.
We hebben er zelf om gevraagd. Overstroom het beleidslandschap met PR-mensen, dan verdwijnen de kwetsbare boodschappen uit de wetenschap vanzelf onder de berg PR-blep.
Vanzelfsprekend ben ik in dit rapport niet verder gekomen dan de samenvatting op blz. 1 en 2. Dit is propaganda, geen wetenschap.
Ik ben me van deze referentie in ‘De toekomst telt’ opnieuw te pletter geschrokken. Het lijkt me dat de onderzoekjournalistiek naar de bronnen van de projectgroep-Plomp hiermee wel kan worden afgesloten. Na de demolition wordt het tijd voor enkele opbouwende reactie. Opbouwend voor het onderwijs, dan. Niet voor Plomp en de zijnen. Zie verder mijn pagina met aantekeningen bij ‘De toekomst telt’.




Stellan Ohlsson (2011). Deep Learning. How the Mind Overrides Experience. Cambridge University Press. front matter


Alle genoemde toekomstverkenningen maken veel werk van mega-competenties zoals creativiteit, flexibiliteit, probleemoplossend vermogen, kritisch redeneren. Het opmerkelijke hieraan — ik heb het al aangeduid door deze wensen ‘mega-competenties’ te noemen — is dat het telkens gaat om veronderstelde individuele kenmerken waarbij het evident is dat er geen onderwijsprogramma’s voor zijn te ontwerpen.

Is er psychologische theorie die eveneens het terrein bestrijkt waarop al deze toekomstkenners zich zo onvoorzichtig wagen? Ja, en die theorie is door Stellan Ohlsson opgesteld, bouwend op de resultaten van de cognitieve psychologie van de laatste halve eeuw. Hij begint als volgt (p. vii).


Het boek van Ohlsson is niet onder ieders handbereik, zacht gezegd. De volgende stukken kunnen helpen.

Creativiteit in ‘Deep Learning’ van Stellan Ohlsson


Za, 07/01/2012 - 23:08.


De projectgroep-Plomp zet creativiteit op een voetstuk. Ik neem aan dat hiermee méér is bedoeld dan het oppervlakkige vermogen om meer dan tien manieren aan te kunnen geven hoe een baksteen, paperclip enz. is te gebruiken. Ik zoek houvast bij Ohlsson.


Het indrukwekkende van dit werk van Ohlsson is dat hij niets als vanzelfsprekend wil aannemen, en net zolang doorgaat totdat er een falsificeerbare uitspraak of theorie is over het hele oorzakelijke traject naar creatieve productie toe. Dat is trouwens nog knap lastig. De oude Grieken kenden het probleem al als de paradox van Meno: hoe kun je iets leren kennen wat je nog niet weet. Dat is een sterk contrast met de wolligheid van vele profeten over creativiteit, probleemoplossen en kritisch denken.


Uit het schema van Ohlsson is al wel duidelijk dat creativiteit bij hem geen persoonlijkheidseigenschap is (zoals dat ook bij psychologen zoals Hans Eysenck al veel eerder is te lezen). Dat creatieve productie, het creatieve idee, zeldzaam is: ook bij mensen die er beroepsmatig van afhankelijk zijn (uitvinders, wetenschappelijk onderzoekers, kunstenaars). Dat creatieve ideeën een lange en vaak zeer lange aanlooptijd hebben. Dat creatieve ideeën alleen gegeven zijn aan wie goed is voorbereid. Grote ervaring en stevige domeinkennis zijn voorwaardelijk.


‘Kleine’ creativiteit zal iedereen af en toe wel overkomen, en is ongetwijfeld iedereen ook wel bekend: lang met een specifiek probleem rondlopen, er van alles ook op geprobeerd hebben, en uiteindelijk, na de laatste impasse, de oplossing zien. De ‘grote’ creativiteit waar Ohlsson over theoretiseert en experimenteert is maar voor weinig beroepsbeoefenaren van belang. Weinig beroepsbeoefenaren zullen zich de risico’s, de tijd en moeite kunnen en willen permitteren die voor creatief werk nodig is.


In het onderwijs is deze creativiteit ook wel te vinden: bijvoorbeeld bij leerlingen ‘waar het kwartje valt’: die hard hebben gewerkt, de stof beheersen, maar de grote lijn nog niet eerder hebben kunnen zien.




Wat zijn voorwaarden voor creativiteit?


Zo, 08/01/2012 - 01:23.


Stellan Ohlsson maakt onderscheid tussen monotoon leren (‘gewone’ leerprocessen, core business van onderwijs) en niet-monotoon leren: creativiteit (oplossingen), aanpassing (aan veranderde omstandigheden) en bekering (van geloof).


Zijn theorie bevat geen mannetjes of zwarte dozen in het hoofd (homunculi, black boxes), maar verklaart het non-monotone leren o.a. uit monotone processen die bekend, goed onderzocht, en simuleerbaar zijn.

Het creatieve idee is — in tegenstelling tot wat velen denken — niet een bewuste handeling. Creëren is evenmin bewust te doen als de eigen nierfunctie bewust is aan te sturen (het beeld is van Ohlsson).


Hoe dan wel? Het is mogelijk om jezelf in de omstandigheden te brengen waarin creatieve ideeën kunnen opborrelen. Ik citeer de woorden waarmee zijn laatste theoretische hoofdstuk afsluit. Het citaat begint met aan te sluiten op een korte aanduiding dat er ook wel fysiologische verschillen tussen personen kunnen zijn, in de genetisch bepaalde architectonische structuur van het functioneren van de hersenen.



Deze theorie van Ohlsson staat dus diametraal tegenover het voorstel van de projectgroep-Plomp dat het met alle basiskennis en -vaardigheden juist een heel stuk minder kan, zodat er meer ruimte komt voor de hogere leerprocessen, nl. de niet-monotone van Ohlsson. Maar zo werkt het dus niet.




Beren op Nova Zembla: wit of zwart?


Di, 10/01/2012 - 21:12.


De projectgroep-Plomp poneert eigenlijk de stelling dat de 21e-eeuw een andere wijze van denken vraagt dan de voorgaande eeuw deed. Dat is een vreemde stelling, maar er is wel een touw aan vast te knopen door naar een belangrijke verschuiving in de loop van de laatste eeuw te kijken. Helaas volgt daar niets uit over wat de komende honderd jaar een belangrijke verschuiving zou kunnen zijn.


Ik heb het natuurlijk over de enorme stijging in het vermogen om abstract te redeneren, zoals op de behangseltest (matrices) of de subtest ‘overeenkomsten’. Om een indruk te geven hoe verbazingwekkend dat is, lees het volgende vragenspel, uit een studie van Luria, geciteerd door James Lynn in zijn (2007) What is intelligence? (p. 25).


V. Waar altijd sneeuw ligt zijn de beren wit. Op Nova Zembla is er altijd sneeuw. Welke kleur hebben de beren daar?
A. Ik heb alleen zwarte beren gezien, en over wat ik niet heb gezien kan ik niets zeggen.
V. Maar wat volgt er uit mijn woorden?
A. Wie daar niet is geweest, kan kan er op basis van woorden niets over zeggen. Als iemand van 60 of 80 jaar daar een witte beer had gezien, en mij erover vertelde, dan kan ik dat aannemen.


Het bovenstaande is een voorbeeld van wat een typische redenering rond 1900 zou kunnen zijn. Een ander voorbeeld is het antwoord op de vraag ‘Wat hebben honden en konijnen gemeenschappelijk?’ Het antwoord in 1900 zou waarschijnlijk zijn: ‘honden jagen konijnen’. Maar dat is niet wat de intelligentietester bedoelt: 'het zijn zoogdieren'. Dat laatste kan mensen in het begin van de vorige eeuw niets schelen, dat honden konijnen jagen is wèl van belang.


In de loop van de laatste eeuw zijn mensen steeds ‘wetenschappelijker’ gaan denken, resulterend in het Flynn-effect. En een voorwaarde om in deze verwetenschappelijke samenleving nog mee te komen. Ik formuleer het kort door de bocht, maar dit is wel de grote lijn.




Woordspelletjes


Di, 10/01/2012 - 23:32.


Het onderwijs speelt hier natuurlijk ook een rol in, zeker. Overigens: James Flynn spreekt over ‘pre-scientific’ en ‘post-scientific’; dat zijn maar labels, het precies invullen ervan is een klus van bepaald meer dan 2000 karakters .... .


Vergis je niet in de omvang van het effect. Als de subtests ‘overeenkomsten’ en ‘figuren’ (behangseltest) in hun eentje het IQ zouden bepalen, en dat staat op 100 in 2000, dan staat dat voor het jaar 1900 ergens rond 60. Dat is enorm, een verschil van bijna drie standaarddeviaties.


Ter geruststelling: ook onze overgrootouders waren prima probleemoplossers enzovoort.

En natuurlijk zijn er nog een aantal andere subtests, zoals woordenschat, waarop weinig of geen trendmatige verschillen zijn geconstateerd.




Abstracte denkertjes worstelen met concrete rekencontexten


Wo, 11/01/2012 - 08:46.


In deze eerdere post over vergelijkend onderzoek van Genovese kwam al aan de orde dat toelatingsexamens begin vorige eeuw vooral declaratieve kennis vroegen, zonder dwarsverbinden, terwijl ze eind van die eeuw juist meer onderlinge relaties in een veel beperkter kennisbestand vragen. Een ontwikkeling van concreet, dicht bij de wereld blijvend, naar abstract, boven het concrete uitstijgend.


Het zijn vage woorden, en we weten er ook nog niet echt veel van. Want wederom: vergis je niet, het is pas heel recent dat wordt ingezien dat het Flynn-effect waarschijnlijk direct voortkomt uit een enorm verbeterd vermogen om op abstracte wijze met de wereld om te gaan. Ik zal er in draad 8178 over verschillen in intelligentie zeker nog op terugkomen.


En zo rijst vanzelf het Flynn-vermoeden dat juist in het reken- en wiskundeonderwijs er de laatste decennia precies een omgekeerde ontwikkeling heeft plaatsgehad: van meer abstract (bekijk eens een algebra-lesboekje voor de laatste jaren vhmo 1968) naar nauwelijks meer van pseudo-concrete contexten loskomend lesmateriaal en eindexamenwerk. In plaats van met de Flynn-stroom mee te werken, en uit te buiten dat de jongelui tegenwoordig heel makkelijk abstract denken, gaat het realistisch rekenonderwijs de andere kant op en dwingt het leerlingen om hun licht onder de korenmaat te stellen. Of zoiets, het is nog vroeg in de ochtend.




TU Twente rector Ed Brinksma


Vr, - 18:24.


In de volkskrant van vandaag 06/01/2012: Maartje Bakker spreekt rector magnificus Ed Brinksma van de Technische Universiteit Twente:

Psychologie is een prachtig vak, maar ik lees hier toch echt dat onze technische universiteiten op weg zijn triviaal te worden.



Neil Selwyn (2011). Schools and Schooling in the Digital Age. Routledge.

Selwyn geeft een indringend overzicht van een stevig aantal problematische aspecten van het gebruik van computers in onderwijs. Dit gaat dus niet precies over 21st century skills als zodanig, maar bij nader inzien schetst Selwyn juist een veel scherper beeld van heel het landschap waarin die ‘21st century skills’ volgens de protagonisten zouden moeten gaan opbloeien. Ik citeer maar eens zo’n passage die een kritische hefboom onder het futuristische geklets zet.



Partnership for 21st Century Skills website


Een coalitie van o.a. Verizon, Hewlett=Packard, Apple, Dell. See also Larry Cuban's blog October 30 2014 blog.



Amber Walraven (2014). Zin en onzin van 21e eeuwse vaardigheden. webpagina Didactief




Annette Thijs, Petra Fisser en Monique van der Hoeven (januari 2014, concept). Digitale geletterdheid en 21e eeuwse vaardigheden in het funderend onderwijs: een conceptueel kader. SLO. pdf


Lees dit stuk van SLO: het is schaamteloos eenzijdig gebaseerd op belangen vd ICT-gemeenschap. Het rapport verzwijgt bijvoorbeeld dat achter atc21.org het belang van een enorm ICT-kartel zit: Intel/Cisco/Microsoft. Hoe is het mogelijk in deze tijd van aandacht voor belangenverstrengeling, dat SLO hier blind voor is?



Matthew D. Lieberman (2013). Social: Why Our Brains Are Wired to Connect. Crown Publishers. [eBook (nog?) niet in KB] info


Jelle Jolles vestigde de aandacht op dit boek (8 november 2013). Het stukje uit The Atlantic (hierbeneden) bracht mij tot een nieuwe variant op de stelling dat we samenwerken al vroeg in onze evolutie hebben geleerd (en dat in de 21e eeuw dus niet alsnog hoeven te leren): Prachtige info voor wie denkt dat we samenwerken in deze 21e eeuw nog moeten leren. We danken er juist onze hersens aan. Ik heb al een instemming met deze stelling, van Jelle Jolles. Beter nog, hij gaf mij het recente boek van Jared Diamond als mogelijke onderbouwing voor de stelling evolutionair gebaseerde samenwerking. Lieberman is daar uiteraard ook een onderbouwing voor. Boeiend.



Jared Diamond (2012). The World until yesterday: What can we learn from traditional societies?. Viking. [Dit boek moet ik opzoeken, het is (nog?) niet als eBook in de KB] info


Jelle Jolles gaf mij deze titel, als informatief voor mijn bekende stelling dat we de 21e-eeuwse competientie ‘samenwerken’ niet nog eens hoeven te leren omdat we die al in onze genen hebben meegekregen van onze voorouders op de Afrikaanse savannen. Het boek van Jared Diamond laat zien, zoveel maakt de info-pagina al duidelijk, dat in kleine tribale groepen die samenwerking van overheersend belang is.



J. Voogt, O. Erstad, C. Dede & P. Mishra (2013). Challenges to learning and schooling in the digital networked world of the 21st century. Journal of Computer Assisted Learning, 29, 403-413. abstract


In het abstract geven de auteurs prima aan wat er in de wereld van deze protagonisten van 21e-eeuwse vaardigheden leeft. Het kan zomaar gebeuren dat ik dit artikel zie als sleutelpublicatie op deze thematiek.



J. Voogt & G. Knezek (2013). Building a global community of policymakers, researchers and educators to move education systems into the digital age. Journal of Computer Assisted Learning, 29, 399-402. Special issue (red. Voogt & Knezek): : Research-informed Strategies for Moving Education into the Digital Age — Outcomes of the International Summit on ICT in Education abstract


Maar dit is toch in strijd met de integriteit van de wetenschapper? Hoe is het mogelijk dat wetenschappers zichzelf voor de kar spannen van digitalisering van onderwijs?



The European Code of Conduct for Research Integrity pdf]



Justin Reich, Richard Murnane and John Willett (2012). The State of Wiki Usage in U.S. K-12 Schools : Leveraging Web 2.0 Data Warehouses to Assess Quality and Equity in Online Learning Environments. Educational Researcher, 41, jan/feb


Nogal juichend stuk over 21st century skills.



Sonia Livingstone website [schatkamertje met literatuur over wat sommigen 21st century skills noemen]



Dean Keith Simonton (2013). Creative performance, expertise acquisition, individual differences, and developmental antecedents: An integrative research agenda. Intelligence online first


Problematiseren. Heerlijk.



Samuel Greiff, Sascha Wüstenberg, Daniel V. Holt, Frank Goldhammer & Joachim Funke (2013). Computer-based assessment of Complex Problem Solving: concept, implementation, and application. Education Tech Research Dev (2013) 61:407-421 abstract


Ik denk dat hier de onzin aardig bij elkaar staat: probleemoplossen, maar dan losgezongen van expertise. Dat sluit dan mooi aan op de Salico-hype. Het gaat hier trouwens om een themanummer over complex probleemoplossen, een themanummer dat in zijn geheel bijzonder interessant is. Ik heb er nog niet grondig naar kunnen kijken, maar kreeg de indruk dat de aansluiting op cognitief-psychologisch onderzoek hier en daar gemankeerd is: wel het probleemoplossen van Newell & Simon, maar niet de latere ontwikkelingen. Ook verwijzingen naar Ericsson, of naar Michelne Chi, betreffen ouder werk uit de tachtiger jaren, geen recent onderzoek. Terwijl Michelene Chi zo’n uitstekend overzicht van het onderzoek tot en met de eerste jaren van deze eeuw heeft gegeven (ik ben even de precieze plaats kwijt).



Ron Ritchhart, Mark Church & Karin Morrison (2011). Making Thinking Visible : How to Promote Engagement, Understanding, and Independence for All Learners. Wiley site en pdf chapter 1 [eBook KB]


“Visible Thinking is a research-based approach to teaching thinking, begun at Harvard's Project Zero, that develops students' thinking dispositions, while at the same time deepening their understanding of the topics they study. ” Ik denk dat ik dit wel serieus moet nemen, gezien de provenance: Harvard's Project Zero (o.a. Howard Gardner). Ik heb het nog niet bekeken, maar verwacht eigenlijk dat deze vuurtjes wel degelijk brandstof hebben gekregen.



Susan R. Goldman & Marlene Scardamalia (2013). Managing, Understanding, Applying, and Creating Knowledge in the Information Age: Next-Generation Challenges and Opportunities. Cognition and Instruction, 31, 255-269. abstract


Lees hier de ene misvatting na de andere. De auteurs doen het voorkomen alsof de kennis waar de samenleving op draait, morgen moet worden uitgevonden. Dat studenten kennis moeten creëren. Dat iedere student of wetenschapper alle kenniscreatie opnieuw moet doen.



John R. Hayes (1989 2nd). The Complete Problem Solver. Erlbaum.






Digitale geletterdheid in het voortgezet onderwijs. Vaardigheden en attitudes voor de 21ste eeuw?



Koninklijke Nederlandse Akademie van Wetenschappen (december 2012). Digitale geletterdheid in het voortgezet onderwijs. Vaardigheden en attitudes voor de 21ste eeuw. Advies van de KNAW-Commissie Informatica in het voortgezet onderwijs. pdf ophalen


Jan Karel Lenstra was de voorzitter van deze commissie; informatica is zijn vak. Ik heb uit de pers begrepen dat zijn commissie ook uit deskundigen op dat terrein bestaat, en dat lijkt me niet geruststellend. Ik begin dus met de nodige argwaan aan het lezen van dit KNAW-rapport. Die argwaan wordt nog versterkt door het sterke advies van deze commissie om een voor iedereen verplicht vak om iedere scholier digitaal geletterd te maken.

Hoe is de commissie samengesteld? Behalve Barthel hebben alle leden een stake in informatica, al was het maar omdat informatica hun warme persoonlijke belangstelling heeft. Het zou wel zo sjiek zijn geweest om die belangenverstrengeling te vermelden bij het lijstje van leden van de commissie. Een nogal eenzijdig samengestelde commissie dus, die hun eenzijdige visie op de wereld in een KNAW-stuk neer mogen leggen. Het is te hopen dat er tenminste ergens anders binnen de KNAW nog tegenspraak wordt georganiseerd. Wat tegenspraak betreft, zal ik mijn annotatie nu zeker een stuk serieuzer opvatten. Ik annoteer al lezende, mijn annotaties zijn daarmee een ontdekkingstocht door het rapport. Ik zal, eenmaal door het rapport heen, mijn annotaties niet anders gaan ordenen, maar wel licht redigeren (bijvoeglijke naamwaarden verminderen, verdubbelingen eruit)






Robin Jacob & Julia Parkinson (2015). The Potential for School-Based Interventions That Target Executive Function to Improve Academic Achievement: A Review. Review of Educational Research prepublication. free access




Michele Molna (March 19, 2015). World Economic Forum Identifies Ed-Tech Needs for 21st Century Skills. EdWeek pagina




(january 8, 2012). Why 21st century skills are not that 21st century blog




Derek hompson (Dec 20 2013). The Government is Horrible at Predictions (So is Everybody Else). The forecasting-industrial-complex in the media and government. The Atlantic webpage




Madeline J. Goodman, Anita M. Sands & Richard J. Coley (January 2015). AMERICA'S SKILLS CHALLENGE: Millennials and the Future. ETS pdf




William W. Brickman & Stanley Lehrer (Eds.) (1966). Automation, education, and human values. New York: School & Society Books. lccc 65-15294




Martin Davies & Ronald Barnett (Eds.) (2015). The Palgrave hanbook of critical thinking in higher education. Palgrave Macmillan. info


Pseudo-science?
Bibliography (1301 titles) available here



André Tricot & John Sweller (2014). Domain-specific knowledge and why teaching generic skills does not work. Educational Psychology Review preview & concept




Ook in 2015 blijft de Onderwijsraad 21st century skills promoten. https://twitter.com/benwilbrink/status/644403234170343424




David Didau (2015). What every teacher needs to know about 21st century learning. Teach Secondary column.




http://www.youtech.nl/hoe-ze-in-1900-dachten-hoe-het-jaar-2000-eruit-zou-zien/




Daniel T. Willingham (2015). Do Students Remember What They Learn in School? Ask the Cognitive Scientist blog


twitter.com/benwilbrink/status/656224823673118720



Christopher R. Huber and Nathan R. Kuncel (2015). Does College Teach Critical Thinking? A Meta-Analysis. Review of Educational Research free


Some sensible (critical?) remarks in the section ‘Definition and Measurement Issues’, otherwise BS. Meaning: the issues brought up in that section should have finished the study prematurely ;-)



Schleicher-speech in Helsinki: 21st century skills again. https://twitter.com/benwilbrink/status/656902570502430724


Wow. Newton dumped.



Maurice A. Finocchiaro (2005). Arguments about arguments. Systematic, critical and historical essays in logical theory. Cambridge University Press. isbn 0521618533




James F. Voss, David N. Perkins & Judith W. Segal (Eds.) (1991). Informal Reasoning and Education. Erlbaum. isbn 0805802096 info [Als eBook beschikbaar in KB] [niet meer beschikbaar in UBL (ik heb dat afgescheven exemplaar zelf)]


Remarkable book, foreshadowing the 21st-century skills pseudo-science of the new century to come ;-)



Michael Ray & Rochelle Myers (1986). Creativity in business. Based on the famed Stanford University course that has revolutionized the art of success. Garden City, N.Y.: DoublDay.


Terrible bullshit, from a pschological vantage point, I am afraid.



Jesse R. Sparks & Paul Deane (2015). Cognitively Based Assessment of Research and Inquiry Skills: Defining a Key Practice in the English Language Arts. ETS Research Report Series, 2015, issue 2, 1-55. open access




Michaela Horvathova (Consultant Directorate for Education and Skills, OECD) (2015). REVIEW STUDY OECD DUTCH CURRICULUM: '#ONDERWIJS 2032' Paper #1: EVIDENCE ABOUT KNOWLEDGE AND SKILLS FOR WORK AND LEARNING. pdf


Especially the conclusion tweet.



Heather Roberts-Mahoney, Alexander J. Means & Mark J. Garrison (2016). Netflixing human capital development: personalized learning technology and the corporatization of K-12 education. Journal of Educational Policyabstract




Platform Onderwijs2032 (23 januari 2016). Ons onderwijs2032 Eindadvies. ophalen


tweet Waar zit ik nu naar te kijken, Montessori, Dalton, all over again? Het studiehuis uitgesmeerd over hele curricula?; tweet Laat vooral tegenspraak horen op dit advies; Wat zeur ik nou, Platform deed precies wat was opgedragen: “2. Het platform heeft tot taak: a. Op basis van een breed maatschappelijk debat tot een gedragen visie op een toekomstgericht curriculum voor het primair en voortgezet onderwijs kunnen komen.” Niks op basis van wetenschappelijke inzichten. Het probleem ligt dus bij OCW, dat de 'W' van wetenschap ziet als iets vh verleden, oude kennis die irrelevant is geworden? tweet Onderwijsgeschiedenis biedt een rijke bron van ervaringen met vernieuwing/manipulatie ;-); tweet Mijn discussielijn: kijk gewoon wat er staat, en dan of het onderbouwd is. r is geen bijzondere wereldkennis/expertise nodig om na te kunnen gaan of beweringen berusten op adequate bronnen. De smoes van “Schnabel' kan zijn: het gaat om toekomstige ontwikkelingen, die weten we niet. Touché.; tweet Het onderwijsveld ligt nu echt wijd open voor goeroes en dwaallichten (zie ook Tom Bennett, Didaktief).; Het gaat om ons onderwijs. Intellectuele integriteit is dan wel het minste dat we mogen eisen. Doen. Platform inventariseerde meningen (volgens opdracht), bombardeert die tot blauwdruk. Dat klopt niet. =; tweet Kunnen we een peiling houden over de stelling dat de samenvatting vh rapport #onderwijs2032 broddelwerk bevat? Dat bij de presentatie niemand opstond om erop te wijzen dat deze keizer geen kleren aan heeft: oké, alleen Sander Dekker kende rapport al.; tweet In het rapport van het Platform is ongefundeerde kletsika eenvoudig aan te wijzen. tweet Sander Dekker gaat ontwerpen en bouwen. Vooruit met de geit. Niet eerst onderzoeken, meteen leveren. Freudenthal's aanpak.



Aleid Truijens (10 oktober 2015). Kennis zit niet meer in je hersenen. De Volkskrant. web




Ben Wilbrink (29 oktober 2015). Opmerkingen bij het tussenadvies van Platform-Onderwijs2032. Aan het Platform Onderwijs2032. web http://benwilbrink.nl/publicaties/onderwijs_2032.htm




Sander Dekker (kamerbrief 23 januari 2016). Beleidsreactie op het advies van het Platform Onderwijs2032. ophalen


Wie nog mocht denken dat #onderwijs2032 alle ruimte geeft aan leraren, en juist niet aan de usual suspects, leze Ben Williamson (2015). Political computational thinking: policy networks, digital governance and 'learning to code'. Critical Policy Studies. download



Ben Williamson (2015). Political computational thinking: policy networks, digital governance and 'learning to code'. Critical Policy Studies. download




World Economic Forum (March 2016). New Vision for Education: Fostering Social and Emotional Learning Through Technology. download


Obscurantism.



See Stellan Ohlsson (2011) Deep learning. How the mind overrides experience. p. 59.




Sarah Mathew, Charles Perreault (2015). Behavioural variation in 172 small-scale societies indicates that social learning is the main mode of human adaptation. Proceedings of the Royal Society B Bilogical Sciences,282 abstract




Knowledge is 'not enough' if students are to find jobs after the 'fourth industrial revolution', says Lord Baker Helen Ward 9th May 2016 at 01:01 TES article




Robert Slavin pdf


Samenwerkend leren: debunked by Robert Slavin



New Pedagogies pdf




Alicia P. Melis (2013). The evolutionary roots of human collaboration: coordination and sharing of resources . Annals of the New York Academy of Sciences. Ann. N.Y. Acad. Sci. 1299 (2013) 68–76




VACATURE: VAKDOCENT 21ST CENTURY SKILLS SCHOOLJAAR 2016-2017 pagina




Robert Fisher (1990 6th). Teaching children to think. Cheltenham: Stanley Thornes. isbn 0748722351 homepage


The first sentence tells it all. Fsher has tried to connect his ideas to psychology — that does not mean he succeeded in doing this, and surely not that psychology supports his ideas. Well, my interest in the book: a 1990 protagonist of creativity in the school tells it all, and a lot better, I think, than Sir Ken does it a few decennia later. Nevertheless, I am afraid it is misleading. Thinking is an autonomous process (see Stellan Ohlsson's book, 2011), there isn't a homunculus in the head that can learn how to do the thinking.



Michael Kremer. 1993. The O-Ring Theory of Economic Development. Quarterly Journal of Economics 108, 551–75. [via Autor, 2015]


a.o.: "This paper proposes a production function describing processes subject to mistakes in any of several tasks. It shows that high-skill workers-those who make few mistakes-will be matched together in equilibrium, and that wages and output will rise steeply in skill. " "I assume that it is not possible to substitute several low-skill workers for one high-skill worker, where skill refers to the probability a worker will successfully complete a task. " "Imperfect observability of skill leads to imperfect matching and thus to spillovers, strategic complementarity, and multiple equilibria in education. " "Subsection 1.3 shows that higher skill workers will use more complex technologies that incorporate more tasks. " "Section II endogenizes worker skill as the product of invest- ment in human capital. If workers are matched together perfectly, investment in human capital will be Pareto optimal. However, if worker skill cannot be perfectly observed, so matching is imperfect, there will be underinvestment in human capital, so education subsidies will be optimal. Moreover, there will be strategic comple- mentarity in this investment, so these subsidies will have multi- plier effects, and small differences between countries in exogenous factors will cause large differences in worker skill. If strategic complementarity is strong enough, there will be multiple equilibria. " "A worker's skill (or quality) at a task, q, is defined by the expected percentage of maximum value the product retains if the worker performs the task. Thus, a q of 0.95 could refer to a worker who has a 95 percent chance of performing the task perfectly and a 5 percent chance of performing it so badly the product is worthless, to a worker who always performs a task in such a way that the product retains 95 percent of its value, or to a worker who has an 50 percent chance of performing the task perfectly and a 50 percent chance of making a mistake that reduces the value of the product to 90 percent of its maximum possible value." "This 0-ring production function differs from the standard efficiency units formulation of labor skill, in that it does not allow quantity to be substituted for quality within a single production chain. For example, it assumes that it is impossible to substitute two mediocre advertising copywriters, chefs, or quarterbacks for one good one. "Imperfect matching of workers due to imperfect information about worker skill leads to positive spillovers and strategic complementarity in investment in human capital. Thus, subsidies to investment in human capital may be Pareto optimal. Small differ- ences between countries in such subsidies or in exogenous factors such as geography or the quality of the educational system lead to multiplier effects that create large differences in worker skill. If strategic complementarity is sufficiently strong, microeconomi- cally identical nations or groups within nations could settle into equilibria with different levels of human capital. "



Fernando Reimers, Ford Foundation Professor of Practice in International Education, Harvad Graduate School of Education profile




Blake Montgomery (July 14, 2016). Facebook Donates $15M to Code.org to Diversify Computer Science Education page


Commented on y Ben Williamson: “Computer science in education explicitly framed as a talent pipeline for tech sector” tweet



Social Media Inequality: Definition, Measurements, and Application. Agustin Indaco & Lev Manovich 04/10/2016 Forthcoming in Urban Studies and Practices Journal, 2016.




Carlo Di Chiacchio, , , Simona De Stasib, , Caterina Fiorilli (2016). Examining how motivation toward science contributes to omitting behaviours in the Italian PISA 2006 sampleabstract paywalled




Frank Levy and Richard J. Murnane. 2004. The New Division of Labor: How Computers Are Creating the Next Job Market. Princeton University Press. info on book and free access Ch. 1.


I wll probably write a blog on this book. The following quote specifies some issues. I do not not think 'computers' are the main explanation (growth of the number of highly educated workers predates computerization). The concepts of 'requiring complex communication' as well as 'expert thinking' might be partly mistaken; if so, the idea of '21st century skills', taking its root in work like that of Levy & Murnane 2004, is mistaken also.



Merim Bilalic, Peter McLeod & Fernand Gobet (2009). Specialization effect and its influence on memory and problem solving in expert chess players. Cognitive Science, 33, 1117-1143. researchgate.net



Ronny Scherer (14 September 2016). Learning from the Past–The Need for Empirical Evidence on the Transfer Effects of Computer Programming Skills. Frontiers in Psychology. free access


Asks for research on transfer of programming skills. Somewhat strange, to me. See my page on transfer. Transfer is a controversial concept. Does it even exist? It might just be learning in a nw situation.



Tomi Dufva & Mikko Dufva (2016). Metaphors of code - Structuring and broadening the discussion on teaching children to code. Thinking Skills and Creativity, 22, 97-110. free access




Ben Wilbrink (21 september 2016). Het is me wat met die vaardigheden van de 21e eeuw. ECBO Nieuwsbrief 21ste-eeuwse vaardigheden. gastcolumn




Mirjam Neelen & Paul A. Kirschner (November 1, 2016). 21st century skills don't exist. So why do we need them? blog




Ben Wilbrink (24 July 2016). What about (21st C.) skills & education? 1. Roots and sources blog




Education for Life and Work Developing Transferable Knowledge and Skills in the 21st Century. The Ntional Academies. pdf


Strabgely inconsistent analysis. Full report: Committee on defining deeper learning and 21st century skills (James W.Pelligrino, chair) (2012). Education for Life and Work: Developing Transferable Knowledge and Skills in the 21st Century. info



Andrew Russell & Lee Vinsel (7 April 2016). The maintainers. Capitalism excels at innovation but is failing at maintenance, and for most lives it is maintenance that matters more. blog




Addie Johnson & Robert W. Proctor (2016). Skill acquisition & training. Achieving expertise in simple and complex tasks. Routledge. info


Just take a look at its content listing. Remark there is no mention of '21st century skills', 'soft skills', or 'generic skills'. Indeed, skills are domain specific everywhere. However, there is a section on problem-solving skill. Guess what? It is domain-specific, heavily contingent on long term memory knowledge. Many topics regularly in discussion on Twitter and in blogs on social media are treated here in a professional manner, yet accessible.



Against genericism: a response to Steve Turnbull. Posted on 14 December 2016 by Michael Fordham blog




Beoordelen van 21ste-eeuwse vaardigheden? ■ Hester Stubbé ■ Andrea Jetten Examens was free access cadeautje december 2016




Edward L. Thorndike (1916). The principles of teaching based on psychology. pdf book Still good psychology. 235: The superstition of general training. In direct opposition to Dewey ;-) p. 253




mijn tweet Daily portion of generic skills pseudo-psychology from the OECD: 'Key issues for digital transformation in the G20' OECD reprot 12 January 2017. pdf




Panagiotis Kampylis, Yves Punie (Eds.) (2016). Developing Computational Thinking in Compulsory Education. Implications for policy and practice. JRC Science for Policy Report. European Commission. pdf




Do "Brain-Training" Programs Work? Psychological Science Daniel J. Simons et al (2017). open access




Sala, G and Gobet, FR (2016) Do the benefits of chess instruction transfer to academic and cognitive skills? A meta-analysis. Educational Research Review, 18, 46-57. download


I do not understand the authors, and especiallynot the titelof the research. Of course there is no transfer. In my opinion ist is problematic to even suggest in such an obtrusive way that transfer could be a possibility, for even a tiny percentage. Is this but an exercise to score a publication?



James W. Pellegrino. Teaching, learning and assessing 21st century skills. Ch, 10 in Pedagogical knowledge and the changing nature of the teaching profession. CERI Centre for educational research and innovation. read only




Tara Ehrcke (2013). 21st Century Learning Inc. Our Schools/Our Selves preview




Vince Ulam (Feb 18, 2017). The Emperor's New Pedagogy.




M. Verschoor & G. Bruin-Muurling (2015). Rekn-wiskundige inzichten en 21st century skills. Panama-Post pdf




OECD Skills Outlook 2017. Skills and Global Value Chains. read online




Marjan Vermeulen & Emmy Vrieling (2017). 21e-eeuwse vaardigheden: achtergronden en onderwijsimplicaties in zeventien vragen en antwoorden. Marjan Vermeulen & Emmy Vrieling (2017). pdf




Edwin G. Boring (1929/1957). A history of experimental psychology. Appleton-Century Crofts. isbn 0390109886,  


'21st century skills' is just 18th century faculty psychology in a new disguise. That faculty psychology rapidly evolved into the folk psychology of mental powers that can be trained like muscles can. Boring calls it word magic (see quote).



The nature of problem solving. Using research to inspire 21st century learning. Ed. Beno Csapo & Joachim Funke. OECD 2017 read




Andrew J. Rotherham and Daniel T. Willingham (2010). "21st-Century Skills. Not New, but a Worthy Challenge. American Educator Source: “21st Century Skills e Challenges Ahead,” by Andrew J. Rotherham and Daniel Willingham, 2009, Educational Leadership 67(1), pp. 16–21. © 2009 by ASCD. Reprinted with permission. pdf




Knowledge and Practice: The Real Keys to Critical Thinking By Daniel T. Willingham (March, 2016). Knowledge matters pdf




VAKMANSCHAP | CRAFTSMANSHIP ROA projectleider Rolf van der Velden, interessante publicaties! page




Can You Be a Great Leader Without Technical Expertise? Art Markman (2017). Harvard Business Review blog




Newcombe, N. (2017), “Harnessing Spatial Thinking to Support Stem Learning ”, OECD Education Working Papers, No. 161, OECD Publishing, Paris. http://dx.doi.org/10.1787/7d5dcae6-en download




Paul Kirschner (21 december 2017). De Holle Retoriek van '21st-Century Skills' – Hoezo is Kennis Minder Belangrijk? blog ["Deze blog was gepubliceerd als een artikel geschreven door Erik Meester, Sarah Bergsen en mijn persoon in het decembernummer van TH& MA – Tijdschrift voor Hoger Onderwijs & Management."]




The Myth of Achievement Tests : The GED and the Role of Character in American Life Heckman, James J.; Warren, John Robert;and more  University of Chicago Press  2014 [eBook in KB] info




Ben Williamson (Jan 16, 2018). PISA for personality testing – the OECD and the psychometric science of social-emotional skills blog




Richard A. Talaska (Ed.) (1992). Critical reasoning in contemporary culture. SUNY. isbn 0791409805 info




Philip C. Abrami, Robert M. Bernard, Eugene Borokhovski, David I. Waddington, C. Anne Wade, Tonje Persson (2015). Strategies for Teaching Students to Think Critically: A Meta-Analysis - Review of Educational Research. abstract




Raja Bentaouet Kattan, Kevin Macdonald & Harry Anthony Patrinos (2018). Automation and Labor Market Outcomes. The Pivotal Role of High-Quality Education open. See also my tweet & thread




Mariano Trevino (June 18, 2018). Gonski 2.0 'a recipe for educational disaster': researchers. article




Jennifer Buckingham & Blaise Joseph (June 17, 2018). What the Gonski 2 Review got wrong. policy Paper 6, the Center for Independent Studies. (Australia). paper




John B. Carroll (1993). Human cognitive abilities. Cambridge UP. [UB Leiden PSYCHO C6.1.-102 geleend ] info












Dec, 2017 \ contact ben at at at benwilbrink.nl      

Valid HTML 4.01!       http://www.benwilbrink.nl/literature/21st_century_skills.htm#KNAW_2012