Yes, the competency movement spread from Australia all over the Western world. In the Netherlands, for example, the ideology is exactly the same: a more flexible labor force, sold on labor by the global economy scare.
The use of the concept of competencies in educational contexts, at least in the nineties of the last century and the beginnen of the 21st one, is, more often than not, connected with that of the assessment center (AC) method of personnel selection. A strange combination if ever there was one, be warned. Now the problem is, in the Netherlands and probably everywhere else in the Western world, there is a busy AC-industry of consultants and psychologists, interested in making an easy buck, and less interested in showing the validity of the AC methods they sell. Such a state of affairs does remind one of that of psychologist and educational researchers in the first half of the last century, selling standardized tests to local school authorities in the US (Ellen Condliffe Lagemann (2000). An Elusive Science: The Troubling History of Education Research. University of Chicago Press.). The point is, the same consultants have been training the managers who now are running our schools; they have been sold on the AC and competencies concept. If I am not mistaken, a host of employees trained in general education ('onderwijskundigen' in the Netherlands) lend themselves way too easy to execute these managerial policies. This much might be OK if those new old concepts really would contribute to the quality of the educational undertaking. Such however is not the case. The compentence concept and its accompanying belief in ACs is not evidence-based at all. On the contrary, there is an abundance of evidence that these concepts do not have a proper footing in science, be it psychological testing, sociological research on the relation between education and the labor market (vocational qualifications), or educational research on what it takes to get a proper (vocational) education.
This much is the basis on which I will evaluate some items from the literature on competencies in education. Have a good time, and let me know any items or information that might serve the cause of debunking the cause of the compentencionados. Oh yes, there are exceptions, of course. I will surely use exemplary research on the validation of AC's as counterexamples. There will be cases also of enthousiast innovators choosing the wrong philosophy and nevertheless succeeding in their innovations. Let me know those cases.
Indeed, the compentency concept was used in the seventies in the context of criterion referenced testing, and especially that of minimal competency testing. I will mention some of this literature also, while trying to indicate in what manner the old use differs from the one.
My harsh judgment of the competency movement is rooted in - also my own - research in the links between education and the labor market, admissions as well as pesonnel testing, and educational measurement. See the sitemap for published research in the rubrics of selection, and labor market. Most of it is in Dutch. In my annotations I will try to relate them to results from this research, I will cite them in English.
Voor een (Amerikaanse) opsomming van modegrillen in het onderwijs, en de enorme kosten die zij tot gevolg hebben gehad, zie hier [site BON]
Leesa Wheelahan (2012). The problem with Competency Based Training (and why constructivism makes things worse). In Hugh Lauder, Michael Young, Harry Daniels, Maria Balarin & John Lowe (Eds.) (2012). Educating for the Knowledge Economy? Critical Perspectives. Routledge.
Waarschijnlijk wordt de inhoud van dit niet online beschikbare hoofdstuk behoorlijk gedekt door de volgende publicatie van Wheelahan & Moodie (2011).
Leesa Wheelahan & Gavin Moodie (2011). Rethinking skills in vocational education and training: From competencies to capabilities. NSW Department of Education & Communities. pdf pdf Routledge. [niet gezien; niet in UB VU, UB Leiden]
I will annotate the Dutch literature in Dutch.
Nog even kort mijn insteek. Ik heb vergaand brutale kritiek op de beweging van competentie-gericht onderwijs. Dat is op zich behoorlijk uniek: een hele stroming onder de slopershamer, niet alleen een slip of the pen van een bepaalde auteur. Ik ga daarbij niet over een nacht ijs, maar baseer me op wat er aan wetenschappelijk verantwoorde inzichten beschikbaar zijn vanuit selectiepsychologie, psychometrie, methodologie, onderwijspsychologie, onderwijsgeschiedenis, onderwijswetgeving, en arbeidsmarktonderzoek. Het probleem is een beetje dat het om zulke basale zaken gaat, dat vaak geen haar op mijn hoofd eraan denkt dan ook nog vindplaatsen te noemen. Ik zal proberen dat goed te maken door waar mogelijk in ieder geval wel te verwijzen naar resultaten uit eigen werk/onderzoek, al was het alleen maar om te laten zien dat de scherpe kritiek niet zomaar uit de lucht komt komt vallen, maar in eigen werk zichtbaar is al lang voordat er van een competentie-beweging sprake is.
Deze pagina is begonnen met een citaat uit Wilson over de politieke achtergrond van de competentie-beweging. In Nederland heeft Klarus een zeer uitvoerig proefschrift over competenties verdedigd, waarin de Australië-connectie ook wel voorkomt (Dercksen,W. (1994). Australië hervormt zijn beroepsonderwijs. Tijdschrift voor Politieke Economie, 16, 53-72. ), in ieder geval eenzelfde verband als door Wilson genoemd. Op p. 38 schrijft hij: "Behalve van nieuwe opvattingen over organisatievormen is er in toenemende mate sprake van managementstrategieën gericht op risicoreductie voor ondernemingen," verwijzend naar Beck (1986) en Nijhof en Streumer (1994). Onder verwijzing naar Rauner (1995) geeft Klarus het maatschappelijke conflict aan (p. 38): "Rauner concludeert vervolgens dat de belangenbehartiging van werknemers gebaat is bij de vaststelling op bovenindividueel niveau van vereiste kwalificaties en daarmee bij de handhaving van het beroepsbegrip." Klarus gaat vervolgens nog stevig door op dit thema, daarmee toch wel ondubbelzinnig de politieke beladenheid van de competentie-beweging onder woorden brengend. p. 38:"In deze managementbenadering worden, aldus Dugué en Maillebouis (1994) centrale en collectieve loononderhandelingen vervolgens afgedaan als rigide en bureaucratisch. Het individu moet zelf met behulp van brede, flexibele persoonseigenschappen de structurele onzekerheid ‘oplossen’." Het is mij nog niet duidelijk welke positie Klarus hier zelf in kiest, maar aan zijn daden te beoordelen verzet hij zich niet tegen deze ontwikkeling, en gaat er zelfs in mee door praktische kaders en wat niet al te ontwikkelen. Dat wordt hem dan makkelijk gemaakt door een 80-er jaren ontwikkeling o.a. vanuit het SCO-Kohnstamm Instituut (wijlen Peter van den Dool, Jeroen Onstenk) waarin deze beroepsmatige competenties in de Nederlandse context zijn vormgegeven en onderzocht (zie het proefschrift van Onstenk).
Iedere tak van sport en van wetenschap heeft zo zijn eigen jargon, spelregels die ondubbelzinnig zijn, theoretische termen waarvan de betekenis is verankerd in empirisch onderzoek. Het taalgebruik van en rond competenties mist zo'n kader, het is verweesd jargon. Vanouds heeft de psychologie iets te zeggen over de zaken en verbanden waar de competentie-beweging iets mee zegt te hebben. Natuurlijk heeft geen enkele wetenschap het monopolie over wat dan ook, maar het wordt toch wel verdraaid lastig wanneer een massale beweging bezig is psychologische wielen opnieuw uit te vinden, en zich daarvan in hoge mate niet bewust is. Daar zijn uitzonderingen op, natuurlijk: als in de Amerikaanse literatuur Robert Sternberg boeken redigeert die ook over competenties gaan, dan zijn die in vergelijking tot het roekeloze Nederlandse taalgebruik waanzinnig scherp omschreven, en zo kunnen we ook van bijvoorbeeld Marianne Elshout verwachten dat zij werkt vanuit een degelijke psychologische basis. Maar dan hebben we de gunstige uitzonderingen ook wel ongeveer gehad. Ik zal bij de annotaties dan ook routinematig aandacht schenken aan absurde definities en omschrijvingen van wat competenties zijn. In een aantal gevallen is alleen al uit het dubbelzinnige Nederlands duidelijk dat het om onzin gaat, ineen aantal andere gevallen lijkt het robuust maar ontbreekt iedere verantwoorde theoretische inkadering, en dan weet je nog niet wat je eraan hebt. Wees gewaarschuwd.
Wie zich stoort aan mijn kritiek: laat dat weten, geef commentaar, mijn emailadres onderaan deze pagina.
Cathalijne Boland (20 april 2007). Op zoek naar Het Nieuwe Leren. Ad Verbrugge in debat met Wynand Wijnen. Intermediair html
Wim Sterken (27 februari 2007). Interview in de ochtenden http://www.ochtenden.nl/afleveringen/32022363/ [dode link?] van Chris Kijne met Wim Sterken, over het nieuwe leren, lees: competentiegericht leren. Chris Kijne is in zijn werk bij de lerarenopleiding intensief geconfronteerd met competentiegericht beleid, om het zo maar even te noemen. Hij geeft een verdraaid helder interview af over de problematische kanten van deze denkwijze. Ik noem de kernpunten uit zijn weergave. Om te beginnen: wat 'competenties' zijn is vaag, iedereen heeft ongeveer zijn eigen opvattingen daarover, dat helpt dus niet geweldig om goed onderwijs te ontwerpen. Wat in de praktijk gebeurt: niet de competenties van de werkplek worden onderzocht en vertaald naar het onderwijs, maar competenties zijn een eigen onderwijskundige werkelijkheid gaan vormen. Als arbeidsmarktonderzoeker herken ik dat laatste wel. Wat weinigen in het veld of de politiek zich realiseren, is dat aandacht geven aan competenties natuurlijk prachtig is, wie wil dat niet, maar het betekent wel dat je die tijd van andere zaken afhaalt. Kijk, dit punt van Sterken is precies de oude misvatting over stages in het onderwijs: iedereen vindt stages prachtig en nuttig, maar ze gaan ten koste van inhoudelijk onderwijs, en bij een echte afweging schiet de balans wel degelijk door naar dat inhoudelijk onderwijs: dat moet zwaarder wegen. Waarom is dat zo? Sterken benadrukt nog eens, en dat kan nooit genoeg gebeuren, dat veel van die competenties een soort vaardigheden betreffen die mensen, eenmaal in het beroep, toch al binnen een paar weken of maanden leren. Waar ben je dan mee bezig wanneer je vierjarige programma's maakt waarin diezelfde vaardigheden hoog op de lijst staan. Sterken maakt het argument dan fraai af door bovendien te wijzen op de levenservaring en -wijsheid die leerlingen toch al opdoen in de tijd dat ze vier jaar ouder worden, ongeacht wat er in het onderwijs gebeurt. Uit eigen onderzoek wil ik er nog wel aan toevoegen dat nogal wat onderzoekers die niet goed zijn ingevoerd in arbeidsmartkonderzoek, maar wel opdracht krijgen om dat onderzoek te doen, lijden aan de misvatting dat wat werkgevers aangeven als belangrijke vaardigheden, 'dus' ook als zodanig in de beroepsopleiding onderwezen zouden moeten worden. Dat volgt natuurlijk helemaal niet. Integendeel: voor werkgevers hebben de beroepskwalificaties absolute prioriteit, totdat ze voor de vervulling van hun vacatures kunnen kiezen uit meer of minder goed gebekte kandidaten. Het onderwijs moet dus niet opleiden tot goedgebektheid. Waarom is Sterken in zijn lerarenopleiding dan toch druk bezig met dat competentiegerichte? Wel, er is enorm veel beleid, het MBO moet binnen de kortste keren competentiegericht zijn, wet- en regelgeving loopt al over van 'competentiegericht leren.' Niemand kan er dus omheen, de lerarenopleider moet er de leraren op toerusten. Wat uiteindelijk in het onderwijs met die competentiegerichte dognatiek gaat gebeuren is dan door een blind paard te voorspellen: de wal gaat het schip keren, maar helaas wel ten koste van een generate leerlingen. Zo formuleert Sterken het niet, moet ik toegeven, maar hij heeft wel een prachtig cabaratesk nummer gemaakt - op YouTube te bekijken (deel 1, deel 2) -, en gepresenteerd op de BON-dag januari jongstleden. Dank, Wim, voor dit sterke interview.
Ellen de Bruin (27 februari 2010). Moed uit negeren. NRC Handelsblad. Wetenschap p. 4-5. (Gespek met psychiater Tineke Vos over haar onderzoek naar de wijze waarop mensen met hun fatale ziekte omgaan.)
Ik vermoed dat er heel veel onderzoek is gedaan naar effecten van training op wat tegenwoordig ‘competenties’ heten, met vaak als resultaat dat de verwachte effecten uitblijven. De eerste kennismaking daarmee, die ik mij herinner, is het promotieonderzoek van Ed Klip in de zestiger jaren naar de veronderstelde positieve effecten van studiebegeleiding aan de (destijds) Technische Hogeschool Eindhoven. Studiebegeleiding is in het hedendaagse competentie-jargon te zien als onderwijs in een competentie. Die positieve effecten bleken er niet te zijn. De voorlichting komt pas over wanneer studenten al hebben ervaren dat het anders is gelopen dan ze verwachtten. [Overigens meende Klip dat zo'n 10% van de onafhankelijke factoren in zijn onderzoek een statistische significant effect lieten zien op 10% niveau, maar hadden hij en zijn begeleiders over het hoofd gezien dat dat dus een toevalsresultaat is. Ik vermeld dit laatste ook maar, omdat het laat zien dat het noodzakelijk is om onderzoek altijd kritisch te beoordelen, en dubbel zo als het om vage competenties gaat.]
De Nederlandse misvattingen over competenties zijn soms gerelateerd aan de beweging voor 'het nieuwe leren', zie hier. Voorzover dat het geval is, ligt ook het gevaar van pseudo-wetenschappelijkheid op de loer (zie bijv. hoofdstuk 9 in Paul Thagard (1988). Computational philosophy of science. MIT Press.
Klarus gaat niet echt in op wat er bij personeelsselectie gebeurt. Maar zijn geciteerde formulering doet vermoeden dat hier pittige problemen liggen. Breng dit eens in verbinding met het eerder in een box gegeven citaat van Wilson (1998), dat de competentie-beweging een vanuit management-gremia begonnen beweging is, zonder een basis in wat vanuit relevante wetenschappen bekend is over werkprocessen, personeelsselectie, en aansluitingsproblematiek onderwijs-arbeidsmarkt. Dan rijst het vermoeden dat de competentie-adepten iets proberen te doen wat niet goed mogelijk is, de zon in het Westen laten opgaan. Klarus geeft die spanning overigens in zijn verdere uitwerking ook aan. Uit mijn eigen onderzoek is het duidelijk dat personeelsselectie een gestructureerd proces is, waarin in verschillende fasen verschillende beslissingen op basis van telkens andere informatie worden genomen. Wanneer er een vacature is te vervullen waarvoor een specifieke beroepsopleiding wenselijk is, dan vallen allereerst al diegenen af die niet over die vooropleiding beschikken. Vervolgens valt er binnen de groep 'gekwalificeerden' nog wel een onderscheid te maken tussen beter en minder gekwalificeerden, louter in termen van opleiding en ervaring. Zijn er dan nog twee kandidaten voor die ene plaats, dan komen andere vaardigheden en eigenschappen van pas om een beslissing te nemen. Niet dat het laatste type beslissing ooit aantoonbaar iets heeft te maken met wat kandidaten bijdragen aan het bedrijfsresultaat, maar zolang iedereen denkt dat dat wèl het geval is, is iedereen tevreden, toch? Aha, maar dan zit die competentie-gedachte dus in het selectie-technisch volkomen oninteressante deel van de selecieprocedure! Inderdaad. U zult dan ook in de psychologische literatuur over personeelsselectie geen wezenloze kletsika over competenties tegenkomen. Mogelijk wel in glossy rapporten van dure adviesbureaus, die al in de 80-er jaren in staat waren op basis van oppervlakkig onderzoek aan bijvoorbeeld een opleiding Neerlandistiek te adviseren vooral aan spreekvaardigheid in de opleiding extra aandacht te schenken. Nonsens van de bovenste plank.
individueel toetsen van individuele leerwegen en individuele inhouden
Even het belangrijke onderdeel van het beoordelen eruit gelicht: het is opmerkelijk te zien hoe hier hele onderwijsvelden, zoals het MBO en het HBO, bezig zijn iets te doen dat praktisch gesproken irreë is: individueel toetsen van individuele leerwegen en individuele inhouden. Zeker, niet iedere toets hoeft door het Cito gestandaardiseerd te worden, maar dit toetsconcept komt toch wel uit een andere wereld. Det gaat willekeur worden. In andere hoofdstukken in dit boek is te zien hoe auteurs schermen met uitvoerige beoordelingsformulieren, om nog maar een schijn van wetenschappelijkheid en objectiviteit te creëren. Dit wat de technische kant betreft, bijvoorbeeld zoals de COTAN die zou beoordelen als een paar van deze fantasietoetsen daar eens zouden voorgelegd. De vraag die voor op de tong brandt is dan: hoe is het dan mogelijk dat al deze lieden in de nieuwe kleren van de keizer rondlopen, en van elkaar niet zien dat zij naakt zijn? Dat is het bijzondere van het menselijke beoordelen: iedereen denkt altijd dat heel goed te kunnen, desnoods blind, eventueel geblinddoekt en met een weegschaal. Er zijn ook - niet zo subtiele - processen van overeenstemming met elkaar zoeken door gewoon aan te sluiten bij andermans oordeel in plaats van onafhankelijk te oordelen (zie Leo Prick in de NRC van 11 november 2006 voor zijn eigen anecdote daarover). Kortom, er is een hele wetenschap opgebouwd over de valkuilen in het menselijk beoordelen, en hoe die te ondervangen. In de stroming van het competentie-gerichte onderwijs wordt er hier en daar lippendienst aan bewezen door A. D. de Groot's methodologie te plunderen, maar als het daarbij blijft, dan maakt iedereen zichzelf en anderen alleen maar wijs dat het probleem ondr controle is, terwijl in werkelijkheid de noordwesterstorm dwars door de openstaande Oosterscheldedam en Maasdam heen dondert.
Ad Verbrugge en Wesley Bergen (22 december 2006). Geen competentiegericht MBO. De Volkskrant p. 11.
Paul van der Maesen de Sombreff (2004). Competentiemanagemen op koers? Opleiding & Ontwikkeling, 9, 34-37 pdf
Japke-D. Bouma en Naja Vink (19 november 2006). ROC-scholier klaagt over onderwijs. NRC-Handelsblad.
MBO-Raad (6 november 2006). Brief MBO Raad en COLO aan staatssecretaris Bruins pdf
Stuurgroep Competentiegericht Beroepsonderwijs (april 2006). Kwalificaties voor competentiegericht beroepsonderwijs. Kwalificaties ontwikkelen in een samenhangende structuur voor het middelbaar beroepsonderwijs. Opgesteld door Colo, vereniging kenniscentra beroepsonderwijs bedrijfsleven. pdf
Kwalificaties MBO COLO site
Henk van Berkel en Anneke Bax (2006). Toetsen in het hoger onderwijs. Houten: Bohn Stafleu van Loghum.
A competency is an underlying characteristic of an individual that is causally related to criterion-reference effective and/or superior performance in a job or situation.L. M. Spencer and S. M. Spencer (1993). Competence at work. Models for superior performance. New York: Wiley. p. 9. As cited in Zwaal and Eringa (2006), see below.
De assessment center methode is een procedure waarbij op systematische wijze en met gebruikmaking van zowel groeps- als individuele oefeningen, test en simulaties, wordt getracht de kwaliteiten vast te stellen die essentieel zijn voor een goede functie-uitoefening van een of meer (toekomstige) medewerkers.J.J.J.L. Seegers (1997, p. 31). Assessment centers. Een personeelsinstrument voor de manager. Zoals geciteerd in Zwaal en Eringa (2006, p. 284), zie beneden.
Toetsen krijgen steeds meer de rol van didactische werkvorm. Dat wil zeggen dat de vervlechting van onderwijzen, leren en toetsen wordt versterkt. Zo kan bijvoorbeeld de voorzittersrol in de onderwijsgroep functioneel zijn voor het leerproces en daarnaast aanleiding zijn voor de persoon zelf, de groepsleden en de tutor voor assessment van relevante communicatieve, groepsdynamische en probleemoplossingscompetenties. Elke bijeenkomst van de onderwijsgroep - en in feite elke onderwijsbijeenkomst - verandert daarmee in een ADC-oefening.Zwaal en Eringa (2006, p. 290), zie beneden. De waardering is mijn variant op P. Wijdenes' ergerlijke kindermishandeling waar het gaat om wat ingewikkelder breuken in het lager onderwijs. (geciteerd in het proefschrift van A. Leen, p. 189). En die breuken zijn nog heilig vergeleken bij wat Zwaal en Eringa hier als behandeling van studenten adviseren.
Wichard Zwaal en Klaes Eringa (2006). Toetsen van competenties. In Henk van Berkel en Anneke Bax: Toetsen in het hoger onderwijs (p. 277-291). Houten: Bohn Stafleu van Loghum.
Ruud Klarus (2006). Toetsen met EVC: Erkennen van verworven competenties. In Henk van Berkel en Anneke Bax: Toetsen in het hoger onderwijs (p. 357-376). Houten: Bohn Stafleu van Loghum.
Rudolf Klarus (1998). Competenties erkennen. EEN STUDIE NAAR MODELLEN EN PROCEDURES VOOR LEERWEGONAFHANKELIJKE BEOORDELING VAN BEROEPSCOMPETENTIES Proefschrift Radboud Universiteit Nijmegen. pdf
Anneke Bax, Corine Castenmiller, Bert Kok en Renée Verwey (2006). Toetsen van VCM: Vraaggestuurd competentiegericht maatwerkonderwijs. In Henk van Berkel en Anneke Bax: Toetsen in het hoger onderwijs (p. 357-376). Houten: Bohn Stafleu van Loghum.
J. J. G. van Merriënboer, M. R. van der Klink en M. Hendriks (2002). Competenties: van complicaties tot compromis. Over schuifjes en begrenzers.. OTEC, in opdracht van en gepubliceerd door de Onderwijsraad. pdf
Jelle Dijkstra en Nieske van der Lee (2002). Competentiemanagement in de praktijk. Scriptum Management.
D. Joosten-ten Brinke, P. S. Verhoeven, J. A. Van Buuren (2003) Peerassessment en selfassessment in een competentiegericht methodologiecurriculum TvHO, 21, 273-285.
Hennie van Heijst & Ferd van der Krogt (2008). Professionele ontwikkeling bij de invoering van competentiegericht onderwijs. Tijdschrift voor Hoger Onderwijs, 26
Elshout-Mohr, Marianne, en Ron Oostdam (2001). Assessment van competenties in een dynamisch curriculum. Amsterdam: SCO-Kohnstamm Instituut.
G. J. J. M. Straetmans (1993). Het vaststellen van competentie met vaardigheidsstoetsen. Tijdschrift voor Hoger Onderwijs, 11, 188-204.
Everwijn, S.E.M., Bomers, G.B.J., & Knubben, J.A. (1990). Een competentiegericht managementcurriculum. TvHO, 8, 55-66.
"De bekwaamheid tot het geven van onderwijs omvat de volgende competenties:
a. interpersoonlijke competentie;
b. pedagogische competentie;
c. vakinhoudelijke en didactische competentie;
d. organisatorische competentie;
e. competentie in het samenwerken met collega’s;
f. competentie in het samenwerken met de omgeving;
g. competentie in reflectie en ontwikkeling."
Art 2.1 van het Besluit bekwaamheidseisen onderwijspersoneel Staatsblad 2005
Interpersoonlijke competentie leraar PO
1. De leraar onderschrijft zijn interpersoonlijke verantwoordelijkheid. Hij is zich bewust van zijn eigen houding en gedrag en van de invloed
daarvan op de kinderen. Hij heeft voldoende kennis en vaardigheid op het gebied van groepsprocessen en communicatie om een goede samenwerking met en van de kinderen tot stand te brengen.
2. Om te voldoen aan het eerste lid:
a. kan de leraar de volgende handelingen verrichten:
1°. hij maakt contact met de kinderen en zorgt ervoor dat zij contact kunnen maken met hem en zich op hun gemak voelen,
2°. hij geeft de kinderen leiding maar laat hun ook verantwoordelijkheid en geeft hun een eigen inbreng, en
3°. hij schept een goed klimaat voor samenwerking met de kinderen en tussen de kinderen onderling;
b. beschikt de leraar over de volgende kennis:
1°. hij is goed op de hoogte van communicatie- en omgangsvormen in de leefwereld van de kinderen, en
2°. hij is op een praktisch niveau op de hoogte van communicatietheorieën, groepsdynamica en interculturele communicatie en kent in het bijzonder de implicaties daarvan voor zijn eigen doen en laten.
Art 2.4 van het Besluit bekwaamheidseisen onderwijspersoneel Staatsblad 2005
De wet op de beroepen in het onderwijs BIO. Staatsblad
Bekwaamheidsdossier.
Werkgevers zijn dol op competenties, zij wentelen hun opleidings- en selectielast daarmee sterker af op het onderwijs, dat is dus de samenleving. Werkgevers zijn ook smoorverliefd op de assessment center methode, dat laat ze immers alle ruimte om gewoon hun eigen ding te doen.
Gary P. Latham and Glen Whyte (1994). The futility of utility analysis. Personnel Psychology, 47, 31-46.
De AC-methode wordt vooral door tal van adviesbureaus verkocht aan bedrijfsleven, overheden, en van de dag helaas dus ook aan het onderwijs. Er wordt een pseudo-wetenschappelijk sausje over gegoten, en dan aan de slag. Empirische evidentie dat een bepaald AC inderdaad werkt zoals de folder aangeeft, ontbreekt in bijna alle gevallen. Een goed AC is een test, en hoort als test beoordeeld te zijn door de Cotan, de Commissie Testaangelegenheden van het Nederlands Instituut voor Psychologen (NIP). Die NIP-beoordelingen worden gepubliceerd, het gaat immers om een algemeen belang dat procedures waaraan mensen zich noodgedwongen moeten onderwerpen - als sollicitant heb je niet de luxe 'nee' te zeggen - een door iedereen te controleren kwaliteit hebben.
P. G. W. Jansen (1991). Het beoordelen van managers. Effectiviteit van assessment center methoden bij selectie en ontwikkeling van managers. Baarn: Nelissen.
In dit verband: AC-methoden in het onderwijs zijn waarschijnlijk nooit op hun deugdelijkheid onderzocht, wees daar dus in het bijzonder kritisch op. Ik vermoed dat ze in beginsel ook niet op deugdelijkheid zijn te onderzoeken, gzien de fantastische vrijheden die iedereen zich veroorlooft om maar te doen wat hen goeedunkt, zodat er niet eens sprake is van een helder afgebakend AC dat zich op geldigheid laat onderzoeken.
Het probleem is ook voor leken goed na te voelen. Het onderzoek dat nodig is om aannemelijk te maken dat een test werkt zoals bedoeld, en niet zoals niet bedoeld, en dat ook in voldoende mate doet, is buitengewoon kostbaar en tijdrovend, en voor het kleine Nederlandse taalgebied een ongelooflijk grote kostenfactor. Voor een gelegenheidstest voor een bepaalde groep werknemers in een bepaalde bedrijfssector, is het in de regel ondenkbaar zoiets uit te voeren. Daar zijn wel uitzonderingen op, wanneer bijvoorbeeld de overheid voor de sector Rijkspersoneel een bepaald AC wil laten ontwikkelen (Jen Algera e.a. hebben in de tachtiger jaren zoiets gedaan). Of in de VS wanneer daar voor de selectie van kandidaten voor een hogere politieopleiding ook een AC gewenst is (Motowidlo en anderen hebben een voorbeeldig onderzoek gedaan voor een door hen ontwikkeld AC; S. J.Motowidlo, M. D. Dunnette, en G. W. Carter (1990). An alternative selection procedure: the low-fidelity simulation. Journal of Applied Psychology, 75, 640-647.). Het is dus werkelijk van de gekke wanneer in het MBO en het HBO met AC-methoden wordt gewerkt voor allerlei kleine opleidingen. Die AC-methoden hebben een onbekende geldigheid. Anders dan bij vertragingen in het open vervoer, waar je toch nog na korte tijd wachten op een trein kunt stappen die eigenlijk een uur eerder had moeten vetrekken, is het met onbekende geldigheid van tests in de regel zo dat die geldigheid dan als vrijwel nihil moet worden opgevat. Ook daar zijn weer uitzonderingen op, zie bijvoorbeeld de evaluatie van de selectie voor de Nederlandse Politie Akademie in 1990 uitgevoerd door Wilbrink en anderen html: op basis van wetenschappelijk onderzoek naar de geldigheid van bepaalde soorten tests, zijn er voorzichtige uitspraken te doen over hun geldigheid in nieuwe situaties. Er kunnen dus stevige ethische opblemen opdoemen.
Jan Verdam (1998). Assessment centers en beroepscode. De Psycholoog, 239-240.
Karen van Dam, Wieby Altink en Bas Kok (1992). De praktijk van de assessment center methode. Een inventarisatie van knelpunten. De Psycholoog, 509-514.
Nanja Kolk, Marise Born en Henk van der Flier (2000). Swot-analyse van het Assessment Center. De Psycholoog, 266-270).
T. Luken (1996). Het assessment raadsel: het werkt, maar hoe? Over de onbegrepen werkzaamheid van een methode in de mode. in A. Breed en A. Kooreman: Psychologie in Arbeid en Loopbaan. Trends. Swets & Zeitlinger (p. 165-175) html
Karen van Dam (1996). Assessment center in de praktijk. Bespeking van F. J. R. C. Dochy en T. R. de Rijke (Red.). Assessment centers: nieuwe toepassingen in opleiding, onderwijs en HRM. Utrecht: Lemma.
Een fundamenteel probleem met de AC-methode is dat in een kunstmatige situatie kunstjes vertoond moeten worden. Ik heb ooit met plaatsvervangende schaamte een dergelijk AC meermalen bijgewoond als waarnemer. De verdediging van psychologen is dan steevast dat er een redelijke voorspelling op basis van AC-resultaten valt te doen over de bijdrage die kandidaten aan toekomstige bedrijfsresultaten zullen leveren. Dat is de hagelschotmethode; doe maar eens wat, en kijk of het iets voorspelt. De vraag die dan blijft staan: is te verdedigen dat kandidaten worden afgewezen op basis van hun beoordeelde resultaten in zo'n AC? Mijn intuïtieve gevoelen daarover is dat dat niet kan, dat het niet verdedigbaar in de termen die daarvoor in een beschaafde rechtsstaat gelden. Des te sterker geldt dat argument in onderwijssituaties. Mijn stelling is, en ik zal daar in de toekomst ongetwijfeld meer over hebben te melden, dat studenten daarmee wezenlijk onrechtvaardig worden behandeld. Ik geloof op deze pagina al op meerdere plaatsen te hebben aangegeven dat het mee-beoordelen van persoonlijkheidstrekken of kenmerken die daar dicht bij in de buurt liggen, inherent discriminatoir is. Nog afgezien van de bescherming die studenten moeten krijgen tegen al die amateur-beoordelingen die over ze worden afgeroepen.
Daarmee ben ik wat van mijn a-propos geraakt: die AC-situaties zijn kunstmatig. Zeker in het onderwijs zijn ze dat: de studenten hebben immers nog geen gelegenheid gehad voldoende ervaring met precies die typen situaties op te doen., Dat is ook het bezwaar tegen AC's die voor selectie worden ingezet, waar de situaties ontleend zijn aan taakanalyses van de functie waarvoor wordt geselecteerd, en war de kandidaten net van school komen of in ieder geval niet uit vergelijkbare functies bij andere bedrijven. Vertel mij wat er dan precies wordt getoetst, ook al is nog zo netjes de AC-oefening ontwikkeld vanuit zich in de praktijk typisch voordoende situaties. Tien tegen een dat zo'n oefening dus iets anders meet, iets dat mogelijk in de sfeer van de persoonlijkheid ligt, dan wat betrokkenen denken dat er wordt gemeten.
Elly de Bruijn & Yvonne Leeman (2011). Authentic and self-directed learning in vocational education: Challenges to vocational educators. Teaching and Teacher Education, 27, 694-702.
Jasper B. van Loo en Bert Toolsema (2004). The Empirical Determination of Key Skills from an Economic Perspective. Maastricht: ROA-RM-2004/3E. pdf
Wat Van Loo en Toolsema beweren, is koren op de molen van de voorstanders van competentiegericht leren. Maar het is een methodologische misvatting. Deels hebben deze zogenaamde sleutelvaardigheden enige overlap met intelligentie: zet dan gewoon een intelligentietest in bij de selectieprocedure. En voor het andere deel is het gewoon psychologische flauwekul, waarmee ik bedoel dat het 'folk-psychology' is: veronderstelde vaardigheden, die gewoon nergens mee samenhangen belave in de opvattingen van betrokkenen. Het grote gemis in dit onderzoek is dan ook de ervaring die selectiepsychologen, vooral in Angelsaksische landen, vooral in Amerika dus, maar zeker ook in Nederland, hebben verzameld, en gepubliceerd in vaktijdschriften als het Journal of Applied Psychology, en Personnel Psychology.
Ik maak het punt altijd duidelijk aan de hand van een blunder van het bekende bureau Twijnstra Gudde. Zij doen in de tachtiger jaren een onderzoek naar de kwalificaties van studenten neerlandistiek op de arbeidsmarkt. De conclusie daaruit is onder andere dat schriftelijke uitdrukkingsvaardigheden belangrijk zijn, en dat daar in het curriculum neerlandistiek dus plaats voor ingeruyimd moet worden. Kun je nagaan: neerlandistiek! Schriftelijke uitdrukkingsvaardigheden! Er hadden toch wel alarmbellen moeten gaan rinkelen, niet? Ik heb zelf het een en ander aan onderzoek naar de aansluiting tussen hoger onderwijs en arbeidsmarkt gedaan (zie hier), en vauit mijn eigen selectie-psychologische achtergrond was het klip en klaar dat werkgevers een eerste selectie maken op de juiste opleiding, en dan met de handen in het haar zitten om vervolgens de 'beste' kandidaat daar nog weer uit te selecteren. Loten zou een goed idee zijn, maar ja, dat staat zo mal, niet? Dus wordt er gezellig gebabbeld in sollicitatiegsprekken, of in amateuristisch in elkaar gedonderde 'assessments,' en op basis van de indrukken over verbale vaardigheden valt dan het mes. Briljant. Jammer dat empirisch onderzoek altijd weer laat zien dat de opbrengst van al die kletsika verwaarloosbaar is. Maar dat is niet het punt (wel bij Van Loo en Toolsema, trouwens), als iedereen er gelukkig mee is, dat zij dan zo. In de discussie over competentiegericht onderwijs krijgt dit allemaal een heel andere lading, en dan hebben we het meteen over de grootste bedreiging van de kwaliteit van ons onderwijs sinds ontiegelijk lang, het gaat om afbraak, na meer dan een eeuw van voortdurende opbouw en groei. Want die zogenaamde sleutelvaardigheden horen natuurlijk never ever doel van onderwijs te zijn, net zo min als intelligentie doel van onderwijs is (er zijn wel gekken die zoiets hebben geprobeerd, maar dat is beroerd afgelopen).
De logische volgende stap in de ROA-onderzoeklijn zou zijn: instrumenten maken die die sleutelcompetenties betrouwbaar en valide 'meten,' en vervolgens een methodologie ontwikkelen om scores op die instrumenten te koppelen aan wat werknemers bijdragen aan bedrijfsresultaten. Maar dat is precies het prgramma van de 20e-eeuwse selectiepsychologie, en dat is dus al lang en breed klaar. Nee, daar komen geen 'competenties' als winnaars uit de bus.
Afijn, ik heb de discussie gezocht met Van Loo en Toolsema. Zij hebben een sleutel-artikel geschreven, zoveel is wel zeker. Ik voorspel dat dit artikel, of verwant werk van het ROA in Maastricht, in de komende discussie over competentiegericht leren een rol van betekenis gaat spelen. Dat is welkom, want dat bakent het terrein voor debat op een degelijke wijze af. Ik heb het voornemen om het artikel grondig te gaan bespreken, dat is ook fair, want het bovenstaande is wel een beetje globale kritiek, natuurlijk.
Carl Bereiter (2002). Education and Mind in the Knowledge Age. Erlbaum. questia
Winston Bennett,Jr., Charles E. Lance, David J. Woehr (Eds) (2006). Performance measurement : current perspectives and future challenges. Erlbaum. Especially recommended to all people thinking it must be easy to 'measure job competencies.'
George C. Thornton III and Deborah E. Rupp (Eds) (2006). Assessment centers in human resource management : strategies for prediction, diagnosis, and development. Erlbaum. Rather positive on AC validities. I have to study that one, but I expect the optimism to be idle. Run-of-the-mill AC's or AC-exercises simply do not and can not have validity for the very specific situations in which they are used. Meaning that they will not add validity to that already obtainable from intelligence tests. The verdict is not yet in.
John D. Bransford, Ann L. Brown, and Rodney R. Cocking (Eds) (1999). How People Learn: Brain, Mind, Experience, and School. National Research Council. html.
Philip H. Winne (2005). Key Issues in Modeling and Applying Research on Self-Regulated Learning. Applied Psychology, 54, 232-238, April 2005.
International Task Force on Assessment Center Guidelines (2000). Guidelines and ethical considerations for assessment center operations. Endorsed by the 28th International Congress on Assessment Center Methods, May 4, 2000 San Francisco, California, U.S.A. pdf
Noel Wilson (1998). Educational Standards and the Problem of Error. Education Policy Analysis Archives, 6. html
Folke Glastra & Frans Meijers (Red.) (2000). Een leven lang leren? Competentieontwikkeling in de informatiesamenleving. Elsevier Bedrijfsinformatie. isbn 9061559855 — 208 blz.,
Robert J. Sternberg and Elena L. Grigorenko (Eds) (2003). The psychology of abilities, competencies, and expertise. Cambridge University Press.
Robert J. Sternberg & John Kolligian, Jr. ((Eds) (1990). Competence considered. Yale University Press.
Haney, W., & Madaus, G. (1978). Making sense of the competency testing movement. Harvard Educational Review
McClelland, D.C. (1973). Testing for competence rather than for "intelligence." American Psychologist, 28, 1-14. In a certain way a reaction to that early article is: G. V. Barrett and R. L. Depinet (1991). A reconsideration of testing for competence rather than for intelligence. American Psychologist, 46, 1012-1024. McClelland replied to is, and barrett answered that reply.
Hans Werner Heymann (2009). Kompetenz- und Standardorientierung im Mathematikunterricht. Intentionen, Umsetzungen, Wirkungen. Pädagogik, 74-79.
Andries de Grip, Inge Sieben & Fred Stevens (2009). Are more competent workers more satisfied? Labour, 23, 589-607. abstract
Het abstract geeft aan dat het gaat om een onderzoek onder apothekersassistenten, en dat de competenties worden onderscheiden in farmaceutische en communicatieve competenties. Tevredenheid in het beroep hangt samen met die communicatieve vaardigheden (maar dat is toch ook inherent aan het beroep?), niet met de farmaceutische. Ik vind het om meerdere redenen wel intrigerend, maar moet het artikel zelf nog bestuderen. De literatuurlijst geeft toegang tot meer onderzoek op het terrein van tevredenheid in het beroep. Het is in mijn beleving een oude strijdvraag of tevredenheidsonderzoek onder werknemers wel enige zin heeft.
J. Felix Lozano, Alejandra Boni, Jordi Peris & Andrés Hueso (2012). Competencies in Higher Education: A Critical Analysis from the Capabilities Approach. Journal of Philosophy of Education, 46, 132-147. abstract
J.C. Kamphorsta, W.H.A. Hofman, E.P.W.A. Jansen & C. Terlouw (2013). The relationship between perceived competence and earned credits in competence-based higher education. Assessment & Evaluation in Higher Education, 38, 646-661. abstract
Greet M.J. Fastréa,b*, Marcel R. van der Klinka,c, Dominique Sluijsmansa,b,d and Jeroen J.G. van Merriënboer (2013). Towards an integrated model for developing sustainable assessment skills. Assessment & Evaluation in Higher Education, 38, 611-630. abstract
Toetswijzer: Literatuuroverzicht Toetsing en beoordeling van competenties. html
Kenniscentrum voor Erkennen Verworven Competenties (EVC) site
R. D. Arvey & K. R. Murphy (1998). Performance evaluation in work settings. Annual Review of Psychology, 49, 141-168. abstract
http://www.benwilbrink.nl/literature/competencelit.htm
http://goo.gl/YUybi