Accreditatie van hoger onderwijs: Voldoet het?

Ben Wilbrink

gengif/veritas.jpg
Ian McNay and Jennifer Bone (2006). Higher education and the human good.


Anthea Lipsett (October 21, 2005). Bullying rife in RAE run-up. Times Higher Education Supplement, p. 5.



Het streven om de kwaliteitszorg voor het Nederlandse hoger onderwijs te verankeren in de vorm van accreditering is het meest indringend verwoord in het rapport van de kwartiermakers voor deze accreditatie, onder voorzitterschap van Franssen. Vluchtig doornemen van het rapport [lees] leert dat de commissie zich heeft laten informeren en bijstaan door een legertje van ervaringsdeskundigen, en dat het ontbreekt aan verantwoorde inbreng van wat aan wetenschappelijke kennis en inzichten overigens wel degelijk beschikbaar is. De commissie laat zich nogal ongeremd uit over de psychologie van studenten, over de mogelijkheden om op vage ideële criteria te beoordelen, of over het belang van tal van ideetjes voor de aansluiting op de arbeidsmarkt en daarmee voor de Nederlandse economie. Het resultaat is riskante regelgeving en institutionalisering die ons hoger onderwijs voor decennia op het verkeerde been kan zetten. Daarom is het niet van belang ontbloot om de analyses van de commissie te contrasteren met wat wetenschappelijk onderzoek over hoger onderwijs, maar ook dat over de mogelijkheden van en grenzen aan beoordelen, heeft opgeleverd. Met een beetje geluk levert dit de contouren op van vormen van accrediteren die wel doeltreffend zijn, en ook nog doelmatig (direct investeren in die kwaliteit, in plaats van controleren: als Wageningen van meet af aan in controle had geïnvesteerd, in plaats van in onderzoek en disseminatie, had Nederland nu geen noemenswaardige land- en tuinbouwsector meer gehad, toch?).



accrediteren: plaatsbepaling


Accrediteren klinkt heel interessant, maar is natuurlijk een nogal onverhulde vorm van selectie: wie mag behoren tot de club, wie niet. Dat 'mogen' moet wel draagvlak hebben bij de stakeholders, de selectie moet dus voldoen aan algemeen aanvaarde beginselen van wat in een dergelijk geval behoorlijk is. Omdat een beslissing om niet te accrediteren ernstige gevolgen kan hebben voor veel direct betrokken studenten en personeel, is een minimum toch wel dat voldaan wordt aan wat behoorlijk is in het geval van op individuele personen gerichte selectie. In die zin zijn de Richtlijnen voor ontwikkeling en gebruik van psychologische tests en studietoetsen van het Nederlands Instituut voor Psychologen direct van toepassing. Immers, lees 'toetsingskader' voor 'psychologische test.' Beter nog, want recenter en strenger opgezet, zijn de Standards van de Amerikaanse zusterorganisatie. Een moeilijkheid is dat de aanvragers van accreditatie zich op de beoordeling terdege zullen voorbereiden, waardoor het beoordelingsproces complexer wordt dan het gewoonlijk bij psychologische tests al is. Maar ook dat zijn we in het onderwijs wel gewend, en hoe in dergelijke situaties de eisen voor behoorlijkheid er uit kunnen zien, is door Job Cohen in zijn proefschrift (1981) uitgewerkt. Het kader is hiermee gezet, er was voor de commissie Franssen een adequaat model beschikbaar voor de accreditatieprocedure en het daarvoor op te stellen toetsingskader, om er gebruik van te maken danwel zich er juist tegen af te zetten. De commissie is zich van de prins geen kwaad bewust geweest, en heeft in plaats daarvan een babbelstuk geproduceerd. Dat vrijwaart de commissie niet voor kritiek die berust op dit bekende model, of op andere bekende wetenschappelijke inzichten.

implicaties
Uit het voorgaande volgen onmiddellijk een aantal stellingen over (voorwaarden voor) accreditatie.

  1. Er moet wel iets te beoordelen zijn. Bijvoorbeeld moeten er consistente kwaliteitsverschillen tussen opleidingen zijn, anders heeft accrediteren geen zin.

  2. De beoordeling moet consequenties hebben voor belangrijke betrokken partijen, anders slaat accrediteren nergens op.


er zijn consistente kwaliteitsverschillen
Het is niet vanzelfsprekend dat er ook werkelijk kwaliteitsverschillen tussen opleidingen zijn aan te tonen.

Een voorbeeld dat opleidingen niet verschillen in kwaliteit, is dat van basis- en voortgezet onderwijs. Er is in Nederland behoorlijk wat onderzoek gedaan naar verschillen in effectiviteit tussen scholen. Op ieder moment zijn er verschillen, zodat het lijkt alsof er wat te accrediteren valt. Nader onderzoek heeft echter laten zien dat die verschillen niet stabiel zijn. Met andere woorden: de rangorde van scholen in 2000 zegt niets over de rangorde die in 2004 gevonden zal worden. Echt verbazend is dit alleen voor de naieve buitenstaander die al gauw verschillen ziet en denkt dat die in beton zijn gegoten. Voor insiders is het vervluchtigende karakter van effectiviteitsverschillen minder verrassend, we kennen in ons land een onderwijsstelsel waarin vele waarborgen en mechanismen aanwezig zijn die de kwaliteit van het onderwijs op een uniform hoog niveau houdt.



De pretentie bij de opzet van een accreditatiestelsel voor het hoger onderwijs is dus dat wat in ons land geldt voor basis- en voortgezet onderwijs, niet geldt voor het hoger onderwijs. Maar de commissie Franssen onderbouwt niet dat de veronderstelde stabiele kwaliteitsverschillen aanwezig zijn. [zie mijn nog in bewerking zijnde werkdocument over het rapport van de commissie]

Zijn deze dan tussen bijvoorbeeld hoger beroeps- en wetenschappelijk onderwijs niet aanwezig? Ongetwijfeld, ook al is dat niet noodzakelijk in de sfeer van 'meer of minder,' maar bepaald van 'anders.' De commissie zet deze beide typen van opleidingen in afzonderlijke categorieën. Daarmee zijn ze dus geen concurrenten van elkaar, om het zo maar te zeggen.

Waar de commissie niet echt op in gaat zijn verschillen in opleidingskwaliteit zoals die tussen disciplines bestaan. Bijvoorbeeld tussen econometrie en pedagogiek in het wetenschappelijke gebied. Dat is jammer, want het zou de commissie met de neus drukken op de moeilijkheid om de kwaliteit van een geboden opleiding te onderscheiden van de kwaliteiten bij de studenten die voor deze opleiding kiezen. Voor het basis- en voortgezet onderwijs heeft langzamerhand iedereen wel begrepen dat de kwaliteiten van uitstromende leerlingen gecorrigeerd moeten worden voor hun kwaliteiten bij de instroom. Daar ligt ook een belangrijke reden voor het 'verdampen' van zo evident lijkende verschillen in effectiviteit tussen scholen. Als gevolg van haar omissie raakt de commissie verstrikt in heilloze opsommingen van kwaliteiten van afstudeerders, en onderbedeling van de kwaliteiten van het gedane opleidingsaanbod.


[nb: kwaliteitsverschillen tussen disciplines!!!!!]


[Beide punten moet je wel behoorlijk in kaart brengen. Bijvoorbeeld: wil de beoordeling ergens over gaan, dan moeten er afwijzingen zijn. De enige manier waarop dat niet hoeft, is wanneer aanvragers die een afwijzing zien aankomen, zich terugtrekken en zich prepareren op een hernieuwde aanvraag. Die ruimte moet er dan wel zijn. Zou er eventueel ook NA een afwijzing moeten zijn (los van procedures van beroep). Je moet dus weten waar het om draait. De commissie brengt dat niet behoorlijk in kaart. Immers, wanneer in de praktijk blijkt dat alle aanvragen uiteindelijk toch worden gehonoreerd, wat voor bestaande opleidingen is te verwachten, dan dreigt de procedure tot bureaucratie te degenereren. Dat hoeft niet, wanneer de inspanningen aantoonbaar tot kwaliteit leiden. Maar dat is juist het springende punt; hoe is dat hard te maken?



Kansen voor accreditatie


De Volkskrant 27 augustus 2007: Niveau universiteiten overschat. De voorzitter van de NVAO, Karl Dittrich (vh Universiteit Maatricht) over het bachelor-onderwijs (NVAO-site: html): veel opleidingen komen nipt door de accreditatie heen. Het de facto universitaire beleid blijkt te zijn dat een minimale bacheloropleiding de optimale bacheloropleiding is.

Waarom horen dat nu pas? Loopt de NVAO aan de leiband van de VSNU? Want Sybolt Noorda en zijn VSNU maakte het bacheloronderwijs eerder al tot speerpunt van beleid (inderdaad, omdat het helemaal verkeerd dreigt te gaan).

Dit zijn Amerikaanse toestanden, zou je kunnen zeggen. Ook Harvard University ligt sinds enige jaren op de koers dat er eindelijk ook eens in de kwaliteit van het onderwijs moet worden geïnvesteerd. Voor de goede verstaander: dat was dus behoorlijk verwaarloosd. Derek Bok had er de noodklok over geluid, en mocht een begin met nieuw beleid mogelijk maken. Eerder al had super-evaluator Alexander Astin de empirische gegevens laten spreken: het onderwijs van Harvard University was—in termen van toegevoegde waarde—geen haar beter dan dat van de gemiddelde Amerikaanse instelling voor hoger onderwijs.

Laat in lieve vredesnaam die NVAO dan nu eens zijn tanden laten zien: bijten in die hap. Zet hem op, Karl. Want het gaat natuurlijk niet aan om 20% van de opleidingen met kunst en vliegwerk aan hun accreditatie te helpen, dat is een uitnodiging tot wanprestatie. Dat inzicht lijkt nu tot meer bestuurders door te dringen.



De eerste afwijzing gemeld


de Volkskrant bericht:

Hbo-opleiding de wacht aangezegd

Van onze verslaggever Gerard Reijn

AMSTERDAM - Voor het eerst in Nederland is een opleiding in het hoger onderwijs afgekeurd. De keuringsinstantie NVAO constateerde dat de opleiding Sociaal Pedagogische Hulpverlening van de Christelijke Hogeschool Nederland in Leeuwarden op drie punten niet voldoet aan de eisen.


Op 30 mei 2005 is op de website van de NVAO hierover niets te vinden. De instelling CHN heeft wel een persbericht, 17 mei, op haar site:

CHN kondigt verbetertraject opleiding SPH aan

Leeuwarden, 17 mei 2005

De Christelijke Hogeschool Nederland (CHN) kondigt vandaag een verbetertraject aan voor de opleiding Sociaal Pedagogische Hulpverlening in Leeuwarden. Aanleiding voor deze verbeteringen is het voorgenomen besluit van de Nederlands-Vlaamse Accreditatie Organisatie (NVAO) om de opleiding SPH geen accreditatie te verlenen.

De NVAO oordeelde in haar rapport dat de opleiding SPH onvoldoende scoort op de facetten 'relatie doelstelling en inhoud', beoordeling en toetsing' en 'gerealiseerd niveau'. De NVAO beoordeelt de opleiding wel voldoende op de overige achttien facetten. De Christelijke Hogeschool Nederland heeft het voornemen bezwaar aan te tekenen tegen het besluit van de NVAO. Zij neemt de verbeterpunten uit het rapport echter zeer serieus: in de komende maanden worden verbeteringen doorgevoerd op het gebied van de borging en sturing van de eindkwalificaties, de vertaling van de eindkwalificaties naar het programma en de toetsing van het gerealiseerde niveau. Robert Veenstra, vice-voorzitter van het College van Bestuur: "Begin 2005 is SPH begonnen met een verbetertraject. Door het rapport van NVAO voeren we dit traject nu in versneld tempo door. De opleiding SPH is van groot belang voor CHN. Vorig jaar nog rekende Weekblad Elsevier ons nog tot de top 4 van de 20 SPH-opleidingen in Nederland. We doen er alles aan om de opleiding weer op dat kwaliteitsniveau te brengen."

In bijeenkomsten met medewerkers en studenten heeft het CvB aangekondigd afscheid te zullen nemen van Hessel Brandsen als de directeur van het instituut Mens & Maatschappij, waar de opleiding SPH onder valt. Tineke de Jong, als lid van het college van bestuur verantwoordelijk voor de portefeuille onderwijs, heeft haar portefeuille neergelegd.



According to most contemporary accounts, the school survey movement began in the United States in 1911, when Paul Hanus of Harvard surveyed the schools of Montclair, New Jersey, and E. C. Moore of Yale surveyed the schools of East Orange, New Jersey. Unlike earlier school studies, these surveys were carried out by 'an impartial outside expert' instead of by local citizens and school authorities, and they relied upon 'objective evidence .... facts relating to progress and achievement of pupils.' [Lagemann, 2000, p. 80]

Dit lijkt het begin van een heel mooie ontwikkeling in de wereld van accountability en onderwijsonderwijsondrzoek, maar helaas. Dit is een verontrustend hoofdstuk in de studie van Lagemann. Deze Amerikaanse geschiedenis laat zien dat er een prijs moet worden betaald wanneer de samenleving het toestaat dat groepen wetenschappers zich bezig gaan houden met accreditatie, selectie, evaluatie en wat er verder nog aan onproductieve dus in wezen parasitaire activiteiten in, aan en over onderwijs valt te bedenken door politici en andere managers. Zie voor uzelf:

.... after World War I, owing to the specialized focus of their studies and to their interest in profession building, school surveyors did not generally participate in the continuing development of methods of community research. Even though this remained a central preoccupation of other social scientists until at least World War II, educationists tended to remain aloof from efforts to advance theory or methods. Rather, having identified a service for which there was high demand, school surveyors were content to engage in a form of research that is best described as 'social bookkeeping,' the censuslike description of social data. Already regarded as inferior academically, education scholars were further isolated from colleagues with whom they shared substantive, if not professional, interests. What is more, by shunning theoretical, methodological, and philosophical questions, educationists limited the capacity of their 'science' to generate new knowledge.

Ellen Condliffe Lagemann (2000, p. 87). An elusive science: The troubling history of education research. University of Chicago Press.


Dit barre scenario van de VS tussen de twee wereldoorlogen herhaalt zich nu in de accreditatie- en andere controle-beweging in Nederland over de millenniumgrens heen. Wanneer beginnen we eens met iets van het verleden te leren?


literatuur


Johanna Katharina Witte (2006). Change of degrees and degrees of change. Comparing adaptations of European higher education systems in the context of the Bologna process. Dissertation University of Twente. pdf

Carol A. Dwyer, Catherine M. Millett, David G. Payne (2006). Recommendations to Policymakers and the Higher Education Community. ETS Princeton, N.J. pdf

Bertil Roos (2002). ICT, assessment and the learning society. pdf

Robert L. Linn (2000). Assessments and accountability. CSE Technical Report 490. Educational Researcher, 29, 4-16. pdf

Ellen Condliffe Lagemann (2000). An elusive science: The troubling history of education research. University of Chicago Press.

Lindsay Paterson (2003). The Survival of the Democratic Intellect: Academic Values in Scotland and England. Higher Education Quarterly, 57, 67-93. html

Inspectie van het Onderwijs (2007). Het accreditatieproces in de praktijk. pdf

Inspectie van het Onderwijs (2006). Accreditatie in werking beoogde en niet beoogde effecten pdf

werkdocument kritische bespreking rapport Franssen over accreditatie. (onderweg)

David Palfreyman (2006). Quality assurance & accreditation in the UK HE (and beyond). OxCHEPS occasional paper as pdf

AERA, APA, and NCME (1999). The Standards for Educational and Psychological Testing. American Educational Research Association, American Psychological Association, and National Council on Measurement in Education [De Standards zelf zijn helaas niet vrij op www beschikbaar]

Berkel, Henk van (2005). Boekbespreking van: Douma, Theo (2004). Accreditatie: een (zelf)diagnose. Den Haag: Sdu, isbn 9012105447, 196 pp., € 29,50. Tijdschrift voor Hoger Onderwijs, 23. ["Douma sluit zijn boek af met de (terechte) wens dat externe kwaliteitsbeoordeling zich in de toekomst niet meer zozeer richt op de beoordelingscomponent maar meer op het verbeterbeleid van de opleidingen."]

Bloland, Harland G. (2001). Creating the Council for Higher Education Accreditation (CHEA). Phoenix, Arizona: American Council on Education / Oryx Press.

Cohen, M. J. (1981). Studierechten in het wetenschappelijk onderwijs. Proefschrift RU Leiden.

Dittrich, K., en M. Frederiks (2005). Accreditatie in Nederland en Vlaanderen: een eerste balans. Tijdschrijft voor Hoger Onderwijs, 23, 2-16. [Er wordt wel heel wat afgekeurd, of voor afkeuring teruggetrokken, maar dat betreft alleen nieuwe opleidingen. p. 13: "De NVAO heeft de tarieven ingrijpend verlaagd en is bereid om mee te werken aan slimme methoden om clusters van opleidingen te visiteren en te accrediteren (...)."]

Dittrich, K. (2004). Steun voor accreditatie! Uitkomsten van een enquête onder Vlaamse en Nederlandse HO-stakeholders. Thema, #1, 4-8.

Ketcheson, Kathi A. (2001). Public accountability and reporting: What should be the public part of accreditation? In J. S. Ratcliff, E. S. Lubinescu, and M. A. Gaffney (Eds). How Accreditation Influences Assessment pp. 83-93. San Francisco: Jossey-Bass. Heeft niets te vertellen behalve dat een aantal universiteiten het accreditatie-proces koppelen aan een website-portfolio, zie de voorbeelden: CSUS portfolio - IUPUI portfolio - IUPUI portfolio - PSU portfolio - UIC portfolio - UMB portfolio

Lubinescu, E. S., J. L. Ratcliff and M. A. Gaffney (2001). Two continuums collide: Accreditation and assessment. In J. S. Ratcliff, E. S. Lubinescu, and M. A. Gaffney (Eds). How Accreditation Influences Assessment pp. 5-21. San Francisco: Jossey-Bass. Oppervlakkig stuk, was beter van niet.

NIP (1992). Richtlijnen voor ontwikkeling en gebruik van psychologische tests en studietoetsen. Amsterdam.

Stefanie Schwarz and Don F. Westerheijden (Eds) (2007). Accreditation and evaluation in the European higher education Area. Springer. Heruitgave van 2004 bij Kluwer.

Inge de Wolf en Frans J. G. Janssens (2005?). Effects and side effects of inspections and accountability in education; an overview of empirical studies. Research Institute Scholar, University of Amsterdam, Roetersstraat 11, 1018 WB. Working paper. pdf



links


UK's QAA.

Elizabeth Altmaier (Ed.) (2003). Setting Standards in Graduate Education: Psychology's Commitment to Excellence in Accreditation. American Psychological Association site

Commissie Accreditatie Hoger Onderwijs (2001). PRIKKELEN PRESTEREN PROFILEREN. pdf Eindrapport.

Nederlands-Vlaamse Accreditatie-organisatieNVAO site

Dijk, J.W.A. van (2001). Accreditatie in het hoger onderwijs. pdf THÉMA.

European Consortium for Accreditation site.

Het Hoger Onderwijs Register Vlaanderen http://www.hogeronderwijsregister.be/index.php?section=content&id=244

N. J. Hollebeek rechtSlinkS

Hefce (2005). The coshttp://www.hefce.ac.uk/pubs/rdreports/2005/rd17_05/rd17_05.pdfts and benefits of external review of quality assurance in higher education. pdf

+ tables pdf

Ingrid Wijgh & Eddy Bonte (2010). Accreditatie nieuwe stijl: resultaten van de pilot. Tijdschrift voor Hoger Onderwijs.


April 14, 2011 \ contact ben apenstaartje benwilbrink.nl

Valid HTML 4.01!       http://www.benwilbrink.nl/projecten/accreditatie_ho.htm