Advies aan het College van Bestuur van de Universiteit van Amsterdam, 9 februari 1981, van het COWO m.b.t. de onderwijskundige aspekten verbonden aan de ontwerpregeling voor de bevordering tot wetenschappelijk hoofdmedewerker. Brief CvB 31 maart 1980, nummer 298853.

Beoordeling van onderwijsactiviteiten



Centrum voor Onderzoek van het Wetenschappelijk Onderwijs, Universiteit van Amsterdam.

Ben Wilbrink

januari 1981




Inleiding


In dit rapport wordt besproken wat er wel, en wat er niet beoordeelbaar is aan de onderwijsactiviteiten van de wetenschappelijk medewerker. Het gaat daarbij niet om het evalueren van het door hem of haar gegeven onderwijs, maar om de beoordeling voor vaste aanstelling of bevordering.

Deze beoordeling heeft een nogal speciaal karakter: niet alleen is de functie ervan eigenlijk meer die van begeleiding van de medewerker, en niet een beoordeling-achteraf, maar bovendien is het geen vergelijkende beoordeling; de beoordeelde hoeft niet 'beter' te zijn dan een x aantal mededingers, maar moet van een behoorlijke taakuitoefening blijk geven.

Een aantal voor de hand liggende mogelijkheden voor deze beoordeling worden onderzocht, zoals beoordeling van de kwaliteit van het door hem of haar verzorgde onderwijs, de resultaten die in dat onderwijs bereikt worden" de uitkomst van een studentenenquête, het oordeel van collega's. Hoewel gegevens als deze hun vanzelfsprekende relevantie hebben voor de inrichting en de verbetering van het onderwijs, blijken ze niet bruikbaar bij de beoordeling van de medewerker die dat onderwijs heeft verzorgd. De redenen daarvoor worden in het volgende uiteengezet, waarbij dankbaar gebruik gemaakt kan worden van een overvloed aan onderzoekmateriaal dat op sommige van deze gebieden voorhanden is.

Na afstrepen van wat niet met een behoorlijke beoordeling in overeenstemming te brengen is, blijft echter een goede mogelijkheid over. Dat is de beoordeling van de behoorlijke uitvoering van de onderwijs- en eventuele andere activiteiten zoals die in het werkplan zijn afgesproken en vastgelegd. De beoordeling is niet meer iets dat achteraf plaats vindt, maar is een volkomen doorzichtige procedure geworden waarbij zowel beoordeelde als beoordelaars precies kunnen weten waar zij aan toe zijn. Ook de kwaliteit van het te geven onderwijs is met deze werkplan-benadering gediend, omdat kwaliteitsverbetering of -handhaving in het werkplan vastgelegd kan worden in de vorm van concrete te ondernemen activiteiten.


Uitgangspunten


Het beoordelen van personen vraagt om zorgvuldigheid, en daarmee om zowel een bezinning vooraf over de bedoelingen van het beoordelen, als om een bezinning op de wijze van beoordelen. Zo ook bij het beoordelen van onderwijsactiviteiten, in minder gelukkig taalgebruik wel het beoordelen van onderwijs-'kwaliteiten' van docenten genoemd.

Beoordelen hoort geen doel op zich te zijn, maar moet op enigerlei wijze functioneel zijn. De formele reden voor de beoordeling is bevordering of aanstelling in vaste dienst van de betrokken medewerker; de inhoud van deze beoordeling is de taakuitoefening van de medewerker, in dit geval de onderwijstaken. De wijze waarop er beoordeeld wordt is van invloed op de wijze waarop de medewerker de onderwijstaken uitvoert: in de beoordeling wordt immers aangegeven welke activiteiten gewaardeerd worden, en welke niet. Op deze wijze krijgt de beoordeling onvermijdelijk ook een instrumentele betekenis waar het gaat om de kwaliteit van het onderwijs. De logica hiervan mag echter niet omgekeerd worden: de geëvalueerde kwaliteit van het onderwijs zoals de docent dat gegeven heeft, mag niet uitsluitend of zelfs maar voor een belangrijk deel, toegeschreven worden aan zijn of haar persoonlijke inspanning.

De beoordeling kan functioneel zijn voor het behouden of verbeteren van de kwaliteit van het onderwijs, en het middel daartoe is niet het subjectieve oordeel-achteraf, maar het vooraf opgestelde werkplan waarin de te verrichten onderwijsactiviteiten vastgelegd worden. De belangrijke beslissingen voor wat betreft de kwaliteit van het onderwijs worden dan expliciet genomen bij het opstellen van dat werkplan (uiteraard veelal als afgeleide van het onderwijsbeleid van vakgroep of sectie).

In het algemeen zal de beoordeling rechtvaardig moeten zijn: voor de direct betrokkenen moet de beoordeling doorzichtig zijn, voor niet-direct betrokkenen moet de beoordeling inzichtelijk zijn; in het algemeen rechtsbewustzijn levende regels worden gevolgd; waar producten niet op behoorlijke wijze beoordeelbaar zijn, moet gezocht worden naar een procedureel rechtvaardige aanpak van de beoordeling, zoals bijvoorbeeld beoordeling op het nakomen van tevoren gemaakte afspraken.

Bij het beoordelen wordt objectiviteit nagestreefd. Dat persoonlijke opvattingen bij het beoordelen geen rol mogen spelen, ook opvattingen over de wijze waarop de wetenschap beoefend en uitgedragen dient te worden niet, daarover bestaat gelukkig een hoge mate van overeenstemming in onze samenleving. Maar ook op minder voor de hand liggende manieren kan de beoordeling onnodig in strijd komen met het objectiviteitsbeginsel. Ook wanneer de beoordelaar persoonlijke opvattingen niet mee laat spelen, zal de beoordeling afhankelijk zijn van de toevallige persoon van de beoordelaar. Verschillende mogelijke procedures kunnen de invloed van deze onbedoelde bron van subjectiviteit verminderen: het werken met meerdere onafhankelijke beoordelaars; meer objectieve criteria gebruiken; en dergelijke. Een verwijzing naar de literatuur bij deze paragraaf ts aan het eind van het rapport gegeven, voorafgaande aan de gerefereerde literatuur.


De onderwijsresultaten als maatstaf voor goed (verzorgd) onderwijs?


Het gaat er in het onderwijs in de eerste plaats om resultaten te boeken. Onderwijs moet verschil maken. Niet ieder resultaat is even gewenst: in de onderwijsdoelstellingen is hopelijk voldoende precies neergelegd wat het onderwijs beoogt te bereiken, bijvoorbeeld m.b.t. kennis en vaardigheden van de student. Hoe die resultaten er in bepaalde gevallen ook uit mogen zien, ze worden door studenten en docenten gezamenlijk tot stand gebracht, waarbij bovendien het studieklimaat in de betreffende studierichting van belang is.

De activiteiten van de wetenschappelijk medewerker als docent zijn er op gericht om het onderwijs op dusdanige wijze vorm en inhoud te geven dat de nagestreefde doelstellingen van onderwijs in redelijke mate ook bereikt worden voor zoveel mogelijk studenten. Het lijkt dus voor de hand liggend om deze onderwijsresultaten dan ook maar als maatstaf te nemen voor de 'kwaliteit' van de onderwijsinspanning van de docent. De gedachte ligt des te meer voor de hand, omdat het onderwijs toch al aan regelmatige evaluatie onderworpen is, en met die evaluatie misschien twee heren tegelijk gediend kunnen worden?

Enige bezinning op de geschetste mogelijkheden leert echter al snel dat er geen sprake van kan zijn dat onderwijsresultaten gebruikt zouden kunnen worden bij de beoordeling van de onderwijsactiiteiten van de docent. In het kort zijn de redenen de volgende:

  1. Studieresultaten zijn niet alleen, en zeker niet in de eerste plaats, afhankelijk van de inspanning van de docent. Er zijn dan ook geen eenvoudige oorzakelijke verbanden aan te wijzen tussen de onderwijsactiviteiten van de docent, en de onderwijsresultaten die hij of zij boekt. Dat geldt zelfs voor meer extreme situaties (wantoestanden): de docent die een wanprestatie levert (zie ook Cohen 19779 1981 voor wat als 'wanprestatie' geldt) kan dat vaak doen zonder dat het tot opvallend slechte onderwijsresultaten leidt. En omgekeerd: zijn de onderwijsresultaten slecht, dan is dat niet zonder meer toe te schrijven aan de betrokken docent, omdat ook de aard van het vak of de aard van de examenregeling,e.d. er de oorzaak van kunnen zijn.

  2. Het evalueren van het onderwijs heeft tot doel datzelfde onderwijs door geschikte maatregelen te verbeteren, wanneer de resultaten van de evaluatie daar aanwijzingen voor geven. Dat heeft niet direct te maken met het al dan niet behoorlijk functioneren van de docent. Ook wanneer de evaluatie met name gericht zou zijn op de rol van de docent in het onderwijs, geven de resultaten van deze evaluatie niet vanzelfsprekend enige aanwijzing over een,behoorlijke taakuitoefening van de docent. Bijvoorbeeld: de docent die intensief bezig is met het onderwijs, daarin nieuwe methoden en technieken toepast, mag er op rekenen dat de evaluatie van zijn onderwijs relatief meer 'punten ter verbetering' boven water brengt dan bij docenten die al jaren dezelfde grammofoonplaat voor hun studenten afdraaien. Juist daar waar aan het onderwijs getimmerd wordt, wordt wel eens misgeslagen; maar ook: juist daar zullen telkens nieuwe mogelijkheden tot nog verdere verbetering opdagen.

  3. In belangrijke mate zijn de studenten zelf verantwoordelijk voor de geboekte onderwijsresultaten, zeker in universitaire studies waar het in aanzienlijke mate op zelfstudie aankomt. Doet de docent het slecht, dan zullen de studenten dat deels compenseren door zèlf harder te werken. Doet de docent het goed, dan betekent dat niet altijd dat de studenten dat uitbuiten door betere resultaten te behalen, maar kunnen zij er ook het voordeel van plukken doordat zij dan minder tijd in het vak hoeven te investeren dan anders nodig geweest zou zijn.


Dat de aard van de onderwijsactiviteiten van de docent i.h.a. geen eenduidig verband houdt met de studieresultaten van zijn of haar studenten, blijkt ook uit onderzoek naar de effecten van verschillende onderwijsmethoden op diezelfde studieresultaten. Dubin en Taveggia (1968) hebben indringend beschreven hoe bij onderzoek telkens weer blijkt dat zelfs vergaande ingrepen in de aard van het gegeven onderwijs geen systematische effecten op de studieresultaten teweeg brengen. Hoeveel te minder mag dat dan verwacht worden van verschillen in de aard, intensiteit, of kwaliteit van de onderwijsactiviteiten van een docent, of van verschillende docenten.

Voor het middelbaar onderwijs geldt hetzelfde: ook daar is het niet mogelijk om studieresultaten van de leerlingen op zinvolle wijze te koppelen aan een behoorlijke inspanning door de leraar geleverd. Op dit gebied verrichtte Popham (1971) enig onderzoek: geoefende leraren bleken het niet beter te doen dan ongeoefende leraren, wat betreft de mate waarin de leerlingen tevoren gespecificeerde leerdoelen bereikten.

Een en ander betekent dat er geen eenvoudig verband is tussen doceeractiviteiten en bereikte studieresultaten bij de studenten. Het houdt in dat docenten niet beoordeeld kunnen of mogen worden naar de studieresultaten die hun studenten boeken. Het betekent niet dat er in het geheel geen relatie tussen de activiteiten van de docent en die van de student zou zijn, integendeel. Maar die relaties zijn verre van eenvoudig, althans waar het er om gaat een en ander te vangen in empirische gegevens die zinvol te vertalen zijn naar beleid. Een poging tot stelselmatige inventarisatie van deze relaties in hun onderlinge samenhang is o.a. gedaan door Centra en Potter (1980).

Een meer methodologisch probleem van algemene aard is dat er vrijwel nooit vergelijkingsmateriaal bestaat of verkrijgbaar is. Er is met andere woorden geen goede maatstaf waarmee onderwijsresultaten zoals die door verschillende docenten geboekt worden, vergeleken kunnen worden. Bijvoorbeeld: wanneer dezelfde stof onderwezen wordt aan verschillende groepen studenten door verschillende docenten, zullen doorgaans tentamenresultaten geen verschillen tussen deze groepen studenten te zien geven. Kulik en McKeachie (1975) hebben daarop gewezen. Allerlei andere factoren in het onderwijs, en met name de inspanning die studenten zelf plegen, versluieren effecten die aan de inspanning van de docenten toe te schrijven zouden zijn. Bij dit soort onderzoek wordt er naar gestreefd dat te vergelijken groepen studenten alleen verschillen in de persoon van de docent. Er is nog een heel ander verschijnsel, waarbij kwalitatief duidelijk van elkaar verschillende groepen studenten desondanks qua studieresultaten niet verschillen: Hofstee (1970) heeft een overzichtje gegeven van onderzoek waarbij een strengere toelatingsselectievan studenten niet tot verbeterde onderwijsresultaten bleek te leiden, omdat docenten in hun cijfergeven zich onbedoeld en ongemerkt aan het veranderde niveau van de studentengroep aanpasten.

Wanneer studieresultaten betrokken worden bij de beoordeling van de docent, ontstaat het gevaar van onbedoelde en ongunstige neveneffecten. De docent zal proberen om de onderwijsresultaten in de gewenste richting te leiden, en daarbij mogelijk middelen gebruiken die strijdig zijn met het doel. Dat is de docent dan ook nauwelijks aan te rekenen, omdat door het vooropstellen van de onderwijsresultaten verduisterd wordt dat het nimmer alleen om de cijfers op zich gaat, maar om datgene waar die cijfers voor staan. Een eenvoudig voorbeeld: het percentage gezakte studenten voor het tentamen is eenvoudig te beinvloeden door de zak-slaaggrens maar voldoende laag te stellen; tegelijkertijd gaat deze noodgreep volstrekt voorbij aan de doelen van het onderwijs, en dreigt ze bovendien Andere ongewenste toestanden met zich mee te brengen, zoals een benedenwaarts gerichte spiraal waar het de bereikte onderwijsdoelen voor dit bepaalde vak betreft.

Het voorgaande overziende wordt de vraag: wat is dan wèl de relatie tussen de onderwijsresultaten en de activiteiten van de docent? Het antwoord daarop moet zijn dat de onderwijsresultaten in belangrijke mate bepaald worden door de inrichting van het onderwijs, de doelstellingen, programmering, inhouden, en toetsing, en dat de activiteiten van de docent betrekking hebben op de uitvoering van dit programma, en op evaluatie en bijstellingen van dat programma. Over de activiteiten van de docent kunnen tevoren afspraken gemaakt worden, terwijl over zoiets als de te bereiken onderwijsresultaten alleen maar gezegd kan worden dat ze mede afhangen van de aard van de gemaakte afspraken en de uitvoering die de docent daaraan geeft. Bij een behoorlijke taakuitvoering van de docent hangen de onderwijsresultaten (= de kwaliteit van het onderwijs) af van de aard van de gemaakte afspraken, van de onderwijsplannen van de vakgroep bijvoorbeeld.


Zijn de meningen van studenten relevant bij beoordeling van de docent?


"Je kunt heel goed onder leiding van een afdeling onderwijsresearch een enquête opzetten die onder alle studenten wordt gehouden, waarbij ze een oordeel geven over het onderwijs in hun verschillende vakken. Dat is helemaal niet vreemd, in Amerika is het de gewoonste zaak van de wereld om studenten te vragen hoe ze over docenten denken. (...) als je zo'n enquête zou hebben en daar duidelijke uitslagen uit kunt halen, niet een paar vage klachten maar systematisch terugkerende duidelijke uitslagen, dan heb je ook grond onder de voeten voor ontslag. Wij gaan daar niet over adviseren hoor, maar ik geef u dit als mijn mening zodat duidelijk is waar ik sta."
(interview van Ton Elias Jr. (Folia Civitatis 13 september 1980) met Slagter, de nieuwe voorzitter van de commissie-Polak).


De studentenenquête, of collegevragenlijst, is een in de Verenigde Staten veelgebruikt instrument. Het gebruik van dit soort enquête is omstreden, er wordt dan ook veel onderzoek naar verricht, zonder dat dat onderzoek duidelijke resultaten laat zien waar het gaat om de wijze waarop de resultaten van dergelijke enquêtes gebruikt zouden kunnen worden (zie o.a. Kulik & McKeachie 1975, en Blom & Langerak 1979, voor een overzicht). Het afnemen van dit soort enquête dreigt een doel op zichzelf te worden. De resultaten van dit soort enquête worden wel gebruikt om personeelsbeslissingen op te baseren, maar dit gebruik van de enquête neemt af. Voor de evaluatie van het onderwijs van de docent is zo'n enquête slechts van beperkte betekenis.

Wie zich in ons land wil spiegelen aan gewoonten die in het amerikaanse onderwijs bestaan, dient wel te bedenken dat het wetenschappelijk onderwijs in ons land heel anders gestructureerd is dan in de Verenigde Staten. In de Verenigde Staten ligt een sterke nadruk op klassikaal onderwijs, en het is juist dAt soort onderwijs dat eventueel met een studentenenquête bevraagd kan worden. In de Verenigde Staten hebben zowel particuliere als staatsinstellingen te zorgen voor een gunstig publiek image, om zowel gelden als studenten aan te kunnen trekken; voor dat image is het van belang hoe studenten hun docenten ervaren, vandaar dat dit soort enquêtes wel gebruikt worden om hier de vinger aan de pols te houden, en er een stuk van het aanstellingenbeleid op te baseren. Dat alles heeft niets met de kwaliteit van het gegeven onderwijs te maken.

In Nederland is de studentenenquête niet gebruikelijk. Hij zou ook weinig functioneel zijn, omdat het college maar een relatief beperkt deel van het aangeboden onderwijspakket uitmaakt. Echter, ook wanneer het uitsluitend om de kwaliteitsbewaking van het college te doen zou zijn, biedt de studentenenquête daar maar weinig goede aanknopingspunten voor. Zie voor overzichten van de nogal omvangrijke onderzoekresultaten op dit gebied Falk & Dow (1971), Flood Page (1974), Kulik & McKeachie (1975), en Blom & Langerak (1979).

Ook al bestrijkt een studentenenquête dan maar een relatief beperkt deel van de onderwijsactiviteiten van de docent, en geven ze daarover alleen maar informatie over hoe die activiteiten bij de studenten loverkomen', dan zouden dergelijke enquêtes misschien toch een rol bij de beoordeling van de docent kunnen spelen, zij het dan ook een beperkte. De vraag is dan: blijken studentenenquêtes in dit opzicht zinvolle informatie aan te kunnen dragen? Het antwoord op die vraag is ontkennend.

Een eerste voorwaarde voor het gebruik van de studentenenquête bij het beoordelen van onderwijsactiviteiten van de docent is dat de enquête genormeerd moet zijn (of kunnen worden). De enquête moet het mogelijk maken de beoordeelde onderwijsactiviteiten van de ene docent zinvol te vergelijken met die van andere docenten. In het hoger onderwijs zal aan deze voorwaarde maar zelden voldaan kunnen worden, om de eenvoudige reden dat het maar zelden voorkomt dat een niet al te klein aantal docenten hetzelfde vak doceert aan verschillende groepen studenten (waarbij die groepen niet systematisch van elkaar mogen verschillen in leeftijd, vooropleiding, etcetera). Ook in de Verenigde Staten kan aan deze voorwaarde maar zelden voldaan worden, reden voor veel auteurs om gebruik van de studentenenquête bij het beoordelen van docenten sterk af te raden.

Een tweede voorwaarde is dat de enquête-uitslag uitsluitend afhangt van de te beoordelen onderwijsactiviteiten. De enquêteresultaten mogen niet afhangen van activiteiten en omstandigheden die niet ter beoordeling staan. Het vervelende is echter dat onderzoek ondubbelzinnig laat zien dat de resultaten van studentenenquêtes beinvloed worden door kenmerken van de studenten, door de omstandigheden van het onderwijs (of een vak verplicht is of niet, grootte van de groep deelnemende studenten, e.d.), of de aard van het gedoceerde vak (meer of minder populair).

Verder doen zich allerlei detailproblemen voor, die hier verder niet besproken hoeven te worden. Er valt niet aan te ontkomen de conclusie van Blom en Langerak (1979) te onderschrijven:

"Alles bij elkaar genomen moeten we stellen, dat, als het gaat om de aanstelling of bevordering van wetenschappelijk medewerkers, het studentoordeel over de doceeraspecten van hun taak van onvoldoende kwaliteit is om in de selectieprocedure in te bouwen."


Er is met andere woorden geen plaats voor het krasse gebruik van de studentenenquête zoals dat Slagter voor ogen staat. Slagter refereert aan het gebruik dat in de Verenigde Staten van deze enquêtes gemaakt zou worden, maar daar worden deze enquêtes maar bij een klein gedeelte der instellingen gebruikt bij het personeelsbeleid, en dan ook slechts naast allerlei andere gegevens die over de docent beschikbaar zijn. Een citaat van een autoriteit op juist dit gebied van beoordeling van docenten onderstreept dat:

"There are districts in which more than 10.000 teachers are evaluated annually - with the result that none is judged sufficiently ineffectual to warrant a dismissal. Does this indicate that such districts are blessed with an improbable collection of super pedagogues? One is reminded of Leon Lessinger's recent book, Every Kid a Winner. These teacher evaluation schemes seem to be predicated on the following proposition: No Teacher a Loser." Popham, 1975, p. 284.


Tenslotte moet er op gewezen worden dat de studentenenquête weliswaar niet gebruikt kan en mag worden bij het beoordelen van docenten? maar dat gegevens uit dergelijke enquêtes mogelijk wel relevant kunnen zijn bij het evalueren van het onderwijs. Tenslotte zijn meningen' van studenten altijd relevant waar het een belangrijke zorg van de individuele docent en van andere betrokkenen is hoe het onderwijs op de student overkomt. Over dit gebruik van de mening van studentenbij de onderwijsevaluatie is in deze paragraaf uitdrukkelijk niet gesproken: dat is een geheel ander onderwerp. Daarvoor kan overigens ook de al genoemde literatuur geraadpleegd worden.


De meningen van collega's


Wanneer collega's gevraagd wordt hun mening te geven over het onderwijs van een bepaalde docent, zoals dat gegeven is, doen zich dezelfde problemen voor als bij het gebruik van de studentenenquête. Ook nu is het vrijwel ondoenlijk om de meningen genormeerd te krijgen, en om uit het oordeel over het gegeven onderwijs een onderscheid te maken naar de invloed die niet ter beoordeling staande factoren daarop hebben uitgeoefend, en de invloed die wèl ter beoordeling staande activiteiten van de docent er op hebben uitgeoefend. Daarbij is het dan ook nog een voorwaarde dat de mening van collega's niet à l'improviste gevraagd wordt, maar aan de hand van een systematische en beproefde vragenlijst.

In hopelijk zelden voorkomende gevallen is er mogelijk èèn punt waar een uitzondering op de hier gegeven bezwaren tegen het oordeel van collega's gemaakt kan worden: wanneer de presentatie van de leerstof, de toetsing van die stof, e.d., inhoudelijk inadequaat is. Bijvoorbeeld wanneer die presentatie ondeskundig is, wanneer onjuistheden ten beste worden gegeven. Uiteraard wordt hier niet gedoeld op mogelijke verschillen van inzicht zoals die tussen verschillende stromingen of scholen in hetzelfde vakgebied kunnen bestaan: het spreekt vanzelf dat dergelijke verschillen nimmer een rol in welke beoordeling dan ook mogen spelen.

Er is bij de beoordeling van onderwijsactiviteiten door collega's sprake van een fundamenteel àndere situatie dan bij het beoordelen van onderzoek. Zeker wanneer de pretentie zou zijn de 'kwaliteit' van het gegeven onderwijs te beoordelen, kan gezegd worden dat in de regel collega's daartoe niet de vereiste deskundigheid bezitten, ook al hebben zij nog zo'n uitgebreide ervaring in het zelf geven van hetzelfde soort onderwijs. Wie desondanks zich waagt aan het geven van dit soort kwaliteitsoordelen op onderwijsgebied, staat voor de onoverkomelijke opgave aannemelijk te maken dat het gegeven oordeel voldoende objectief van karakter is om tenminste wat dit betreft in een eventuele beoordeling ervan gebruik te mogen maken. Het is daarbij niet voldoende om aannemelijk te maken dat het onafhankelijk oordeel van andere collega's gelijkluidend zal zijn, omdat daarmee het gemeenschappelijk misverstand nog niet uitgesloten is.

Er lijkt nu een paradox te zijn ontstaan, omdat uiteindelijk de beoordeling van de onderwijsactiviteiten toch door collega's zal moeten gebeuren. De oplossing van de paradox kan als volgt gezien worden. Het achteraf gegeven kwaliteitsoordeel over de onderwijsactiviteiten van de docent, over wat er met het onderwijs bereikt is, kan niet voldoende objectief gemaakt worden, en niet voldoende relevant voor de te nemen beslissingen, om er de beoordeling op te baseren. Dat is een kwestie van zorgvuldigheid, van behoorlijk bestuur. Maar dat betekent niet dat er dan in het geheel niet beoordeeld zou kunnen worden. Er kan wel degelijk een goede beoordelingsprocedure opgezet worden, zij het ook met iets bescheidener pretenties. Het is mogelijk om tevoren afspraken te maken over de te verrichten onderwijsactiviteiten, zoals er ook tevoren afspraken overhet te verrichten onderzoek worden gemaakt. De 'beoordeling' strekt zich dan 'uit tot het al dan niet behoorlijk nakomen van deze gemaakte (en tussentijds eventueel bijgestelde) afspraken.

De kwaliteit van het onderwijs wordt opgebouwd of gegarandeerd in de gemaakte afspraken, en dat is in belangrijke mate juist de vakgroepsverantwoordelijkheid. Komt de beoordeelde zelf met goede initiatieven, dan is dat zeker prachtig, maar daar mag toch niet op gewacht worden. De meningen van collega's over waar het met het onderwijs naartoe zou moeten, worden vorm gegeven in deze afspraken, in dit onderwijsbeleid.


Van zelfbeoordeling naar het gebruik van een werkplan


De docent zou bij de beoordeling van zijn onderwijsactiviteiten zelf een belangrijke bron van informatie kunnen zijn. In zekere zin is de docent toch van de eigen activiteiten het best op de hoogte.

De idee lijkt aantrekkelijk, maar er kleven belangrijke bezwaren aan, ook wanneer van de goede trouw van de betrokken docent uitgegaan wordt. Om te beginnen is hier weer het bekende normprobleem: de docent weet zelf niet waar de kwaliteit van de eigen onderwijsinspanning mee vergeleken moet of kan worden, en het is al evenmin duidelijk hoe de resultaten van een zelfbeoordelingsrapport normatief te interpreteren zijn. Extra probleem is nu dat persoonlijke opvattingen van de individuele docent in hoge mate de zelfbeoordeling gaan bepalen, terwijl het toch zeker niet de bedoeling kan zijn de mate van bescheidenheid van de docent, of zijn arrogantie, of haar onzekerheid, te beoordelen!

Maar misschien is het mogelijk om al deze bronnen van subjectiviteit te vermijden door een enquêteformulier te gebruiken waarin heel feitelijke informatie gevraagd wordt. Crombag en Blom (1980) hebben daar een voorstel voor gedaan; in hun visie komt zo'n vragenlijst neer op een bijna maximaal omvangrijke verzameling van feitelijke details (uitgevoerde activiteiten zoals herzien van syllabus, aantal studenten begeleid, en resultaten zoals behaalde cijfers, omvang van onder begeleiding geschreven scripties). De docent beperkt zich tot weergave van deze feiten. De beoordelende collega's zouden dan wèl tot uitspraken moeten komen in de trant van 'goede', 'matige' of 'slechte' taakvervulling, in de formulering van Crombag en Blom.

Het voorstel van Crombag en Blom leidt echter tot ernstige problemen: pas achteraf worden op duidelijk nogal subjectieve wijze waarde-oordelen verbonden aan de feitelijke onderwijsactiviteiten van de docent over de afgelopen periode. Wat ligt dan meer voor de hand dan tevoren vaststellen wat de criteria of de normen voor de beoordeling zullen zijn? Deze gedachte leidt er dan vanzelf toe dat het enquêteformulier van Crombag en Blom omgebouwd wordt tot een werkplan, dat tevoren in overleg tussen vakgroep, beoordelingscommissie en beoordeelde ingevuld wordt, en periodiek bijgesteld (driemaandelijks, halfjaarlijks, maar tenminste eenmaal per jaar).

Bijkomend aanzienlijk voordeel van deze werkplanprocedure is dat de onderwijsactiviteiten van de docent dan ook planmatig opgezet worden, en daardoor kan de beoordeling een heel functionele plaats krijgen in het onderwijsbeleid van de vakgroep. Bijvoorbeeld kan in het werkplan tevoren een bepaalde plaats voor onderwijskundige professionalisering van de docent ingeruimd worden.


Zijn er objectieve kwaliteitsmaatstaven voor verzorgd onderwijs?


In het voorgaande is nagegaan of meningen van studenten, van collega's, of van de beoordeelde zelf, een rol zouden kunnen of mogen spelen bij de beoordeling van onderwijsactiviteiten. Het antwoord daarop was ontkennend, met uitzondering van het werkplan, waarbij meningen een ondergeschikte rol spelen. Dat laat dan nog de mogelijkheid open dat het oordeel van externe deskundigen wel voldoende objectief en relevant is om een beoordeling mede op te baseren.

Het vragen van het oordeel van externe deskundigen kan alleen dan zinvol zijn wanneer dergelijke deskundigen onafhankelijk van elkaar tot overeenstemmende oordelen zouden komen. Anders gezegd: wanneer er objectieve kwaliteitsmaatstaven voor verzorgd onderwijs zouden zijn.

Ook al zou deze vraag bevestigend beantwoord worden, dan is er nog een forse hindernis te nemen: het gaat er immers niet om dat de kwaliteit van het gegeven onderwijs beoordeeld wordt, maar de activiteiten van de docent daarbij. Het is op voorhand niet duidelijk wat de relatie is tussen kwaliteit van de inspanning van de docent, en kwaliteit van het onderwijs, behalve dat de inspanning van de docent èèn van de vele factoren is die aan de onderwijskwaliteit bijdraagt.

Kijken we om te beginnen naar mogelijke maatstaven voor kwaliteit van het onderwijs zoals dat gegeven is. Dergelijke maatstaven moeten betrekking hebben op de vraag: worden met dit onderwijs de beste resultaten met het geringste beslag aan middelen bereikt? Kwaliteit die geen bijdrage levert aan het onderwijsresultaat is immers niet functioneel, en hoeft niet nagestreefd te worden, en zeker niet wanneer het bereiken van dergelijke kwaliteit kosten met zich mee brengt. Goed en wel zijn we hiermee terug bij ere vraag of de bereikte studierenultaten een rol bij de beoordeling zouden kunnen spelen. In èèn van de eerste paragrafen is deze vraag al ontkennend beantwoord.

Achteraf beoordeelde kwaliteit van het onderwijs, ook als die beoordeling op redelijk objectieve wijze door externe deskundigen zou kunnen gebeuren, kan en mag geen rol bij de beoordeling van de onderwijsactiviteiten van de docent spelen. De reden daarvoor is dezelfde waarom studieresultaten geen rol mogen spelen bij deze beoordeling.

Is kwaliteit dan helemaal niet van belang? Zeker wel, en die kan ook best een passende plaats krijgen in het werk van de docent. De aangewezen weg daarvoor is in het werkplan vast te leggen welke 'kwaliteiten' in de komende periode bereikt of gewaarborgd moeten worden, en welke concrete middelen en handelingen daarvoor gebruikt zullen worden. De vraag welke specifieke kwaliteiten in het werkplan opgenomen zullen worden, wordt beantwoord vanuit het onderwijsbeleid van de vakgroep, en de plaats die de te beoordelen docent in het door de vakgroep te verzorgen onderwijs krijgt toebedeeld.

Bijvoorbeeld kan in het werkplan vastgelegd worden dat de docent een begin maakt met het aanleggen van een toetsvragenverzameling; dat de syllabus volgens een bepaalde opzet herzien zal worden; dat er een proeftoetsgelegenheid gegeven zal worden; dat de COWO cursus 1 meervormig collegegeven' bestudeerd zal worden op technieken en procedures die mogelijk in een volgende periode in het college verwerkt kunnen worden, etcetera. Hiermee is dan ook beantwoord wat de rol van de docent is bij het vasthouden of verbeteren van concreet omschreven onderwijskwaliteiten.


De bijzondere aard van dit beoordelingsprobleem


Na al het voorgaande is het goed er op te wijzen dat het onderhavige beoordelingsprobleem er niet een is van het eenvoudig aan te pakken soort zoals we dat bijvoorbeeld bij sollicitaties kennen. De selectie uit een klein aantal sollicitanten voor een vacature is tamelijk eenvoudig: ook al kunnen de kandidaten niet op een absolute kwaliteitsschaal beoordeeld worden, dan zal het meestal toch mogelijk zijn om ze met elkaar te vergelijken. Ook al zijn de beoordelingen van iedere individuele kandidaat niet erg betrouwbaar en mogelijk subjectief, dan is het toch mogelijk om met dergelijke oordelen de selectie uit te voeren. Zolang het aannemelijk is dat tenminste iedere kandidaat aan de minimumvereisten voor de vacature voldoet, kun je op deze wijze de selectie redelijk goed uitvoeren, uiteraard ook met inachtneming van ethische en normatieve maatstaven daarbij. Eventueel kun je besluiten om tussen een aantal even bekwaam geachte kandidaten te beslissen via een procedureel rechtvaardige techniek als de loting, omdat in deze situatie het aannemen van de ene kandidaat niet in inhoudelijke termen tegenover de andere kandidaten gerechtvaardigd kan worden.

Niets van deze eenvoud bij de beoordeling van onderwijsactiviteiten: het gaat hier niet om selectie tussen een aantal kandidaten voor een en dezelfde plaats. De beoordeling moet gebeuren louter en alleen op basis van de kwaliteiten van deze docent in relatie tot redelijke maatstaven daarvoor, en niet in relatie tot een X aantal andere (ook te beoordelen) docenten. Het moet een beoordeling-in-redelijkheid zijn, en dat zal meestal neerkomen op wat wel marginale toetsing heet. Er wordt niet beoordeeld op excellentie; waar die aanwezig is zal ze vanzelfsprekend een stempel op de beoordeling drukken.

Een ander bijzonder aspect van deze beoordeling'van de docent is wat Blom en Langerak (1979) het formatieve karakter ervan noemen: in feite gaat het om een vorm van begeleiding van de docent, waarbij een groot stuk van de verantwoordelijkheid voor de onderwijsactiviteiten zoals de docent die uitvoert, bij de leden van de beoordelingscommissie ligt. Die beoordelingscommissie baseert zich uiteraard op het vakgroepsbeleid wat het onderwijs betreft.

Om zowel de 'begeleiding', als de beoordeling die daar dan toch altijd aan gekoppeld is, de nodige handen en voeten te geven, is het zaak dat er zo min mogelijk op subjectieve wijze gewerkt wordt, dat er niet beoordeeld wordt op ad-hoc interpretaties maar aan de hand van zo concreet mogelijke gegevens, die ook voor derden inzichtelijk kunnen zijn.

Het zou met andere woorden aanbeveling verdienen wanneer ook de onderwijsactiviteiten van de medewerker resulteren in producten, zoals dat met het onderzoek altijd al het geval is geweest. Deze onderwijsproducten zijn doorgaans wat bescheidener van karakter, maar kunnen wel even concreet zijn: bijvoorbeeld een nieuwe syllabus, de toetsvragen die de docent aan de bestaande vragenverzameling heeft toegevoegd, summiere verslaglegging van de begeleiding van scriptie-schrijvende studenten, gevolgde cursussen op onderwijskundig gebied, onderwijsveranderingen die zijn doorgevoerd.


Advies voor de beoordeling van onderwijsactiviteiten van medewerkers


De beoordeling van de onderwijsactiviteiten van de medewerker vindt met bepaalde regelmaat plaats vanaf het moment van zijn of haar in dienst treding. Deze beoordeling heeft een sterke begeleidende (formatieve) functie. De medewerker is gehouden aan het 'leveren van een behoorlijke inspanning waar het zijn onderwijstaken betreft, de beoordelingscommissie draagt de verantwoordelijkheid de mogelijkheden voor een behoorlijke taakuitoefening van de docent te scheppen.

Bij deze beoordeling gaat het erom wat er in redelij kheid van de medewerker verwacht kan worden qua aard en omvang van de te verrichten taken. Wat 'redelijk' is mag niet al te zeer afhangen van een vergelijking met de taakuitvoering zoals andere docenten die plegen: de beoordeling heeft geen vergelijkend karakter, het gaat veeleer om zoiets als adequate taakuitoefening in absolute zin. Bedenk ook dat vergelijking met de taakuitoefening van andere docenten stuit op de moeilijkheid van het niet altijd even goed vergelijkbaar zijn van de specifieke onderwijssituatie waarin gewerkt moet worden.

Zorgvuldige beoordeling, waarbij subjectieve momenten zoveel mogelijk uitgeschakeld zijn, en waarbij het optimaal mogelijk is om de beoordeling ook ten goede te laten komen aan de kwaliteit van het te geven onderwijs, bestaat er uit dat voor iedere beoordelingsperiode in het werkplan wordt vastgelegd welke specifieke activiteiten de docent zal uitvoeren in iedere onderwijstaak waar hij mee belast is (college, werkgroep, scriptiebegeleiding, toetsing, practcum, onderwijsverbetering, evaluatie).

De beschrijving van ieder van die activiteiten gebeurt in zo concreet mogelijke termen. Waar minima gespecificeerd kunnen worden, gebeurt dat; waar maxima aangehouden zouden moeten worden, worden die gespecificeerd (denk bijvoorbeeld aan tijdbesteding voor het herschrijven van een syllabus, of aantal bij te dragen toetsvragen).

Het werkplan heeft op deze wijze een sterk normatief karakter, en het is zaak dat de beoordelingscommissie zich realiseert dat kan blijken dat er in het werktlan teveel gevraagd wordt. Tijdige bijstelling is dan noodzakelijk, en regelmatig zal in gezamenlijk overleg, gezien de uitvoering tot dan toe van het werkplan, nagegaan moeten worden of op bepaalde punten bijstelling nodig is.

Op deze wijze aangepakt ontstaat er in de loop der tijden een uitgebreid dossier met hopelijk heel concrete gegevens over de onderwijsactiviteiten door de betrokken medewerker uitgevoerd. Het ligt voor de hand in dit materiaal vooral ook 'producten' op te nemen, zoals een geschreven syllabus, de door de docent gepleegde rapportages (bijv.: resultaten van een tentamenanalyse die aan studenten gerapporteerd worden), andere gemaakte onderwijsmaterialen of hulpmiddelen (zoals toetsvragen, vakbeschrijvingen voor het studieprogramma).

Op de beschreven wijze wordt voldaan aan redelijkerwijs te stellen eisen op het gebied van behoorlijk bestuur, ethiek, technische normen bij het beoordelen, en goede inpassing van de beoordelingsprocedure in het onderwijsbeleid.

Bij deze beoordeling is uitdrukkelijk geen plaats voor het gebruik van studentenenquêtes, voor het erbij betrekken van de studieresultaten, of voor inschakelen van meerdere collega's of externe deskundigen, op grond van de voornamelijke methodologische bezwaren in het rapport aangevoerd.


Literatuur bij de uitgangspunten


algemene beginselen van behoorlijk bestuur (beoordelen)

In het algemeen: de administratieve rechtspraak geeft inzicht in de wijze waarop algemene beginselen van behoorlijk bestuur gevolgd dienen te worden bij het bestuurlijk handelen, in dit geval bij het beoordelen. Zie bijvoorbeeld:

Van Wijk, H.D. & W. Konijnenbelt, Hoofdstukken van administratief recht, Den Haag: VUGA, 1976.

ethiek

London, M. & D.W. Bray, 'Ethical issues in testing and evaluation for personnel decisions', American Psychologist 1980, 35, 890-1.

Messick, S., 'Test validity and the ethics of assessment', American Psychologist 1980, 35, 1012-1027. richtlijnen (technisch-normatief)

Nederlands Instituut voor Psychologen, Richtlijnen voor ontwikkeling en gebruik van psychologische tests en studietoetsen. Auteur, 1978.

Hofstee, W.K.B., Psychologische uitspraken over personen; beoordeling/ voorspelling/ advies/ test. Deventer: Van Loghum Slaterus, 1974.

Lerner, B., 'The Supreme Court and the APA, AERA, NCME Test Standards', American Psychologist 1978, 33, 915-9

Opmerking bij de literatuur genoemd onder 'ethiek' en 'richtlijnen': het gaat hier om ethische en normatieve aspecten bij het gebruik van psychologische tests en bij studietoetsen. Het gebruik van tests en toetsen in de Verenigde Staten is de laatste decennia onderworpen aan expliciete gedragsregels, die in wisselwerking met de praktijk regelmatig herzien worden. Diezelfde gedragsregels zijn toepasbaar op beoordelingsproblemen waar wij in nederland in het onderwijs mee geconfronteerd worden. Of beoordelingen gebeuren aan de hand van tests of niet, doet daarbij weinig terzake: dezelfde gedragsregels zijn toepasselijk. Wie geen (gestandaardiseerde) tests bij het beoordelen gebruikt bevindt zich in een beoordelingssituatie die veel moeilijker in overeenstemming is te brengen met minimale desiderata, dan wanneer de beoordeling wèl op deze wijze geformaliseerd zou zijn.


Gerefereerde literatuur


Blom, S.J.M. & Langerak, W.F, 'Beoordelen van docenten door studenten', Pedagogische Studiën, 1979, 56, 308-18

Centra, J.A. & Potter, D.A. 'School and teacher effects: an interrelational model', Review of Educational Research,1980, jo, 273-91.

Cohen, M.J. 'Contracten in het hoger onderwijs', in H.F.M. Crombag & T.M. Chang (redactie) Een kleine zoölogie van het onderwijs. Universitaire Pers Leiden, 1978.

Cohen, M.J. proefschrift (beginselen van behoorlijk onderwijs, een juridische uitwerking) Leiden, ca. juli 1981.

Crombag, H.F.M. & Blom. S.J.M. Over het beoordelen van de onderwijsactiviteiten van universitaire docenten. Leiden: Bureau Onderzoek van Onderwijs R.U. Leiden, memorandum 541, 1980.

Dubin, R. & Taveggia, T.C. The teaching-learning paradox: a comparative analysis of college teaching methods. Eugene: University of Oregon, 196*.

Falk, B. & Dow, K.L. The assessment of university teaching. London: Society for Research into Higher Education, 1971.

Flood Page, C.M. Student evaluation of teaching; the american experience. London: Society for Research into Higher Education, 1974.

Hofstee, W.K.B. Selektie van personen. Inaugurele rede. Van Gorcum, Assen, 1970

Kulik, J.A. & McKeachie, W.J.M. 'The evaluation of teachers in higher education. In F.N. Kerlinger (editor) Review of Research in Education nr 3. Itasca Ill.:Peacock, 1975.

Popham, W.J. 'Performance tests of teaching proficiency; rationale, development, and validation.' American Educational Research Journal, 1971, 8, 105-10.

Popham, W.J. Educational evaluation. Englewood Cliffs, New Jersey: Prentice-Hall, 1975.

Cohen, M.J. 'Studierechten'. Tjeenk Willink, 1981. (handelseditie).




Universiteit van Amsterdam
Centrum voor Onderzoek van het Wetenschappelijk Onderwijs


College van Bestuur
Maagdenhuis
Spui 22

AMSTERDAM, 9 februari 1981

betreft: onderwijskundige aspecten m.b.t. de ontwerpregeling bevordering tot wetenschappelijk hoofdmedewerker.

Geacht College,

Bijgaand treft u het advies aan van het COWO m.b.t. de onderwijskundige aspekten verbonden aan de ontwerpregeling voor de bevordering tot wetenschappelijk hoofdmedewerker.
Dit advies is een antwoord op uw vraag gesteld in uw brief d.d. 31 maart 1980, nummer 298853.

Zoals we u reeds lieten weten in onze brief d.d. 26 juni 1980 hebben we over deze materie op landelijk niveau overleg gevoerd met collega onderwijsbureaus. Met name dit overleg is er de oorzaak van dat dit advies u wat laat bereikt. Dit overleg heeft er echter wel toe bijgedragen dat er consensus bestaat over de plaats van een RWO-bureau in de beoordeling en over de te hanteren werkwijze bij de beoordeling van de onderwijsaktiviteiten van een wetenschappelijk medewerker.

Het uitgebrachte advies, dat namens het COWO is opgesteld door B. Wilbrink, behelst in het kort dat de te verrichten onderwijsaktiviteiten vooraf worden vastgelegd in een werkplan. De wijze waarop het werkplan ten uitvoer wordt gelegd, staat ter beoordeling. Hiermee wordt de beoordelingsprocedure een volkomen doorzichtige waarbij beoordeelde en beoordelaars precies weten waar zij aan toe zijn. Deze beoordelingsprocedure komt overeen met de beoordelingsprocedure van de taakcomponent onderzoek.

Tevens worden in dit advies een aantal schijnbaar voor de hand liggende toetsingsmaterialen voor de beoordeling van onderwijsaktiviteiten, zoals de resultaten die in het onderwijs bereikt worden, het oordeel van studenten en het oordeel van collega's, uitvoerig besproken. De konklusie is dat dit soort gegevens voor de beoordeling van de medewerker niet bruikbaar zijn.

Het COWO is van mening dat de beoordeling van de onderwijsaktiviteiten van de wetenschappelijk medewerker op de wijze zoals in het advies voorgesteld bijdraagt aan het scheppen van een situatie waarin het taakonderdeel onderdeel onderwijs meer aandacht krijgt in de beoordeling van de wetenschappelijke medewerker dan voorheen het geval was. Uiteraard is het COWO bereid mede te werken aan een nadere konkretisering van de voorgestelde procedure, met name waar het de invulling en vormgeving van het werkplan betreft.

Hoogachtend,

T.A.M. van Dijk



Zie ook

Ben Wilbrink en Willem K. B. Hofstee (1984). Docentbeoordeling. Onderzoek van Onderwijs, 13, 52-55. html

Ben Wilbrink (1984 ). Opvattingen over docentbeoordeling. Bespreking van J. Millman: Handbook of teacher evaluation. Onderzoek van Onderwijs, 13. html

Deze aflevering van Onderzoek van Onderwijs is in zijn geheel gewijd aan docentbeoordeling. Voor andere analyses van deze thematiek zie de bijdragen van de andere auteurs.




5-2006 \ contact ben apenstaartje benwilbrink.nl

Valid HTML 4.01!   http://www.benwilbrink.nl/publicaties/81docentbeoordelingCOWO.htm