http://www.benwilbrink.nl/publicaties/84BesprekingMillmanOvO.htm
Handbook of teacher evaluation, samengesteld door Jason Millman. London: Sage Publications, 1981. Gepubliceerd in samenwerking met de National Council on Measurement in Education.
Onder 'docentbeoordeling' wordt in deze recensie verstaan de beoordeling die is gericht op aanstelling, bevordering, ontslag, e.d. In het handboek heet dat 'summatieve' beoordeling, ter onderscheiding van de 'formatieve' beoordeling die in de sfeer van begeleiding en onderwijsverbetering ligt. Deze ongelukkige termen, brengen onvoldoende tot uitdrukking dat het om nauwelijks te verenigen zaken gaat. In het boek komen beide vormen van beoordeling aan bod, altijd streng van elkaar onderscheiden.
Het boek is een geslaagde poging om ten behoeve van de mensen in de dagelijkse praktijk de (on)mogelijkheden van docentbeoordeling te schetsen, veelal aan de hand van gedetailleerde concrete voorbeelden. De praktijk is de Amerikaanse, maar de Nederlandse verschilt daar niet wezenlijk van. Bijv.: wat in het Amerikaanse rechtsgevoel behoorlijke procedures zijn, stemt sterk overeen met wat de (administratieve) rechter hier aan rechtsregels hanteert.
Enkele hoofdstukken verdienen afzonderlijke bespreking. Robert Travers bijt het spits af met 'Criteria of good teaching'. Travers heeft kennelijk het verzoek gehad een aantal rechtlijnige visies op docentbeoordeling op de korrel te nemen. In een soms ver verleden zijn op grote schaal onaangename ervaringen opgedaan met uitsluitend docenten verantwoordelijk te stellen voor de resultaten van het onderwijs. Onderwijsvisies zijn sterk aan veranderingen onderhevig. Tot aan onze eeuw was de gebruikelijke visie: de docent als manager, onderwijsresultaten als afhankelijk van de inspanning en capaciteiten van studenten. Vandaag de dag ziet men dat eerder omgekeerd, waarbij inspanning en capaciteiten van studenten vaak op verantwoordelijkheid van de docent wordt geschreven.
De eigen opvatting van Travers is dat onderwijs genietbaar (Rousseau) of aangenaam (Dewey) moet zijn : onderwijs niet alleen als leerschool voor het leven, maar het leven zelf. Onvermijdelijk, maar toch jammer, houden de andere auteurs zich met meer alledaagse technische problemen bezig.
Over studentenvragenlijsten botsen de meningen in de onderwijswereld soms scherp. Lawrence Aleamoni constateert dat deze vragenlijsten het ongenoegen van docenten opwekken, maar is ervan overtuigd dat dat ongenoegen weggenomen zou worden wanneer men kennis zou nemen van de grote hoeveelheid verricht onderzoek. Van dat onderzoek geeft hij een overzicht, lichtelijk getint ten voordele van de bruikbaarheid van deze vragenlijsten, althans bij onderwijsevaluatie. Studenten zijn de enigen die direct en uitgebreid het gegeven onderwijs meemaken, en dus zouden zij de meest logische beoordelaars van de kwaliteit en de effectiviteit ervan zijn. Dit argument van Aleamoni is een non sequitur, en berust op de stilzwijgende veronderstelling dat onderwijzen geen professionele activiteit is. Het gebruik van studentenvragenlijsten bij docentbeoordeling wijst hij af, omdat de uitkomsten ervan geen eerlijk beeld van de betreffende docenten geven. Enkele volledige vragenlijsten worden afgedrukt, met de aanbeveling om niet op eigen houtje dergelijke lijsten te vertalen en voor eigen gebruik aan te passen.
Ook Scriven oordeelt het gebruik van studentenvragenlijsten voor docentbeoordeling ongepast, tenzij de lijst tot één vraag beperkt wordt: die naar het globale oordeel over de verdienste van de docent als docent. In de instructie voor de studenten moet ondubbelzinnig duidelijk gemaakt worden dat persoonlijke gevoelens jegens de docent, noch de (on)aantrekkelijkheid van het gedoceerde vak, dat globale oordeel mogen beïnvloeden. Ook dan blijft het adagium dat de uitkomsten behoedzaam moeten worden geïnterpreteerd. Meer vragen zijn nergens goed voor, tenzij ter evaluatie van het onderwijs, en dat kan beter strikt gescheiden van docentbeoordeling gebeuren. Scriven beschrijft hoe hijzelf, bijna in samenspraak met studenten, de studentenvragenlijst hanteert om beide partijen informatie over het onderwijs te geven; een modelmethode die navolging verdient.
Voor 'classroom observation' (directe waarneming) wordt in het gelijknamige hoofdstuk gepleit door Evertson en Holley. Andere auteurs denken daar nogal anders over. Scriven: "Niets van wat in de klas kan worden geobserveerd (afgezien van heel bizarre speciale gevallen) kan als grondslag dienen voor gevolgtrekkingen over de verdienste van de wijze van doceren." Zijn argumentatie is correct en afdoende: empirisch onderzoek heeft geen enkele substantiële relatie aangetoond tussen wat er in de klas gebeurt, en wat studenten op korte of lange termijn leren. Het treurige feit is dat degenen die directe waarnemingen doen, vaak overtuigd zijn van het tegendeel.
In het hoofdstuk 'peer review' van Grace French-Lazovik wordt eveneens het idee afgewezen dat collega's relevante waarnemingen over elkaars onderwijs zouden kunnen doen. Collegiale toetsing gebeurt aan de hand van objectieve gegevens, bijv. door de docent in een dossier bijgehouden. De auteurs Strike en Bull stellen daarentegen weer dat professionele waarneming tijdens de instructie ongetwijfeld relevant is voor de beoordeling van de competentie van de instructeur. Zij laten het voorbehoud achterwege: mits dergelijke observaties aantoonbaar relevant zijn, bijv. in relatie tot studieresultaten.
Uit het bovenstaande blijkt dat redacteur Millman auteurs nogal de vrije hand heeft gelaten: er is geen poging gedaan dergelijke tegenstrijdige uitspraken met elkaar te contrasteren. Voor een boek dat de lezer een helpende hand wil reiken, is dat een schoonheidsfoutje. Tegelijkertijd weerspiegelt het de flux waarin het denken over docentbeoordeling nog verkeert: het zou nu nog te vroeg zijn om via commissiewerk met een Code o.i.d. voor de dag te komen.
Het gebruik van studieresultaten als een van de criteria voor docentbeoordeling, is niet populair. Er zijn in Amerika grote vakbonden die daar mordicus tegen zijn. Inderdaad moeten studieresultaten worden geschoond van allerlei invloeden die met het optreden van de docent niets van doen hebben. In de praktijk gebeurt dat zelden of nooit omdat een dergelijke correctie vrijwel ondoenlijk is. In 'Student achievement as a measure of teacher competence' stelt Millman voor om deze correctie via statistische technieken uit te voeren. Hoewel de benodigde technieken standaard beschikbaar zijn bij ieder universitair rekencentrum, zal de aanwending ervan binnen een regeling voor docentbeoordeling nog een lastig vers twee worden. De uitwerking van Millman is een van de zeldzame pogingen om deze effectiviteitsmaat bij uitstek, de onderwijsresultaten, in een hanteerbare en eerlijke vorm te krijgen voor gebruik bij docentbeoordeling. De aanpak van Millman is niet onjuist, maar brengt wel het risico met zich dat aan de kwantitatieve uitkomsten die het oplevert een veel te overtrokken betekenis wordt toegekend wanneer men zich de beperkingen van de gebruikte statistische technieken niet bewust is. Zo zou een rangordening tussen docenten kunnen worden aangebracht op basis van gebleken 'verschillen', terwijl doorgaans die verschillen geen statistische betekenis zullen hebben.
Wie studieresultaten wil gebruiken als criteria bij docentbeoordeling krijgt te maken met de manipuleerbaarheid ervan door de betrokken docenten. Millman zwijgt daarover. Zo niet Travers: '... enkele schooldistricten hebben geprobeerd om de resultaten van landelijke toetsen te gebruiken bij docentbeoordeling. (...) de docenten kwamen er snel achter hoe zij toetsresultaten omhoog of omlaag konden manipuleren. Het is hier niet de plaats om deze beroepsgeheimen van docenten te onthullen.'
Michael Scriven zet in 'Summative evaluation' een aantal wenselijkheden, resp. afraders, nog eens op een rij. Diverse punten zijn in het voorgaande al genoemd. Scriven gaat vooral op de zwakheden van een aantal methoden in. Onder de bruikbare methoden moeten nog worden genoemd de collegiale toetsing en het persoonlijk onderwijsdossier. Het dossier bevat objectieve gegevens over het onderwijs (cursusmateriaal, deelnemers, resultaten e.d.). De collegiale toetsing vindt aan de hand van dat dossier plaats. Er zijn echter enkele zaken waarover niet zozeer door collega's als wel door deskundigen te oordelen is; Scriven noemt als voorbeelden de constructie van toetsvragen en de wijze waarop essayvragen worden nagekeken. Over nakijken geeft Scriven een kort exposé dat bewondering afdwingt door de voorbeeldigheid van de procedure die hij daarvoor schetst. Scriven benadrukt ethische aspecten. Bijv. in de paragraaf 'Behoorlijk Onderwijs': er wordt vaak gezegd dat cijfergeven onethisch is, het nalaten ervan is echter zowel onethisch als onprofessioneel. 'Het is onethisch omdat studenten niet worden geïnformeerd over hun vooruitgang of competentie, en het is onprofessioneel omdat het de indruk wekt dat de onderwijsinstelling (het beroep waartoe wordt opgeleid) geen onderscheid maakt tussen kwalitatief goed resp. armzalig werk.' De mate waarin studenten zich voor vervolgonderwijs in het betreffende vak laten inschrijven wordt hier en daar wel als gegeven bij docentbeoordeling gebruikt Dat is onethisch, merkt Scriven op, omdat de docent hierin slechts kan scoren door stelen, kopen of verleiden van studenten ten koste van andere afdelingen (docenten). Scriven vergelijkt dit met pogingen om studenten meer tijd aan het eigen vak te laten besteden ten koste van tijd besteed aan andere vakken.
In het slothoofdstuk bezien Kenneth Strike en Barry Bull docentbeoordeling binnen de (Amerikaanse) wettelijke context. De besproken jurisprudentie moet opmerkelijk zijn voor wie denkt dat ontslag in dat land eenvoudig is: dat blijkt geenszins het geval te zijn.
De concrete suggesties hebben de vorm van een Algemeen model voor docentbeoordeling die wettelijk en moreel aanvaardbaar is. Karakteristieke onderdelen daarvan zijn:
Geëindigd wordt met een 'Bill of rights' voor docenten : professionele, procedurele, humanitaire en burgerlijke rechten, en rechten van bewijsvoering.
Een passende afsluiting van een boek dat onmisbaar is voor ontwerpers van regelingen voor docentbeoordeling, en voor degenen die in de regels verstrikt kunnen raken.
Ben Wilbrink
COWO - Universiteit van Amsterdam
Voor het artikel over docentbeoordeling, in ditzelfde nummer zie Wilbrink en Hofstee: Docentbeoordeling. [32k html]
Voor briefwisseling met OCenW; jurisprudentie uit 1997; meer recente literatuur zie Bij Docentbeoordeling.
http://www.benwilbrink.nl/publicaties/84BesprekingMillmanOvO.htm