Opgesteld ten behoeve van de VSNU in het voortraject naar een stelsel van kwaliteitsbewaking, om door Ton Vroeijensteijn nooit opgehelderde redenen terzijde geschoven. Het enige resultaat schijnt te zijn geweest dat er in visitatiecommissies tenminste enige onderwijskundige expertise aanwezig behoort te zijn. De blunderende commissie Franssen (accreditatie) heeft recent nog eens laten zien dat goedwillende bobo's op dit terrein niet vanzelf tot goede resultaten komen.

Kwaliteitsbewaking W.O.

voorstudie

opgesteld door
Ben Wilbrink en Theo Joostens
binnen de CRWO werkgroep doelmatigheid

december 1986

Stichting Centrum voor Onderwijsonderzoek aan de U.v.A., Grote Bickersstraat 72, 1013 KS Amsterdam
Centrum Onderzoek Wetenschappelijk Onderwijs, R.U.G., WSN Gebouw, Postbus 800, 9700 AV Groningen

Inhoud

samenvatting

Deel 1 Kwaliteit en evaluatie

1 Inleiding 10
2 Het begrip kwaliteit uiteengelegd 11
2.1 doelbereiking
2.2 randvoorwaarden
2.3 wat behoorlijk is
2.4 doelmatigheid
3 Meten en evalueren 17
3.1 (administratief) meten
3.2 evaluatie: zijn doelen bereikt
3.3 evaluatie: effecten van beleid

Deel 2 Een stelsel van kwaliteitbewaking

4 Kwaliteitsbewaking op cursusniveau 19
4.1 de cursus ontleed
4.2 randvoorwaarden.
4.3 doelmatigheid
4.4 bewaking
5 Kwaliteitsbewaking op programmaniveau 25
6 Kwaliteitsbewaking op faculteits / sector niveau 27
6.2 de propedeuse, en vakkenpakketten voor aankomende studenten
7 Een stelsel van kwaliteitsbewaking 31
8 Externe besturing 36
9 Interne besturing 38
10 Het onderwijs als stelsel 39

Deel 3 Numeriek rendement, studielast en doorstroming

11 Numerieke rendementen 41
11.1 administratieve standaardisering
11.2 welke doelen en instrumentele ingrepen zijn in het geding
11.3 een evaluatief netwerk voor het numeriek rendement
11.4 aanbevelingen
12 Studielast 47
12.1 administratieve standaardisering
12.2 welke doelen en instrumentele ingrepen zijn in het geding
12.3 studielast en kwaliteitsbewaking
12.4 aanbevelingen
13 Doorstroming 50
13.1 administratieve standaardisering
13.2 welke doelen en instrumentele ingrepen zijn in het geding
13.3 doorstroming en kwaliteitsbewaking
13.4 aanbevelingen

referenties 52

literatuur 53

Samenvatting

Deel 1 Kwaliteit en evaluatie

Kwaliteitsbewaking is zinvol wanneer zij leidt tot verbetering van de kwaliteit van het onderwijs. Bij de in de HOAK nota bepleitte kwaliteitsbewaking moet het helder zijn wat onder het begrip kwaliteit wordt verstaan, en hoe de evaluatie van deze kwaliteit op de diverse niveaus binnen het onderwijsstelsel gestalte kan krijgen.

Op beleidsniveau wil men beschikken over 'performance indicators' als getalsmatige aanwijzingen voor de kwaliteit; bij de kwaliteitsbewaking heeft men het professionele oordeel van deskundigen nodig, een oordeel dat niet zozeer in getalsmatige vorm als wel in de vorm van schriftelijke protocollen wordt gegeven. De vraag is dan, welke indicatoren en welke vormen van protocollen zijn voor kwaliteitsbewaking bruikbaar?

Bij kwaliteit gaat het om doelbereiking en de randvoorwaarden waarbinnen dat gebeurt, en dat het onderwijs behoorlijk en doelmatig is. De verschillende actoren zijn studenten, docenten, besturen, de overheid, en deskundigen. De actoren kunnen de rol van verzorger, beoordelaar of afnemer van het onderwijs vervullen. De kwaliteitsbewaking gebeurt op verschillende niveaus: van de afzonderlijke cursus tot en met het w.o. in zijn geheel.

De kwaliteit van het onderwijs is voornamelijk de mate waarin de doelen worden bereikt. De kwaliteit (en kwantiteit) van instromende studenten, de professionele kwaliteiten van docenten en bestuurderen vormen randvoorwaarden voor de bereikbare kwaliteit, in zowel beperkende als faciliterende zin. Tot de organisatorische randvoorwaarden behoren de onderwijsverzorgingsstructuur, het personeelsbeleid, en de kwaliteit van de werkplek. De kwaliteitsbewaking moet zo zijn ingericht dat zij zich terugverdient door de verbetering van het onderwijs.

De wettelijke omvang van studieprogramma's (1680 uur per cursusjaar) en de wettelijke eis van studeerbaarheid stellen grenzen aan de te bereiken kwaliteit, ook bij afzonderlijke cursussen.

Een belangrijke vorm van kwaliteitsbewaking is het signaleren of het onderwijs behoorlijk is: dat het op onderwijskundig te verantwoorden wijze wordt verzorgd, en dat de inhoud tegenover vakgenoten verdedigbaar is.
inspanningsverplichting. Docenten zijn niet gehouden bepaalde resultaten bij de studenten te bereiken, maar moeten een adequate onderwijsinspanning leveren. De docent zal behoorlijk onderwijs moeten aanbieden, en in deze zin kan men zeggen dat de docent is gehouden tot het leveren van bepaalde resultaten: cursusaanbod, syllabus, toetsgelegenheid, en dergelijke, maar niet in de zin van bepaalde studieresultaten.

Geldt de inspanningsverplichting voor de relatie tussen docent en student, dan valt niet in te zien hoe op hogere aggregatieniveaus een resultaatsverplichting zou kunnen gelden, tenzij als statistische fictie. Het is niet redelijk instellingen of studierichtingen te houden aan het behalen van een bepaald numeriek rendement, wèl is men gehouden behoorlijk onderwijs aan te bieden.

Doelmatigheid betreft de verhouding tussen ingezette middelen en de bereikte resultaten, of, in termen van het kwaliteitsschema: de doelbereiking in verhouding tot de randvoorwaarden. De doelmatige inzet van beschikbare middelen is altijd van belang.

Evaluatie is gericht op de oorzakelijke factoren achter de doelbereiking, om aangrijpingspunten voor toekomstig beleid te krijgen.

Deel 2 Een stelsel van kwaliteitsbewaking

Kwaliteitsbewaking op hogere niveaus moet zijn geworteld in het cursusniveau, daar wordt het onderwijs gemaakt, daar mag het in ieder geval niet aan kwaliteit ontbreken. Op hogere niveaus moet een samenvatting van de kwaliteitsbewaking op lagere niveaus worden gemaakt, daarnaast zijn de specifieke kenmerken of problemen van het hogere niveau zèlf onderwerp van kwaliteitsbewaking.

De kwaliteitsbewaking voor de afzonderlijke cursus is analoog aan de problematiek van de docentbeoordeling, men kan hier gebruik maken van de voorstellen voor, en ervaringen met, docentbeoordeling (o.a. themanummer van Onderzoek van Onderwijs, december 1984).

De kwaliteitsbewaking op cursusniveau behoeft enige vorm van beleid en organisatie vanuit een hoger niveau. Een bepaalde vorm van organisatie en standaardisering wordt ook gegeven door evaluatieinstrumenten die vanuit het centrale niveau beschikbaar zijn.

De kwaliteit op cursusniveau slaat tevens op de in bijgaande figuur met pijlen aangegeven relaties: zijn deze adequaat, doeltreffend, e.d.

De mogelijkheden voor kwaliteitsbewaking (indicatoren en protocollen) worden geconstrueerd door onderdelen van de cursusbeschrijving te koppelen aan alle onderdelen van de kwaliteitsbeschrijving en aan de actoren. Het onderwijsbeleid en de onderwijssituatie bepalen welke mogelijkheden prioriteit verdienen.

De tijd die studenten aan het onderwijs besteden is van wezenlijk belang voor het evalueren van het onderwijs, om na te gaan of de gestelde eisen adequaat zijn. Het criterium is dat studenten die gekwalificeerd zijn tot het volgen van de cursus, daarvoor slagen in ongeveer de tijd die ervoor 'staat' in de studieprogrammering. Gegevens over de tijdbesteding maken het mogelijk te waken tegen ongemerkte verschuiving van de normen.

Een stelsel van kwaliteitsbewaking kan gebruik maken van de evaluatiemethodieken die door RWO centra zijn ontwikkeld, deze betreffen het cursusniveau en zijn redelijk gestandaardiseerd.

Bij de kwaliteitsbewaking op programmaniveau gaat het om het eigene van programma's, zie bijgaand schema.

De onderwijssystematiek zoals in de HOAK nota voorgestaan stelt zware eisen aan de onderwijsorganisatie en aan de onderwijskundige vormgeving op het niveau van de faculteit of sector. Een protocol van de wijze waarop men concrete problemen heeft aangepakt en opgelost behoort zeker tot de kwaliteitsbewaking. In onderstaand schema is een speciale plaats ingeruimd voor een samenvattende beschrijving (aggregatie) van de kwaliteitsbewaking van afzonderlijke cursussen en programma's.

de rol van deskundigen in een stelsel van kwaliteitsbewaking
Een stelsel van kwaliteitsbewaking kan niet alleen bestaan uit een aantal checklists die door willekeurige personen kunnen worden toegepast, evenmin uit een aantal 'performance indicators' die administratief beschikbaar zijn. Op alle niveaus moet het professionele functioneren van de organisatie en zijn actoren worden beoordeeld door evenzeer professionele deskundigen 'van buiten'. Deze deskundigen zijn in ieder geval vakdeskundigen en onderwijskundigen.

De rol van de vakdeskundige bij het beoordelen van de inhoud van het onderwijs behoeft geen toelichting. De onderwijskundige heeft een professioneel oordeel over de kwaliteit van het onderwijs, de gebruikte hulpmiddelen, en de toetsing. Het is niet mogelijk op voorhand en in abstracto aan te geven wat kwalitatief goed onderwijs is. Het oordeel van de onderwijskundige kan niet worden geautomatiseerd, behalve in deze zin dat er instrumenten worden ontwikkeld die de dataverzameling doelmatiger maken. Vakdeskundigen kunnen niet in de plaats van de onderwijskundige treden.

Deel 3 Numeriek rendement, studielast en doorstroming

numeriek rendement
Het numerieke rendement is de proportie van de aanvankelijk ingeschreven studenten die uiteindelijk voor een bepaald examen slagen; het is een administratief gegeven, los van enige vorm van evaluatie van het onderwijs (zijn doelen bereikt, en welke beleidsmaatregelen zijn daartoe instrumenteel geweest). De sprong van administratief meten naar evalueren moet nog worden gemaakt.

Een geuniformeerde definitie van het numerieke rendement wordt gegeven door de werkgroep Statistiek van het ISAT (1986); het gaat om peildata, wie wel en wie niet tot een cohort worden gerekend, en de wijze waarop af- en toezwaaiers worden gedefiniëerd en in de numerieke rendementen worden geteld.

Het numerieke rendement moet op gestandaardiseerde en administratief eenvoudig controleerbare wijze worden bepaald.

De doelen voor de propedeuse zijn: oriëntatie, verwijzing en selectie, aanbieden van een standaard programma, accommoderen van vooropleidingsverschillen, en hoger onderwijs voor velen. Het numerieke rendement op zich kan tot doel worden, waar de minister gerealiseerde rendementen als grondslag voor de bekostiging neemt. Het numerieke rendement is niet zinvol als zelfstandig doel hanteerbaar, omdat het de afgeleide van de eerder genoemde doelen is.
Analytisch kan een cohort studenten worden uitgesplitst als in de volgende figuur weergegeven.

Over numerieke rendementen kan pas zinvol worden gesproken in relatie tot de overige categorieën, het is een percentage dat mede door de overige categorieën wordt bepaald.

Er kunnen geen getalsmatige criteria worden vastgelegd voor het percentage studenten dat de studiekeuze moet bevestigen, of veranderen.
Zelf-selectie hangt af van hoe studenten eigen capaciteiten en motivatie zien, hoe reëel hun zelfbeeld is in relatie tot de eisen die de studie stelt. Streven naar vermindering van het aantal 'afzwaaiers' is eenzijdig beleid.

Persoonlijke omstandigheden zijn vrijwel niet door het beleid te beïnvloeden.

Een aantal studenten neemt niet aan het onderwijs deel; het is beter hen niet tot het cohort te rekenen. Dat vraagt standaardisering van de wijze waarop dergelijke studenten adminstratief worden geïdentificeerd, bijvoorbeeld door een herbevestiging van de inschrijving te vragen.

studielast
De problematiek van de studielast valt uiteen in dat van de normatieve studielast, als administratieve rekeneenheid, en de empirische studielast, het werkelijke aantal uren dat het studieprogramma vraagt. Empirisch onderzoek kan een onderbouwing geven voor de normatieve studielast, of tot bijstellingen daarin leiden.

De wet twee-fasenstructuur omschrijft het tijdbeslag dat het studieprogramma mag vragen van de in alle opzichten gemiddelde student. Deze methodiek wordt voortgezet in de HOAK nota. Het behalen van het examen is hier het criterium. Een onhandige examenregeling of studieprogrammering kan leiden tot overschrijding van de norm van 1680 uur per cursusjaar.

De studielast wordt bewaakt door periodiek onderzoek naar het werkelijke tijdbeslag. Naast de totale studielast gaat het om de verdeling van de tijdbesteding, zoals de verdeling over cursussen in relatie tot de begrote omvang van die cursussen in studiepunten. Van belang is ook de verdeling van de tijdbesteding over het kalenderjaren en de weken. De tijdbesteding wijst aan waar de cursus- en examenprogrammering de studenten dwingt of uitlokt tot een minder doeltreffende tijdbesteding over de week en over het jaar (Crombag, v.d. Drift en Vos, 1985).

Tjdbestedingsonderzoek geeft aan welke verschillen er tussen studenten voorkomen, mogelijk ook gerelateerd aan studieprestaties.

doorstroming
Wie de doorstroming ziet als een kwaliteitsaspect van het onderwijs, moet aangeven waarop men dan het oog heeft. Het kan om doelmatigheid en doeltreffendheid gaan: geen wachtlijsten, geen overdoen van cursusonderdelen, en kunnen studeren in het tempo dat de student zelf wenselijk vindt. Het programma moet studeerbaar zijn in de cursusduur. Doet de 'gemiddelde' student meer dan 1680 uur over de propedeuse, en wordt dat niet binnen het eerste inschrijvingsjaar behaald, dan is het van belang of studenten die wel sneller zouden willen studeren daarin door het onderwijs- of examenprogramma worden belemmerd.

Hoe snel en op welke wijze studenten de studie doorlopen is zeker een kwaliteitsaspect. Een grove indicatie voor de doorstroming is te construeren door tegen het numeriek rendement af te zetten het percentage studenten waarvan bekend is dat zij nog studeren, op dezelfde peildata waarop de numerieke rendementen worden bepaald. Een fijner indicatie voor de doorstroming berust op het idee het aantal studiepunten te tellen dat studenten op de peildata hebben 'verzameld'. Ook hier moeten zij die nog studeren worden onderscheiden van studenten van wie bekend is dat zij de studie hebben gestaakt. Het bijhouden van deze studievoortgangsgegevens stelt eisen aan het centrale administratiesysteem, maar dan is het ook mogelijk op gestandaardiseerde wijze de doorstroming in beeld te brengen (zie Jansen en Joostens, 1986).

1 Inleiding

'Voor wat betreft de kwaliteit van het onderwijs zijn de volgende aspecten te onderscheiden:

a. de input, dat wil zeggen de binnenkomende studenten;

b. het onderwijsproces;

c. de output, dat wil zeggen de kwaliteit van de afgestudeerden.'

(Verscheidenheid en kwaliteit p.14)

Voor het opzetten van een verantwoord stelsel van kwaliteitsbewaking is het nodig de probleemstelling uitvoeriger in kaart te brengen. De opbouw in deze voorstudie is als volgt:. In dit inleidende deel 1 worden de begrippen 'kwaliteit', 'meten' en 'evalueren' uitgewerkt; een centrale plaats komt daarin toe aan de doelen van het onderwijs, ook de doelen zoals in de HOAK nota beschreven. In deel 2 wordt beschreven hoe deze kwaliteitsbewaking vorm kan worden gegeven, al naar gelang het niveau van het onderwijs; analyse leidt tot bepaalde protocollen en indicatoren voor de kwaliteit. In deel 3 wordt een analyse gegeven van de bruikbaarheid van gegevens over numeriek rendement, studielast, en doorstroming bij de kwaliteitsbewaking. De delen 2 en 3 geven een elkaar aanvullende behandeling van de mogelijkheden tot kwaliteitsbewaking.
Met dit geheel wordt beoogd een globale aanzet te geven voor een door de instellingen uit te voeren stelsel van kwaliteitsbewaking. Daarmee wordt aangesloten bij de werkgroep deregulering:

'Een probleem daarbij zal zijn dat "de kwaliteit van het onderwijs" vele aspecten kent en niet altijd even eenduidig vast te leggen zal zijn. Het beste aangrijpingspunt is dus om niet te proberen meteen een allesomvattend schema op te stellen, maar eerst de aandacht te richten op die aspecten waaraan naar de gevoelens van velen extra aandacht besteed zou moeten worden. Naarmate al doende inzicht ontstaat hoe bepaalde aspecten van de onderwijskwaliteit beschreven en verbeterd kunnen worden, kan tot een meer definitief format voor het onderwijsverslag besloten worden. (Verscheidenheid en kwaliteit p. 15)

De analyse van het kwaliteitsbegrip, en het expliciet onderscheiden van diverse niveaus in het onderwijs en diverse actoren die bij het onderwijs en de kwaliteitsbewaking zijn betrokken, maken het mogelijk indicatoren en protocollen stelselmatig te inventariseren of te construeren. Om tot een spaarzame en practisch hanteerbare set van indicatoren en protocollen te komen, is het wenselijk prioriteiten te stellen, een planmatige aanpak te kiezen, en te streven naar standaardisatie. Aan het stelsel van kwaliteitsbewaking kan de eis worden gesteld dat de kosten ervan in goede verhouding moeten staan tot de opbrengst (verbetering van de kwaliteit van het onderwijs), mede als waarborg tegen bureaucratisering. Activiteiten in het kader van de kwaliteitsbewaking moeten aanvaardbaar zijn voor de betrokkenen, ook al om betrokken docenten te kunnen motiveren adviezen ter harte te nemen.

2 Het begrip kwaliteit uiteengelegd

Bij de in de HOAK nota bepleitte kwaliteitsbewaking moet het helder zijn wat onder het begrip kwaliteit wordt verstaan, en hoe de evaluatie van deze kwaliteit op de diverse niveaus binnen het onderwijsstelsel gestalte kan krijgen.

Hoe men het begrip kwaliteit ook in eigen woorden zou willen beschrijven, in ieder geval moet het daarbij gaan om doelbereiking en de randvoorwaarden waarbinnen dat gebeurt, en dat het onderwijs behoorlijk en doelmatig is. De verschillende actoren zijn studenten, docenten, besturen, de overheid, en deskundigen. De actoren kunnen de rol van verzorger, beoordelaar of afnemer van het onderwijs vervullen. De kwaliteitsbewaking gebeurt op verschillende niveaus: van de afzonderlijke cursus tot en met het w.o. in zijn geheel.

2.1 doelbereiking
De kwaliteit van het onderwijs is voornamelijk de mate waarin (expliciete) doelen worden bereikt. Bij kwaliteit gaat het om doelbereiking, maar niet tegen iedere prijs: binnen bepaalde randvoorwaarden. De mate waarin de doelen worden gerealiseerd is de belangrijkste, een noodzakelijke, maar nog geen voldoende, indicator voor kwaliteit: men kan er niet mee volstaan alleen naar de uitkomsten van het onderwijs te kijken.

Omdat er altijd meerdere doelen tegelijk in het geding zijn, is de onderlinge afweging van hun belang aan de orde, des te meer naarmate doelen concurrerend zijn, of aanspraak doen op dezelfde beperkte middelen.

De doelen kunnen expliciet zijn geformuleerd, zoals in de wet, in de HOAK nota, en in studiegidsen. Sommige doelen zijn zo vanzelfsprekend dat zij niet expliciet zijn geformuleerd: natuurlijk moet iemand die het artsexamen met goed gevolg heeft afgelegd in staat zijn zelfstandig als arts te werken. Doelen hoeven niet als zodanig te zijn vastgelegd: de gedetailleerde doelen van een cursus kunnen blijken uit de gestelde tentamenvragen.

Expliciete kunnen doelen onjuist, ongewenst, of tegenstrijdig zijn: de doelformulering zelf zal onderwerp van kwaliteitsbewaking zijn, op alle niveaus. Zo is de nog volgende analyse van de doelen in de HOAK nota mede een begin van een kwaliteitsoordeel over deze doelen.

Om te kunnen bepalen in hoeverre doelen zijn gerealiseerd is het noodzakelijk de doelen te inventariseren, voor verschillende niveaus en voor verschillende actoren, en bij afzonderlijke doelen indicatoren en protocollen te vinden voor de mate waarin dat doel is gerealiseerd. Indicatoren dekken zelden de volledige betekenis van de doelen: dat mag er niet toe leiden dat de doelen worden geherformuleerd ('geoperatonaliseerd') in termen van de indicatoren die men beschikbaar meent te hebben, dat woordenspel lost geen wezenlijke problemen op.

Verschillende actoren zullen niet dezelfde doelen nastreven. Er zal altijd enige spanning bestaan tussen de doelen zoals in de wet gegeven, en de doelen zoals door de verzorgers van het onderwijs nagestreefd; het kan zijn dat de wetgever niet in staat is de wet aan te passen bij recente ontwikkelingen in het veld, of dat het veld de door de wetgever aangeduide paden niet kan of wil volgen.

Voor de studenten als afnemers van het onderwijs is het van belang of het aanbod past in de eigen wensen en verwachtingen (doelen) over een toekomstige plaats in de samenleving. De kwaliteit van het onderwijs is voor de afnemers de mate waarin het onderwijs functioneel is bij het realiseren van persoonlijke doelen.

2.2 randvoorwaarden
De kwaliteit van het onderwijs wordt binnen geldende randvoorwaarden gerealiseerd. Er zijn randvoorwaarden die, althans op een bepaald niveau, als gegeven moeten worden beschouwd, andere zijn veranderbaar. Het is een bestuurlijke verantwoordelijkheid om de randvoorwaarden voor het ondergeschikte onderwijs te bepalen. De kwaliteit (en kwantiteit) van instromende studenten, de professionele kwaliteiten van docenten en besturen vormen evenzeer randvoorwaarden voor de bereikbare kwaliteit, in zowel beperkende als faciliterende zin. De kwaliteit van de organisatie is het derde cluster van randvoorwaarden: de organisatie als gegeven is een beperkende factor, als veranderbaar een faciliterende.

personele
De professionele kwaliteiten van het onderwijzend personeel, als docent en als vakdeskundige, bepalen mede de kwaliteit van het onderwijs en de mogelijkheden om deze verder te verbeteren. De komende jaren zal de onderwijskundige professionalisering een punt van aandacht moeten zijn: door een gebrekkige onderwijskundige training wordt er minder doelmatig onderwijs gegeven, en ontbreekt het besef dat er leemten zijn in de onderwijskundige kennis.

Voor bestuursleden en beleidsfunctionarissen zijn professionele kwaliteiten als bestuurder, van belang, en de mate waarin zij steun voor hun beleid weten te verwerven.

Een punt van aandacht is of docenten en ambtenaren voldoende zijn gekwalificeerd voor de taken die zij verrichten: hulpvakken die niet door deskundigen op het betreffende vakgebied worden verzorgd, en onderwijskundige taken waar niet-onderwijskundigen mee zijn belast.

Vooropleiding, leeftijd, en motivatie van studenten: hoe beter deze 'kwaliteit' van de deelnemende studenten, des te hoger eisen mogen aan de onderwijsresultaten worden gesteld. Bij de inrichting van het onderwijs is het probleem een goede aansluiting te vinden op dergelijke kenmerken van de groep studenten, terwijl er aanpassingsproblemen ontstaan wanneer binnen de groep studenten grote verschillen op dergelijke kenmerken voorkomen (zie bijvoorbeeld Wilbrink en Voorthuis, 1987, hoofdstuk 3).

organisatorische
Tot de organisatorische randvoorwaarden behoren zeker de kwaliteit van de werkplek, de onderwijsverzorgingsstructuur, het personeelsbeleid, en (de lokatie van) gebouwen en diensten, en ook het stelsel van kwaliteitsbewaking.

De onderwijsverzorgingsstructuur omvat deskundige ondersteuning en begeleiding, dienstverlening, mogelijkheden tot professionalisering, kwaliteit van materiële vormen van onderwijsondersteuning (audio-visuele media, computergebruik), en juiste prioritering bij onderwijsonderzoek en ontwikkeling van nieuwe onderwijsvormen en cursussen (zie ook Heijnen, 1981).

De lokatie en kwaliteit van gebouwen en diensten is een randvoorwaarde die van belang is bij de doelmatigheid van het onderwijs, ook voor studenten: verliestijden door gedwongen reistijden.

Het personeelsbeleid (beoordeling, loopbaanbeleid) is een evidente factor van belang waar het gaat om de kwaliteit van het onderwijs: is er in het personeelsbeleid een evenwicht gevonden in de waardering van onderzoeksactiviteiten ten opzichte van onderwijsactiviteiten? Tot het personeelsbeleid hoort ook de kwaliteit van de werkplek: worden docenten in staat gesteld op een behoorlijk professioneel niveau te functioneren?

Het stelsel van kwaliteitsbewaking van het onderwijs als organisatorische randvoorwaarde: is de kwaliteitsbewaking zo ingericht dat de investering in de kwaliteitsbewaking zichzelf terugverdient in de vorm van verhoogde kwaliteit van het onderwijs?

bestuurlijke
De wettelijke omvang van studieprogramma's (1680 uur per cursusjaar) en de wettelijke eis van studeerbaarheid van programma's, stellen grenzen aan de te bereiken kwaliteit. Dat geldt evenzeer het cursusniveau, waar iedere cursus binnen het programma een bepaald tijdbudget heeft. De spelregel is dat meer kwaliteit niet mag worden gerealiseerd door overschrijden van het tijdbudget. Zolang er binnen het tijdbudget nog ruimte is kan de kwaliteit tenminste worden verbeterd door deze beschikbare ruimte te gaan benutten.

Verhoogde kwaliteit kan worden bereikt door niet voor het onderwijs bestemde tijd of andere middelen daar toch voor te besteden: het kan in veel gevallen tot de bevoegdheid van besturen behoren, maar soms in strijd met bestaande regelgeving zijn, en in speciale gevallen ethisch laakbaar zijn (docenten die studenten 'stelen' van andere docenten door het eigen vak met oneigenlijke middelen 'aantrekkelijker' te maken).

De verdeling van beschikbare middelen over onderwijs en andere zaken stelt grenzen aan de bereikbare kwaliteit. De verdeling van middelen kan ter discussie worden gesteld of worden onderzocht (bijvoorbeeld: overeenstemming tussen formele en informele verdeling van tijdbesteding van docenten over onderwijs, onderzoek en beheer). De kwaliteit van het onderwijs wordt zodoende begrensd door de kwaliteit van het onderzoek, en de onderlinge prioritering door diverse actoren in beide velden (vaak dezelfde actoren, maar studenten zijn een partij die vrijwel uitsluitend bij de kwaliteit van het onderwijs belang hebben).

2.3 wat behoorlijk is
Een belangrijke vorm van kwaliteitsbewaking is die welke is gericht op het signaleren van zaken die in ongunstige zin afwijken van hetgeen redelijkerwijs mag worden verwacht. In het juridische vlak is een ieder bekend met algemene beginselen van behoorlijk bestuur, waaraan ieder bestuurlijk handelen kan worden getoetst. Op vergelijkbare wijze kan worden getoetst of het onderwijs op een behoorlijke (onderwijskundig te verantwoorden) wijze wordt verzorgd, en of de inhoud van dat onderwijs behoorlijk (tegenover vakgenoten verdedigbaar) is.

Het gaat hier om minimale eisen waaraan het onderwijs in ieder geval dient te voldoen. Onderwijs dat behoorlijk is, is daarmee nog niet kwalitatief goed. Onderwijs dat niet als behoorlijk kan worden beschouwd, is daarmee kwalitatief onder de maat. Wat behoorlijk is kan daarom worden gezien als bijzondere randvoorwaarden waaraan tenminste moet worden voldaan.
Het is denkbaar dat naar analogie met algemene beginselen van behoorlijk bestuur ook algemene beginselen van behoorlijk onderwijs kunnen worden geformuleerd; een eerste poging daartoe is ondernomen door Cohen (1981) in zijn 'Studierechten'. Cohen noemt:

Relevantie: de onderdelen van het programma en de eisen die worden gesteld moeten relevant zijn in het licht van de doelen van de opleiding.
Kwaliteit van de leerstof: de inhoud van het onderwijs moet minimaal verdedigbaar zijn, het leermateriaal moet minimaal begrijpelijk zijn.
Doeltreffendheid: de gehanteerde onderwijsvormen zijn in overeenstemming met inhoud en doelen van het onderwijs.
Doceerkwaliteit: docenten moeten over goede doceervaardigheden beschikken.
Terugkoppeling: de student krijgt informatie over studievorderingen of het gebrek daaraan.
Het beginsel van onbelemmerde studievoortgang: de student mag niet belemmerd worden in zijn streven studieinspanning te leveren en studievoortgang te boeken.
Het prolongatiebeginsel: een docent is verplicht zich in te spannen ten behoeve van de studenten.

Voor verdere toelichting zij verwezen naar Cohen (1981, hoofdstuk 3).

inhoud onderwijs
Vakdeskundigen kunnen zich erover uitspreken of de inhoud van het onderwijs behoorlijk is. De vraag is in hoeverre de wet de autonomie van de docent 'beschermt' waar het gaat om de keuze van onderwijsinhouden en de presentatie daarvan. De keuze van de docent mag (binnen de leeropdracht) autonoom zijn, maar is daarmee niet buiten discussie gesteld. Gegeven de keuze die de docent gemaakt heeft, staat ter beoordeling of de inhoud behoorlijk wordt gepresenteerd. Dezelfde overwegingen gelden voor de niveaus boven de afzonderlijke cursus.

Beoordelaars kunnen externe beoordelaars zijn (visitatie- of verkenningscommissie), maar zeker op programma- en cursusniveau zullen collega's een belangrijke rol hebben bij de inhoudelijke kwaliteitsbewaking. Ook voor bepaalde deskundigen en representanten uit de samenleving kan een rol zijn weggelegd, waar het gaat om de grotere vragen of bepaalde (voorziene) behoeften van de samenleving wel door het w.o. worden gedekt.
De punten waarop de inhoud van het onderwijs door vakdeskundigen kan worden beoordeeld zouden de volgende kunnen zijn:

redelijk afstemming van de inhoud op de maatschappij, de arbeidsmarkt, en met name ook
nieuwe ontwikkelingen daarin (nog afgezien van de taak van het w.o. om nieuwe ontwikkelingen te initiëren, een taak die in eerste aanleg via het onderzoek wordt uitgevoerd),
voldoende wetenschappelijk karakter hebben, ook in de presentatie naar studenten toe,
is de inhoud adequaat: up to date, voldoen aan hedendaagse professionele normen,
is de inhoud dekkend: volledig op essentiële onderwerpen, geen ernstige lacunes,
goede verhouding tussen breedte en diepgang in de behandeling van de stof.

het onderwijs zelf
Naar analogie met de beoordeling van de inhoud van het onderwijs staat de vormgeving van het onderwijs en de wijze waarop het onderwijs wordt verzorgd ter beoordeling van onderwijskundigen (waaronder vele specialismen: hier wordt niet gesuggereerd dat iedere onderwijskundige in staat is een weloverwogen oordeel over alle aspecten van het verzorgde onderwijs te geven).

Worden zaken gevonden die onderwijskundig niet verantwoord zijn, ook niet wanneer dringende randvoorwaarden in aanmerking zijn genomen, dan zal de onderwijskundige aangeven op welke wijze er wèl verantwoord kan worden gehandeld. Het gaat hier om 'formatieve beoordeling', beoordeling die functioneel is voor de verbetering van het onderwijs.

inspanning betrokkenen
Een belangrijke vraag is of de docent verplicht is een bepaald resultaat te leveren, ofwel gehouden is tot het leveren van een behoorlijke inspanning. In het recht is het onderscheid welbekend (zie o.a. Cohen 1981, bladzijde 29), bijvoorbeeld is de aannemer gehouden een bepaald product te leveren, terwijl de huisarts gebonden is tot een behoorlijke inspanning. Het bijzondere karakter van het onderwijs brengt met zich mee dat de docent niet gehouden kan worden bepaalde resultaten bij de studenten te bereiken, dat hangt van de inspanning etcetera van de studenten af, maar wel tot een adequate onderwijsinspanning.

In de meeste gevallen zullen algemene beginselen van behoorlijk bestuur (ook hiervoor kan men Cohen 1981 raadplegen, of Van Wijk en Konijnenbelt, 1976) duidelijkheid verschaffen over wat behoorlijke inspanning is, zij het dat dit moet worden aangevuld met oordelen over wat redelijkerwijs mag worden verwacht qua kwaliteit van het onderwijs zoals aangeboden, en kwaliteit van de inhoud van dat onderwijs (zie hierboven).

De inspanning van de docent zal ertoe leiden dat er behoorlijk onderwijs wordt aangeboden; in deze zin kan men zeggen dat de docent gehouden is tot het leveren van bepaalde resultaten: cursusaanbod, syllabus, toetsgelegenheid, en dergelijke, maar nimmer in de zin van bepaalde studieresultaten.
Is de instelling of de faculteit mogelijk wèl gehouden bepaalde resultaten te leveren? Geldt de inspanningsverplichting voor de relatie tussen docent en student, dan valt niet in te zien hoe op hogere aggregatieniveaus een resultaatsverplichting zou kunnen gelden (bijvoorbeeld tussen de instelling en de overheid), tenzij als statistische fictie. Het is niet redelijk instellingen of studierichtingen te houden aan het behalen van een bepaald numeriek rendement, wèl is men gehouden behoorlijk onderwijs aan te bieden.

Er mag dan geen resultaatsverplichting zijn, de resultaten moeten wel verantwoord of verklaard kunnen worden, zeker wanneer zij afwijken van redelijke verwachtingen (zie het AMOS stelsel zoals door de VU gehanteerd, van Os en Bernaert, 1985). Over resultaatsverplichtingen voor instellingen, accountability, of outputfinanciering, zie ook Cronbach e.a. (1980).

De professionele status van de docent (zie ook Darling-Hammond, Wise & Pease, 1983) brengt beperkingen met zich mee waar het gaat om de mate waarin het handelen van de docent gebonden kan worden aan eenvoudige criteria, een probleem waar men ook bij docentbeoordeling (Everwijn en Vroon 1984, Wilbrink en Hofstee 1984) op stuit.

Studenten zijn in het vigerende onderwijsstelsel vrij om al dan niet een behoorlijke inspanning te leveren, zij het dat er wel sancties zijn (beperkte inschrijvingsduur), dat kan veranderen wanneer bij contract de student een bepaalde slaaggarantie zou worden geboden, waartegenover de student de verplichting krijgt een behoorlijke inspanning te leveren (Cohen, 1978).

2.4 doelmatigheid
Doelmatigheid betreft de verhouding tussen ingezette middelen en de bereikte resultaten, of in termen van het kwaliteitsschema: de doelbereiking in verhouding tot de randvoorwaarden. De doelmatige inzet van beschikbare middelen is voor ieder doel, op ieder niveau, voor meerdere actoren altijd van belang.

Klijnsma (1986) geeft een overzicht van de nederlandse literatuur rond doelmatigheid van onderwijs, gericht op begripsmatige verheldering. Voor een overzicht van kosten-baten analyses in evaluatief onderzoek, zie Wortman (1983).

Bij de vraag naar de doelmatigheid van het onderwijs is in het bijzonder ook de tijdbesteding van studenten van belang. Vele ondoelmatigheden in het onderwijs leiden tot tijdverlies voor studenten, dergelijke ondoelmatigheden kunnen blijven voortbestaan wanneer tijd besteed door studenten niet hoger wordt gewaardeerd gebruikelijk. Het inzicht in de wijze waarop het onderwijs in dit opzicht doelmatiger kan worden ingericht is vooral door intensief onderzoek van het Leidse RWO bureau (zie o.a. Crombag, van der Drift en Vos, 1985) verrijkt.

3 Meten en evalueren

De wijze waarop gegevens worden verzameld, ook de vorm van operationalisatie of standaardisatie daarbij, is niet buiten enige theorie over het onderwijs, het beleid, en hun onderlinge relatie te kiezen.

3.1 (administratief) meten
Een aantal gegevens zijn op tamelijk eenvoudige wijze te verzamelen omdat zij administratief al beschikbaar zijn. Denk aan aantallen ingeschreven en geslaagde studenten, studiebelasting van cursusonderdelen, doorstroming van studenten. De praktijk leert dat het moeilijk is hier tot sluitende, betrouwbare, inzichtelijke en gestandaardiseerde methoden te geraken.

Op grond van dergelijke administratieve gegevens zouden studierichtingen en instellingen onderling kunnen worden vergeleken: de vraag is echter wat de zin van een dergelijke vergelijking is zolang de gegevens geen betekenis hebben gekregen in het licht van bijvoorbeeld beleidsdoelen. De implicatie is dat díe administratieve gegevens de moeite van het verzamelen waard zijn, die als basis voor enige vorm van evaluatie kunnen dienen: niet uitgaan van beschikbaarheid van administratieve gegevens, maar díe gegevens administratief verzamelen die noodzakelijk zijn bij evaluatie.

3.2 evaluatie: zijn doelen bereikt
Evaluatie is het verzamelen van gegevens ter beantwoording van de vraag of gestelde doelen zijn bereikt, tevens is het onderzoek naar de oorzakelijke factoren achter dat slagen of mislukken om daarmee aangrijpingspunten voor toekomstig beleid op te sporen.

Bij de kwaliteitsbewaking gaat het allereerst om de doelen van de wetgever, van de instellingen, van de faculteiten / sectoren en van vakgroepen / docenten op cursusniveau. De doelen van andere actoren zijn daarbij van indirect belang: wanneer het onderwijs niet voldoet aan redelijke verwachtingen van studenten, zal dat ertoe leiden dat doelen in onvoldoende mate worden gerealiseerd.
In het onderwijs zijn uiteindelijke (product) doelen in de praktijk niet goed meetbaar, het beleid van vandaag kan niet wachten op onderzoek van de lverdere evensloop van mensen dat zich over jaren uitstrekt. Alle gestelde doelen zijn daarom tussentijdse doelen, procesdoelen eigenlijk. Met succes een opleiding afmaken is geen voldoende voorwaarde voor een behoorlijke maatschappelijke carrière, noch een noodzakelijke. Criteria als 'met succes de studie beëindigen' en 'tussentijds staken van de studie' als respectievelijke positieve en negatieve uitkomsten verdienen enige nuancering.

Er zijn doelen die zijn geformuleerd als uiteindelijke doelen (bijdragen aan de kwaliteit van de samenleving), en waarvoor bij kwaliteitsbewaking een vertaling in termen van tussentijdse doelen moet worden gevonden, meestal in termen van het proces, van verrichte activiteiten.

Niet alle doelen kunnen 'hard' worden geëvalueerd: denk aan doelen die houdingen betreffen. Het is zeker niet uitgesloten dat bepaalde doelen in deze zin buiten de evaluatie moeten blijven, bijvoorbeeld om ongewenste effecten van een dergelijke evaluatie tegen te gaan. Ook in deze gevallen wordt men teruggeworpen op evaluatie van het proces: wat is er in het onderwijs gedaan om de ontwikkeling van bepaalde houdingen mogelijk te maken.

3.3 evaluatie: effecten van beleid
Het is niet voldoende na te gaan of doelen zijn bereikt: belangrijk is welke maatregelen aan het bereiken van de doelen hebben bijgedragen, of daar afbreuk aan hebben gedaan. Het is het mogelijk dat de wijze waarop men erin slaagt bepaalde doelen te realiseren, in onevenredige mate afbreuk doet aan het bereiken van andere doelen. Het gaat er tenslotte om het beleid te kunnen bijbuigen in een richting die voorspelbaar leidt tot het beter realiseren van bepaalde doelen. De evaluatie van het beleid kan aangevuld worden met kennis en inzichten die op andere wijze zijn verkregen (eerdere evaluaties; evaluaties elders; onderwijskundige en bestuurskundige inzichten en theorieën; experimenten, onderzoek en ontwikkelingswerk).

Uitkomst van evaluatie kan zijn dat men redelijkerwijs, gegeven de beschikbare middelen etc., de gestelde doelen niet kan halen, dat hetgeen nu bereikt is het uiterst haalbare is. Men kan dit uitbouwen tot kosten-baten analyse, waarin wordt gekwantificeerd of het beschikbaar stellen van extra middelen kan leiden tot een verbetering van resultaten die ruimschoots tegen de extra investering opweegt. Het is aan het beleid om de extra middelen al dan niet te verschaffen, extra middelen die soms beter elders kunnen worden ingezet, of die elders onttrokken moeten worden met nadelige effecten. Een voorbeeld van dergelijke analyse is te vinden in diverse publicaties over de haalbaarheid van het gebruik van toelatingstoetsen in plaats van gewogen loting bij numerus fixus studies (het betreffende voorontwerp van wet , 1980).

4 Kwaliteitsbewaking op cursusniveau

In het stelsel van kwaliteitsbewaking zoals in de HOAK nota aangeduid komt de afzonderlijke cursus vrijwel niet voor: de bewaking betreft alleen de hogere, geaggregeerde, niveaus. Een voor de hand liggende reden dat in de HOAK nota geen aandacht wordt geschonken aan de kwaliteit van de afzonderlijke cursus, is dat de overheid zèlf in deze mate van detail niet is geïnteresseerd, hoewel de nota Selectieve Groei En Krimp van september 1986 anders doet vermoeden.

Kwaliteitsbewaking is echter pas dan zinvol wanneer zij kan leiden tot maatregelen die de kwaliteit verbeteren, vooral maatregelen die het cursusniveau betreffen, waar het onderwijs zich afspeelt. Schiet op het niveau van de cursus de kwaliteit tekort, dan zal dat ook op hogere niveaus het geval zijn. Kwaliteit van de afzonderlijke cursus is een noodzakelijke (maar niet voldoende) voorwaarde voor kwaliteit op hogere, geaggregeerde, niveaus.
De kwaliteitsbewaking vangt aan op cursusniveau. Op hogere niveaus zal een samenvattende vertaling van de kwaliteitsbewaking op lagere niveaus moeten worden gemaakt. Daarnaast zullen de specifieke kenmerken of problemen van het hogere niveau zèlf onderwerp van kwaliteitsbewaking zijn.

De kwaliteitsbewaking voor de afzonderlijke cursus is analoog aan de problematiek van de docentbeoordeling, zoals beschreven door Everwijn en Vroon (1984), Wilbrink en Hofstee (1984), en Daniëls (1985), en voor het amerikaanse onderwijs overzichtelijk behandeld in Millman (1981). Aan docentbeoordeling zitten twee kanten: de verbetering van het onderwijs, en het functioneren van de docent. Docentbeoordeling kan een zaak van onderwijsbeleid, of van personeelsbeleid zijn. In werkelijkheid is er een relatie: ontbreekt het onderwijsbeleid dan is personeelsbeleid niet goed mogelijk omdat docenten geen adequate ondersteuning wordt geboden. Omgekeerd is voor het voeren van onderwijsbeleid een goede afstemming met het personeelsbeleid ten minste bevorderlijk.

In de discussie over docentbeoordeling kan men een aantal ondoordachte opvattingen tegenkomen die met de uitwerking van het kwaliteitsbegrip (hoofdstuk 2) als zodanig kunnen worden onderkend. Zo is daar de veronderstelling dat docentbeoordeling gebeurt door één persoon of commissie. Bij kwaliteit sbewaking zijn er vele actoren die op enig moment over bepaalde aspecten een oordeel geven. De mening van studenten over het door hen genoten onderwijs is slechts één van de vele bronnen van informatie, en niet de enige zoals wel eens wordt gesuggereerd wanneer over de inzet van studentenvragenlijsten wordt gesproken, en geen 'deskundig' oordeel over dat onderwijs. Een deskundig oordeel kan worden uitgesproken door vakgenoten waar het om de inhoud van het onderwijs gaat, en door onderwijskundigen over de vormgeving ervan.
De thematiek wordt verder uitgewerkt in de genoemde publicaties.

De volgende uiteenzetting over de mogelijkheden voor verbetering van kwaliteit op cursusniveau laat onverlet dat dergelijke activiteiten enige vorm van beleid en organisatie vanuit een hoger niveau behoeven, een beleid ook waar uit de beschikbare mogelijkheden een keuze wordt gedaan in het licht van beschikbare middelen en voor het onderwijs gestelde prioriteiten. Een bepaalde vorm van organisatie en standaardisering wordt gegeven door methoden en instrumenten voor evaluatie die vanuit het centrale niveau beschikbaar worden gesteld (zoals vanuit de RWO centra aan de VU het AMOS systeem, aan de RUG de ISEK procedures, aan de KUN de IOWO-DOE evaluatie-vragenbank, en aan de EUR de OSO vragenbank).

4.1 de cursus ontleed
Het volgende schema geeft aan waar het bij de afzonderlijke cursus om gaat. De kwaliteit op cursusniveau slaat ook op de met pijlen aangegeven relaties: zijn deze adequaat, doeltreffend, e.d. Alles wat al is opgenomen in eerdere schema's over kwaliteit, actoren, en bewaking wordt hier niet herhaald, met uitzondering van de pro memorie vermelding van de randvoorwaarden omdat hier belangrijke zaken als de staf-student ratio zijn inbegrepen.

De doelen van de cursus zijn tenminste globaal als zodanig geformuleerd. Gedetailleerde doelen hoeven niet als zodanig te zijn geformuleerd, in welk geval uit de leerstof en vooral de gebruikte toetsvragen blijkt waar het precies in deze cursus om gaat.

De leerstof is zeker de stof waarover wordt getoetst; daarnaast kan er facultatieve leerstof zijn, waartoe de uitsluitend op college behandelde stof behoort. Het staat te bezien of deze leerstof volgt uit de gestelde doelen, en of andere leerstof misschien beter bij de doelen past.

De didactiek bestaat uit de specifieke vormen die de oriëntatie en oefening op de leerstof krijgen, de terugkoppeling is de informatie die studenten over de eigen vorderingen bij oriëntatie en oefening wordt gegeven. Opgaven dienen tot de leerstof te behoren, wat niet verhindert dat de opgaven voorbeelden of problemen behelzen die als zodanig niet in de leerstof voorkomen.

De onderwijsmethode moet passen bij de doelen, de gebruikte hulpmiddelen moeten adequaat zijn.

Niet iedere cursus wordt noodzakelijkerwijs met een toets afgesloten. Waar dat wel het geval is, moeten de gestelde eisen tevoren aan de studenten bekend gemaakt zijn, en moeten studenten zich behoorlijk kunnen voorbereiden op hetgeen in de toets kan worden gevraagd (doorzichtigheid).

Dezelfde cursus kan in meer programma's tegelijk voorkomen, of in eenzelfde programma op verschillende tijdstippen (vroeger, dan wel later in het programma). Dat kan leiden tot situaties waarin een cursus in geen enkel programma geheel bevredigend kan functioneren. Daarmee is bij de kwaliteitsbewaking rekening te houden, ook in deze zin dat de beschreven stress uiteindelijk zo groot kan zijn dat het beter is twee afzonderlijke cursussen te maken met beter aangepaste inhouden of met een niveau differentiatie.
Het omgekeerde is eveneens aandacht waard: de redenen voor het verzorgen van afzonderlijke cursussen kunnen hun geldigheid verliezen, waardoor het doelmatiger wordt ze door een enkele cursus te vervangen.

Een volledige beschrijving van de mogelijkheden voor kwaliteitsbewaking kan nu worden geconstrueerd door alle onderdelen van de cursusbeschrijving te koppelen aan alle onderdelen van de kwaliteitsbeschrijving en aan alle actoren. Een ieder kan aan de hand van de gegeven schema's een beperkte keuze doen zoals deze past bij een gegeven onderwijsbeleid en onderwijssituatie. De nu volgende eerste uitwerking is een keuze uit de mogelijkheden.

vakinhoudelijke deskundigen
Aan vakinhoudelijke deskundigen kan worden gevraagd te adviseren over ('de kwaliteit te toetsen' van):

de doelen zoals geformuleerd,
de volledigheid van de doelen,
of andere doelen kunnen worden overwogen (gezien recente ontwikkelingen binnen het vakgebied, in de samenleving, op de arbeidsmarkt),
of de leerstof past bij de doelen, of andere leerstof (tekstboeken) mischien beter past
de didactische uitwerking (alleen in inhoudelijk opzicht, tenzij het om specifieke didactische technieken binnen het betreffende vakgebied handelt),
of bij gebruik van een eigen syllabus geen aanmerkelijk betere alternatieven voorhanden zijn in de vorm van tekstboeken,
de inhoudelijke aansluiting van het onderwijs op de voorkennis die bij studenten mag worden verondersteld,
de mate waarin wat in de toets wordt gevraagd een adequate en representatieve afspiegeling is van de doelen,
de mate waarin wat in de toets wordt gevraagd mag worden beschouwd als behorend tot de leerstof,
of de door studenten bereikte beheersing van de stof, gegeven het onderwijs en de programmatisch beschikbare tijd, redelijk is,
of de docent gekwalificeerd is voor het geven van dit onderwijs.

Deze vakinhoudelijke deskundigen kunnen van buiten (de faculteit) komen, of het zijn collega's uit de faculteit of vakgroep of uit het team dat de cursus verzorgt. De meest eenvoudige vorm van deskundige toetsing is die welke door de docent zèlf gebeurt, en in de vorm van een beargumenteerde rapportage wordt vastgelegd. Welke vorm ook wordt gekozen, het werken met een zo volledig mogelijke en gestandaardiseerde checklist (waarvan hierboven een wezenlijke kern is weergegeven) wordt aanbevolen.

onderwijskundigen
In het W.O. is de situatie nog steeds dat docenten zelfs elementaire vormen van onderwijskundige scholing niet hebben genoten. Het valt dan ook te verwachten dat de meeste vooruitgang in kwaliteit van het onderwijs niet wordt geboekt langs de weg van toetsing van de inhoud van het onderwijs door vakgenoten, maar door advisering over de vormgeving van het onderwijs door onderwijskundigen. Een probleem daarbij ligt precies in het ontbreken van onderwijskundige scholing bij docenten, waardoor het lastig zal zijn bij hen gehoor te vinden: het beleid van faculteit en instelling zal zich moeten richten op verbetering van de communicatie tussen docenten en onderwijskundigen.

Aan onderwijskundigen kan worden gevraagd te adviseren over ('de kwaliteit te toetsen' van):

de wijze waarop doelen worden geformuleerd
het gebruikte schriftelijk studiemateriaal (Pilot, Van Hout-Wolters, Kramers-Pals, 1984)
hoe de leerstof wordt geanalyseerd (Breuker, 1980)
didactische werkvormen (Willems en Wolters, 1980)
de formulering van toetsvragen (Wilbrink, 1983)
de samenstelling en analyse van tentamens (Dousma en Horsten, 1981)

Het oordeel van onderwijskundigen kan worden gevraagd over schriftelijk materiaal dat voor deze of gene cursus beschikbaar is (bijvoorbeeld in de vorm van een dossier, zie Everwijn en Vroon, 1984), maar ook andere vormen zijn denkbaar. Een goede mogelijkheid is via docentencursussen waarin met eigen materiaal wordt gewerkt, ten overstaan van collega's uit de eigen vakgroep, of docenten uit 'vreemde' faculteiten. Bestaat er een cultuur waarin het normaal is dat men het eigen onderwijs ter discussie stelt binnen eigen kring (binnen de faculteit) dan kan dat een weg zijn waarlangs onderwijskundige inzichten binnen de faculteit worden verspreid en uitgewerkt tot concrete verbeteringen van het onderwijs.

Andere manieren waarop onderwijskundigen betrokken kunnen zijn bij het onderwijs:

hetontwikkelen van een nieuwe opzet voor de cursus, of het begeleiden daarvan,
het uitvoeren van evaluatief onderzoek, zoals naar de relatie tussen tijdbesteding en studieresultaten, in samenhang met bepaalde kenmerken van de groep deelnemende studenten,
het ontwikkelen van nieuw cursusmateriaal, nieuwe toetsvragen, nieuwe instrumenten.

studenten
De gebruikers van het onderwijs kunnen zich uitspreken over de kwaliteiten van het onderwijs zoals zij die hebben ervaren. Het gaat daarbij om subjectieve indrukken, die als zodanig ook hun bijzondere betekenis hebben. Duidelijk is in ieder geval dat studenten niet kunnen oordelen over de inhoud van het onderwijs, zoals vakgenoten dat wèl kunnen. Evenzeer is duidelijk dat studenten niet kunnen oordelen over de vormgeving van het onderwijs, zoals onderwijskundigen dat wèl kunnen. Zij kunnen zich een andere inhoud of een andere vormgeving wensen, en wanneer dergelijke wensen massaal zijn dan ligt er zeker een probleem dat om een oplossing vraagt, bijvoorbeeld in de vorm van een betere voorlichting vooraf om valse beeldvorming te voorkomen.

Een bijzonder kenmerk van de meeste studenten is dat zij het onderwijs hebben gevolgd, iets dat niet geldt voor externe vakgenoten en voor onderwijskundigen . Dit is geen reden om studenten toch bevoegdheid tot oordelen toe te kennen. Mocht het een probleem zijn dat men geen greep krijgt op het onderwijs, omdat het zich achter gesloten klasdeuren afspeelt, dan zijn er andere wegen te bewandelen, waarbij van schriftelijke materialen gebruik wordt gemaakt (syllabi, examenwerk, e.d.) of waarin het produceren van dergelijke schriftelijke materialen wordt vereist.

Bepaalde informatie is van wezenlijk belang voor het evalueren van het onderwijs, en tot die categorie behoort zeker de tijd die studenten aan het onderwijs besteden. Vaak is de enige manier om daar achter te komen de studenten daarnaar tper vragenlijst e vragen (zie 4.4).

Het bovenstaande leidt tot de conclusie dat het enqueteren van studenten waardevolle informatie op kan leveren, die echter een beperkter gebruikswaarde heeft dan doorgaans, ook in onderwijskundige literatuur, wordt gesuggereerd.

besturen
De docent is bij het vormgeven van zijn onderwijs gebonden aan het beleid van de faculteit, de examencommissie of de instelling, en aan hetgeen bij wet en andere regelgeving is vastgelegd. Het is aan de betreffende besturen om daar dan ook een adequaat toezicht op uit te oefenen, door er voor te zorgen dat bepaalde beoordelaars tevens op dergelijke beleidspunten letten.

4.2 randvoorwaarden.
Voor de cursus is een bepaald tijdbeslag vastgesteld: dat mag niet worden overschreven, en bij voorkeur moet het worden gehaald. De tijd die studenten nodig hebben om voor de cursus te slagen is een cruciaal gegeven waar het gaat om de resultaten die studenten onder de condities van het gegeven onderwijs en de gestelde eisen, weten te boeken. Worden goede resultaten behaald met een stevige overschrijding van de programmatische tijd, dan is er sprake van een ernstige kwalitatieve fout. Blijft de gemiddelde tijdbesteding aanmerkelijk onder de beschikbare tijd, dan moet ook dat worden gerepareerd, tenzij het probleem kenmerkend is voor de faculteit , dan ligt het beleidsprobleem op dat hogere niveau.

Bij kwaliteitsgebreken zal de docent vaak verwijzen naar bepaalde randvoorwaarden, zoals het niet voorhanden zijn van een geschikt tekstboek, het ontbreken van ruimten voor het houden van werkgroepen, te weinig docententijd om de intensieve onderwijsvormen te kunnen verzorgen die passen bij de onderwijsdoelen, veel studenten die het onderwijs wel willen volgen maar niet serieus aan het afsluitende tentamen deelnemen, etcetera. Kwaliteitsbewaking leidt er dan toe dat dergelijke problemen stelselmatig worden geïnventariseerd en doorgegeven naar het (naast) hogere niveau.

4.3 doelmatigheid
Een behandeling van (mogelijke gebreken in) doelmatigheid op cursusniveau is te vinden in Ruyter, Smit en Van Lieshout (1985). De benadering van genoemde auteurs is één van de weinige pogingen om stelselmatig greep te krijgen op de doelmatigheid van het onderwijs op dit niveau.

Doelmatigheid van de toetsing: de strengheid van toetsing (zak-slaag grens) kan in principe worden geoptimaliseerd, rekening houdend met onderwijsdoelen, studiestrategieën van studenten, of zelfs de onderwijsmethode (zoals een Individueel Studie Systeem onder Beheersingsleren). Methoden daartoe zijn o.a. gegeven in Van Naerssen (1970) en Wilbrink (1980). Dit is overigens een van de weinige gebieden waarop een uitgewerkte doelmatigheidsmethodiek bekend is; een ander terrein waar doelmatigheidsmethoden standaard zijn, ook al worden ze niet als zodanig geafficheerd, is dat van de personeelsselectie (of in de context van het onderwijs: de selectie en allocatie van studenten) (zie Roe 1983).

4.4 bewaking
De docent heeft een eigen verantwoordelijkheid, niet alleen omdat doceren een professionele activiteit is die een grote vrijheid van handelen met zich mee brengt (Wilbrink en Hofstee, 1984; Darling-Hammond e.a. 1983), maar ook vanwege de grondwettelijk vastgelegde vrijheid van onderwijs (Cohen, 1981). Dat betekent dat oordelen, adviezen en suggesties van anderen uiteindelijk niet dwingend zijn. Het 'bewakingsaspect' moet er dan uit bestaan dat er verslag wordt gelegd van gegeven adviezen etcetera, en wat daar uiteindelijk mee is gedaan, of de argumenten waarom daar niets mee is gedaan. Een uitzondering kan worden gemaakt voor 'kunstfouten': grove schendingen van wat wat vakinhoudelijk of onderwijskundig nog als adequaat kan worden aangemerkt, waar desnoods bestuurlijk ingrijpen op moet volgen, of ingrijpen door de rechter (College van Beroep voor de Examens, bijvoorbeeld).

Bepaalde gegevens die worden verzameld en gerapporteerd (instroom, slaagpercentages, e.d.) hebben een beschrijvend karakter voor de betreffende cursus, ook al kunnen zij samen met gegevens over andere cursussen leiden tot een kwaliteitsoordeel op het niveau van programma's.

Bijzondere aandacht verdient de tijd die studenten nodig hebben om voor de cursus te slagen, omdat dit gegeven nodig is om de vraag te beantwoorden of de eisen die de cursus aan de studenten stelt niet te hoog of te laag zijn. Het criterium is hier immers dat studenten die gekwalificeerd zijn tot het volgen van de cursus, daarvoor slagen in ongeveer de tijd die ervoor 'staat' in de studieprogrammering. Gegevens over de tijdbesteding van studenten maken het bovendien mogelijk te waken tegen ongemerkte verschuiving van de normen in opwaartse dan wel neerwaartse richting (bijvoorbeeld als gevolg van ingrijpende veranderingen in de examenregeling, of van veranderingen in de wijze van toetsen).

Indicatoren voor deze tijdbesteding kunnen zijn, in oplopende volgorde van betrouwbaarheid:

signalen van studenten dat de belasting te zwaar is; relatief grote aantallen studenten die twee of meer keer aan het tentamen deelnemen, of bij de eerste gelegenheid niet aan het tentamen deelnemen.
globale opgave van de tijdbesteding op een directe (enquete) vraag daarnaar: de tijd besteed aan het voorbereiden van het tentamen, het aantal gevolgde colleges of werkgroepen, tijd besteed aan het voorbereiden van colleges of werkgroepen.
tijdschrijfonderzoek, waarbij studenten dagelijks of tenminste wekelijks gedetailleerde tijdbestedingsformulieren invullen.

Voor een recent overzicht van zowel te gebruiken methoden als van de resultaten die dat in propedeutisch onderwijs oplevert, zie Wilbrink en Voorthuis, 1987 hoofdstuk 2.2 en 2.3)

5 Kwaliteitsbewaking op programmaniveau

'In de huidige studieopbouw is de vrijheid van programmakeuze voor de student als regel beperkt. Meestal dient de student een op basis van in het statuut gegeven voorschriften grotendeels vastgelegd onderwijsprogramma te volgen. Het gevolg van de invoering van het voorgestelde systeem is, dat de vrije keuze van de student regel wordt en verplichtingen een uitzondering. De student zal in hoge mate de eigen leerweg kunnen kiezen. Wel staat het de instelling vrij om, zoals eerder uiteengezet, bepaalde standaardpakketten aan te bieden.'
(HOAK 12.2 gevolgen voor de student)

Een standaardprogramma is een zinvolle eenheid in het kader van de kwaliteitsbewaking; in de praktijk zal het niet altijd mogelijk zijn echt vrije programma's individueel te bekijken, maar ook hier werkt het verhelderend, althans conceptueel, het programmaniveau afzonderlijk te beschouwen.
Bij de kwaliteitsbewaking op programmaniveau gaat het om het eigene van programma's, zoals in onderstaande figuur in schema gezet.

Ieder programma kan een aantal eigen globale doelen hebben, naast doelen die gedeeld worden met andere programma's.

Uit de globale doelen komt de mix van onderwerpen (of cursussen, hoewel dat niet hetzelfde hoeft te zijn) voort, binnen de randvoorwaarde van beschikbaarheid van cursussen (er kunnen ook cursussen buiten de faculteit of sector worden gekozen).

De achtereenvolgende cursussen passen bij elkaar in deze zin: weinig overlap aan inhouden en activiteiten, zo mogelijk bouwen latere cursussen voort op eerdere. Ook kan worden bezien in hoeverre in het begin van de studie gemaakte keuzen nog vrijheden laten om aan het eind van de studie andere cursussen te kiezen (zoals met het oog op een vervolgstudie met ingangseisen in termen van doorlopen vakkenpakket).

In ieder programma moet een redelijke mix van onderwijsmethoden of activiteiten zijn vertegenwoordigd: theoretische onderdelen naast practica, stages, onderzoek of scripties.

Een stelselmatige beschrijving van de mogelijkheden voor kwaliteitsbewaking zou ook hier kunnen vertrekken vanuit de diverse actoren. De behandeling zal kort zijn, in hoofdstuk 4 is al getoond in welke richting een verdere uitwerking kan gaan.
vakinhoudelijke deskundigen
Aan de aanbodzijde (de faculteit of de sector, de examencommissie) is beargumenteerd de mogelijkheid voor het volgen van bepaalde programma's geschapen; vrije programma's zijn goedgekeurd door een daartoe bevoegde commissie, mogelijk aan de hand van daartoe vastgelegde criteria.

Het aanbod kan als zodanig op 'kwaliteit' worden beoordeeld door externe vakdeskundigen, maar natuurlijk ook bij adequate interne evaluatie door docenten binnen de faculteit. Aan vakinhoudelijke deskundigen kan worden gevraagd te adviseren over ('de kwaliteit te toetsen' van):

de juistheid, verdedigbaarheid, volledigheid van de doelen voor het programma
de overeenstemming van de inhoud van het programma met de globale doelen
eventuele overlap of leemten of minder gelukkige volgorden in het cursusprogramma
redelijke verdeling van tijd over theorie, practische vaardigheden, onderzoek e.d.

onderwijskundigen
De onderwijskundige kan worden gevraagd een programma in zijn geheel op doelmatigheid te bekijken, waarbij het vooral gaat om minder adequate aansluiting tussen verschillende cursussen, bijvoorbeeld in de wijze waarop het onderwijs wordt verzorgd en de wijze waarop er wordt getoetst. Wanneer iedere cursus zo een eigen, op zich heel verantwoorde, methode van toetsen heeft, wordt het een extra belasting voor de studenten om iedere keer weer in te spelen op deze telkens andere toetsmethoden. Dat geldt ook voor het soort vragen dat over de leerstof wordt gesteld, en voor de strengheid van de toetsing: van cursus tot cursus plegen daar grote verschillen in voor te komen, die niet altijd verband houden met de specifieke aard van de betreffende leerstof en onderwijsdoelen.

studenten
Het is van belang zicht te houden op de studeerbaarheid van de programma's, en daar kunnen studenten goede informatie over verschaffen, niet alleen over de eigen tijdbesteding, maar ook over allerlei soms kleine, maar daarom niet minder irritante, belemmeringen die zij op hun weg vinden. Zie ook deel 3 over studielast en doorstroming.

6 Kwaliteitsbewaking op faculteits / sector niveau

De HOAK nota (2.1) noemt als algemene doelstellingen van het hoger onderwijs die betrekking hebben op de aard van de inhoud van het onderwijs: "de individuele ontplooiing van de studerenden", en "het leveren van een voorbereiding op het maatschappelijk functioneren van individuen".

Andere algemene doelstellingen zijn indirect bepalend voor de inhoud van het onderwijs: "het voorzien in de vraag naar hoger opgeleiden," wat mede betekent dat de inhoud van de opleiding adequaat moet zijn in relatie tot deze vraag, en "het leveren van een bijdrage aan de ontwikkeling van de wetenschap, de techniek en de beroepspraktijk," aangenomen dat dit onder andere via het onderwijs zal gebeuren.

De HOAK nota geeft ook een randvoorwaarde aan, in de vorm van een verdere doelstelling:

Deze algemene doelstellingen moeten worden gerealiseerd binnen het uitgangspunt van hoger onderwijs voor velen: ieder die dit wenst en die de in de wet genoemde kwalificaties heeft, dient de gelegenheid te hebben zijn kennis en vaardigheden in het initiële hoger onderwijs zodanig te ontplooien, dat hij een eigen bijdrage kan leveren aan de ontwikkeling van de maatschappij' (HOAK 2.1)
'Het principe van de keuzevrijheid van de student betekent, dat de keuze geleidelijk kan worden afgestemd op actuele ontwikkelingen op het terrein van de wetenschap, beroepsontwikkelingen of de arbeidsmarkt.' (HOAK 12.2 gevolgen voor de student)

Indicatoren voor de mate waarin aan algemene doelstellingen wordt voldaan zijn moeilijker te vinden. Natuurlijk kan men programmabeschrijvingen daarvoor gebruiken. Enige empirische informatie kan worden verkregen door beoordeling van scripties door onafhankelijke beoordelaars, volgens een methodiek waar eerder in ons land ervaring mee is opgedaan (Lagerwaard en Mul, 1982). Vervolgonderzoek onder afgestudeerden is kostbaar en levert waarschijnlijk weinig of niets op dat voor de onderhavige vraagstelling relevant is.

Voor de afstemming van het onderwijsprogramma op 'actuele ontwikkelingen op het terrein van de wetenschap, beroepsontwikkelingen of de arbeidsmarkt' lijkt de enig begaanbare weg, dat door de (gezamenlijke) instellingen wordt aangegeven welke activiteiten zij hebben ontplooid om de actuele ontwikkelingen te identificeren, tot welke uitkomsten dat heeft geleid, en op welke wijze de resultaten van dat onderzoek zijn omgezet in cursusaanbod voor studenten.

De onderwijssystematiek zoals in de HOAK nota voorgestaan, zal zware eisen stellen aan de organisatie van het onderwijs, en aan de onderwijskundige vormgeving ervan. De beschrijving van deze organisatie en vormgeving, en de beschrijving van de wijze waarop men concrete problemen heeft aangepakt en hopelijk opgelost, behoort zeker tot de 'performance indicators'.

Onderstaand schema brengt in beeld waar het bij de kwaliteit op dit niveau in ieder geval om gaat. Een speciale plaats is daarbij ingeruimd voor een samenvattende beschrijving (aggregatie) van de kwaliteitsbewaking voor alle afzonderlijke cursussen en programma's. Hoe een dergelijke samenvatting er in concrete gevallen uit kan zien, hangt af van de ontplooide activiteiten. Heeft een visitatiecommissie afzonderlijke cursussen en programma's bekeken, dan kan worden aangegeven hoe deze commissie was samengesteld, met welke opdracht (checklist van aandachtspunten bijvoorbeeld) zij aan het werk is geweest, en wordt beschreven tot welke aanbevelingen zij in speciale gevallen of juist bij meerdere onderdelen is gekomen. Wanneer gebruik is gemaakt van gestandaardiseerde evaluatieinstrumenten, dan hoort het verstrekken van samenvattende tabellen over cursussen tot het evaluatieve onderzoek, omdat daaruit moet blijken wat het normale of gemiddelde niveau van functioneren is.

De vernieuwingsinspanning is expliciet in het schema gezet, niet als impliciet onderdeel van de doelen, onder andere vanwege het belang dat hieraan wordt gehecht in de HOAK nota.

'Bij de evaluatie van het hoger onderwijs zullen ook in toenemende mate de afnemers van de "produkten" van het hoger onderwijs (afgestudeerden, onderzoek en dienstverlening) - met name de beroepspraktijk - betrokken moeten worden. Dit geldt specifiek in de sectoren die een helder omschreven arbeidsmarkt bedienen. De beroepspraktijk zou in staat moeten worden gesteld wensen te formuleren ter zake van vernieuwingen in de onderwijsprogramma's, gelet op de beroepskwalificaties van afgestudeerden. (HOAK 9.3 evaluatie als zorg voor het beroepenveld)

Bovenstaande passage is enigszins samengetrokken. Bedoeld wordt kennelijk de ook elders in de HOAK nota uitgesproken wens dat de instellingen zich actief opstellen in het aanbieden van nieuwe (vernieuwde) cursussen en programma's die inspelen op nieuwe behoeften in de samenleving. Het is aan de instellingen om adequate methoden te kiezen om voeling te houden met ontwikkelingen in de samenleving. De beroepspraktijk wensen laten formuleren hoeft niet de meest adequate methode te zijn. De belangstelling in de HOAK nota voor beroepsgerichte opleidingen is eenzijdig. Voor opleidingen van meer algemene aard is afstemming op de behoeften van de samenleving ook urgent (Het convergente onderwijsmodel, Wiegersma, Vlijm en Brenninkmeijer (1985).

Op het niveau van tenminste de faculteit zijn ook de roostering van cursussen en de aard van de examenregeling van belang; het is met name op deze onderwerpen dat de onderwijskundige beoordelaar kan worden ingeschakeld.

Voor zover de faculteit / sector of instelling een actief beleid voert waar het de vormgeving van het onderwijs betreft ('modulariseren' is vandaag de dag het trefwoord, zie ook Hofstee 1986), staat deze eveneens ter bewaking van zijn kwaliteit.

onderwijskundigen
Aan onderwijskundigen kan worden gevraagd te adviseren over:

de doelmatigheid van de examenregeling (zijn verliestijden door overmatig herkansen te vermijden, is het aantal herkansingsgelegenheden per cursus goed gekozen),
de mate waarin studenten die examenonderdelen moeten overdoen daardoor in problemen geraken (overbelasting omdat dit moet naast het volgen van nieuwe cursussen, verhoogd zakrisico juist door deze overbelasting, verliestijden wanneer niet tijdig met een volgende cursus kan worden gestart),
de doelmatigheid van het tentamenrooster (wordt een doeltreffende tijdbesteding van studenten daardoor bevorderd of misschien belemmerd),
de doelmatigheid van de roostering van cursussen (minimaliseren van verliestijden, de mate waarin de keuzevrijheid wordt beperkt door de wijze waarop cursussen ten opzichte van elkaar zijn geroosterd),
de doelmatigheid van de gekozen programmaorganisatie, gegeven de gewenste keuzemogelijkheden (individuele studie systemen al dan niet met computer ondersteuning, blokonderwijs, parallelle stromen, modularisering),
de schriftelijke raad aan het eind van de propedeuse aan iedere student gegeven (is deze adequaat, behoorlijk te verantwoorden, informatief voor de betrokken studenten) (de HOAK nota par. 8.2 continueert deze schriftelijke raad zoals nu in de wet twee-fasenstructuur in artkel 24 bs lid 4 verwoord).

Bij het signaleren van knelpunten kan het nodig zijn nader onderzoek te verrichten, bijvoorbeeld naar de redenen waarom studenten bij voorkeur bepaalde programma's kiezen die door vakdeskundigen bepaald niet worden aangeraden.

Bij keuzevrijheden voor studenten ligt het voor de hand te inventariseren hoe zij van deze vrijheid gebruik maken, en welke mogelijkheden zij zich wensen buiten hetgeen wordt aangeboden.

Het is op zich niet voldoende dat er een inhoudelijk goed verzorgd onderwijsprogramma beschikbaar is: studenten moeten van dat aanbod op adequate wijze kennis kunnen nemen. Wat is er door de faculteiten gedaan aan de voorlichting en begeleiding van studenten, en wat is de mening van de studenten zelf hierover?

Op faculteitsniveau (en hoger) kan worden gekeken naar de mogelijkheden voor een doelmatiger inzet van schaarse middelen, door verschillende cursussen in sterkere mate gebruik te laten maken van dezelfde faciliteiten, waartoe die faciliteiten op zich in kwaliteit verbeterd zouden kunnen worden: denk aan item banken (landelijke voortgangstoetsen!), ruimten voor zelfstudie, gebruik van computers bij het onderwijs zelf, ter ondersteuning van het onderwijs, bij de toetsing, bij de administratie.

De onderwijskundige doet onderzoek of begeleidt onderzoek naar het feitelijk gebruik dat studenten van de mogelijkheden tot flexibele programmakeuze maken, op grond van welke verwachtingen de keuzen worden gemaakt, of men later spijt heeft van eerdere keuzen, op het voortdurend moeten beslissen over de verder te bewandelen weg leidt tot vertraging.

6.1 de propedeuse, en vakkenpakketten voor aankomende studenten
In het w.o. zal de propedeuse een bijzondere plaats blijven behouden, met ook bijzondere problemen ten opzichte van de volgende doctoraal fase.

'De sterke vergroting van de vrije keus voor de student betekent, dat er aan de student goede voorlichting moet worden gegeven omtrent het onderwijsaanbod, de mogelijkheden voor pakketkeuze en voorlichting omtrent eisen aan een pakket, welke door vervolgopleidingen (bij voorbeeld een tweede fase opleiding) of bepaalde beroepen worden gesteld.' (HOAK 12.2 gevolgen voor de student)
'De ondergetekenden hechten aan het in stand houden van een propedeuse, waarin een oriënterende, een verwijzende en een selecterende functie tot zijn recht kan komen. (...) Anders dan in de post-propedeutische fase, zal de keuzevrijheid voor de student in de propedeutische fase beperkt zijn. (HOAK 8.2.C de propedeuse)

Een opmerkelijk punt uit de HOAK nota is dat geen nadere specifieke eisen aan vakkenpakketten van aankomende studenten meer worden gesteld. Dat betekent dat er procedurele eisen aan het onderwijs gesteld worden, om 'deficiënties' die onvermijdelijk toch op zullen treden, op te vangen of studenten de gelegenheid te bieden dat zelf te doen.

'Ten aanzien van de vraag of er in de toekomst nadere eisen gesteld moeten worden aan de vakkenpakketten van de abituriënten uit het voortgezet onderwijs, moeten de volgende karakteristieken van het hier voorgestelde onderwijsmodel in de beschouwing worden betrokken.
A. Het onderwijs wordt ingedeeld in sectoren waarvan het abstractieniveau aanzienlijk hoger is dan dat van de studierichtingen. De overheid legitimeert geen studierichtingen meer en kan aan studierichtingen derhalve geen vakinhoudelijke eisen meer verbinden ten aanzien van de vooropleiding. Het formuleren van formele deficiënties op het niveau van de sector kan dus niet leiden tot zinvolle eisen.
B. De keuzevrijheid van van zowel de student als de instellingen wordt vergroot. Dit beperkt de mogelijkheid en wenselijkheid van het geven van voorschriften aan de vakkenpakketten; door de verschillen zowel binnen als tussen de afzonderlijke programma's van de sector is de opportuniteit van de voorschriften niet vast te stellen.
C. De meest vorkomende deficiëntie in het wetenschappelijk onderwijs is wiskunde. In de discussie over het voorbereidend hoger onderwijs is echter voorgesteld het vak wiskunde verplicht deel uit te laten maken van het eindexamen.
In de concept-beleidsnota is om deze redenen voorgesteld geen nadere specifieke eisen meer te stellen aan het vakkenpakket. Dit voornemen is niet op kritiek gestuit in de reacties van de adviesorgannen, noch als een probleempunt in het overleg naar voren gebracht. (...) Eventuele discrepanties tussen de inhoud van het vakkenpakket en de eisen die de gekozen studieweg stelt, behoren door de student zelf te worden weggewerkt. Om te voorkomen dat enerzijds de onderwijsinhoud in het voortgezet onderwijs te vroegtijdig door de later te volgen studie wordt bepaald en dat anderzijds lacunes in de voorkennis van de student laat aan de dag treden, is overleg tussen instellingen van voortgezet onderwijs en hoger onderwijs nodig, evenals goede voorlichting aan aspirant-studenten.'
(HOAK 8.4 toelatingsvoorwaarden)

De problemen die naar verwachting voortvloeien uit het vrijlaten van het vakkenpakket zijn niet onbelangrijk; in de evaluatie moeten de relevante gegevens dan ook adequaat worden verzameld.

7 Een stelsel van kwaliteitsbewaking

Hoe verhoudt de in voorgaande hoofdstukken gegeven aanzet voor een stelsel van kwaliteitsbewaking zich tot de gedachten die daarover in de HOAK nota door de minister zijn ontvouwd?

'Een goed stelsel van kwaliteitsbewaking is echter essentieel voor het functioneren van in deze nota uiteengezette besturingsconceptie. Derhalve ligt de ontwikkeling van een nieuw stelsel van kwaliteitsbewaking voor de hand, waarbij, in overeenstemming met het streven naar een grotere autonomie, een grote rol voor de instellingen zal zijn weggelegd en de overheid bij de invulling van haar deel in de kwaliteitsbewaking met name gebruik zal maken van de door de instellingen zelf verrichte evaluatie.' (HOAK, 3.4 de kwalieitsbewaking)

Het stelsel van kwaliteitsbewaking wordt hier gedacht als beantwoordend aan behoeften van de overheid. Kwaliteitsbewaking moet echter allereerst functioneel zijn voor het onderwijs zelf: de middelen die erin worden geïnvesteerd moeten in goede verhouding staan tot wat men mag verwachten dat de evaluatie oplevert. Elders in de HOAK nota , in een van de weinige passages waarin evaluatie op cursusniveau expliciet wordt genoemd, wordt dat kennelijk onderkend:

'Evaluatie is, ook voor het hoger onderwijs, het sluitstuk van de beleidscyclus van het systeem. Wil ze effectief zijn, dan moet ze plaatsvinden op het systeemniveau. Voor de instellingen van hoger onderwijs zijn tenminste drie systeemniveaus te onderkennen:
- het micro-niveau: de vakgroep, de werkeenheid
- het meso-niveau: de faculteit, de afdeling
- het macroniveau: de instelling.'
(HOAK 9.2 evaluatie als zorg van de instellingen)

De HOAK nota werkt niet uit wat de betekenis van dit onderscheid in niveaus kan zijn voor een, 'voor samenleving en overheid inzichtelijke' (HOAK 9.2), kwaliteitsbewaking. In hoofdstuk 6 is aangegeven dat op faculteits- of sector niveau de kwaliteitsbewaking zoals deze op de niveaus daaronder is gebeurd, in enigerlei samengevatte vorm kan worden gepresenteerd. Hetzelfde kan men zich denken voor het instellingsniveau: een onderwijsverslag waarin een verantwoorde samenvatting wordt gegeven van de kwaliteitsbewaking voor de diverse sectoren.

'Nader aandacht zal moeten worden geschonken aan de vraag hoe de evaluatieprocedures voor onderzoek en onderwijs doelmatig, in onderling verband kunnen worden ontwikkeld.'
(HOAK 2.4 reikwijdte van de nota)

De HOAK nota geeft geen verdere indicaties over de koppeling tussen beide velden van evaluatie. Het ligt niet voor de hand de ontwikkeling van een stelsel van kwaliteitsbewaking te belasten met op dit moment niet te overziene afstemmingsproblemen.

Het stelsel van kwaliteitsbewaking moet antwoord geven op de vraag of 'de besturing voldoet aan de eisen van effectiviteit'.

'De overheid kan de gevallen waarin om redenen van doelmatigheid een ingreep beneden het niveau van de sector moet worden overwogen op het spoor komen door de marginale toetsing en kritische vergelijking van de daartoe relevante documenten. Hiertoe behoren in elk geval de ontwikkelingsplannen, begrotingen en jaarrekeningen. Ook de informatie over het onderwijsaanbod van de instellingen is van belang, zij het dat moet worden voorkomen, dat de in studiegidsen neergelegde informatie door vergaande onvergelijkbaarheid ondoorzichtig wordt. Op de gezamenlijke instellingen rust de verplichting tot het, in overleg met de overheid, maken van operationele afspraken die - ook terwille van de "cliënten" - voldoende vergelijkbaarheid en doorzichtigheid garanderen. Tenslotte kunnen de resultaten van disciplinegewijze verrichte verkenningen of andere vormen van horizontale planning indicaties bieden voor de gerealiseerde doelmatigheid. Hierbij kan in de criteria voor kwalitatieve evaluatie het aspect doelmatigheid een rol spelen.' (HOAK, 6.8 ingrepen door de overheid beneden het sectorniveau)

In de voorgaande hoofdstukken is een opzet gegeven die aan het bovenstaande kan beantwoorden, exclusief de 'ingrepen door de overheid beneden het sectorniveau'.

De HOAK nota geeft voorschriften voor het proces van kwaliteitsbewaking. In hoofdstuk 6 is de nadruk op de rol van de 'afnemers' van het onderwijs besproken.

'In het ontwikkelingsplan en in het eventuele jaarverslag van de instellingen zal aan de vormgeving van de evaluatie vanwege de instellingen, de resultaten ervan, alsmede de daarbij behorende kwaliteitsbewakende maatregelen, aandacht worden geschonken. Een verplichting tot het opnemen van deze elementen in het ontwikkelingsplan zal via desbetreffende richtlijnen van de kant van de overheid worden bevorderd.
De ondergetekenden zullen voorts periodiek, op voorstel van de inspectie, een evaluatieplan vaststellen ten einde de doelmatigheid en de juiste prioritering van evaluatie-activiteiten te waarborgen. In dit plan, dat na overleg in de HO kamer tot stand komt, zal worden beargumenteerd en gespecificeerd welke evaluatie-activiteiten vanwege de overheid, gericht op welk deel van het hoger onderwijs en volgens welke methode zullen plaatsvinden. In dit plan zal in ieder geval aandacht worden besteed aan:
- de verslaglegging van evaluaties uit het afgelopen jaar;
- de algemene conclusies die uit de evaluaties zijn getrokken;
- de voornemens met betrekking tot periodieke en specifieke evaluatie.
Het evaluatieplan zal periodiek worden gepubliceerd als bijlage bij de memorie van toelichting op de rijksbegroting. (HOAK, 9.4 evaluatie als zorg voor de overheid)
'De omvang, taak en samenstelling van de visitatiecommissies zullen worden vastgelegd in een openbaar visitatieprotocol. Hierin zal ook de visitatieprocedure worden beschreven, alsmede de criteria op basis waarvan het evaluatie onderzoek zal plaatsvinden. De rapportage van de visitatiecommissies is openbaar.' (HOAK 9.5 evaluatie door visitatiecommissies)

Overigens zullen de instellingen zelf de verantwoordelijkheid voor de evaluatie middels visitatiecommissies op zich nemen, zoals overeengekomen in de HO kamer, april 1986. Deze afspraak ligt in lijn met eerdere afspraken in de HO kamer gemaakt:

'Instellingen dragen zelf de verantwoordelijkheid voor een open en doorzichtig stelsel van kwaliteitsbewaking.'
'Er wordt naar gestreefd de kwaliteitsbewaking vanwege de overheid aanvullend te doen zijn op de desbetreffende activiteiten van de instellingen.'
(HOAK Bijlage V Conclusies van het overleg in de HO-Overlegkamer dd. 3 juli 1985, conclusie 7 en 9)

De complexiteit van de evaluatieopdracht is hoog, terwijl zeker een verzwarende factor is dat niet steekproefsgewijs mag worden geëvalueerd, maar dat àlle onderwijs moeten worden geëvalueerd. Het ligt in de rede een stelsel voor kwaliteitsbewaking op zorgvuldige wijze te laten ontwerpen en invoeren, en daartoe het onderwijskundige veld te vragen op deel-probleemstellingen te komen met uitgewerkte voorstellen voor onderzoek en uitvoering. Het initiatief hiertoe zou door de VSNU kunnen worden genomen, de financiële middelen zullen mogelijk door de minister moeten worden verschaft.

Er zijn in ons land weinig voorbeelden van dergelijke grootschalige en tegelijk intensieve vormen van evaluatie van het onderwijs. De voorgenomen evaluatie van het Onderwijs Voorrangs Beleid behoort daar zeker toe; deze evaluatie wordt zorgvuldig geprogrammeerd, gecoördineerd, voorafgegaan en begeleid door talrijke deelstudies en -onderzoeken (SVO notitie over de aanpak van de evaluatie van het onderwijsvoorrangsbeleid, Kloprogge, 1986).

De VSNU werkgroep deregulering heeft over het opzetten van een stelsel van kwaliteitsbewaking de volgende opmerkingen gemaakt (In Verscheidenheid en kwaliteit, november 1985).

'Wil men lering trekken uit de systemen die elders functioneren, dan valt een aantal kenmerken op:
- er bestaat nergens een volledig dekkend systeem in die zin dat alle aspecten van kwaliteitsbewaking erdoor gedekt worden;
- een systeem heeft in de regel een historische ontwikkeling doorgemaakt in termen van groei en acceptatie;
- het verdient aanbeveling ervoor te zorgen dat de acceptatie-graad van de evaluatie-activiteiten groot is; dit verwijst bijvoorbeeld naar een systeem van evaluatie zoals dat in de Verenigde Staten vigeert. De activiteiten van evaluatie worden door de instellingen op eigen kracht ontwikkeld;
- externe evaluatie door visitatie-commissies is een complement op de interne evaluatie (self-study; kwaliteitszorg). Een dergelijk systeem van externe evaluatie dient zich met een bepaalde periodiciteit te herhalen wil de kwaliteitsbeoordeling effect sorteren.' (p. 14)
'Voor het WO zijn verschillende evaluatieprocedures beschikbaar, mede ontwikkeld door de centra voor onderzoek van het wetenschappelijk onderwijs (RWO). Het is dienstig de verschillende gebruikte methodes te expliciteren, terwijl onderlinge vergelijking van de toegepaste procedures in de rede ligt.' (p. 15)

Een stelsel van kwaliteitsbewaking kan ongetwijfeld gebruik maken van de evaluatie- methodieken die door RWO centra zijn ontwikkeld. De evaluatieprocedures zoals deze door verschillende RWO centra worden gehanteerd, hebben betrekking op het cursusniveau, en zijn redelijk gestandaardiseerd.

'Een probleem daarbij zal zijn dat "de kwaliteit van het onderwijs" vele aspecten kent en niet altijd even eenduidig vast te leggen zal zijn. Het beste aangrijpingspunt is dus om niet te proberen meteen een allesomvattend schema op te stellen, maar eerst de aandacht te richten op die aspecten waaraan naar de gevoelens van velen extra aandacht besteed zou moeten worden. Naarmate al doende inzicht ontstaat hoe bepaalde aspecten van de onderwijskwaliteit beschreven en verbeterd kunnen worden, kan tot een meer definitief format voor het onderwijsverslag besloten worden. (p. 15)
'Nagegaan zou daarbij ook moeten worden welke "performance indicators" gehanteerd kunnen worden om de effectiviteit van de kwaliteitszorg aan te geven en de mate waarin aan de belangrijkste kwaliteitsbepalende factoren zoals onderwijsvoorzieningen en de organisatie van het het onderwijs voldaan is. Ook daar zal eerst ervaring mee opgedaan moeten worden voordat tot een beperkt aantal sprekende performance indicators geconcludeerd kan worden.' (p. 15)

Hoe herkent men kwalitatief goed onderwijs? De gedachte om met indicatoren te werken, zoals ook de HOAK nota aangeeft, is zinvol. Indicatoren zijn minder absoluut dan criteria, en lokken minder het misverstand uit als zou alles goed zijn wanneer maar aan de gestelde 'criteria' is voldaan.

Toch kunnen indicatoren, ook wanneer dat er veel zijn en wanneer zij onafhankelijk van elkaar zijn, maar een deel van het relevante verhaal doen. Zeker zo belangrijk is om het op de diverse niveaus gevoerde beleid te kunnen koppelen aan deze indicatoren: heeft het beleid aantoonbaar geleid tot deze resultaten, of zijn het andere oorzaken geweest? Zoals in paragraaf 3.3 besproken, kan het beleid alleen op de resultaten worden aangesproken wanneer er een oorzakelijke relatie is tussen gevoerd of nagelaten beleid aan hetgeen de kwaliteits indicatoren over het onderwijs openbaren.

Bij kwaliteitsevaluatie plaatsvindend in een belangencontext (c.q. beleidscontext) moet rekening worden gehouden met de neveneffecten die door een systeem van kwaliteitsbepaling worden opgeroepen, doordat de factoren die aan het systeem onderhevig zijn, hun gedrag daarop zullen gaan afstemmen. Deze overweging vormt een doorslaggevende reden om het stelsel van (externe) kwaliteitsbepaling niet te laten bestaan uit een of enkele weliswaar objectieve, maar uit per definitie beïnvloedbare factoren. Het beproefde systeem van kwaliteitsbepaling bestaat dan ook uit een commissie (panel) van onafhankelijke deskundigen, die weliswaar hun oordeel ten dele kunnen baseren op objectieve indicatoren, maar vervolgens in onderlinge argumentatie tot een gemeenschappelijk oordeel komen.' (p. 16)

Het is een misverstand dat evaluatieprocedures geen terugkoppelingseffecten zouden moeten hebben. Het is juist de bedoeling dat evaluatie leidt tot bijstellingen in het geëvalueerde stelsel. Het onderwijs is uiteraard bedoeld bepaalde effecten of veranderingen teweeg te brengen (het onderwijs is geen bewaarschool). Bij implicatie moet dan evaluatie zich bij uitstek richten op die effecten die tot de onderwijsdoelen behoren. Sommige doelen lenen zich desondanks niet voor harde vormen van evaluatie: bijvoorbeeld treft dat doelen die met houdingen hebben te maken (voor een treffende uitwerking zie Doddema-Winsemius en Hofstee 'Operationalisering van effecten van het Onderwijs Voorrangsbeleid', 1985.

Bij het aantal te gebruiken kwaliteitsindicatoren denkt de werkgroep deregulering aan 'één of enkele'. Terecht vrezen zij dat in dat geval de kwaliteit van het onderwijs niet goed zal worden weerspiegeld in deze enkele maten. De complexe aard van het onderwijsgebeuren, ingebed bovendien in een complexe bestuurlijke en maatschappelijke context, zal er echter veeleer toe leiden dat een groot aantal indicatoren wordt gebruikt. In Uitleg pleit Wijnen ervoor te werken met een groot aantal onafhankelijke indicatoren, zoals ook de behandeling in de hoofdstukken 3 t/m 6 heeft aangetoond dat er inderdaad vele 'indicatoren' en verschillende evaluatieve activiteiten en actoren zijn.

Een kanttekening kan worden geplaatst bij het door de werkgroep deregulering aangegeven desideratum dat onafhankelijke deskundigen 'vervolgens in onderlinge argumentatie tot een gemeenschappelijk oordeel komen'. Per definitie zijn oordelen die na dergelijk onderling overleg tot stand komen niet 'onafhankelijk' meer in de bedoelde individuele zin: men kan nog slechts spreken van een 'onafhankelijke commissie'. Het verdient aanbeveling om voor visitatie commissies procedures uit te werken waarin het onafhankelijke oordeel van de individuele commissieleden verzekerd is, mogelijk aangevuld door een samenvattend oordeel van de voorzitter van de commissie. Dit is des te belangrijker, naarmate de samenstelling van de commissie heterogener van karakter is; bij meer homogene samenstelling zou inderdaad het model van een college van rechters kunnen worden gehanteerd, waarin desalniettemin minderheidsposities kunnen worden ingenomen. Waar het hier bovendien gaat om rapportage naar derden (de overheid, toekomstige studenten, besturen van de betreffende faculteit/afdeling en in instelling) en niet om enige vorm van eindoordeel (over continueren van de bekostiging bijvoorbeeld) is het streven naar een gemeenschappelijk oordeel niet wenselijk.

Het kan nuttig zijn eens over de grenzen te kijken of daar grootschalige vormen van kwaliteitsbewaking bekend zijn (De Roo, 1985 (over het stelsel van accreditering); Young, Chambers, Kells e.a., 1983, Cronbach 1982, Cronbach e.a. 1980, Wortman 1983, onderzoek door de capaciteitsgroep O van O in Maastricht naar 'performance indicators').

De grootste verbeteringen in kwaliteit zijn daar te bereiken waar het het droevigst met de kwaliteit is gesteld. In theorie is het denkbaar dat de kwaliteit overal in ons land op eenzelfde zeer hoog niveau ligt zonder dat er tot nu toe een expliciet stelsel van kwaliteitsbewaking is geweest: in dat geval zou zo'n stelsel er ook niet moeten komen. Een ander theoretisch uiterste is dat het met de kwaliteit van het onderwijs op dit moment droevig is gesteld, en er een klein aantal aanwijsbare oorzaken voor zijn aan te wijzen: in dat geval kan een stelsel van kwaliteitsbewaking nog wel even wachten totdat op hoofdzaken de kwaliteit is verbeterd.

de rol van deskundigen in een stelsel van kwaliteitsbewaking
Een stelsel van kwaliteitsbewaking kan niet alleen bestaan uit een aantal checklists die door willekeurige personen kunnen worden toegepast, evenmin uit een aantal 'performance indicators' die administratief beschikbaar zijn. Op alle niveaus moet het professionele functioneren van de organisatie en zijn actoren worden beoordeeld door evenzeer professionele deskundigen 'van buiten'. Deze deskundigen zijn in ieder geval vakdeskundigen en onderwijskundigen.

8 Externe besturing

Het systeem van kwaliteitsbewaking is niet bedoeld om de besturing van het hoger onderwijs te evalueren: wanneer de overheid daar behoefte aan gevoelt, kan zij daartoe onderzoek laten verrichten (vgl. de evaluatie van de wet twee-fasenstructuur).

Een en ander sluit niet uit dat de kwaliteitsbewaking door de instellingen zodanig wordt ingericht dat tevens duidelijk wordt of het nieuwe besturingsstelsel 'de kwaliteit van het hoger onderwijs (voldoende) bevordert', en of 'er (voldoende) mogelijkheid is voor zinvolle vernieuwing, zowel naar inhoud als naar vorm'. Immers, de kwaliteitsbewaking zal tevens aan moeten geven welke instrumentele relaties er zijn tot de doelen, en hier is gelegenheid om aan te duiden welke de de relatie is tot de instrumentele mogelijkheden die de instellingen onder het nieuwe besturingsstelsel verkrijgen of verliezen.

doelen m.b.t. de externe besturing
De besturing moet voldoen aan

'de eisen van effectiviteit. Die vraag heeft ten aanzien van het hoger onderwijs (...) betrekking op inhoudelijke en procedurele aspecten zoals:
- wordt de kwaliteit van het hoger onderwijs door de besturing in voldoende mate bevorderd?
- is er voldoende mogelijkheid voor zinvolle vernieuwing, zowel naar inhoud als naar vorm?
Het is nodig daarbij het functioneren van verschillende bestuurlijke instrumenten, zoals regelgeving, planning en bekostiging, in hun onderlinge samenhang te bezien.'
(HOAK 1.2 plaatsbepaling)
'De effectiviteit van de besturing kan worden verbeterd door [o.a.] vormgeving van een adequaat systeem van kwaliteitsbewaking.' (HOAK 1.2 plaatsbepaling)

Er wordt in de HOAK nota een complexe relatie gelegd tussen de externe besturing en de kwaliteitsbewaking: de kwaliteitsbewaking is een instrumenteel onderdeel van de externe besturing, maar het zal duidelijk zijn dat de doelmatigheid van de besturing bij diezelfde kwaliteitsbewaking in het geding is.

De bekostigingssystematiek is er verder op gericht de kwaliteit en de doelmatigheid te bevorderen. Hiermede hangt samen dat de output een rol speelt in de modellen. Dit betekent dat de bekostiging van produktiefactoren in relatie staat tot de kwaliteit van het produkt en de doelmatigheid van het proces.' (HOAK 6.2 bekostiging van het hoger onderwijs)

Niet nader is aangegeven wat in deze context onder 'output' moet worden verstaan; waarschijnlijk wordt hier gedacht in termen van numeriek rendement, naar de systematiek van de wet twee-fasenstructuur en de daaraan gekoppelde bekostigingsmethodiek (Beleidskader 1981, zie ook Wilbrink en Voorthuis (1987) over de plaats van het "numeriek rendement" in de wet twee-fasenstructuur). In de HOAK nota zelf wordt alleen gesproken over het instrument van de negatieve verklaring van bekostiging, waarvan de bestuurskundige Snellen in de Uitleg zegt dat deze sanctie te zwaar is: 'Dit garandeert dat de maatregel toch niet wordt toegepast.'

'De overheid kan, naast het geval waarin sprake is van strijd met de wet, slechts ingrijpen indien
2. de doelmatigheid op macro-niveau wordt geschaad of dreigt te worden geschaad, iets dat zich voor kan doen als er sprake is van strijdigheid met een redelijke taakverdeling tussen de instellingen of met uit algemeen maatschappelijk en bedrijfsmatig oogpunt ondoelmatige besteding van de middelen;
3. er sprake is van activiteiten die niet redelijkerwijs binnen de aan de instelling verbonden sector(en) vallen;
4. er is sprake van negatieve uitkomsten van evaluatie van de kwaliteit van het produkt.
In de nieuwe systematiek bestaat, op een effectievere wijze dan thans, de mogelijkheid om achteraf in te grijpen, indien aan één of meer van de bovengenoemde termen is voldaan. Het middel waarmee kan worden ingegrepen is de negatieve verklaring van bekostiging.'
(HOAK 6.8 ingrepen door de overheid beneden het sectorniveau)

De opsomming van gevallen waarin de overheid (negatief) kan ingrijpen wekt zorg. Het is niet duidelijk op welke wijze de kwaliteitsbewaking informatie kan opleveren waar eventuele conclusies van categorie (a) of (b) op kunnen worden gebaseerd. Het koppelen van sancties aan 'negatieve uitkomsten' van evaluaties is ongelukkig, en zou de kwaliteitsbewaking tot falen kunnen doemen. Het kan er niet om gaan ongewenste uitkomsten van onderwijs te laten leiden tot bestraffing van alle bij dat onderwijs betrokkenen. Onderzoek zal moeten uitwijzen hoe de 'negatieve uitkomsten' zijn ontstaan: op welk beleidsniveau, van overheid tot vakgroep, er 'fouten' zijn gemaakt, en of inmiddels adequate inspanningen zijn gepleegd om een en ander te redresseren. Enigszins geschrokken van de eigen strengheid komt de minister even verder in de HOAK nota tot de uitspraak dat er zorgvuldig afgewogen zal worden en er een beroepsprocedure zal worden gecreëerd; toch lost dit niet het probleem op dat de kwaliteitsbewaking wordt belast met mogelijke strafmaatregelen waardoor positieve medewerking op alle niveaus slechts moeizaam kan worden verkregen.

De minister is kennelijk voornemens het (her)formuleren van doelen voor het onderwijs, zowel wat het proces als het product van dat onderwijs betreft, tot een permanente activiteit te maken:

'Ingrepen beneden het sectorniveau zullen net als de overige planningbeslissingen van de minister op argumenten gebaseerd zijn. Het Hoger Onderwijsplan is zodanig ingericht dat die argumenten hierin tot uitdrukking komen.'
(HOAK, 6.8 ingrepen door de overheid beneden het sectorniveau)

De bedoelde argumenten zullen het gevoerde beleid moeten betreffen, voorzover dat aantoonbaar gerelateerd is aan de kwaliteit van het betreffende onderwijs.

Indicatoren voor de kwaliteit van het onderwijs hebben slechts informatieve waarde: zolang de oorzakelijke relaties tot bepaalde beleidsmaatregelen niet bekend zijn, kan er geen straf of beloning op worden gebaseerd. Wordt er gestraft op grond van indicatoren, dan loopt de overheid het risico het onderwijs te dereguleren in de ongunstige betekenis van de term.

indicatoren voor de kwaliteit van de externe besturing
De kwaliteit van de externe sturing kan, voorzover het om het effect van die sturing gaat, slechts indirect worden aangegeven door indicatoren voor de kwaliteit van het onderwijs. Het probleem zal zijn deze indicatoren te relateren aan concrete beleidsmaatregelen, waarbij niet alleen valt te denken aan de genoemde regelgeving, planning en bekostiging, maar ook aan studiefinanciering, wetgeving (zoals in deze HOAK nota voorbereid), wetgeving m.b.t. het voorafgaande (v.w.o.) en eventuele nog volgende (tweede fase) onderwijs, het personeelsbeleid van de overheid, etcetera. Een en ander kan niet onder het regime van een routinematige kwaliteitsbewaking op instellingsniveau worden onderzocht, maar zal via speciale onderzoekopdrachten in kaart kunnen worden gebracht.

9 Interne besturing

De HOAK nota heeft over de interne besturing weinig mee te delen, behalve dat de instellingen daarvoor nu juist een grotere eigen verantwoordelijkheid zullen krijgen. Vervolgens wordt die verantwoordelijkheid al gedeeltelijk ingevuld, door voor te schrijven welke activiteiten de besturen op de verschillende niveaus moeten ondernemen: zorgen voor een cursusaanbod dat inspeelt op de actuele behoeften van de samenleving, zorgen voor adequate selectieprocedures, vormgeving aan de kwaliteitsbewaking.

Op een aantal punten heeft de interne besturing, die naar verschillende niveaus kan worden onderverdeeld, direct met de kwaliteit van het onderwijs te maken. Te noemen vallen de traditionele zaken als onderwijsverzorgingsstructuur, de begeleiding etcetera van studenten, en de kwaliteit van de personele en materiële voorzieningen. Merendeels betreft het hier de kwaliteit van het proces, waarvan de doorwerking naar onderwijsresultaten slechts indirect is. Dat neemt niet weg dat hetgeen besturen aantoonbaar op deze gebieden doen, een indicator voor de kwaliteit van het betreffende onderwijs zal zijn. De zorg voor een geactualiseerd cursusaanbod komt is in deel 2 behandeld.

de onderwijsverzorgingsstructuur
'Onderwijsverzorgingsstructuur' is een label voor alles wat op centraal en decentraal niveau gebeurt aan vormgeving van het onderwijsbeleid, onderzoek en evaluatie van het onderwijs, onderwijskundige professionalisering van docenten, onderwijskundige dienstverlening, onderwijsexperimenten (qua vormgeving, inhoud, doelgroep). Het is hier niet de plaats om een meer gedetailleerde opsomming te geven, zie Heijnen (1980).

De verslaglegging van de inspanningen op dit gebied is vooralsnog niet te standaardiseren. Daar staat tegenover dat over van tal van activiteiten ook in de huidige situatie rapporten worden opgemaakt die veelal een landelijke verspreiding krijgen. De aan de instellingen verbonden RWO centra onderhouden nauwe contacten met elkaar, en beleggen regelmatig gezamenlijk congressen voor docenten en besturen (in 1985 het congres over kwaliteitsbewaking, in Eindhoven). Dergelijke vormen van openbaarheid sporen goed met de in de HOAK nota uitgesproken intenties met betrekking tot de kwaliteitsbewaking.

de begeleiding, advisering, training van studenten
Aan de begeleiding en advisering van studenten is in het wetenschappelijk onderwijs altijd al aandacht besteed. Dat neemt niet weg dat er verschillen zijn tussen instellingen, en binnen instellingen tussen studierichtingen, in wat men de studenten op deze punten kan bieden. Een dergelijke verscheidenheid wijst erop dat er op dit gebied nog verdere ontwikkelingen te verwachtingen zijn, waarbij men van elkaars ervaringen kan leren. Op verschillende plaatsen wordt geexperimenteerd met nieuwe vormen van begeleiding, van informatievoorziening, en ook van training in studeervaardigheden voor studenten die daaraan behoefte hebben. De inspanningen die faculteiten of afdelingen zich voor de student in dit opzicht getroosten behoren zeker tot de indicatoren voor de kwaliteit van het betreffende onderwijs.

10 Het onderwijs als stelsel

Belangrijke uiterlijke kenmerken van het onderwijs als stelsel zijn het numeriek rendement, de studielast, en de doorstroming, zie Deel 3 van deze voorstudie.

Het is mogelijk dat de onderwijsresultaten in termen van numeriek rendement, studielast, of doorstroming nopen tot een nader onderzoek naar achterliggende verbanden, bijvoorbeeld naar de eventuele samenhang met de samenstelling van het cohort studenten naar kenmerken als vooropleiding, leeftijd, geslacht. In beginsel kan dergelijk onderzoek verrassende resultaten opleveren: het onderwijs als stelsel functioneert niet altijd zoals men denkt te weten dat het functioneert, of graag zou willen dat het functioneert. Hoe groter een dergelijke verrassing, des te groter de waarde die het onderzoek voor het beleid kan hebben. Hoewel het verrichten van dergelijk onderzoek op zich een blijk is van aandacht voor het goed functioneren van het onderwijs, is het punt veeleer dat het functioneren van het onderwijsstelsel adequaat wordt beschreven. Verwezen wordt naar hoofdstuk 11 en volgende over het verzamelen van empirische gegevens over studielast, doorstroming, en numerieke rendementen.

Het is in beginsel zeker mogelijk te komen tot het ontwikkelen van kwaliteitsindicatoren, maar die zullen inderdaad eerst nog moeten worden ontwikkeld. Een bruikbare eerste studie is door Buis (1979) verricht, waarin een poging is gedaan relevante systeemkenmerken te inventariseren. Ook in Knippenberg en Loos (1983) en in de literatuurstudie van Wilbrink en Voorthuis (1987) wordt dit thema verder uitgewerkt. Men kan gebruik maken van de noties die op dit moment in de literatuur voorhanden zijn, ook al levert dat voorshands geen informatie op die voor verschillende instellingen of voor faculteiten binnen dezelfde instelling goed vergelijkbaar is. Zie verder de aangehaalde literatuur.

doelen
De HOAK nota (2.1) noemt een aantal algemene doelstellingen, die onder andere betrekking hebben op het onderwijs als stelsel:

het leveren van een voorbereiding op het maatschappelijk functioneren van individuen en het voorzien in de vraag naar hoger opgeleiden;
de individuele ontplooiing van de studerenden;
het leveren van een bijdrage aan de ontwikkeling van de wetenschap, de techniek en de beroepspraktijk;
in samenhang met de punten a.b. en c. het vervullen van een kritische functie binnen de samenleving.' (HOAK 2.1)
'De herdefiniëring van verantwoordelijkheden van de instellingen wordt bezien in het licht van de onder 2.1 genoemde doelstellingen. Op basis daarvan ontstaat een beeld van de instellingen waarbij zij voldoen aan de vraag naar onderwijs en kennis van allerlei, elkaar deels overlappende, 'cliënten': studenten, wetenschap en techniek, beroepsbeoefenaren en de samenleving in het algemeen. Wil deze doelsteling binnen bereik blijven, dan zullen de instellingen in hoge mate ontvankelijk moeten kunnen zijn voor signalen uit de maatschappelijke subsystemen.
(HOAK 2.3 verantwoordelijkheidsverdeling)

Het is niet direct duidelijk hoe een en ander vertaald kan worden naar de kwaliteitsbewaking, hopelijk kan de minister hier en daar eens aangeven wat precies wordt bedoeld, hoe de verantwoordelijkheden voor diverse bestuurlijke niveaus liggen.

Een nogal complexe problematiek dreigt te ontstaan waar het capaciteitsproblemen betreft: de HOAK nota bevat een uitgebreide paragraaf 12.3: Relatie met eventuele toelatingsbeperkende maatregelen. Het is evident dat bij iedere vorm van evaluatie op instellings- of faculteits/afdelings- niveau hier de nodige aandacht aan moet worden gegeven. Bijvoorbeeld:

'De instellingen die met de problematiek van de arbeidsmarktfixi geconfronteerd worden, zullen derhalve zorgvuldige selectiemechanismen moeten ontwerpen.'
(HOAK 13.2 invoeringsproblematiek voor de instellingen)

Numeriek rendement, studielast en doorstroming

In deel 1 en 2 is een voorstudie gegeven waarin het vertrekpunt is gelegen in een analyse van het kwaliteitsbegrip en van het te 'bewaken' onderwijs, waarbij de analyse voert tot bruikbare indicatoren voor de kwaliteit. In deel 3 wordt uitgegaan van de beschikbaarheid van een aantal gegevens over de wijze waarop studenten het onderwijs doorlopen, en wordt een analyse gegeven hoe dergelijke gegevens in een stelsel van kwaliteitsbewaking gebruikt zouden kunnen worden. Deel 2 en 3 zijn hiermee enigszins aanvullend ten opzichte van elkaar, een benadering die zeker past waar een stelsel van kwaliteitsbewaking stap voor stap nog moet worden opgebouwd.

11 Numerieke Rendementen

Een belangrijk gegeven in de discussie over de kwaliteit van het onderwijs is het numeriek rendement: de proportie van de aanvankelijk ingeschreven studenten die uiteindelijk voor een bepaald examen slaagt. Het is een administratief gegeven, los van enige vorm van evaluatie van het onderwijs: zijn doelen bereikt, en welke beleidsmaatregelen zijn daartoe instrumenteel geweest? De sprong van administratief meten naar evalueren moet nog worden gemaakt. Geprobeerd wordt nu het numeriek rendement te relateren aan de belangrijkste doelen voor het onderwijs.

11.1 administratieve standaardisering
Aan een geuniformeerde definitie van numerieke rendementen wordt al enkele jaren gewerkt door de werkgroep Statistiek van het Inter Universitair Statistisch AdviesTeam (zie ISAT, 1986). De werkgroep heeft uitvoerig aandacht besteed aan de methodiek voor het verzamelen van cijfermateriaal over numerieke rendementen. De werkgroep heeft tevens een studie gemaakt over de waarde van 'actuele rendementen' zoals deze onder andere door het minsterie bij de bekostiging worden gebruikt. Actuele rendementen zijn schattingen voor het numerieke rendement voor nog studerende cohorten studenten; vergelijking van dergelijke schattingen in die gevallen waarin ook de werkelijke numerieke rendementen bekend zijn levert op dat actuele rendementen niet onaanzienlijk van de werkelijkheid kunnen afwijken. Kortheidshalve kan voor de details van definities en methoden naar genoemd rapport worden verwezen.

Uit de ontwikkelingsplannen 1987-1991 van de instellingen blijkt nog steeds weinig uniformiteit in het berekenen en rapporteren van numerieke rendementen. Met name gaat het om peildata, wie wel en wie niet tot een cohort worden gerekend, en om de wijze waarop af- en toezwaaiers worden gedefiniëerd en in de numerieke rendementen worden geteld. Standaardisering van een en ander moet worden gezocht door aan te sluiten op de gegevens die administratief ondubbelzinnig vastliggen, zoals centrale inschrijving voor met name aangeduide studierichtingen, idem de herinschrijving voor opvolgende jaren, en de adminsitratie van uitgereikte diploma's (na met succes afglegde examens, of dossierdiploma's). Het werken met 'actuele rendementen' (zie voorgaande alinea) en andere voorspellingen, richtgetallen en streefrendementen wordt niet aanbevolen, omdat niet valt in te zien hoe hier tot een doorzichtige vorm van standaardisatie kan worden gekomen.

11.2 welke doelen en instrumentele ingrepen zijn in het geding
Het onderwijsstelsel valt qua doelen uiteen in de propedeutische en de doctorale fase. Is er in de propedeuse nog uitdrukkelijk sprake van oriëntatie, verwijzing en selectie, in de doctoraalfase wordt verondersteld dat vrijwel alle studenten het afsluitend examen zullen behalen: de HOAK nota spreekt niet over selectie als doel voor de doctoraalfase. Een ander belangrijk verschil tussen propedeuse en doctoraalfase is de keuzevrijheid voor de student: een standaard programma voor de propedeuse, voor het doctoraal teen aantal standaardpakketten of een aanbod van door de student te combineren cursussen.

Waar het om het numeriek rendement gaat, is bovendien het volgende uitgangspunt van de HOAK nota van belang:

'(...) hoger onderwijs voor velen: ieder die dit wenst en die de in de wet genoemde kwalificaties heeft, dient de gelegenheid te hebben zijn kennis en vaardigheden in het initiële hoger onderwijs zodanig te ontplooien, dat hij een eigen bijdrage kan leveren aan de ontwikkeling van de maatschappij.' (HOAK 2.1)

doelen voor de propedeuse

'De ondergetekenden hechten aan het in stand houden van een propedeuse, waarin een oriënterende, een verwijzende en een selecterende functie tot zijn recht kan komen.
(HOAK 8.2.C de propedeuse)

De doelen voor de propedeuse zijn oriëntatie, verwijzing en selectie, aanbieden van een standaard programma, accommoderen van vooropleidingsverschillen, hoger onderwijs voor velen. Het numeriek rendement op zich zou eveneens tot de doelstellingen kunnen behoren, wanneer de minister ertoe overgaat gerealiseerde rendementen als grondslag te nemen voor de bekostiging.

De oriënterende functie van de propedeuse is als volgt van belang: het is mogelijk dat studenten zich een onjuist beeld van de verdere studie en de beroepsmogelijkheden vormen, zodat zij ten onrechte de studie staken of ten onrechte de studie voortzetten. Onderzoek hiernaar zal complex en tijdrovend zijn. 'Ten onrechte' moet hier zo worden verstaan dat de student een betere studiekeuze zou kunnen doen, er is geen directe relatie met geschiktheid voor de studie te maken.

Verwijzen is een opgave waaraan binnen een cursusprogramma nauwelijks of geheel niet kan worden voldaan; het is aan de instelling om voorzieningen te creëren waar studenten zich kunnen laten infomeren over alternatieven binnen het hoger onderwijs of in de maatschappij. De schriftelijke raad aan het einde van (de cursusduur van) de propedeuse is voor verwijzing al evenzeer een machteloos instrument.

Het kwaliteitsaspect moet hier zijn dat er voor de student geen drempels worden gecreëerd om tot herziening van de studiekeuze te komen: vormen van begeleiding en advisering die niet onder druk kunnen komen te staan van beleid om numerieke rendementen op te vijzelen. Na goede voorlichting en begeleiding aan de studenten heeft de faculteit/afdeling zich neer te leggen bij de keuze van de student: er kan hier geen sprake zijn van bedoelde beïnvloeding. Er zijn overigens geen instrumenten en bevoegdheden nodig: besturen hebben niet de verantwoordelijkheid het percentage van deze 'afzwaaiers' te verlagen of te verhogen.

Een aangrijpingspunt is het lange keuzeproces dat vooraf gaat aan het moment waarop de student zich voor een bepaalde studie aan een bepaalde instelling inschrijft. Het is de vraag of wervende activiteiten van de instellingen, inclusief publicatie door de overheid van de uitkomsten van de kwaliteitsbewaking, bijdragen aan de kwaliteit van de keuzen die individuele studenten maken.
De selectie in de propedeuse is uitdrukkelijk (wet twee-fasenstructuur) zelf-selectie. Zelf-selectie gebeurt op grond van de vergelijking van eigen capaciteiten en motivatie tot die welke de onderhavige opleiding kennelijk stelt. De student moet behoorlijke feedback over deze zaken verkrijgen, om een verantwoorde eigen beslissing te kunnen nemen. Het onderscheid met de eerdere oriëntatie en verwijzing is kwalitatief: bij de zelf-selectie gaat het om een min of meer door de omstandigheden afgedwongen herziening van de studiekeuze. De faculteit/afdeling heeft daarbij enige invloed op 'de omstandigheden'. Een verder onderscheid kan worden gemaakt naar de eisen die de studie inhoudelijk stelt, en de belemmeringen die voortvloeien uit de wijze waarop de studie is geprogrammeerd.

Hoger onderwijs voor velen is een doelstelling die nog verdere uitwerking behoeft. Bovenstaande beschouwing mag hebben verduidelijkt dat op zich uit het streven naar een hoger onderwijs voor velen niet volgt dat het numeriek rendement van het hoger onderwijs omhoog moet. Verbreden van de toegankelijkheid van het hoger onderwijs zal er veeleer toe leiden dat het aantal studenten dat keuzeproblemen heeft, relatief groter wordt. Ook dreigt de selectieve druk juist voor nieuw gerecruteerde groepen deelnemers aan het hoger onderwijs relatief groot te zijn, terwijl zij minder zijn toegerust om aan deze druk effectief weerstand te bieden.

Numeriek rendement is de afgeleide van de bovengenoemde doelstellingen, en daarmee niet zinvol als zelfstandige doelstelling bij bekostiging hanteerbaar, zeker niet in gekwantificeerde vorm. Het numeriek rendement is een gegeven dat met enige zorg moet worden gehanteerd|: altijd aangevuld met andere gegevens. In paragraaf 11.3 zal een en ander worden uitgewerkt.

doelen voor het doctoraal
Voor de doctoraalfase is vooral van belang het verdwijnen van studierichtingen, en de grote vrijheid voor de student in de samenstelling van zijn studiepakket.

Het gevolg van de invoering van het voorgestelde systeem is, dat de vrije keuze van de student regel wordt en verplichtingen een uitzondering. De student zal in hoge mate de eigen leerweg kunnen kiezen. (HOAK 12.2 gevolgen voor de student)

De keuzevrijheid voor studenten zal voor het berekenen van numerieke rendementen geheel nieuwe problemen opleveren vergeleken met de huidige situatie ten aanzien van doctoraal examens. Aangenomen dat studenten het grootste deel van hun programma binnen dezelfde instelling zullen volgen, is in ieder geval het berekenen van instellingsrendementen mogelijk. Sector rendementen zouden op dezelfde wijze kunnen worden bepaald, maar hier zullen grensgevallen zijn waar enige vorm van 'arbritage' nodig is over de sector waar de betreffende studenten gerekend worden hun examen te hebben afgelegd (deze 'arbitrage' is voor de student van geen enkel belang, maar wel voor de bekostiging alsook voor de kwaliteitsbewaking en -rapportage van de betreffende sectoren).

11.3 een evaluatief netwerk voor het numeriek rendement
Een goede start voor een integrale benadering van hoe studenten het onderwijs doorlopen is een uitsplitsing van het cohort studenten naar degenen die

een andere studiekeuze hebben gemaakt (verwijzing, oriëntatie),
zichzelf hebben geselecteerd (niet de capaciteiten en/of motivatie voor deze studie denken en te hebben),
door persoonlijke omstandigheden deze studie hebben moeten staken
nog studeren,
nimmer echt met de onderhavige studie zijn begonnen
voor het examen zijn geslaagd.

Tezamen tellen deze categorieën op tot 100 procent. Het stellen van een procentuele norm voor één van deze categorieën, bijv. voor het numeriek rendement, veronderstelt dat ook voor de overige categorieën een zinvolle procentuele norm kan worden gesteld ! De implicatie is dat over numerieke rendementen slechts zinvol kan worden gesproken in relatie tot de genoemde andere categorieën.

Hoe een cohort studenten uitwaaiert: het Numeriek Rendement en zijn complement.

studiekeuze
Oriëntatie en verwijzing zijn verschillende invalshoeken voor wat vanuit de student beschouwd een voortgaand keuzeproces is: bevestiging danwel herziening van een eerdergemaakte keuze. Het resultaat, de uiteindelijke keuze, kan meer of minder gelukkig zijn; harde gegevens zijn hierover niet te verzamelen, althans niet routinematig en tegen aanvaardbare kosten. Wel zou een eerlijke poging kunnen worden ondernomen te administreren welke ander onderwijs wordt gevolgd door die studenten die zich niet opnieuw laten inschrijven voor de betreffende sector (faculteit, afdeling).

Het herzien van eerdere studiekeuzen zal structureel een drukkende invloed op het numeriek rendement blijven uitoefenen, zoals in de huidige wetgeving en in de HOAK nota erkend door de uitdrukkelijk aan de propedeuse toegekende oriënterende en verwijzende functies, gekoppeld aan aansluitende regelingen voor de inschrijvingsduur.

Het is belangrijk dat op voorhand geen getalsmatige criteria kunnen worden vastgelegd voor het percentage studenten dat de studiekeuze moet bevestigen, of veranderen. Bij implicatie kan, gezien de relatie tot het numeriek rendement, voor dat numeriek rendement een getalscriterium op voorhand niet worden vastgelegd, noch in statische zin (een op zich wenselijk te achten percentage), noch in dynamische zin (aanvaardbaar of zelfs wenselijk geachte fluctuaties van jaar tot jaar); in 11.4 wordt hierop verder ingegaan.

zelfselectie
Zelf-selectie hangt in sterke mate af van de waarneming van de betreffende studenten: hoe schatten zij eigen capaciteiten en motivatie in, hoe reëel is het zelfbeeld, en hoe ziet men de eisen die de studie stelt (hoe reëel is het beeld niet alleen van de zwaarte van de studie, maar ook van de zwaarte van de beroepen waar de studie toegang toe geeft). Ongetwijfeld worden er inschattingsfouten gemaakt, en worden voortijdige en te late beslissingen genomen de studie niet voort te zetten. De kwaliteit van dergelijke persoonlijke beslissingen kan worden verbeterd, wat op zich geen merkbaar effect op het numeriek rendement hoeft te hebben. Streven naar vermindering van het aantal 'afzwaaiers' is eenzijdig beleid, waarvoor mogelijk een prijs op later datum moet worden betaald.

persoonlijke omstandigheden
Persoonlijke omstandigheden, zoals ziekte, verhuizen, beschikbare financiële middelen, gezinssituatie, dwingen een deel van de studenten tot het afbreken van deze studie op deze plaats. Er zijn wel enige beleidsingrepen mogelijk, zoals locaal het verzorgen van kinderopvang, landelijk de wijze van studiefinanciering, maar het percentage uitval door persoonlijke omstandigheden is overigens vrijwel niet door het beleid te beïnvloeden.

nog studeren
De wet (twee-fasenstructuur) biedt uitdrukkelijk de mogelijkheid om langer (op de kalender gemeten) over de studie te doen dan de cursusduur. Aan het eind van de cursusduur zullen er studenten zijn die op dat moment de studie nog niet hebben afgerond, om welke reden dan ook, en die zich het volgende jaar weer voor de betreffende studie inschrijven. Hetzelfde geldt overigens voor het verstrijken van de beschikbare inschrijvingsduur, ook dan zal een aantal studenten de studie nog niet hebben afgerond, maar dat op een later datum alsnog doen.

Het gedrag van deze studenten is legitiem, en kan in wettelijk opzicht niet negatief worden gewaardeerd. Bij het rapporteren van rendementsgegevens zal hier rekening mee moeten worden gehouden.

nimmer echt met deze studie begonnen
Er is een niet onbelangrijk aantal studenten dat zich wel inschrijft voor een bepaalde studierichting, maar dat niet deelneemt aan enig tentamen, praktikum of werkgroep. Het is duidelijk dat de instelling niet gehouden kan worden studenten 'binnen te houden' die niet binnen zijn gekomen. Bij voorkeur worden deze studenten niet tot het cohort gerekend, omdat zij alle overige percentages eveneens vertekenen (daarom is deze categorie ook niet in het bovenstaande taart-diagram opgenomen). Enige aandacht vraagt de wijze waarop de instellingen dergelijke studenten adminstratief identificeren; een mogelijkheid is studenten een herbevestiging van inschrijving te vragen.

geslaagd
Het percentage studenten dat op een bepaalde peildatum is geslaagd voor een bepaald examen krijgt betekenis wanneer het kan worden gecontrasteerd met gegevens over wat er geworden is van de overige studenten.

11.4 aanbevelingen voor rapportage van numerieke rendementen
Het numerieke rendement moet op gestandaardiseerde en administratief eenvoudig controleerbare (doorzichtige) wijze worden bepaald; dit vraagt om eenduidige definities van relevante begrippen zoals wie tot het betreffende cohort worden gerekend, uit welke administratie wordt geput om het geslaagd zijn voor het betreffende examen te bepalen, welke peildata worden gehanteerd, e.d.

Zinvolle peildata zijn, in de systematiek van de twee-fasenstructuur (de consequenties van de in de HOAK nota voorgestelde variabele duur voor propedeuse en doctoraal zijn nog niet geheel te overzien) het eind van de cursusduur (propedeuse: na 1 jaar; doctoraal: 4 jaar na eerste inschrijving; in beide gevallen exact 31 augustus), het eind van de inschrijvingsduur (propedeuse: na 2 jaar; doctoraal: na zes jaar; in beide gevallen exact 31 augustus). Er kunnen afspraken worden gemaakt over de gedragslijn bij deeltijdstudenten, of een doctoraal fase-rendement zal worden berekend, e.d. Er kan een gedragslijn worden afgesproken voor het identificeren van niet-serieuze inschrijvers, bijvoorbeeld door een herbevestiging van de inschrijving te vragen.

Naast het numeriek rendement wordt ook vermeld het percentage van de studenten dat nog studerend is, blijkens ofwel hernieuwde inschrijving (het numeriek rendement aan het eind van de cursusduur) ofwel het later behalen van het examen (numeriek rendement aan het eind van de inschrijvingsduur) in de betreffende studie aan de betreffende instelling.

Aanbevolen wordt om aan studenten die de studie staken (zich niet opnieuw voor deze studie aan deze instelling inschrijven) te vragen welke studie op welke plaats zij nu volgen of willen gaan volgen, of zij de studie gestaakt hebben omdat zij een aantrekkelijk baan konden krijgen of een eigen bedrijf konden beginnen, of persoonlijke omstandigheden geleid hebben tot het (tijdelijk?) staken van de studie.

Deze laatste aanbeveling is waarschijnlijk te kostbaar om routinematig uit te voeren, in welk geval tenminste periodiek een dergelijk onderzoek zou kunnen worden gehouden.

12 Studielast

De problematiek van de studielast valt uiteen in dat van de normatieve studielast, ook wel gezien als administratieve rekeneenheid, en de empirische studielast: het werkelijke aantal uren dat het studieprogramma blijkt te vragen. Empirisch onderzoek kan een onderbouwing geven voor de normatieve studielast, of tot bijstellingen daarin leiden.

'De ondergetekenden achten het noodzakelijk, de verplichting tot kwantificering van de studielast in de wet op te nemen. Alleen al voor de soepele inpassing van onderwijsonderdelen van verschillende herkomst in variërende studieprogramma's is standaardisering onmisbaar.
(...) De instellingen worden slechts verplicht het onderwijsaanbod te kwantificeren volgens een landelijk gelijke sleutel (studiepunten). In het wetenschappelijk onderwijs is de invoering van een gekwantificeerde studielast reeds enige jaren een feit.
(...) 1 studiepunt is 40 uur = 1 week, een studiejaar bestaat in 1680 uur'
(HOAK, 8.2.A introductie van gekwantificerde studielast (studiepunten))

"De studielast van de onderwijseenheden waaruit het onderwijsaanbod bestaat, wordt uitgedrukt in studiepunten, waarbij één studiepunt gelijk is aan veertig uren studie voor een met betrekking tot zijn geschiktheid in alle opzichten als gemiddeld aan te merken student.
De studielast van een onderwijseenheid bedraagt tenminste één studiepunt.
De raming van de studielast geschiedt door de faculteitsraad bij de vaststelling van het onderwijsprogramma.
Ten behoeve van de bewaking en, zo nodig, bijstelling van de studielast draagt de faculteit zorg voor een regelmatige beoordeling en weging van het tijdsbeslag dat uit de onderscheiden onderwijseenheden voor de student, bedoelt in het eerste lid, voortvloeit."
(HOAK Bijlage IVA proeve nieuwe titel 'onderwijs' in herziene WWO art. 28)

12.1 administratieve standaardisering
De wet twee-fasenstructuur omschrijft het tijdbeslag dat het studieprogramma mag vragen van de in alle opzichten gemiddelde student. Deze methodiek wordt voortgezet in de HOAK nota.

De 'gemiddelde' student mag voor een propedeuse van 1 jaar dus 1680 uur studeren. Enige zorgvuldigheid bij de interpretatie hiervan is echter wel vereist. De studielast van 1680 uur is het tijdbeslag dat nodig is voor het behalen van propedeutisch examen. Iedere student is vrij om deze tijd te spreiden over een periode die langer is dan de cursusduur. Er is met andere woorden geen sprake van een voorschrift dat de 'gemiddelde' student 40 uur per kalenderweek zal studeren. Een geprogrammeerde cursusweek dient wel 40 uur te beslaan. Het verschil tussen beide zal nu duidelijk zijn.

Het behalen van het examen is hier het criterium. Dat betekent ook dat een onhandige examenregeling of studieprogrammering die studenten bijna dwingt tot het overdoen van bepaalde studieonderdelen, kan leiden tot overschrijding van de norm van 1680 uur per cursusjaar: immers, dergelijke herkansingen zijn noodzakelijk om het examen te kunnen behalen, en de daarvoor benodigde tijd moet bij de reeds bestede tijd worden opgeteld.

Iedere afzonderlijke cursus wordt begroot op het aantal benodigde studiepunten, of zo men wil het aantal studiebelastingsuren (SBU's). De onderwijskunde biedt geen kant en klaar bruikbare normen aan; de empirie of de tevredenheid van docenten en studenten zal moeten uitwijzen of dergelijke begrote studielasten redelijk met de werkelijkheid overeenkomen (Bevers en Wiegersma, 1975; v.d. Avoird, 1979; v.d. Drift en de Gruijter, 1981). Overigens geldt natuurlijk evenzeer op cursusniveau dat de studielast de tijd is die nodig is om het betreffende onderdeel behoorlijk te kunnen afronden, d.w.z. daar ofwel een voldoende resultaat voor te behalen, of een resultaat dat in goede verhouding staat tot de eisen voor het examen (ingeval er sprake is van een examenregeling waarin afzonderlijke cijfers elkaar vergaand kunnen compenseren).

Een probleem dat zich in het bijzonder in de doctoraalfase voor kan doen, is als volgt door de VSNU werkgroep deregulering beschreven.

'De HOAK-nota, met name bijlage 2A, lijkt studielastberekening en studievoortgang te identificeren (artikel 28).
Een probleem hierbij is de waardering van onderdelen uit "andere" faculteiten: de gemiddeld geschikte student verschilt natuurlijk per sector. Enerzijds verdient het aanbeveling om de waardering van een onderdeel voor alle studenten uniform te laten zijn. Dat voorkomt ook problemen bij de goedkeuring door de examencommissie: deze hoeft alleen het niveau en de samenhang van het pakket te beoordelen (artikel 29A).
Anderzijds zal een studielastberekening van een onderdeel in de doctorale fase vaak een vermindering opleveren in verband met ervaring en inzicht in de discipline. Voor keuzevakstudenten van buiten de sector zal feitelijk eerder een vermeerdering van de studielast plaatsvinden. Voor zover hierin niet wordt voorzien door modulen, speciaal voor studenten van buiten de sector, kan de mogelijkheid van een toeslag op de studiepunten overwogen worden.
Een apart probleem betreft de meer structurele dienstverlening tussen faculteiten: een onderdeel dat middels dienstverlening verzorgd wordt, dient door de "ontvangende" faculteit op studiepunten gewaardeerd te worden.' (Verscheidenheid en kwaliteit, p. 21-22)

12.2 welke doelen en instrumentele ingrepen zijn in het geding
Bij de studielast gaat het om afgeleide doelen. De studielast voor een cursusjaar is vastgelegd op 1680 uur, om te voorkomen dat de 'gemiddelde' student wordt overbelast door een te geconcentreerde studieprogrammering (parlementaire behandeling wet twee-fasenstructuur). Afzonderlijke cursussen worden geprogrammeerd in eenheden van een studiepunt, een week van 40 uren, om onderlinge vergelijkbaarheid van studieprogramma's mogelijk te maken, en om het mogelijk te maken individuele studieprogramma's samen te stellen tot de vereiste omvang van totale studielast.

De faculteit / afdeling heeft de verplichting het tijdbeslag van het onderwijsprogramma te controleren (nu nog bij Academisch Statuut geregeld).

In een stelsel van hoger onderwijs voor velen komt deze studielastnorm wel onder druk te staan. Omdat verschillen in capaciteiten en/of vooropleiding groter zullen worden, zullen ook verschillen in benodigde tijd groter worden. Bij het blijven hanteren van een gemiddelde als de norm, zullen steeds meer studenten daardoor in tijdproblemen geraken.

12.3 studielast en kwaliteitsbewaking
De studielast kan worden bewaakt door periodiek onderzoek naar het werkelijke tijdbeslag te laten uitvoeren. Daardoor kan zeker een indruk over het totale tijdbeslag worden verkregen. Dergelijk onderzoek is de afgelopen jaren door RWO bureaus verricht, vooral het Bureau Onderzoek van Onderwijs van de R.U. Leiden (voor een overzicht, zie Wilbrink en Voorthuis, 1987 hoofdstuk 2.3; zie ook Crombag, v.d. Drift en Vos, 1985). De werkelijke studielast van de propedeuse onder de twee-fasenstrcutuur ligt dicht ligt bij de gestelde norm van 1680 uur.

Naast een indruk over de totale studielast van een onderwijsprogramma is het vooral de verdeling van de tijdbesteding die van belang is, en wel in twee opzichten. Allereerst de verdeling over cursusonderdelen, en dat in relatie tot de begrote omvang van die cursusonderdelen in studiepunten. Maar van niet minder belang is de verdeling van de tijdbesteding over het kalenderjaar, tot en met die over ieder afzonderlijke week. Het zijn juist deze gegevens over de tijdbesteding die aanwijzingen kunnen geven dat de huidige cursus- en examenprogrammering de studenten dwingt of uitlokt tot een minder doeltreffende verdeling van de eigen tijdbesteding over de week en over het jaar (Crombag, v.d. Drift en Vos, 1985).

Voor een vergelijking van het tijdbeslag dat de diverse cursussen vragen, kunnen tijdbestedingsgegevens door middel van enkele enquêtevragen worden verzameld bij ieder tentamen. Op deze wijze kan ook een indicatie voor de studielast van het gehele onderwijsprogramma worden verkregen.
Voor de wijze waarop studenten de tijdbesteding over de week verdelen, en in de voorbereiding op tentamens of tentamenperioden, is een intensievere vorm van onderzoek nodig. Uit tot op heden verricht onderzoek komt echter een tamelijk goed beeld naar voren van de factoren die een doeltreffende tijdbesteding voor de student in de weg staan: men kan in de cursus- en examenprogrammering de knelpunten ook zonder dergelijk onderzoek wel aanwijzen, en adequate maatregelen nemen (Crombag, v.d. Drift en Vos, 1985).

De doorstroming van studenten kan aanwijzingen opleveren dat de wijze waarop studenten de tijdbesteding verdelen, voor verbetering vatbaar is (zie hoofdstuk 13).

12.4 aanbevelingen m.b.t. studielasten
Er zijn geen a priori normen voor het waarderen van de zwaarte van cursussen. Controle op de juistheid van de normering zal minimaal bestaan uit een signaleringssysteem (een 'piepsysteem') waarin door zowel studenten als docenten beargumenteerd kan worden aangegeven waarom in een bepaald geval of voor een programma in zijn geheel de studielastnormering te ver bezijden de werkelijkheid staat.

Periodiek zal empirisch onderzoek naar de werkelijke tijdbesteding moeten worden verricht. Een bijzondere eis is dat studiepunten zowel tussen studierichtingen alsook tussen instellingen dezelfde waarde moeten hebben (v.d. Drift en de Gruijter, 1981). Voor het empirisch onderzoek naar de tijdbesteding betekent dit een verdergaande vorm van standaardisering van methoden dan tot nu toe gebruikelijk. De enquetemethode is in de meeste situaties goed bruikbaar, en zou in die gevallen waarin er gerede twijfel bestaat aan de opgegeven absolute omvang van de tijdbesteding kunnen worden vervangen door de veel intensievere tijdschrijfmethoden.

De verslaglegging over werkelijke tijdbesteding kan niet volstaan met gemiddelde tijdbesteding voor bepaalde deelgroepen studenten, maar zal ook aan moeten geven in welke mate er tussen studenten verschillen in tijdbesteding voorkomen, bij voorkeur gerelateerd aan studieprestaties.

13 Doorstroming

Hoe snel en op welke wijze studenten de studie doorlopen is zeker van belang in verband met vragen naar de kwaliteit (bijvoorbeeld de doelmatigheid) van het onderwijs.

13.1 administratieve standaardisering
Het is mogelijk om gestandaardiseerde doorstromingsgegevens te verzamelen, wanneer de meetpunten beperkt zijn tot die welke ook voor de numerieke rendementen worden gebruikt: het gaat dan om het tegen elkaar afzetten van het percentage geslaagden tegen het percentage studenten waarvan bekend is dat zij nog studeren (zie § 11.1).

Voor een meer verfijnd bijhouden van studievoortgangsgegevens moeten eisen worden gesteld aan het centrale administratiesysteem, en de toelevering van de noodzakelijke gegevens door docenten: een doeltreffende administratie van examenonderdelen waarvoor de student aan de verplichtingen voldaan heeft, inclusief het aantal 'studiepunten' voor het betreffende examenonderdeel. Zijn dergelijke gegevens beschikbaar, dan is het mogelijk op gestandaardiseerde wijze de doorstroming goed in beeld te brengen (Zie Jansen en Joostens, 1986, voor voorbeelden). Voor de doctoraalfase kan mogelijk de definitie van wat als het 'cohort' moet worden beschouwd, enige problemen opleveren.

13.2 welke doelen en instrumentele ingrepen zijn in het geding
In de wet noch in de HOAK nota is uitgedrukt dat studenten zo snel mogelijk moeten studeren, integendeel: er wordt studenten nadrukkelijk gelegenheid geboden langer over de studie te doen dan de cursusduur. De beperkte inschrijvingsduur betreft het gebruik van voorzieningen, niet het recht het examen af te leggen. Studenten maken in de praktijk gebruik van dergelijke uitloopmogelijkheden, en hebben daar hun persoonlijke redenen voor: het is niet adequaat om op voorhand van 'studievertraging' te spreken, vandaar de meer neutrale term 'doorstroming'. Of een student 'vertraagd' is, hangt af van duidelijke normen; in dit geval is de enige duidelijke norm de verwachting van de student zelf, gegeven de eigen omstandigheden.

In de wet twee-fasenstructuur is expliciet vastgelegd dat het studieprogramma studeerbaar moet zijn in de cursusduur

13.3 doorstroming en kwaliteitsbewaking
Wie de snelheid van doorstromen wil bestempelen als een kwaliteitsaspect van het onderwijs, moet aangeven waarop men dan het oog heeft. Het kan bijvoorbeeld om doelmatigheid en doeltreffendheid gaan: geen wachtlijsten, geen overdoen van cursusonderdelen, kunnen studeren in het tempo dat de student zelf wenselijk vindt. Voor afzonderlijke tentamens zijn een aantal kwaliteitsindicatoren te formuleren die met tempo van doorstromen hebben te maken, voor een deel al ter sprake gebracht in hoofdstuk 12 bij de tijdbesteding, waaraan toe te voegen is de eis van doorzichtigheid van tentamens, redelijke eisen qua zwaarte (waarvoor het slaagpercentage overigens geen vanzelfsprekende indicator is), en dergelijke.

De grotere vrijheid van de student bij het samenstellen van een vakkenpakket kan ertoe leiden dat de examenregeling voor het doctoraal een ander karakter krijgt dan tot nu toe in ons land gebruikelijk, miner conjunctieve stelsel en meer compensatorisch, niet meer ieder onderdeel 'voldoende', maar voor het gehele vakkenpakket voldoen aan een minimaal gemiddelde (vergelijk het amerikaanse Grade Point Average stelsel). Het kan niet langer zo zijn dat er tijd wordt verspild aan het overdoen van cursussen die voor de student vrije keuze zijn.

Het programma moet studeerbaar zijn in de cursusduur. Doet de 'gemiddelde' student meer dan 1680 uur over de propedeuse, en wordt dat niet binnen het eerste inschrijvingsjaar behaald, dan is het van belang of studenten vinden dat zij wel sneller zouden willen studeren maar daarin door het onderwijs- of examenprogramma belemmerd worden.

13.4 aanbevelingen m.b.t. doorstroming
Een grove indicatie voor de doorstroming is te construeren door naast het numeriek rendement het percentage studenten af te zetten waarvan bekend is (uit latere inschrijvingsgegevens) dat zij nog studeren, en dat te doen voor dezelfde peildata waarop numerieke rendementen worden bepaald. De indicatie is grof, omdat voor relatief veel studenten zal gelden dat zij een groot deel van de benodigde studiepunten al wel hebben behaald.
Een fijner indicatie voor de doorstroming berust op het idee (hier en daar al enkele jaren praktisch uitgevoerd, bijv. Muggen, 1986) om niet te werken met het alles-of-niets criterium 'geslaagd' of 'niet geslaagd', maar het aantal studiepunten te tellen dat studenten op de peildata hebben 'verzameld'. Ook hier moeten studenten die nog studeren worden onderscheiden van studenten van wie bekend is dat zij de studie hebben gestaakt, althans zich niet meer hebben laten inschrijven. De methodiek moet nog worden gestandaardiseerd; een beschrijving is te vinden in Jansen en Joostens (1986).

referenties

A Report on dental education. Tandheelkunde Universiteit van Amsterdam: 1974.

Advies ARHO: Onderwijskundige gevolgen van de nota HOAK. Uitleg nr 62, 10 september 1986.

Advies en Overlegorgaan voor het Hoger Beroepsonderwijs. Beleidsnota. Een systeem van kwaliteitsbewaking in het HBO. januari 1986.

Committee of Vice-Chancellors and Principals of the Universities of the United Kingdom. Performance indicators in universities. Note, 22 july 1986.

Hofstee, W.K.B. Onderwijsmodulen, dossierdiploma's en wat dies meer zij; convergent model beperkt invoeren. Universiteits Krant 15 oktober 1986.

Hoger Onderwijs Autonomie en Kwaliteit (de HOAK nota), Tweede Kamer, vergaderjaar 1985-1986, 19253, nrs 1-2.

Hoger Onderwijs: Autonomie en Kwaliteit. Lijst van vragen en antwoorden, vastgesteld 29 april 1986. Tweede Kamer, vergaderjaar 1985-1986, 19253, nr. 5.

Hoger Onderwijs Overlegkamer: vergaderstuk hoger onderwijs kamer d.d. 10 april 1986. Voorstellen V.S.N.U. / H.B.O. Raad t.a.v. de onderwijskundige elementen en de kwaliteitsbewaking alsmede ARHO advies inzake kwaliteitsbewaking in het hoger onderwijs aangaande de nota Hoger Onderwijs, Autonomie en Kwaliteit.

Kloprogge, notitie over de aanpak van de evaluatie van het onderwijsvoorrangsbeleid. 's-Gravenhage: SVO, 1986).

Notitie met betrekking tot (toekomstige) kwaliteitsbewaking van het onderwijs aan de LUW, G. Muggen.

Over kwaliteit van het onderwijs , COWOG memo, Joostens en Knippenberg, juni 1986.

Overzicht ontwikkelingsplannen/instellingsplannen 1987-1991. ambtelijke notitie voor de UR cie Onderw/Wet van de RUG

Snellen, I.Th.M., over de concept beleidsnota HOAK, Uitleg, 1985, 1e jaargang nr 20, p. 14.

Verscheidenheid en Kwaliteit. VSNU werkgroep deregulering.

Wijnen, W.H.F.W., over de concept beleidsnota HOAK, Uitleg, 1e jaargang 2 mei 1985.

Adviesraad Hoger Onderwijs over de HOAK nota, Uitleg 10 september 1986.

vragen van de vaste kamercommissie, antwoorden van de minister.

literatuur

Avoird, W. van der. Studiepuntenstelsel. Amsterdam: COWO (UvA), 1980.

Berkel, H.J.M. van, A.E. Bax, en J.W. Holleman (redactie). Kwaliteit van hoger onderwijs; bewaking en verbetering. Contactgroep Research Wetenschappelijk Onderwijs. Amsterdam: Versluys, 1985.

Berkel, H.J.M. van, en A.E. Bax. (redactie), Inspectie of interne evaluatie: waarborgen voor de kwaliteit van het hoger onderwijs? Contactgroep Research Wetenschappelijk Onderwijs. Amsterdam: Versluys, 1985.

Berkel, H.J.M. van, 'De kwaliteit van het hoger onderwijs.' Tijdschrift voor Hoger Onderwijs, 1986, 4, #1, 19-28.

Bevers, H., en S. Wiegersma. De invoering van een studiepuntenstelsel in het hoger onderwijs. 's-Gravenhage, Staatsuitgeverij, 1975.

Brenninkmeijer, G., L. Vlijm, en S. Wiegersma. Een convergent model van het hoger onderwijs. Den Haag: Academische Raad, 1983.

Breuker, J.A.P. In kaart brengen van leerstof. Utrecht: Het Spectrum, Aula 801, 1980.

Buis, P. Studiemislukking en studievertraging. 's-Gravenhage, Staatsuitgeverij, 1979.

Cohen, M.J. Contracten in het hoger onderwijs. In H.F.M. Crombag en T.M. Chang (red.). Een kleine zoölogie van het onderwijs. Leiden: 1978.

Cohen, M.J. Studierechten. Zwolle: Tjeenk Willink, 1981.

Cronbach, L.J. and Associates, Toward reform of program evaluation. San Francisco: Jossey-Bass, 1980.

Crombag, H.F.M., K.D.J.M. van der Drift, en P. Vos. De inrichting van curricula en het werkgedrag van studenten. Universiteit en Hogeschool, 1985, 31, 234-247.

Cronbach, L.J. Designing evaluations of educational and social programs. San Francisco: Jossey-Bass, 1982.

Daniëls, M. Over personeelsbeoordeling. Onderzoek van Onderwijs, 1985, 14, 4-6.

Darling-Hammond, L., E.A. Wise, & S.R. Pease. Teacher evaluation in the organizational context: a review of the literature. Review of Educational Research, 1983, 53, 285-328.

Doddema-Winsemius, H., en W.K.B. Hofstee. Operationalisering van effecten van het Onderwijs Voorrangsbeleid, SVO-project 53102, uitgave SVO, 1985).

Drift, K.D.J.M. van der, en D.N.M. de Gruijter. Studiepuntensystemen. Onderzoek van Onderwijs, 1981, jaargang 10 nr 2, 11-15.

Everwijn, S.E.M., en A.G. Vroon. Onderwijskwaliteit en beoordeling van docenten. Onderzoek van Onderwijs, 1984, 13, 56-59.

Groot, A.D. de. 'Is de kwaliteit van onderwijs te beoordelen?' In B.P.M. Creemers e.a. (redactie), De kwaliteit van het onderwijs. Groningen: Wolters Noordhoff, 1983.

Heijnen, G.W.H. De noodzaak van een onderwijsverzorgingsstructuur voor het hoger onderwijs. In A.I. Vroeijenstijn (1981, 95-117).

I.S.A.T. Numeriek rendement, studieduur en herinschrijvingscoëfficiënt. Inter Universitair Statistisch Advies Team, 1986. Secretariaat ISAT: R.U. Leiden, Bureau van de Universiteit, afd. Statistiek, Stationsweg 46 Leiden).

Jansen, E.P.W.A., en Th.H. Joostens. Numeriek rendement of gerealiseerde studiebelastingsuren? Evaluatie van studieprogramma's in de tweefasenstruktuur aan de Rijksuniversiteit Groningen. De studierichtingen Natuurkunde, Pedagogische en Andragogische Wetenschappen, Sociale Georgrafie en Sociologie. Centrum Onderzoek Wetenschappelijk Onderwijs, R.U. Groningen, 1986.

Kickert, W.J.M., 'Afstandelijke besturing van het wetenschappelijk onderwijs?' Universiteit en Hogeschool, 1985, 32, 185-197.

Klijnsma, H-P. Doelmatigheid van Onderwijs; begrippen en methoden. Groningen: Centrum Onderzoek Wetenschappelijk Onderwijs R.U. Groningen, october 1986.

Knippenberg, W.J.M., en F.A.J. Loos. Doelmatig hoger onderwijs? Verhoging van het studierendement. Delft: Delftse Universitaire Pers, 1983.

Lagerwaard, H., en J. Mul. Scripties onderzocht. Leiden: Centrum voor Onderzoek van Maatschappelijke Tegenstellingen, 1982.

Millman, J. (editor). Handbook of teacher evaluation. National Council on Measurement in Edacation. London: Sage, 1981.

Muggen, G. Eindrapport evaluatie op studeerbaarheid propedeuse 1982/1983. Wageningen: Bureau voor Onderwijsontwikkeling en Onderwijsresearch, Landbouw Hogeschool.

Muggen, G. Eindrapport evaluatie op studeerbaarheid DA 1984/1985. Wageningen: Bureau voor Onderwijsontwikkeling en Onderwijsresearch, Landbouw Hogeschool, 1986.

van Naerssen, R.F. Over optimaal studeren en tentamens combineren. Openbare les. Amsterdam: Swets en Zeitlinger, 1970. html

Os, W. van, en G.F. Bernaert 'Kwaliteit moet blijken: het evaluatiesysteem AMOS, in: Van Berkel e.a. (1985).

Os, W. van, G.F. Bernaert en E.J. Kok AMOS-Analyse Model voor het Onderwijs in Studierichtingen. Vrije Universiteit Amsterdam, afdeling Onderwijsresearch, oktober 1984.

Pilot, A., B. Van Hout-Wolters, en H. Kramers-Pals. Schriftelijk studiemateriaal. Utrecht: Het Spectrum

Roe, R.A. Grondslagen der personeelsselektie. Assen: Van Gorcum, 1983.

Roo, A.A. de., 'Accreditering en kwaliteit van opleidingen.' In Van Berkel e.a. (1985a)

Ruyter, C.T.A., N.J. Smit, en G.M.G.M. van Lieshout. Verhoging efficiëntie van onderwijs. Onderzoek van Onderwijs, 1985, 14, 7-11.

Ruijter, C.T.A., en W.M. van Woerden, 'Deregulering gefundeerd op drijfzand: kritiek op de nota Hoger Onderwijs, autonomie en kwaliteit. Universiteit en Hogeschool, 1985, 32, 134-143.

Universiteit en Hogeschool. Themanummer 'Kwaliteitsbeheersing van het universitaire onderwijs.' Universiteit en Hogeschool, 1986, 32, 277-323.

Universiteit en Hogeschool. Themanummer 'Is het studierichtingenstelsel aan vernieuwing toe? Het universitaire onderwijsmodel en de veranderende vraag naar hoger onderwijs.' Universiteit en Hogeschool, 1986, 32, 277-323.

Vroeijenstijn, A.I. (redactie) Kwaliteitsverbetering Hoger Onderwijs. Verslag van het vierde nationaal congres wetenschappelijk onderwijs. Voorburg: Stichting Nationaal Congres, 1981.

Wiegersma, S., L. Vlijm, en G. Brenninkmeijer, Kwaliteit van het wetenschappelijk onderwijs. Den Haag: Academische Raad, 1985.

Wijk, H.D. van, en W. Konijnenbelt. Hoofdstukken van administratief recht. 's-Gravenhage: VUGA, 1976.

Wilbrink, B. Enkele radikale oplossingen voor criterium gerefereerde grensskores. Tijdschrift voor Onderwijsresearch, 1980, 5. html

Wilbrink, B., en W.K.B. Hofstee. Docentbeoordeling. Onderzoek van Onderwijs, 1984, 13, 52-55. html

Wilbrink, B., en M. Voorthuis. 'Studielast, rendement, en functies propedeuse in de twee-fasenstructuur: relaties tussen wetgeving, theorie en empirie'. Den Haag: Ministerie O en W, 1987, in voorbereiding (literatuurstudie, project Evaluatie twee-fasenstructuur).html

Willems, J., en L. Wolters. Kiezen van didactische werkvormen. Utrecht: Het Spectrum, Aula806, 1980.

Wortman, P.M. Evaluation research: a methodological perspective. Annual Review of Psychology, 1983, 34, 223-260.

Young, K.E., C.M. Chambers, H.R. Kells, e.a. Understanding accreditation.. San Francisco: Jossey-Bass, 1983.

9-2004 \ contact ben apenstaartje benwilbrink.nl

http://www.benwilbrink.nl/publicaties/86KwaliteitsbewakingVSNU.htm