Niet echt een project, maar het zou de moeite waard zijn hier wel iets moois te laten bloeien.
Examinations compared: the international perspective. (literature)
Visitatie Electrotechniek 2004
Literatuur Toetsen en Examens
De opleidingen electrotechniek aan de drie technische universiteiten zijn in 2004 gevisiteerd. Het rapport is in december verschenen, uitegegeven door de
Stichting Quality Assurance Netherlands Universities (QANU) www.qanu.nl, het accreditatie-instituut, een nieuw bestuurlijk speeltje. In een gedachtenwisseling over mogelijk minder goede aansluiting tussen vwo en techniek-opleidingen wat de wiskundige bagage van studenten betreft, was het nuttig deze visitatie te bestuderen. Een aardige start van deze pagina, hoop ik.
Het rapport is een brei van woorden. Gedenk die wethouder van huisvesting die werkte vanuit de opvatting dat je in geouwehoer niet kunt wonen.
Ik zeg dit niet omdat ik uit mijn humeur ben, maar het is het kernprobleem van de kwaliteit van ons onderwijs: eindeloos geouwehoer, altijd hetzelfde soort maatregelen die eerder ook niet tot de gedroomde resultaten hebben geleid. Het is werkelijk verbazingwekkend te zien hoe een aantal harde jongens in de commissie het toestaan dat er zo'n papieren tijger wordt gefabriceerd. (117 blz., ik geef toe: het kan erger)
Ik zal het aan de hand van een paar punten operationaliseren, anders maak ik me zelf ook schuldig aan wat ik juist kritiseer.
Over het wiskunde-onderwijs in het vwo, de aansluiting op het onderwijs electrotechniek, en de motivatie van leerlingen/studenten wordt heel wat geroepen, maar ik mis iedere feitelijke onderbouwing. Er staan wel wat makkelijk voorhanden zijnde statistische gegevens in, maar zonder de juiste interpretatie heb je daar geen donder aan. Dat is trouwens kenmerkend voor het visitatierapport, voor al dit soort rapporten die ik in de loop van vijftien jaar langs heb zien komen, en al helemaal voor de startnotitie van Jan Franssen en zijn commissie voor het accreditatie-instituut, maar dat is weer een ander verhaal.
Ik heb in mijn opleiding (experimentele psychologie) en werk (onderwijsonderzoek) meegekregen dat de empirie beslissend is bij alles wat je zegt, en dat je dus verdomd goede gegevens moet verzamelen voordat je uitspraken gaat doen.
Wat zeker is: het vwo is veranderd, het wo trouwens ook. Je kunt er overigens vergif op innemen dat de veranderingen oppervlakkig zijn vergeleken bij wat er hetzelfde is gebleven. Mogelijk is er een trend in de richting van steeds meer kletsika in plaats van kennis, van vervangen van steeds meer authentiek onderwijs door oefening in vaardigheden die nauwelijks te oefenen zijn. Eigenlijk zou het best interessant zijn eens een poging te doen om dat aan te tonen, wat betekent dat je gegevens over tijdbesteding moet gebruiken. Maar dat is een zijpad. Waar gaat het om: ik ben in het visitatierapport niets tegengekomen dat mijn hypothese ontkracht dat de wiskundige bagage van de huidige generatie studenten niet aantoonbaar minder of slechter is dan die van voorgaande.
Een volgende punt dat zeker is: de tijdbesteding van studenten is belazerd laag (30 uur per week). De commissie vindt daar maar niks, en daar heeft ze groot gelijk in. Een opleiding die toestaat dat studenten met zo weinig investering van tijd wegkomen, doet zijn studenten grotelijks tekort. Onderzoek op dit gebied laat natuurlijk zien dat bestede tijd en behaalde resultaten sterk samenhangen, maar vooral dat de hoeveelheid contacttijd bepalend is voor de totale hoeveelheid tijd die studenten besteden. Vanuit mijn eigen hobby wil ik daar nog wel aan toevoegen dat de inrichting van de examenregeling een verdomd belangrijke factor is (zie ook proefschrift van Janke Cohen-Schotanus, geneeskunde Groningen). Ga daarmee aan de slag, zou ik tegen de opleidingen zeggen, en laat je niet frustreren door een vermeend tekort aan wiskundige ondergrond bij je instromers.
Een keihard gegeven in het visitatierapport is het werkelijk belazerde rendement dat deze opleidingen de wereld durven tonen (ca 30% haalt de propedeuse op tijd, 60% na drie jaar, 45% studeert af). Daar is geen enkel excuus voor, het is een schande. Misschien is er een enkele verzachtende omstandigheid, die zou ik dan zoeken in de macho-cultuur van de betreffende discipline, maar dat is natuurlijk ook geen uitvlucht. Behalve dan dat die cultuur internationaal is.
Ik wist wel dat de rendementen voor technische opleidingen laag waren, maar van deze cijfers ben ik toch nog weer geschrokken. Geen wonder dat vwo-leerlingen het massaal laten afweten bij hun studiekeuze.
De grote vraag is wat je aan die lage rendementen kunt doen. De vorige eeuw zijn er heel wat commissies mee bezig geweest, o.a. in de vijftiger jaren voor de Hogeschool Delft, gekoppeld aan een intensief 'drop-out'-onderzoek, en in de zestiger jaren een commissie van de Academische Raad, opgevolgd door regeringscommissaris Posthumus. Begin negentiger jaren is Riekele Bijleveld op het onderwerp gepromoveerd, onderwijskunde Twente, maar tot mijn starre verbazing kwam hij niet verder dan een opsomming van maatregelen die iedereen altijd al bedenkt, en die dus een onderdeel van het probleem in plaats van van de oplossing moeten zijn.
Kijk, het heeft iets te maken met heldere criteria. We moeten af van de gemakzucht van de vergelijkende beoordeling. Houd af en toe maar eens een maand salaris in van een hoogleraar die zich eraan schuldig maakt, die alleen maar kan stamelen dat afgewezen studenten het minder goed deden dan de anderen. Ik neem aan dat ingenieurs toch ook wel weten dat de helft van wat dan ook het minder goed doet dan de andere helft, in wat dan ook.
Operationaliseer het dan verder door het te verbinden met tijdbesteding van die studenten. Ontwerp je examenregeling bovendien zo dat (1) studenten uitgenodigd worden hun uiterste best te doen en in ieder geval geen uitstelgedrag meer te vertonen, en (2) verliestijden tot een draaglijk minimum worden gereduceerd.
Natuurlijk zullen er ook dan nog heel wat studenten vertrekken, maar dan kun je er veel beter voor zorgen dat ze met een behoorlijke bagage omzwaaien naar een studie waarvan ze hebben ontdekt dat die hun beter ligt, of naar dezelfde studie maar dan op hbo-niveau omdat ze ontdekt hebben geen affiniteit met het academische te hebben maar juist wel met het praktische. Dit is trouwens ook wat in de 50-er jaren al was ontdekt: de uitvallers in Delft kwamen niet in de maatschappelijke goot terecht, maar bleken vooral op hts-niveau met het vak door te gaan: daar kun je dus simpel een win-win situatie van maken. Goed voor de PR van de technische opleidingen.
Ik kom met deze analyse-in-grote-lijnen ergens anders uit dan bij een aansluitingsprobleem qua wiskundige kennis. Maar opleidingen kunnen dat probleem meenemen als men werkelijk wilt investeren in een herschikking van het onderwijsprogramma (contacttijd verhogen) en examenregeling (verliestijd reduceren), en tevens opvoering van de totale tijdbesteding (= kwaliteit). Expertise komt naar de mate van geïnvesteerde tijd, daar is trouwens heel wat verdomd interessante literatuur over. Aan de opleiding om de condities te scheppen dat die investering ook wordt gedaan, uiteraard op een verstandige manier.
ToetsWijzer is waarschijnlijk de beste plaats om te beginnen met een speurtocht naar wat er op (Nederland's) internet beschikbaar is aan informatie over toetsen en examens en tal van daaraan gerelateerde zaken.
De Nederlandse Vereniging voor Examens site. Zie daarop bijvoorbeeld het materiaal beschikbaar voor 'Toetsing en toetsanalyse: hier.
Cambridge Assessment Advisory Council for New Developments in Educational Assessments site
The Journal of Technology, Learning and Assessment JTLA.
The Journal of Technology, Learning and Assessment (JTLA) is a peer-reviewed, scholarly on-line journal. The JTLA was established in response to a growing interest in the intersection of computer-based technology, learning, and assessment. The JTLA provides an interdisciplinary forum where initiatives that combine technology, learning theory, and assessment are shared. The JTLA is housed jointly in the Technology and Assessment Study Collaborative (inTASC) and the Center for the Study of Testing, Evaluation and Educational Policy (CSTEEP) at Boston College.
Technology Assessment Study Collaborative inTASC.
nTASC is a not-for-profit research group that works collaboratively with schools, educational institutions, and businesses on research and development related to technology and assessment.
Among others:
http://www.testpublishers.org/Documents/JATT_Yang_et_al_final.pdf
http://www.testpublishers.org/Documents/JATT2005_rev_Criteria4CBT_RMLuecht_Apr2005.pdf
http://www.testpublishers.org/Documents/Creating Better Tests for Sandra Thompson and Martha Thurlow (2004). Everyone Through Universally Designed Assessments pdf
Center for Assessment NCIEA.
The Center for Assessment's mission is to help improve student achievement through enhanced assessment and accountability.
Publications available for download page
The National Board on Educational Testing and Public PolicyNBETPP.
The National Board on Educational Testing and Public Policy monitors tests for appropriate use and technical adequacy. The Board focuses primarily on tests that are highly consequential for students, teachers, and schools. These include tests used in making admissions, promotion, or graduation decisions and tests used to evaluate schools and school reform.
Board reports download page. For example:
Joseph Pedulla, Lisa Abrams, George Madaus, Michael Russell, Miguel Ramos, and Jing Miao (2003). Perceived Effects of State-Mandated Testing Programs on Teaching and Learning: Findings from a National Survey of Teachers pdf.
Marguerite Clarke, Arnold Shore, Kathleen Rhoades, Lisa Abrams, Jing Miao, and Jie Li (2003). Perceived Effects of State-Mandated Testing Programs on Teaching and Learning: Findings from Interviews with Educators in Low-, Medium-, and High-Stakes Statespdf
National Center for Research on Evaluation, Standards, and Student Testing CRESST.
http://www.benwilbrink.nl/projecten/toetsen_examens.htm