Dit is een soort startpagina over het onheil van prestatie-indicatoren, vooral in het onderwijs. Toegangen tot rapporten, kritische analyses, wetenschappelijke achtergronden (of het gebrek daaraan).

Prestatie-indicatoren (indicator systems)


Ben Wilbrink



Ranglijstjes van scholen worden steeds gewoner, maar wie heeft reden om daar terecht blij mee te zijn? In De Volkskrant van maandag 7 februari 2011 een overzicht waar de in ernstige informatienood verkerende ouder zoal terecht kan. De Volkskrant is slordig met het opgeven van URLs, de URLs hierbeneden zijn in ieder geval vandaag 7 februari correct:


De Onderwijsinspectie: http://www.onderwijsinspectie.nl/ voor groene en rode kaarten voor scholen.


Elsevier: http://www.elsevier.nl/web/Nieuws/Nederland/286390/Elsevieronderzoek-de-Beste-Scholen-2011.htm?rss=true


Trouw: http://www.trouwcommunities.nl/onderwijs/schoolprestaties.html


VO-Raad: http://www.schoolvo.nl/


Zie ook de pagina over het idee dat meer concurrentie in het onderwijs weldadig zou werken, en de pagina met literatuur en annotaties op het onderwerp ranglijsten (universiteiten, scholen).



Een fantastisch document voor de kick-off:


Sharon L. Nichols and David C. Berliner (2005). The Inevitable Corruption of Indicators and Educators Through High-Stakes Testing. Education Policy Studies Laboratory, Arizona State University pdf (180 pp.).


J. R. Lockwood, Daniel F. McCaffrey, Laura S. Hamilton, Brian Stecher, Vi-Nhuan Le, and José Felipe Martinez (2007). The Sensitivity of Value-Added Teacher Effect Estimates to Different Mathematics Achievement Measures Journal of Educational Measurement Spring 2007, 4, 47-67

Randolph Sloof and Mirjam van Praag (2005). Performance measurement, expectancy and agency theory: an experimental study. University of Amsterdam and Inbergen Institute. SCHOLAR project. pdf

Daniel M. Koretz, Daniel F. McCaffrey and laura S. Hamilton (2001). Toward a framework for validating gains under high-stakes conditions. (CSE Tech. Rep. 551). Center for the Study of Education. pdf

Harold Berlak (2001). Yes, President Bush, Johnny's Test Scores May Be Up, But Can He Read? Center for Education Research, Analysis, and Innovation, School of Education, University of Wisconsin-Milwaukee http://www.asu.edu/educ/epsl/EPRU/point_of_view_essays/cerai-01-10.htm [Dead link? May 3, 2009]

Peter Afflerbach (2004). High Stakes Testing and Reading Assessment. National Reading Conference Policy Brief. doc

John H. Bishop (2005). High School Exit Examinations: When Do Learning Effects Generalize? . Cornell, Center for Advanced Human Resource Studies Working paper 05-04 http://www.ilr.cornell.edu/depts/cahrs/downloads/PDFs/WorkingPapers/WP05-04.pdf [Dead link? May 3, 2009]

Stephen W. Raudenbush (2004). Schooling, statistics, and poverty: Can we measure school improvement? The ninth annual William H. Angoff Memorial Lecture was presented at Educational Testing Service, Princeton, New Jersey, on April 1, 2004. pdf

Anneke van der Hoeven-van Doornum (2005). Development on scale, instruction at measure. OBIS, a system of value added indicators in primary education. Nijmegen: ITS. ISBN 90-5554-286-5 pdf


R. Bosker, J. Fond Lam, H. Luyten, et al. (1998). Het vergelijken van scholen. Enschede : Universiteit Twente. ISBN 9036512204


Jaap Scheerens (1999). School effectiveness in developed and developing countries; A review of the research evidence. doc


Walt Haney, George Madaus, Lisa Abrams, Anne Wheelock, Jing Miao, and Ilena Gruia (2004). The Education Pipeline in the United States, 1970-2000. Education Pipeline Project, National Board on Educational Testing and Public Policy, Center for the Study of Testing, Evaluation, and Educational Policy, Lynch School of Education, Boston College, Chestnut Hill, MA 02467 pdf


Brendan A. Rapple (1994). Payment by Results: An Example of Assessment in Elementary Education from Nineteenth Century Britain. Education Policy Analysis Archives, vol. 2, pdf


E. E. White (1888). Examinations and promotions. Education, 8, 519-522. In Madaus and Kellaghan 1992, 125, wordt hierop teruggegrepen:


Rankings - Lead Tables - Lijsten


See the rankings page for details on world rankings of universities or national league tables of schools.




site




Amy N. Langville & Carl D. Meyer (2012). Who's #1? The Science of Rating and Ranking. Princeton University Press. site




H. G. Morrison & P. C. Cowan (1996). The state schools book: A critique of a league table. British Educational Research Journal, 22

241-249. p. 243: The focus of this article is not the performance tables but the use newspapers make of such data in order to compile simplistic league tables with questionable measurement properties.


Universities




abstract



abstract




Frans A. van Vught & Frank Ziegele (Eds.) (2012). Multidimensional Ranking. The Design and Development of U-Multirank. Springer. abstract


Ik zit hier helemaal niet op te wachten, maar het is toch wel nuttig om een actueel overzicht van de problematiek bij de hand te hebben. Als het even kan, dan laat ik dit boek gesloten. Al dat gedoe met ranglijsten gaat naar mijn overtuiging ten koste van wetenschappelijk onderwijs en onderzoek, niet ten bate ervan. Het levert werk op voor drommen ambtenaren en ranglijstonderzoekers, die daarmee op hun beurt weer legioenen universiteitsadministrateurs en wetenschappers van hun eigenlijke werk afhouden.



Berlin Principles on Ranking of Higher Education Institutions pdf


the mechanics of ranking


Rankings may look rather simple - 1. Harvard University; 2. Cambridge University; etcetera - but the ranking methods, more often than not, are rather complex while the interpretation of the data used is far from evident. Take for example the THES 'The World's top 200 universiteits' 2006 (see reference and annotation below). The ranking is done on an overall score composed from the following subscores


This is a set of indicators that is rather remarkable for the items that are used as indicator, and the items that have not been used. Better scores on the indicators used are for sale in the market place. The one truly important indicator missing, therefore, is fthe inancial assets of the universities.

It is the kind of problem that Alexander Astin has warned for repeatedly, using the hospital analogy. Very rich and highly selective hospitals admitting only patients that are healthy, will score very high on indicators of the kind that THES uses for universities. Therefore, the THES indicators - more about them here below - are highly misleading, because they do not allow any interpretation on which universities are making the best of the resources they have.


Dutch universities in the THES top 200


The THES reports the subscores of every university. If one wants to check whether, for example, the University of Amsterdam has something special, one may do so (a nice peer review score seems to have done the trick). The reported subscores have been scaled bij assigning 100 points to the instution scoring highest.


Highest scoring institutions and their runner up on the indicators used


The table illustrates the phenomenon already known from the school's sports day, or the Olympic Games; differences between the players in the abolute top are relatively large. The next observation is that on the lesser indicators the best institutions are not generally known to the public. That illustrates the problem of choosing adequate indicators to use in a world wide ranking such as this one.

"There remain issues about the advantages enjoyed by English-language universities and those institutions with a base in science and medicine, but there will be continuing efforts to level the playing field as far as is practicable."

The Times Higher, October 6 2006 World University Rankings Editorial p. 2


The English language itself, indeed, is a positive asset here. The THES editorial is aware of the fact that the playing field is not exactly level, but does not mention the financial assets problem. If the idea here is that it is fair to take only achievements into account, why then is the process variable of the student/staff ratio given some weight? Why not finance also? You see, the point is that Harvard might spend its dollar in reckless ways, while continental European universities really try to get the best value for their euro. It is now well known that Harvard's quality of instruction is way out of line with its prestige (Bok, 2006), to give but one incisive example. Ince himself, in 'How the land of the free charged right to the top' mentions the sobering fact that US universities take only 55 places in the top 200, compared to Europe's universities' 88, an indication that the university dollar is spent less well than the university euro.


The ranking methodology is complex and tricky, and surely will not be identical from year to year. There have been some changes in the 2006 methodology; for example, "a shift from measuring ten years of citations to five." Ponder this: in just about five or ten years the methodology might radically differ from that used in 2006. Are you willing to bet on today's method by letting your investment decisions depend on what their effects might be on these rankings? The effects might materialize only after five or ten years, isn't it?


the peer review (40%)
Martin Ince, the coordinator of the rankings and contributing editor to the THES, describes the procedure for the peer review, and some other methodological issues, in the October 6 edition, partly available here also.
The peers were 3,703 academics, each was "asked to name up to 30 universities they regard as the top institutions in their area." Ince: "This is a robust and simple test, and is almost immune to fraud."


the recruiter review (10%)
The reviews are supposed to be qualitative measures, they determine 50% of the total score (this is not an exact way of expressing what is actually counted, I follow Ince here). The graduate recruiters, a sample of 736, "were asked which universities they like to recruit from."

No, Ince does not disclose exactly how the sample was obtained, what was asked from these recruiters, etcetera.

Neither does he comment on selective admissions. As an Englishman he must be aware of the selectivity factor, yet in the recruiter review he allows the selective universities to cash in on qualities of their alumni that they might have bought (=selected for), not taught (=educated).


the faculty/student score (20%)
The scores in this rubric are remarkable, to say the least. I do not think the student/staff ratio is less reliable than the other indicators, yet the relation to the world rank score seems to be nil. The first place is for (13) Duke, the second for (4=) Yale, the third for (67) Eindhoven University of Technology. Watch who have not made it here in the top twenty: Cambridge is 27th, Oxford 31st, Harvard 37th, Stanford 119, Berkeley 158. This is one more illustration that universities fiercely competing for prestige (see Brewer et al.) tend to let their students pay at least part of the bill.


"We measure teaching by the classic criterion of staff-to-student ratio." Now this is asking for trouble, as Ince is well aware of. Who is a student, who is a teacher? In the medieval universities these were activities, not persons. Is it much different nowadays? How much? Much more problematic are the following Ince disclosures.

INCENTIVES TO LIE

"This [the staff-to-student ratio] is captured by asking universities how many staff and students they have.(...)

We ask universities to count people studying towards degrees or other substantial qualifications, not those taking short courses.(...)

We ask universities to submit a figure based on staff with some regular contractual relationship with the institution."


Every administration will creatively fill out the THES/QS forms asking them for the figures on students and teachers, this much is absolutely certain. If only because they will be convinced other administrations will do so. Ince does not mention any counter-measure, hopefully the THES/QS people have a secret plan to detect fraudulent data.

One of the reasons for trusting the university administration seems to be that there is no universal official statistic that could be used instead. Even so, official statistics are not therefore free of fraud.


For Dutch readers: In Nederland hebben we de amusante episode gehad van de spookstudenten-opwinding, aangeblazen door Wim Kok op basis van onjuiste informatie (een telefoontje als check had dat recht gezet), onderzocht door o.a. ondergetekende html. Spookstudenten bleken niet te bestaan, maar er zijn wel heel wat manieren om dubbel ingeschreven te staan voor van alles en nog wat, en dat schept ruimte voor universitaire rekenmeesters om met aantallen te schuiven. Zoiets gebeurt ook met het ophoesten van gegevens om numerieke rendementen te berekenen (percentages geslaagd voor de propedeuse, etc), zie daarvoor Voorthuis en Wilbrink (1987) bij de evaluatie van de wet tweefasenstructuur html.


the citations/faculty score (20%)
The data used here are from Thomson's Essential Indicators database, see this page. How much: "more than 40.000 papers and more than a million citations each for Texas and Harvard universities, the world's top two generators of scholarship on this measure" over the recent five year period. "To compile our analysis, we divide the number of citations by staff numbers to correct for institution size and to give a measure of how densily packed each university is with the most highly cited and impactful researchers." Ince does not mention whether this number of staff is different from that used in the student/staff ratio, presumably it is the same number.

From the THES analysis: "The reason for Caltech's dominance is clear. It has fewer than 1,000 undergraduates but 1,200 postgraduates and 1,200 academic staff, not including visitors. An they are concentrated in high-impact areas, mainly science and technology, with a growing emphasis on the life sciences." The Dutch high ranking university here, placed 8, is Erasmus University Rotterdam, it "has gained its position by well-cited medical publishing."

Well, having seen the Thomson website, there seems to be a vast industry making a living of the scientific publications in this world. Which Big Brothers are paying for this unproductive industry? Quite amazing, really.


the number of 'overseas' students and staff (together 10%)
Ince does not have much to say on the why and how of this measure. The increasingly international nature of higher education is the reason, a case of mistaken historical identity? The how is not answered at all, probably the institutions themselves fill out the THES/QS questionaires, and that's it.


which institutions, what disciplines?
Ince: "We gather data on universities that teach undergraduates only." ['only' refers to the gathering, not the universities] Wow, that is a true confession. Ince's point is that "this eliminates many high-quality specialist institutions such as Rockefeller University and the University of California, San Francisco, both of which are postgraduate medical institutions."

At this point I do no longer think that I can understand what exactly has been ranked in the THES pages. Probably Ince is ambiguous in his statement above, and the rankings are not restricted to everything undergraduate. The existence of postgraduate institutions within the university poses a serious problem in this ranking business, and taxes the honesty of university administrations in their reporting of the numbers of staff. Also, I do not know whether Thomsom registers exactly how authors are affiliated, I suspect THES/QS might use the Thomson data to decide cases.

These rankings might be somewhat honest as far as broad universities are concerned. Better would be to compare the same departments on a global scale. That is exactly what the THES does by reporting separately the rankings in the arts and humanities, technical science, medicine, and the social sciences.


top 100 biomedicine (THES October 14, 2005)
The only Dutch universities who have made it in this league are 55 (51) Erasmus and 71 (63) Amsterdam University. The bracketed figures are the 2004 rankings. Irregularities in the ranking are produced by some institutions being left out because they do not teach undergraduates, others because they did not publish at least 5000 papers, and Beijing University, placed 8 (11) may have been handicapped by their researcher publishing little in English.


top 100 social sciences (THES October 21, 2005)
Harvard comes first, London School of Economics second. Then 21 (20) Erasmus, 44 (-) Amsterdam University, and 72 (77=) Maastricht. The ranking is based on the peer score only.


top 100 social sciences (THES October 27, 2006)
Oxford now first. 30= Amsterdam University, 37 Erasmus, 76 Utrecht, 82 Maastricht, 84= Leiden. "The London Business School is not listed here because it does not teach undergraduates, but it is a free-standing college of the University of London."


top 100 arts and humanities (THES October 21, 2005)
"Massachusetts Institute of Technology appears in our arts table at number 12, unchanged from last year, presumably on the basis of its small but highly visible work in art and music. It is also seventh in the social sciences. Its best-known social scientist, political activist Noam Chomsky, was at one stage in his career the world's most-cited social scientist."

Dutch: 56= (37) Amsterdam University, 74 (-) Erasmus, and (1) 79 (-) Delft.


top 100 arts and humanities (THES October 27, 2006)
21 MIT; 24 Amsterdam University; 53 Leiden; 63 Utrecht;


top 100 science and engineering (THES October 7, 2005)
I must look it up.


top 200 institutions (THES October 28, 2005)
I missed this one. Can anybody send me the article as published on the THES site?



The THES 2006 ranking


See the rankings page for details on world rankings of universities or national league tables of schools.


gif/presind1.jpg

The figure shows that the position in the peer ranking does not predict that in the citations-ranking, and vice versa, Van Raan, 2005 (vertically: expert scores; horizontally: citation-analysis based scores. All data from the 2004 THES). Van Raan: "This result is sufficient to seriously doubt the value of the THES ranking study." If in doubt abouit this doubt, take the THES data and compute some correlations yourself.


The critical review of the THES ranking I have just given is rather superficial. After all, I am not an expert in ranking universities etcetera. A more incisive critique is to be found in Anthony F. J. van Raan (2005). Challenges in Ranking of Universities. pdf


One of the remarkable facts is that rankings tend to be constructed in very, very different ways. For example, the THES uses peer reviewers assessing contemporary quality of research (in a way that is kept completely intransparant by the THES), while Shanghai ARWU uses the achievements of the past, such as Nobel Prizes, and bibliometric data from 1981 until 1999. The problem resulting from those erratic ranking methods is illustrated in the Van Raan figure reproduced here: the THES and the RAWU ranking have nothing in common, meaning that the position in the THES ranking does not predict the RAWU position, not even a little bit. Except, of course, the absolute top taken by Harvard, Cambridge, etc.

Van Raan is an expert in bibliometrics, and bibliometric data are a major ingredient in any ranking taking itself seriously. Therefore one should take notice of what Van Raan has to say about the (lack of) reliability of blibliometric data. For example, a rather large proportion of references in scientific artcles turn out to be faulty, and therefore will not count as a valid citation. Another major problem is the correct and unambiguous naming of the institution the author is affiliated with. A sensible policy for your institution, therefore, is for its personnel to be abolutely on these points in getting their articles published.


Melville L. McMillan and Wing H. Chan (2006). University Efficiency: A Comparison and Consolidation of Results from Stochastic and Non-stochastic Methods. Education Economics, 14, 1-30.

Philip Andrew Stevens (2005). A Stochastic Frontier Analysis of English and Welsh Universities. Education Economics, 13, 355-374.

Schools


achter de schermen


"De rector vroeg [Herman Koch] maanden voor de examens of hij thuis wilde blijven, want hij stond er zo slecht voor dat hij het schoolgemiddelde wel naar beneden móest halen."

Robin Gerrits (19 mei 2009). Eindexamens 2009. Herman Koch. Over het examen Nederlands. De Volkskrant, p. 2.


United Kingdom's lead tables



H. G. Morrison & P. C. Cowan (1996). The state schools book: A critique of a league table. British Educational Research Journal, 22

241-249. fc uit het abstract: Structural equation modelling is used to analyse one of Britain’s most widely disseminated league tables, The Sunday Times State Schools Book. It is demonstrated that the table fails to meet any of the technical requirements which would assure its internal construct validity and its technical shortcomings are shown to impact adversely on a large number of schools. Finally, it is argued that modern validity inquiry effectively rules out the creation of ‘valid’ league tales purporting to rank schools according to quality. p. 243: The focus of this article is not the performance tables but the use newspapers make of such data in order to compile simplistic league tables with questionable measurement properties.


Stephen Gorard & Emma Smith (2010). Equity in Education. An International Comparison of Pupil Perspectives. Palgrave Macmillan. sample chapter 1

<


Sally Thomas, Wen Jung Peng & John Gry (2007). Modelling patterns of improvement over time: value added trends in English secondary school performance across ten cohorts. Oxford Review of Education, 33, 261-295.abstract [zwakke scholen, zeer zwakke scholen: alleen op basis van random fluctuaties, of is er toch meer aan de hand?]

Gary Eason (January 11, 2007). Tables turned: changes this year. BBC News html

Inspectie van het Onderwijs

De kwaliteitskaart van de Inspectie van het Onderwijs.

Inspectie van het Onderwijs (2003). Toezichtkader Voortgezet Onderwijs. Inhoud en werkwijze van het inspectietoezicht conform de WOT. www.kwaliteitskaart.nl/Documents/pdf/Brochure_toezichtkader_VO [niet meer beschikbaar 2-2008]


Het CPB blaast ook een deun mee, nog meer verwarring.


De volgende publicaties van het Centraal Planbureau zijn het onderwerp in deze Bon blog 6874 11 mei 2010. Het springende punt is dat het CPB op basis van statistische analyse meent dat scholen met succes beleid hebben gezet op hun relatief niet zo mooie positie in de trouw hitlijst. Ik heb die kritiek toegespitst op het buiten beschouwing laten van regressie naar het midden. In een kortere publicatie in ESB merken de auteurs daar wel iets over op, maar dat neemt het bezwaar niet weg. Het is overigens niet een discussie over statistische technieken. Het wezenlijke punt is dat eigenlijk nooit consistent is aangetoond dat er systematische effectiviteitsverschillen tussen scholen zijn, rekening houdend met verschillen in de instroom van leerlingen bijvooreeld. Godad & Smith (2010) gaan er in hun hoofdstuk 2 in samenvattende zin nog even diep op in. Als verschillen tussen scholen strikt toevallig zijn, dan mag je over een korte reeks van vier jaren verwachten dat 1 op de 16 scholen er telkens positief uitkomt. Dat is precies wat Thomas, Peng & Gry (2007) vinden (zie hierboven, eveneens voor het boek van Gorard & Smith).


Pierre Koning en Karen van der Wiel (2010). Ranking the schools. How quality information affects school choice in the Netherlands. CPB Discussion Paper 150. PDF

Pierre Koning en Karen van der Wiel (2010). School responsiveness to quality rankings. An empirical analysis of secondary education in the Netherlands. CPB Discussion Paper 149. PDF

Pierre Koning en Karen van der Wiel (2010). Kwaliteitsinformatie middelbare scholen maakt verschil. Economisch Statistische Berichten, 95, #4585, 14 mei, 294-297.


Elsevier/Inspectie-lijsten 2009


Elsevier rekent met eindcijfers Januari 2009 publiceert Elsevier lijsten met gegevens van bijna alle middelbare scholen in Nederland, gebaseerd op de gegevens van de Inspectie Onderwijs, met een eigen bewerking en oordeel. Dat heet dan de beste scholen, en dat geeft meteen het probleem aan: deze vlag dekt de lading niet. Elsevier legt uit hoe ze op basis van de Inspectiegegevens een eigen oordeel vormen, dat ze harder noemen. Waarom er een harder oordeel van kwaliteiten van scholen nodig is? Dat bepalen de plaatsvervangende goden in de burelen van Elsevier. In ieder geval: per school staan er een aantal interessante kengetallen op een rijtje. Is dat goed, of is dat niet goed? Beide. Getallen op zich zeggen weinig, daar is interpretatie bij nodig. De Inspectie doet dat ook wel zo goed mogelijk, in hoor en wederhoor met de betrokken scholen. Elsevier doet dat niet.

Ik geef een voorbeeld. Elsevier maakt veel werk van gemiddelde cijfers van schoolonderzoeken versus centraal schriftelijke eindexamens (zie ook mijn analyse van standpunten van Jaap Dronkers hierover hier). Er is geen nuance in te bekennen. Wel de opmerking dat een hoger percentage APC-leerlingen (leerlingen die wonen op een postcode in achterstandsgebieden) samen lijkt te gaan met relatief hogere schoolonderzoekcijfers t.o.v. die van het schriftelijk examen, waarbij ze suggereren dat scholen deze leerlingen dus matsen, waardoor ze na het zo behaalde eindexamen maatschappelijk minder zullen presteren dan anderen. Dit is een voorbeeld van onhandig omgaan met kengetallen van scholen. Mij zeggen die kengetallen op zich weinig tot niets. Het is hetzelfde probleem dat ik heb met de vraag van een student: er zijn bij mijn laatste tentamen wel 70% onvoldoendes uitgedeeld, dat moet toch niet kunnen? Hoezo? Dat kan ik op afstand niet beoordelen. Misschien hebben studenten zich helemaal niet voorbereid, en verdienen ook die 30% anderen geen voldoende. Begint u te begrijpen wat het probleem is? Nog een voorbeeld. Een school krijgt het predicaat excellent als de school 'betere' kengetallen heeft dan 90% van de scholen. Wat gebeurt: gymnasia zitten gewoon in de pool van VWO-scholen, en worden dus overladen met excellentie (dat geeft overigens wel aan dat die kengetallen iets met kwaliteit hebben te maken, in dit geval waarschijnlijk niet van de gymnasia als scholen, maar van de scherpte van de toelatingsselectie tot categoriale gymnasia in vergelijking tot andere VWO-scholen). Iedere brugpieper kan toch begrijpen dat dit geen eerlijke vergelijking van VWO-scholen met categoriale gymnasia is. Genoeg over dit leed dat de beste scholen heet. Zie het zelf:

Arthur van Leeuwen en Ruud Deijkers (8 januari 2009). Beste scholen 2009: opnieuw te hoge cijfers bij examens. Elsevier. html. Op deze webpagina ook links naar een aantal pdf-documenten van Elsevier, o.a. een overzicht van scholen met de grootste en de kleinste verschillen tussen eindexamencijfers (schoolonderzoek en centraal schriftelijk) pdf.


Trouw-lijsten


December 2008: schoolprestaties 2008 zijn doorzoekbaar op de website van Trouw. Aleid Truijens (de Volkskrant 23 december 2008) geeft een inhoudelijke toelichting: de resultaten moeten wel goed worden gelezen, bijvoorbeeld in relatie tot de adviezen waarmee de leerlingen de school zijn binnengekomen: een school die middelmatig presteert, maar waar een groot deel van de leerlingen met havo-advies op vwo-niveau eindexamen hebben gedaan, doet het natuurlijk fantastisch!


In beginsel zijn voor ieder jaar sinds 1996 (gepubliceerd in 1997) de lijsten beschikbaar op de site van Trouw. Het schijnt dat in de praktijk een en ander niet goed werkt. [januari 2007]


Een eeuw geleden maakte Trouw een enorme klapper door via de rechter het vrijgeven van kerngegevens van scholen af te dwingen. Dat waren de gegevens over 1996, zeg maar over het in dat jaar afgesloten schooljaar 1995-1996. Jaap Dronkers deed onmiddellijk een geslaagde poging het journalistieke enthousiasme in minder riskante banen te leiden, door voor de scholen ook een indicator te berekenen die aangeeft wat de school zelf heeft toegevoegd. Toegevoegde waarde is werkelijk een wereld apart van de eindexamenresultaten en andere resultaten zoals die uit eenvoudige schooladministraties zijn samen te stellen. Daar zijn ze in Engeland langzamerhand ook achter gekomen (zie hierboven), in Nederland is dat inzicht in 1997 meteen ingebracht, en ik vermoed in later jaren weer goeddeels weggezakt uit de aandacht. Het is dus bepaald niet eenvoudig om ranglijsten samen te stellen die eerlijk zijn in alle belangrijke opzichten: naar ouders, maar ook naar leraren, en naar de samenleving. Misschien is het in beginsel zelfs een onderneming waar je niet aan zou moeten willen beginnen, maar dat is napraten. Feit is dat er in het onderwijs altijd buitengewoon afhoudend is gereageerd op pogingen om prestaties van de school naar buiten te brengen, ook al zou dat 'buiten' beperkt blijven tot medezeggenschapsraden en ouders. Mijn persoonlijke ervaring, waar een bescheiden maar doordacht voorstel html door de georganiseerde leraren (als onderscheiden van diezelfde leraren in persoonlijk gesprek) werd weggeblazen, enkele jaren voorafgaand aan de actie van Trouw, zal door vele ouders in vele MRen zijn gedeeld.


Jeugd 2006 Trouw 25 februari 2006.

Schoolprestaties 2005 Trouw bijlage 15 december 2005. Let op: de prestaties betreffen het schooljaar 2003-2004. Voor het voorpagina-artikel Onderwijsprestaties / Onderwijs presteert matig. Tien procent onvoldoende; vooral havo-afdelingen zwak, door Ingrid Weel, zie de Trouw website, voor de toelichting op de cijfers zie deze pagina van Trouw. De bijlage is in afzonderlijke pdf-documenten te downloaden van de Trouw site, waarvoor hulde aan Trouw.



Interne links

Over schooleffecten zie effectiviteit.htm

Externe links


David Colquhoun (2007) How should universities be run to get the best out of people? http://www.dcscience.net/goodsci/goodscience.htm

College and university rankings. Education & Social Science Library, University of Illinois http://www.library.uiuc.edu/edx/rankings.htm
International: html

Cornell University Higher Education Research Institute, Working papers page. Measuring Up 2004 .
Technical Guide Documenting Methodology, Indicators, and Data Sources For Measuring Up 2004: The National and State Report Card on Higher Education November 2004 pdf

National Commission on Accountability in Higher Education (2005). Accountability for better results. A national imperative for higher education. A project of the State Higher Education Executive Officers. pdf (Maakt o.a. gebruik van de inzichten van Burke, 2004)

Joseph C. Burke (Editor) (2004). Achieving Accountability in Higher Education: Balancing Public, Academic, and Market Demands. Jossey-Bass. site met example chapter by Burke pdf, and contents pdf.


Literature


Martin Cave, Stephen Hanney, Mary Henkel, and Maurice Kogan (19973). The use of performance indicators in higher education. The challenge of the quality movement. London: Jessica Kingsley Publishers. third edition 1997.

M. S. R. Segers (1993). Kwaliteitsbewaking in het hoger onderwijs. Een exploratieve studie naar prestatie-idicatoren in theorie en praktijk. Proefschrift R.U. Limburg. isbn

James Monks and Ronald G. Ehrenberg (1999). The Impact of US News and World Report College Rankings on Admission Outcomes and Pricing Decisions at Selective Private Institutions. NBER Working Paper No. 7227*

Ronald G. Ehrenberg (2003). Method or Madness? Inside the USNWR College Rankings. Cornell Higher Education Research Institute, Working paper WP 39.

Ronald G. Ehrenberg (2001). Reaching for the Brass Ring: How the U.S. News and World Report Rankings Shape the Competitive Environment in U.S. Higher Education. Cornell Higher Education Research Institute, Working paper WP 17. pdf

L'équité des systèmes éducatifs européens. Un ensemble d'indicateurs.- MEURET Denis ; MORLAIX Sophie ; et alii.- Rapport final du projet "Construire des indicateurs internationaux d'équité des systèmes éducatifs" réalisé dans le cadre du programme Socrates 6.1.2..- GERESE (Groupe européen de recherche sur l'équité des systèmes éducatifs), Liège, Service de pédagogie théorique et expérimentale (Université de Liège), mars 2005. 176 p. pdf 176 pp geheel in het Frans.

Georges Felouzis (2004). Les indicateurs de performance des lycées, une analyse critique pdf
Zie ook http://indicateurs.education.gouv.fr/ voor de data etcetera,
ook, meer algemeen: http://www.education.gouv.fr/stateval/etat/etat.htm

Ian Bednowitz (2000). The Impact of the Business Week and U.S. News & World Report Rankings on the Business Schools They Rank. Cornell University Senior Honors Thesis, May 2000. pdf .

Robert H. Frank (2001). Higher Education: The Ultimate Winner-Take-All Market? Cornell Higher Education Research Institute, Working paper WP 2. pdf

Jennifer A. O'Day (2002). Complexity, Accountability, and School Improvement. Harvard Educational Review, 72. http://www.hepg.org/oday.html [Dead link? May 3, 2009] or pdf

A very handy, recent, and extensive list is to be found in Sharon L. Nichols and David C. Berliner (2005). The Inevitable Corruption of Indicators and Educators Through High-Stakes Testing. Education Policy Studies Laboratory, Arizona State University pdf (p. 171-180 in a 180 pp. document). Many items in this list refer to online documents, most of them American, of course.


Reports on indicators


OCW (2004). Kennis in kaart 2004 pdf
OCW (2005). Kennis in kaart 2005 http://www.minocw.nl/ho/doc/2005/kenniskaart.pdf [niet meer beschikbaar 2-2008]


Nieuws


De Volkskrant bericht 14-2-2006 dat de bewindslieden van Onderwijs een 'bureaucratiemeter' voor schoolorganisaties willen. Kijk, dat is een soort indicator die me eigenlijk wel aanspreekt. Het probleem, zoals met alle indicatoren, zal zijn dat er oneindig veel manieren zijn om gegevens voor een bureaucratiemeter in gewenste richting bij te buigen voordat ze worden gerapporteerd. Of iemand er uiteindelijk dan wijzer van wordt? Ik vraag het u af. Tenslotte zijn er in iedere scholenorganisatie tal van belanghebbenden in vele organen die de bureaucratische trekken van de directie (en vele anderen) in toom moeten houden, bureaucratiemeter of geen bureaucratiemeter. Een kwestie van mentaliteit en van cultuur, dus. Maar ik zal het in de gaten houden. www.minocw.nl/nieuws/35058 [niet meer beschikbaar, 2-2008] Per 28-4-2006 lijkt er nog geen nieuws te melden over deze controle op de controle op de controle. Mega-Big Brother.




See the rankings page for details on world rankings of universities or national league tables of schools.


See the competition page for details on the idea and practice of competion in the fields of education.




Dick van der Wateren (10 januari 2015). De verleiding van toegevoegde waarde. blog




American Statistical Association (ASA) (2014). ASA Statement on Using Value-Added Models for Educational Assessment.
https://www.amstat.org/asa/files/pdfs/POL-ASAVAM-Statement.pdf




Internetconsulrtatie. (3 maart 2015). Wijzigingsbesluit aanpassing van de indicatoren voor de beoordeling van de leerresultaten webpagina


Kafka in het klaslokaal. Zie hierboven de statement van de American Statistical Association



ASA Statement on Using Value-Added Models for Educational Assessment pdf




Bruno S. Frey & Margit Osterloh (2009). Onderzoeksevaluaties: verborgen kosten, twijfelachtige voordelen en betere alternatieven. (over prestatiebeoordelingen met heel uitvoerige literatuurlijst) In Thijs Jansen, Gabriël van den Brink & Jos Kole (Red.) (2009). Beroepstrots. Een ongekende kracht. Boom . 194-221 pdf hele boek via researchgate.net












February 2023 / contact ben apenstaartje benwilbrink.nl freelance advies ontwikkeling onderzoek

Valid HTML 4.01!   http://www.benwilbrink.nl/projecten/prestatieindicatoren.htm