Het is oppassen geblazen bij de interpretatie van universiteitsrankings. Want het oog van de toeschouwer regeert, en niet de rekenmachine van de statisticus.
Delen
/strong>
Duizenden tabellen en grafieken. Drs.ing. Hans de Boer heeft ze netjes gearchiveerd in zijn ladekast. Citatie-indexen, aantal TU-octrooien per jaar, de jaarlijkse onderwijsenquêtes van weekblad ‘Elsevier’, nationale research and development-investeringen, als het maar iets zegt over de positie van de TU.
De Boer is senior beleidsmedewerker monitoring en evaluatie van de directie Universitaire Strategie en Beleid. Oftewel: hoe staat de universiteit ervoor ten opzichte van de concurrenten, en hoe kan het beter. ,,Ik zal je wat leuks laten zien”, zegt hij en pakt een persbericht van de Europese Unie met de kop: ‘Downsizing and specialising: the university model for the 21st century?’ Eronder staat een ranglijst van de wetenschappelijke impact van universiteiten volgens het Third European Report on Science & Technology Indicators 2003. De TU Delft werd hierbij benoemd tot de op zestien na ‘beste’ universiteit van de Europese Unie. In september verscheen de bewuste ranglijst in praktisch alle dagbladen, vergezeld van kritiek over de staat van het nationaal onderzoeksklimaat.
De Boer: ,,Die term downsizing in de kop van het artikel is op zijn zachts gezegd erg gewaagd. Want Cambridge staat volgens deze ranglijst op één, en dat is toch echt een grote universiteit. Ik vermoed dat de aanbeveling downsizing afkomstig is van Europese politici die graag willen dat de onderzoeksresultaten dezelfde kant opwijzen als hun beleidsvisie. Men ziet wat men wil zien, zo gaat het vaak bij statistiek.”
De Boer pakt nog een artikel. Het is een ingezonden brief in ‘NRC Handelsblad’ van 13 september, door het Centrum voor Wetenschap- en Technologiestudies van de Universiteit Leiden. Dit centrum maakte de berekeningen voor de bewuste EU-ranking van universiteiten. Een passage uit de ingezonden brief: ,,Wij hebben onze Brusselse opdrachtgevers voortdurend gewaarschuwd de door ons berekende indicatoren niet op deze wijze te ‘gebruiken’ voor een rangorde van universiteiten.” En even verderop: ,,Onze jarenlange ervaring met bibliometrische indicatoren heeft ons geleerd dat een rangorde niet gebaseerd moet worden op slechts één indicator.”
De Boer plaatst graag nog een paar kanttekeningen bij de ranglijst. ,,Men meet de wetenschappelijke impact vaak aan de hand van het aantal keren dat onderzoekers van een bepaalde universiteit worden geciteerd door collega’s. Maar bij sommige disciplines heerst een sterkere citeertraditie dan bij andere. In de architectuur citeren onderzoekers elkaar bijvoorbeeld veel minder vaak dan bij natuurkunde. Heeft onze faculteit bouwkunde daarom geen impact? Natuurlijk heeft ze dat wel.”
Atleten
Ranglijsten van universiteiten. Ze hebben wel wat weg van de medaillescores bij de Olympische Spelen. Te zien op elk sportjournaal: gouden, zilveren en bronzen plakken, netjes gerangschikt per land. Maar ook daar rijst de vraag: wat betekent de lijst eigenlijk? Want misschien is het eerlijker het aantal medailles te delen door het aantal inwoners van een land. Duitsland heeft immers meer atleten dan Botswana. En moet het bruto nationaal product niet wordenmeegenomen in de berekening? Een rijk land kan tenslotte meer investeren in topsport dan een arm land. Is goud twee keer zoveel waard als zilver? Drie keer? Staat goud op de honderd meter sprint voor evenveel punten als goud op het onderdeel hink-stapsprong?
Bij het vergelijken van prestaties van universiteiten is het verhaal nog ingewikkelder. Want de kwaliteit van onderwijs valt niet te meten met stopwatch of meetlint. En de impact van een wetenschappelijke publicatie al evenmin. Heeft dat meten eigenlijk wel zin?
,,Ja”, stelt TBM-hoogleraar Hans de Bruijn van de afdeling management and governance. ,,Bepaalde kengetallen kunnen wel degelijk een indicatie van de prestaties geven. En het is beter iets te weten, dan niets te weten. Het maakt de organisatie transparanter.”
De monitordrang is volgens De Bruijn trendgevoelig, en viert momenteel hoogtij. De politie wordt afgerekend op opsporingspercentages, ziekenhuizen op het aantal gevulde bedden, rechtbanken op de hoeveelheid gewezen vonnissen, scholen op de score bij de Cito-toets.
Als directeur van een van de TBM-onderzoekprogramma’s werkt De Bruijn ook met prestatie-indicatoren bij de evaluatie van onderzoek, bijvoorbeeld het aantal gepubliceerde internationale artikelen met een bepaalde impactfactor per fte.
De Bruijn: ,,Die indicator gebruiken we als hulpmiddel. Waar gaat het goed? Waar gaat het mis?”
Het is volgens hem echter niet verstandig de indicator te gebruiken om onderzoekers klakkeloos af te rekenen op de geleverde prestaties. De Bruijn: ,,Dat zou allerlei ongewenst strategisch gedrag stimuleren. Wetenschappers zouden ervoor kunnen kiezen om alleen nog maar over oud onderzoek te schrijven, omdat uit risicovol innovatief werk wellicht helemaal geen publicabel artikel volgt. Als een blind paard sturen op een indicator leidt overal tot ellende. Neem het basisonderwijs. Om zo goed mogelijk te scoren op de Cito-toets blijken zwakke leerlingen op de dag van de toets plotsklaps niet aanwezig en richten scholen de lessen alleen maar in op Cito-training.”
De Bruijn is dan ook sceptisch over de conclusies die werden getrokken naar aanleiding van de onlangs gepubliceerde EU-ranking. ,,Op één indicator kun je de kwaliteit van universiteiten niet vergelijken. Er speelt zo veel meer mee. Wat betreft de kwaliteit van onderzoek hecht ik zelf de meeste waarde aan het oordeel van de visitatiecommissies. Vakbroeders uit binnen- en buitenland beoordelen eens in de vijf jaar de kwaliteit, productiviteit en levensvatbaarheid van een bepaalde onderzoeksgroep. En inderdaad: daarbij zijn veel conclusies niet in een getal uit te drukken.”
Het is oppassen geblazen bij de interpretatie van universiteitsrankings. Want het oog van de toeschouwer regeert, en niet de rekenmachine van de statisticus.
Duizenden tabellen en grafieken. Drs.ing. Hans de Boer heeft ze netjes gearchiveerd in zijn ladekast. Citatie-indexen, aantal TU-octrooien per jaar, de jaarlijkse onderwijsenquêtes van weekblad ‘Elsevier’, nationale research and development-investeringen, als het maar iets zegt over de positie van de TU.
De Boer is senior beleidsmedewerker monitoring en evaluatie van de directie Universitaire Strategie en Beleid. Oftewel: hoe staat de universiteit ervoor ten opzichte van de concurrenten, en hoe kan het beter. ,,Ik zal je wat leuks laten zien”, zegt hij en pakt een persbericht van de Europese Unie met de kop: ‘Downsizing and specialising: the university model for the 21st century?’ Eronder staat een ranglijst van de wetenschappelijke impact van universiteiten volgens het Third European Report on Science & Technology Indicators 2003. De TU Delft werd hierbij benoemd tot de op zestien na ‘beste’ universiteit van de Europese Unie. In september verscheen de bewuste ranglijst in praktisch alle dagbladen, vergezeld van kritiek over de staat van het nationaal onderzoeksklimaat.
De Boer: ,,Die term downsizing in de kop van het artikel is op zijn zachts gezegd erg gewaagd. Want Cambridge staat volgens deze ranglijst op één, en dat is toch echt een grote universiteit. Ik vermoed dat de aanbeveling downsizing afkomstig is van Europese politici die graag willen dat de onderzoeksresultaten dezelfde kant opwijzen als hun beleidsvisie. Men ziet wat men wil zien, zo gaat het vaak bij statistiek.”
De Boer pakt nog een artikel. Het is een ingezonden brief in ‘NRC Handelsblad’ van 13 september, door het Centrum voor Wetenschap- en Technologiestudies van de Universiteit Leiden. Dit centrum maakte de berekeningen voor de bewuste EU-ranking van universiteiten. Een passage uit de ingezonden brief: ,,Wij hebben onze Brusselse opdrachtgevers voortdurend gewaarschuwd de door ons berekende indicatoren niet op deze wijze te ‘gebruiken’ voor een rangorde van universiteiten.” En even verderop: ,,Onze jarenlange ervaring met bibliometrische indicatoren heeft ons geleerd dat een rangorde niet gebaseerd moet worden op slechts één indicator.”
De Boer plaatst graag nog een paar kanttekeningen bij de ranglijst. ,,Men meet de wetenschappelijke impact vaak aan de hand van het aantal keren dat onderzoekers van een bepaalde universiteit worden geciteerd door collega’s. Maar bij sommige disciplines heerst een sterkere citeertraditie dan bij andere. In de architectuur citeren onderzoekers elkaar bijvoorbeeld veel minder vaak dan bij natuurkunde. Heeft onze faculteit bouwkunde daarom geen impact? Natuurlijk heeft ze dat wel.”
Atleten
Ranglijsten van universiteiten. Ze hebben wel wat weg van de medaillescores bij de Olympische Spelen. Te zien op elk sportjournaal: gouden, zilveren en bronzen plakken, netjes gerangschikt per land. Maar ook daar rijst de vraag: wat betekent de lijst eigenlijk? Want misschien is het eerlijker het aantal medailles te delen door het aantal inwoners van een land. Duitsland heeft immers meer atleten dan Botswana. En moet het bruto nationaal product niet wordenmeegenomen in de berekening? Een rijk land kan tenslotte meer investeren in topsport dan een arm land. Is goud twee keer zoveel waard als zilver? Drie keer? Staat goud op de honderd meter sprint voor evenveel punten als goud op het onderdeel hink-stapsprong?
Bij het vergelijken van prestaties van universiteiten is het verhaal nog ingewikkelder. Want de kwaliteit van onderwijs valt niet te meten met stopwatch of meetlint. En de impact van een wetenschappelijke publicatie al evenmin. Heeft dat meten eigenlijk wel zin?
,,Ja”, stelt TBM-hoogleraar Hans de Bruijn van de afdeling management and governance. ,,Bepaalde kengetallen kunnen wel degelijk een indicatie van de prestaties geven. En het is beter iets te weten, dan niets te weten. Het maakt de organisatie transparanter.”
De monitordrang is volgens De Bruijn trendgevoelig, en viert momenteel hoogtij. De politie wordt afgerekend op opsporingspercentages, ziekenhuizen op het aantal gevulde bedden, rechtbanken op de hoeveelheid gewezen vonnissen, scholen op de score bij de Cito-toets.
Als directeur van een van de TBM-onderzoekprogramma’s werkt De Bruijn ook met prestatie-indicatoren bij de evaluatie van onderzoek, bijvoorbeeld het aantal gepubliceerde internationale artikelen met een bepaalde impactfactor per fte.
De Bruijn: ,,Die indicator gebruiken we als hulpmiddel. Waar gaat het goed? Waar gaat het mis?”
Het is volgens hem echter niet verstandig de indicator te gebruiken om onderzoekers klakkeloos af te rekenen op de geleverde prestaties. De Bruijn: ,,Dat zou allerlei ongewenst strategisch gedrag stimuleren. Wetenschappers zouden ervoor kunnen kiezen om alleen nog maar over oud onderzoek te schrijven, omdat uit risicovol innovatief werk wellicht helemaal geen publicabel artikel volgt. Als een blind paard sturen op een indicator leidt overal tot ellende. Neem het basisonderwijs. Om zo goed mogelijk te scoren op de Cito-toets blijken zwakke leerlingen op de dag van de toets plotsklaps niet aanwezig en richten scholen de lessen alleen maar in op Cito-training.”
De Bruijn is dan ook sceptisch over de conclusies die werden getrokken naar aanleiding van de onlangs gepubliceerde EU-ranking. ,,Op één indicator kun je de kwaliteit van universiteiten niet vergelijken. Er speelt zo veel meer mee. Wat betreft de kwaliteit van onderzoek hecht ik zelf de meeste waarde aan het oordeel van de visitatiecommissies. Vakbroeders uit binnen- en buitenland beoordelen eens in de vijf jaar de kwaliteit, productiviteit en levensvatbaarheid van een bepaalde onderzoeksgroep. En inderdaad: daarbij zijn veel conclusies niet in een getal uit te drukken.”
Comments are closed.