Customize Consent Preferences

We use cookies to help you navigate efficiently and perform certain functions. You will find detailed information about all cookies under each consent category below.

The cookies that are categorized as "Necessary" are stored on your browser as they are essential for enabling the basic functionalities of the site. ... 

Always Active

Necessary cookies are required to enable the basic features of this site, such as providing secure log-in or adjusting your consent preferences. These cookies do not store any personally identifiable data.

No cookies to display.

Functional cookies help perform certain functionalities like sharing the content of the website on social media platforms, collecting feedback, and other third-party features.

No cookies to display.

Analytical cookies are used to understand how visitors interact with the website. These cookies help provide information on metrics such as the number of visitors, bounce rate, traffic source, etc.

No cookies to display.

Performance cookies are used to understand and analyze the key performance indexes of the website which helps in delivering a better user experience for the visitors.

No cookies to display.

Advertisement cookies are used to provide visitors with customized advertisements based on the pages you visited previously and to analyze the effectiveness of the ad campaigns.

No cookies to display.

Campus

Output-financiering is als stuurmiddel onbruikbaar

De Delftse methode voor de beloning van onderzoek heeft weinig waardering voor echt nieuw onderzoek en voor het werk van anonieme referees, vindt Freerk Lootsma.

br />
Natuurlijk heb ik, zoals iedere onderzoeker in Delft, wel eens nagedacht over de output-financiering van het onderzoek. In de aanloop naar een internationale workshop over besluitvorming in 1997 kwam ik samen met Pieter Bots van Technische Bestuurskunde op het idee om de deelnemers in een groepsbeslissingskamer te laten werken aan de scores van het allocatiesysteem.

We besloten hen te vragen om voor ieder tweetal soorten research-output de gewenste verhouding van de scores te schatten (voor boeken ten opzichte van artikelen, voor proefschriften ten opzichte van bijdragen aan conferentieproceedings, enzovoort) aan de hand van vier criteria: de bevordering van het wetenschappelijk onderzoek, de oplossing van industriële en maatschappelijke problemen, de verspreiding van wetenschappelijke kennis, en het dekken van kosten.

Na een beperkt experiment in de workshop kregen wij tien onderzoekers van de vakgroep ITS/TWI/SSOR zo ver dat zij het experiment compleet uitvoerden. Zij schatten niet alleen de gewenste verhoudingen onder elk van de vier criteria, maar ook het relatieve belang van die criteria. In beide experimenten bleken de deelnemers veel radicaler te zijn dan de Commissie BTA.

Een simpel voorbeeld: de Commissie BTA stelt voor om artikelen in toptijdschriften, boeken van gerenommeerde uitgevers, proefschriften, en bijdragen aan proceedings te belonen met respectievelijk 5, 10, 12, en 3 punten. De deelnemers zouden aan deze research output de scores 5, 4, 3, en 2 toekennen.

Het standpunt van de Commissie BTA kan te danken zijn aan leeftijd en ervaring. De leden hebben een lange en voortreffelijke staat van dienst in het onderzoek. De deelnemers aan de experimenten waren veel jonger. Gezien hun hoge score voor artikelen in de toptijdschriften denken ze misschien op kortere termijn.

Ook proefschriften worden door de deelnemers minder belangrijk geacht, met als argument dat die doorgaans voldoende materiaal bevatten voor meerdere artikelen in toptijdschriften. De faculteit kan de beloning incasseren zodra die artikelen verschijnen. Een tegenargument: de output van een promotie is niet zozeer het proefschrift als wel de jonge doctor zelf. Hij/zij is veel belangrijker dan een artikel in een toptijdschrift. Bovendien moet het systeem bijdragen aan de dekking van de kosten van het promotie-onderzoek.
Onbruikbaar

De discussie die los kwam na de experimenten was bijzonder interessant. Allereerst de vraag: wat is de zin van het allocatiesysteem? Het budget voor het jaar n wordt in het jaar n-1 vastgesteld op grond van de output in het jaar n-2. Gezien de trage gang van zaken bij de tijdschriften is die outputbedacht in de jaren n-4, n-5, of nog eerder.

Wegens het grote tijdsverschil tussen prestatie en beloning is de output-financiering als stuurmiddel dus onbruikbaar. De Commissie BTA ziet de output-financiering als een middel om de faculteiten in hun geheel te stimuleren en te belonen. De onderzoekers zelf zien het meer als een systeem ter beoordeling van hun individuele prestaties. Dit systeem begunstigt onderzoekers met een project in ‘full swing‘, maar het remt de onderzoekers die totaal nieuwe wegen inslaan en daarmee de erkende paradigma’s ondergraven. De Commissie BTA ziet het echter niet als haar taak om te verifiëren of de faculteiten bescherming bieden aan werkelijk nieuw onderzoek.

Output-financiering kan allerlei vormen van strategisch gedrag veroorzaken. Sommige uitwassen zijn te controleren. Onderzoekers die hun ideeën te veel verspreiden over verschillende manuscripten om daarmee extra punten te verzamelen, vallen op den duur door de mand. Het uitgeven van interne rapporten via de DUP om ze als externe publicatie te kunnen opvoeren blijft niet onopgemerkt.
Onrijp

Veel ernstiger is de ontduiking van morele verplichtingen. Het systeem van output-financiering staat en valt met de vrijwillige, anonieme medewerking van de referees, die de kwaliteit van een artikel beoordelen. Zij worden niet beloond! Omdat ook verscheidene universiteiten in het buitenland een dergelijk systeem hebben, komen er vermoedelijk meer onrijpe manuscripten in omloop. De referees staan echter ook onder druk om zelf te publiceren, zodat zij niet altijd voldoende aandacht kunnen besteden aan de beoordeling van het werk van anderen.

Universiteiten die een systeem van output-financiering hebben, zouden de manuscripten uit hun eigen gelederen dus eerst behoorlijk moeten screenen. Helaas, de eerste tekenen van gemakzucht zijn er al. Het bestuur van de faculteit ITS heeft, tegen het advies van de wetenschapscommissie in, onlangs besloten om de publicatie van interne rapporten te beëindigen omdat daar in het allocatiesysteem geen inkomsten tegenover staan. Moeten de onderzoekers hun (nog niet gerijpte) ideeën voortaan meteen maar indienen bij de tijdschriften?

Twee vragen staan nog recht overeind: wat wil men bereiken met output-financiering, en wordt dat doel, if any, op korte of lange termijn ook bereikt? Ten slotte: het is de moeite waard om de bepaling van de scores in bredere kring te laten uitvoeren via beslissingsondersteunende apparatuur. Dit zou niet alleen tonen hoe faculteiten denken over de betekenis van de verschillende soorten output (denk aan octrooien), het zou ook naar boven brengen hoe zwaar zij de uiteenlopende doelstellingen van de TU laten wegen.

Prof.dr. F.A. Lootsma is hoogleraar operationele analyse bij ITS.

De Delftse methode voor de beloning van onderzoek heeft weinig waardering voor echt nieuw onderzoek en voor het werk van anonieme referees, vindt Freerk Lootsma.

Natuurlijk heb ik, zoals iedere onderzoeker in Delft, wel eens nagedacht over de output-financiering van het onderzoek. In de aanloop naar een internationale workshop over besluitvorming in 1997 kwam ik samen met Pieter Bots van Technische Bestuurskunde op het idee om de deelnemers in een groepsbeslissingskamer te laten werken aan de scores van het allocatiesysteem.

We besloten hen te vragen om voor ieder tweetal soorten research-output de gewenste verhouding van de scores te schatten (voor boeken ten opzichte van artikelen, voor proefschriften ten opzichte van bijdragen aan conferentieproceedings, enzovoort) aan de hand van vier criteria: de bevordering van het wetenschappelijk onderzoek, de oplossing van industriële en maatschappelijke problemen, de verspreiding van wetenschappelijke kennis, en het dekken van kosten.

Na een beperkt experiment in de workshop kregen wij tien onderzoekers van de vakgroep ITS/TWI/SSOR zo ver dat zij het experiment compleet uitvoerden. Zij schatten niet alleen de gewenste verhoudingen onder elk van de vier criteria, maar ook het relatieve belang van die criteria. In beide experimenten bleken de deelnemers veel radicaler te zijn dan de Commissie BTA.

Een simpel voorbeeld: de Commissie BTA stelt voor om artikelen in toptijdschriften, boeken van gerenommeerde uitgevers, proefschriften, en bijdragen aan proceedings te belonen met respectievelijk 5, 10, 12, en 3 punten. De deelnemers zouden aan deze research output de scores 5, 4, 3, en 2 toekennen.

Het standpunt van de Commissie BTA kan te danken zijn aan leeftijd en ervaring. De leden hebben een lange en voortreffelijke staat van dienst in het onderzoek. De deelnemers aan de experimenten waren veel jonger. Gezien hun hoge score voor artikelen in de toptijdschriften denken ze misschien op kortere termijn.

Ook proefschriften worden door de deelnemers minder belangrijk geacht, met als argument dat die doorgaans voldoende materiaal bevatten voor meerdere artikelen in toptijdschriften. De faculteit kan de beloning incasseren zodra die artikelen verschijnen. Een tegenargument: de output van een promotie is niet zozeer het proefschrift als wel de jonge doctor zelf. Hij/zij is veel belangrijker dan een artikel in een toptijdschrift. Bovendien moet het systeem bijdragen aan de dekking van de kosten van het promotie-onderzoek.
Onbruikbaar

De discussie die los kwam na de experimenten was bijzonder interessant. Allereerst de vraag: wat is de zin van het allocatiesysteem? Het budget voor het jaar n wordt in het jaar n-1 vastgesteld op grond van de output in het jaar n-2. Gezien de trage gang van zaken bij de tijdschriften is die outputbedacht in de jaren n-4, n-5, of nog eerder.

Wegens het grote tijdsverschil tussen prestatie en beloning is de output-financiering als stuurmiddel dus onbruikbaar. De Commissie BTA ziet de output-financiering als een middel om de faculteiten in hun geheel te stimuleren en te belonen. De onderzoekers zelf zien het meer als een systeem ter beoordeling van hun individuele prestaties. Dit systeem begunstigt onderzoekers met een project in ‘full swing‘, maar het remt de onderzoekers die totaal nieuwe wegen inslaan en daarmee de erkende paradigma’s ondergraven. De Commissie BTA ziet het echter niet als haar taak om te verifiëren of de faculteiten bescherming bieden aan werkelijk nieuw onderzoek.

Output-financiering kan allerlei vormen van strategisch gedrag veroorzaken. Sommige uitwassen zijn te controleren. Onderzoekers die hun ideeën te veel verspreiden over verschillende manuscripten om daarmee extra punten te verzamelen, vallen op den duur door de mand. Het uitgeven van interne rapporten via de DUP om ze als externe publicatie te kunnen opvoeren blijft niet onopgemerkt.
Onrijp

Veel ernstiger is de ontduiking van morele verplichtingen. Het systeem van output-financiering staat en valt met de vrijwillige, anonieme medewerking van de referees, die de kwaliteit van een artikel beoordelen. Zij worden niet beloond! Omdat ook verscheidene universiteiten in het buitenland een dergelijk systeem hebben, komen er vermoedelijk meer onrijpe manuscripten in omloop. De referees staan echter ook onder druk om zelf te publiceren, zodat zij niet altijd voldoende aandacht kunnen besteden aan de beoordeling van het werk van anderen.

Universiteiten die een systeem van output-financiering hebben, zouden de manuscripten uit hun eigen gelederen dus eerst behoorlijk moeten screenen. Helaas, de eerste tekenen van gemakzucht zijn er al. Het bestuur van de faculteit ITS heeft, tegen het advies van de wetenschapscommissie in, onlangs besloten om de publicatie van interne rapporten te beëindigen omdat daar in het allocatiesysteem geen inkomsten tegenover staan. Moeten de onderzoekers hun (nog niet gerijpte) ideeën voortaan meteen maar indienen bij de tijdschriften?

Twee vragen staan nog recht overeind: wat wil men bereiken met output-financiering, en wordt dat doel, if any, op korte of lange termijn ook bereikt? Ten slotte: het is de moeite waard om de bepaling van de scores in bredere kring te laten uitvoeren via beslissingsondersteunende apparatuur. Dit zou niet alleen tonen hoe faculteiten denken over de betekenis van de verschillende soorten output (denk aan octrooien), het zou ook naar boven brengen hoe zwaar zij de uiteenlopende doelstellingen van de TU laten wegen.

Prof.dr. F.A. Lootsma is hoogleraar operationele analyse bij ITS.

Redacteur Redactie

Heb je een vraag of opmerking over dit artikel?

delta@tudelft.nl

Comments are closed.