De Delftse methode voor de beloning van onderzoek heeft weinig waardering voor echt nieuw onderzoek en voor het werk van anonieme referees, vindt Freerk Lootsma.
Delen
br />
Natuurlijk heb ik, zoals iedere onderzoeker in Delft, wel eens nagedacht over de output-financiering van het onderzoek. In de aanloop naar een internationale workshop over besluitvorming in 1997 kwam ik samen met Pieter Bots van Technische Bestuurskunde op het idee om de deelnemers in een groepsbeslissingskamer te laten werken aan de scores van het allocatiesysteem.
We besloten hen te vragen om voor ieder tweetal soorten research-output de gewenste verhouding van de scores te schatten (voor boeken ten opzichte van artikelen, voor proefschriften ten opzichte van bijdragen aan conferentieproceedings, enzovoort) aan de hand van vier criteria: de bevordering van het wetenschappelijk onderzoek, de oplossing van industriële en maatschappelijke problemen, de verspreiding van wetenschappelijke kennis, en het dekken van kosten.
Na een beperkt experiment in de workshop kregen wij tien onderzoekers van de vakgroep ITS/TWI/SSOR zo ver dat zij het experiment compleet uitvoerden. Zij schatten niet alleen de gewenste verhoudingen onder elk van de vier criteria, maar ook het relatieve belang van die criteria. In beide experimenten bleken de deelnemers veel radicaler te zijn dan de Commissie BTA.
Een simpel voorbeeld: de Commissie BTA stelt voor om artikelen in toptijdschriften, boeken van gerenommeerde uitgevers, proefschriften, en bijdragen aan proceedings te belonen met respectievelijk 5, 10, 12, en 3 punten. De deelnemers zouden aan deze research output de scores 5, 4, 3, en 2 toekennen.
Het standpunt van de Commissie BTA kan te danken zijn aan leeftijd en ervaring. De leden hebben een lange en voortreffelijke staat van dienst in het onderzoek. De deelnemers aan de experimenten waren veel jonger. Gezien hun hoge score voor artikelen in de toptijdschriften denken ze misschien op kortere termijn.
Ook proefschriften worden door de deelnemers minder belangrijk geacht, met als argument dat die doorgaans voldoende materiaal bevatten voor meerdere artikelen in toptijdschriften. De faculteit kan de beloning incasseren zodra die artikelen verschijnen. Een tegenargument: de output van een promotie is niet zozeer het proefschrift als wel de jonge doctor zelf. Hij/zij is veel belangrijker dan een artikel in een toptijdschrift. Bovendien moet het systeem bijdragen aan de dekking van de kosten van het promotie-onderzoek.
Onbruikbaar
De discussie die los kwam na de experimenten was bijzonder interessant. Allereerst de vraag: wat is de zin van het allocatiesysteem? Het budget voor het jaar n wordt in het jaar n-1 vastgesteld op grond van de output in het jaar n-2. Gezien de trage gang van zaken bij de tijdschriften is die outputbedacht in de jaren n-4, n-5, of nog eerder.
Wegens het grote tijdsverschil tussen prestatie en beloning is de output-financiering als stuurmiddel dus onbruikbaar. De Commissie BTA ziet de output-financiering als een middel om de faculteiten in hun geheel te stimuleren en te belonen. De onderzoekers zelf zien het meer als een systeem ter beoordeling van hun individuele prestaties. Dit systeem begunstigt onderzoekers met een project in ‘full swing‘, maar het remt de onderzoekers die totaal nieuwe wegen inslaan en daarmee de erkende paradigma’s ondergraven. De Commissie BTA ziet het echter niet als haar taak om te verifiëren of de faculteiten bescherming bieden aan werkelijk nieuw onderzoek.
Output-financiering kan allerlei vormen van strategisch gedrag veroorzaken. Sommige uitwassen zijn te controleren. Onderzoekers die hun ideeën te veel verspreiden over verschillende manuscripten om daarmee extra punten te verzamelen, vallen op den duur door de mand. Het uitgeven van interne rapporten via de DUP om ze als externe publicatie te kunnen opvoeren blijft niet onopgemerkt.
Onrijp
Veel ernstiger is de ontduiking van morele verplichtingen. Het systeem van output-financiering staat en valt met de vrijwillige, anonieme medewerking van de referees, die de kwaliteit van een artikel beoordelen. Zij worden niet beloond! Omdat ook verscheidene universiteiten in het buitenland een dergelijk systeem hebben, komen er vermoedelijk meer onrijpe manuscripten in omloop. De referees staan echter ook onder druk om zelf te publiceren, zodat zij niet altijd voldoende aandacht kunnen besteden aan de beoordeling van het werk van anderen.
Universiteiten die een systeem van output-financiering hebben, zouden de manuscripten uit hun eigen gelederen dus eerst behoorlijk moeten screenen. Helaas, de eerste tekenen van gemakzucht zijn er al. Het bestuur van de faculteit ITS heeft, tegen het advies van de wetenschapscommissie in, onlangs besloten om de publicatie van interne rapporten te beëindigen omdat daar in het allocatiesysteem geen inkomsten tegenover staan. Moeten de onderzoekers hun (nog niet gerijpte) ideeën voortaan meteen maar indienen bij de tijdschriften?
Twee vragen staan nog recht overeind: wat wil men bereiken met output-financiering, en wordt dat doel, if any, op korte of lange termijn ook bereikt? Ten slotte: het is de moeite waard om de bepaling van de scores in bredere kring te laten uitvoeren via beslissingsondersteunende apparatuur. Dit zou niet alleen tonen hoe faculteiten denken over de betekenis van de verschillende soorten output (denk aan octrooien), het zou ook naar boven brengen hoe zwaar zij de uiteenlopende doelstellingen van de TU laten wegen.
Prof.dr. F.A. Lootsma is hoogleraar operationele analyse bij ITS.
De Delftse methode voor de beloning van onderzoek heeft weinig waardering voor echt nieuw onderzoek en voor het werk van anonieme referees, vindt Freerk Lootsma.
Natuurlijk heb ik, zoals iedere onderzoeker in Delft, wel eens nagedacht over de output-financiering van het onderzoek. In de aanloop naar een internationale workshop over besluitvorming in 1997 kwam ik samen met Pieter Bots van Technische Bestuurskunde op het idee om de deelnemers in een groepsbeslissingskamer te laten werken aan de scores van het allocatiesysteem.
We besloten hen te vragen om voor ieder tweetal soorten research-output de gewenste verhouding van de scores te schatten (voor boeken ten opzichte van artikelen, voor proefschriften ten opzichte van bijdragen aan conferentieproceedings, enzovoort) aan de hand van vier criteria: de bevordering van het wetenschappelijk onderzoek, de oplossing van industriële en maatschappelijke problemen, de verspreiding van wetenschappelijke kennis, en het dekken van kosten.
Na een beperkt experiment in de workshop kregen wij tien onderzoekers van de vakgroep ITS/TWI/SSOR zo ver dat zij het experiment compleet uitvoerden. Zij schatten niet alleen de gewenste verhoudingen onder elk van de vier criteria, maar ook het relatieve belang van die criteria. In beide experimenten bleken de deelnemers veel radicaler te zijn dan de Commissie BTA.
Een simpel voorbeeld: de Commissie BTA stelt voor om artikelen in toptijdschriften, boeken van gerenommeerde uitgevers, proefschriften, en bijdragen aan proceedings te belonen met respectievelijk 5, 10, 12, en 3 punten. De deelnemers zouden aan deze research output de scores 5, 4, 3, en 2 toekennen.
Het standpunt van de Commissie BTA kan te danken zijn aan leeftijd en ervaring. De leden hebben een lange en voortreffelijke staat van dienst in het onderzoek. De deelnemers aan de experimenten waren veel jonger. Gezien hun hoge score voor artikelen in de toptijdschriften denken ze misschien op kortere termijn.
Ook proefschriften worden door de deelnemers minder belangrijk geacht, met als argument dat die doorgaans voldoende materiaal bevatten voor meerdere artikelen in toptijdschriften. De faculteit kan de beloning incasseren zodra die artikelen verschijnen. Een tegenargument: de output van een promotie is niet zozeer het proefschrift als wel de jonge doctor zelf. Hij/zij is veel belangrijker dan een artikel in een toptijdschrift. Bovendien moet het systeem bijdragen aan de dekking van de kosten van het promotie-onderzoek.
Onbruikbaar
De discussie die los kwam na de experimenten was bijzonder interessant. Allereerst de vraag: wat is de zin van het allocatiesysteem? Het budget voor het jaar n wordt in het jaar n-1 vastgesteld op grond van de output in het jaar n-2. Gezien de trage gang van zaken bij de tijdschriften is die outputbedacht in de jaren n-4, n-5, of nog eerder.
Wegens het grote tijdsverschil tussen prestatie en beloning is de output-financiering als stuurmiddel dus onbruikbaar. De Commissie BTA ziet de output-financiering als een middel om de faculteiten in hun geheel te stimuleren en te belonen. De onderzoekers zelf zien het meer als een systeem ter beoordeling van hun individuele prestaties. Dit systeem begunstigt onderzoekers met een project in ‘full swing‘, maar het remt de onderzoekers die totaal nieuwe wegen inslaan en daarmee de erkende paradigma’s ondergraven. De Commissie BTA ziet het echter niet als haar taak om te verifiëren of de faculteiten bescherming bieden aan werkelijk nieuw onderzoek.
Output-financiering kan allerlei vormen van strategisch gedrag veroorzaken. Sommige uitwassen zijn te controleren. Onderzoekers die hun ideeën te veel verspreiden over verschillende manuscripten om daarmee extra punten te verzamelen, vallen op den duur door de mand. Het uitgeven van interne rapporten via de DUP om ze als externe publicatie te kunnen opvoeren blijft niet onopgemerkt.
Onrijp
Veel ernstiger is de ontduiking van morele verplichtingen. Het systeem van output-financiering staat en valt met de vrijwillige, anonieme medewerking van de referees, die de kwaliteit van een artikel beoordelen. Zij worden niet beloond! Omdat ook verscheidene universiteiten in het buitenland een dergelijk systeem hebben, komen er vermoedelijk meer onrijpe manuscripten in omloop. De referees staan echter ook onder druk om zelf te publiceren, zodat zij niet altijd voldoende aandacht kunnen besteden aan de beoordeling van het werk van anderen.
Universiteiten die een systeem van output-financiering hebben, zouden de manuscripten uit hun eigen gelederen dus eerst behoorlijk moeten screenen. Helaas, de eerste tekenen van gemakzucht zijn er al. Het bestuur van de faculteit ITS heeft, tegen het advies van de wetenschapscommissie in, onlangs besloten om de publicatie van interne rapporten te beëindigen omdat daar in het allocatiesysteem geen inkomsten tegenover staan. Moeten de onderzoekers hun (nog niet gerijpte) ideeën voortaan meteen maar indienen bij de tijdschriften?
Twee vragen staan nog recht overeind: wat wil men bereiken met output-financiering, en wordt dat doel, if any, op korte of lange termijn ook bereikt? Ten slotte: het is de moeite waard om de bepaling van de scores in bredere kring te laten uitvoeren via beslissingsondersteunende apparatuur. Dit zou niet alleen tonen hoe faculteiten denken over de betekenis van de verschillende soorten output (denk aan octrooien), het zou ook naar boven brengen hoe zwaar zij de uiteenlopende doelstellingen van de TU laten wegen.
Prof.dr. F.A. Lootsma is hoogleraar operationele analyse bij ITS.
Comments are closed.