Citatiescore is geen maat voor kwaliteit

Donderdag 19 februari was er in de aula een conferentie onder professoren, georganiseerd door rector Fokkema. Onderwerp van discussie was ‘Kwaliteit in Design & Engineering’. Een heikel punt. Niet alleen omdat kwaliteit en reputatie überhaupt hot issues zijn onder hoogleraren, maar ook omdat de ontwerpende en engineering faculteiten van onze TU worstelen met het vooroordeel dat zij onderdoen voor de science faculteiten. Zij scoren althans niet goed op de criteria die bijvoorbeeld NWO aanlegt voor het toekennen van onderzoeksubsidies. Maar hoe meet je kwaliteit eigenlijk? Dat was het onderwerp van die professorenconferentie.
Als het over kwaliteit gaat, beschouwen sommigen de mores bij de science-faculteiten TNW en EWI als richting- en maatgevend. De discussie verengt zich daarmee tot de vraag hoe hun kwaliteitscriteria vertaald kunnen worden naar de wereld van design en engineering. Ik betwijfel of deze benadering vruchtbaar is. Bovendien worden output en kwaliteit verward. Ook onder professoren gebeurt dat.

Output
De kwaliteit wordt in de wereld van de science ‘gemeten’ in termen van output: aantallen papers (in de zogenaamde ISI-tijdschriften) en aantallen citaties van die papers. Favoriet is de ‘h-index’: iemands h-index is 20 als 20 van diens ISI-journal papers in de loop van de tijd 20 keer of vaker geciteerd zijn. Die h-index is allengs tot kwaliteitsindicator geworden. Daar valt het nodige op af te dingen.
Want in de meeste journal papers – ook in de science – worden helemaal geen wetenschappelijke doorbraken of wereldschokkende vondsten gemeld. Meestal gaat het om kleine stapjes op een lange weg – de moeite waard om vakgenoten te melden, dat wel. Je publiceert om je vak en je vakgenoten vooruit te helpen. Je hoopt dat anderen daar kennis van nemen. Zo werkt wetenschap. Soms verwijs je naar iemand alleen om te melden dat die ander iets niet zo goed heeft gedaan – of dat je zelf iets beters hebt bedacht. Is zo’n citatie een maat voor kwaliteit? En werkt het ook zo in de wereld van design en engineering?
 Wat is dan wel kwaliteit? Een poging: een wetenschapper is pas top als hij of zij systematisch opzienbarende resultaten boekt en daarmee school maakt, zo dat andere wetenschappers hem of haar in onderwerpkeuze en aanpak volgen. Dat lijkt mij ook te gelden voor ontwerpers en architecten: ook onder hen maken alleen de besten school. Of iemand school maakt – in science, in engineering of in design – valt niet te beantwoorden door simpelweg iemands papers en citaties te tellen.
Het aantal echte doorbraken in de science is beperkt. Ook in de engineering en design faculteiten is het aantal revolutionaire ontwerpen vermoedelijk maar klein. Zijn er harde criteria wanneer een ontwerp geslaagd is of kwaliteit heeft? Ik vrees van niet. Net zo min als goed valt te omschrijven wanneer research kwaliteit heeft en wanneer in de science een vinding een doorbraak is. Niet voor niets wordt de Nobelprijs pas na vele jaren toegekend en is daar vaak gedoe over. Waarmee tegelijk gezegd is dat niets zo moeilijk is als geld toekennen op basis van kwaliteit. Kwaliteit is zoiets als proven performance en die kan eigenlijk alleen beoordeeld worden door ‘peers’.

Kanjers
In het dorp van mijn grootmoeder streden elk jaar de notaris, de kerkorganist en de banketbakker om de titel ‘man van het jaar’. De kerkorganist betoogde altijd dat hij met zijn orgelspel een hoger idee diende, terwijl de banketbakker pochte op zijn creaties voor de dorpsfeesten en de notaris standaard verwees naar zijn testamenten en koopaktes. Maar de jury kende trouw de titel beurtelings toe: want het dorp kon niet zonder deze drie kanjers.
Zo kan de TU niet anders dan trots zijn op al zijn acht faculteiten: kanjers. In het buitenland is Delft heel beroemd: niet in het minst om wat de Delftse civiele ingenieurs door de eeuwen heen hebben klaargespeeld in onze strijd tegen het water. En onze architecten bouwen tot in China toe. Ruim baan dus in Delft voor design en engineering. Nu nog NWO en de minister overtuigen …

Prof. Harrie van den Akker is voorzitter van de afdeling multi-scale physics van de faculteit Technische Natuurwetenschappen (TNW).

Wat de leraar zei was waar. Onwrikbare zekerheden als taal, rekenen en dat docenten geen voornaam hebben. De Nederlandse grammatica heeft inmiddels z’n tweede revisie achter de rug sinds ik de middelbare school verliet – dus dat was nuttig bestede tijd – en iedereen die in Delft een college analyse heeft meegepakt weet dat ook 1+1 zijn nuances kent.
Met een beetje geluk ben je tegen je eindexamen cynisch genoeg om te zien dat docenten geen waarheden verkondigen, maar regels. Regels waar men een soort consensus over heeft bereikt, maar regels niettemin. De unieke eigenschap van lesboeken is het ontbreken van dissidente ideeën. Je moet voor de gein eens een Spaans geschiedenisboek over de tachtigjarige oorlog naast een Nederlandse versie leggen.
Je komt erachter dat de waarheid niet wordt verkondigd in een klaslokaal, maar dat ze in de krant staat en wordt getoond op het journaal. Tot je ergens een keer zelf bij bent en het dan in de krant terugleest. En je tot de conclusie komt dat nieuws alleen dat gedeelte van de waarheid is dat mensen willen lezen. En soms dat wat mensen willen lezen, maar wat niet de waarheid is.
Dan, tijdens je studie: wetenschappelijke artikelen. Eindelijk een stukje rotsvast vertrouwen, gesublimeerde waarheid, want bewezen en ‘waar’ bevonden door peer review. Nobelprijswinnaar in de natuurkunde ’t Hooft stelde dat de natuurkundige passages in het proefschrift van natuurkundig Don Quichote, Marcoen Cabbolet, veelal onzin bevatten. Maar stel. Stel nou dat Marcoen Cabbolet wél gelijk had en de theoretische natuurkunde heel anders in elkaar zat dan men de afgelopen tijd dacht. Wat zou dan de
reactie van iemand als ’t Hooft zijn geweest, als hij
een manuscript onder ogen krijgt dat potentieel jaren van zijn werk ondergraaft? Ik zou in dat geval hebben gezegd dat ‘de natuurkundige passages veelal onzin bevatten’. Er is geen waarheid dan dat er geen waarheid is, maar meningen over de waarheid zijn er genoeg.
Ik weet genoeg. Genoeg om even geen mening te hebben. Tenminste, tot ik die van mij in een proefschrift heb gegoten dan.

Dit is de laatste column van Jasper van Kuijk.