Scigen

Een van de redenen waarom men het publicatiegedrag van Nijkamp onder de loep wilde nemen is het feit dat hij in 2011 elke drie dagen een nieuw artikel leek te hebben gepubliceerd.

Ik kan wel uitleggen hoe iemand elke drie dagen een nieuw artikel kan maken. Sterker nog: ik weet zelfs hoe je ieder kwartier een nieuw artikel kunt maken. Dat werd namelijk al in 2005 bewezen door Jeremy Stribling, een jonge computerwetenschapper, die samen met twee collega’s een paper geaccepteerd had gekregen voor de 2005 World Multi-Conference on Systemics, Cybernetics and Informatics (WMSCI). Stribling en zijn maten gingen compleet uit hun dak van dit nieuws. Niet alleen was hun paper zonder enige screening geaccepteerd, maar bovendien betrof het een artikel dat van begin tot eind gegenereerd was… door een computerprogramma.

Stribling en kornuiten hadden een automatic computer-science paper generator ontwikkeld, genaamd SCIgen. Dit programma genereerde neppublicaties op basis van willekeurige woorden en zinnen, compleet met bronnenlijst en grafieken. Voor de leek lijkt het een indrukwekkende publicatie, maar iedere computerwetenschapper ziet dat het complete onzin is. Ze hadden de software geschreven in een dag, voor de pret, maar ook om het imago door te prikken van bepaalde bladen en conferenties, die naar hun mening zonder serieuze screening waardeloze artikelen publiceerden, puur voor commercieel gewin. De grap was een doorslaand succes, en haalde de landelijke pers in de Verenigde Staten, inclusief een artikel in Nature. Menig wetenschappelijk congres scherpte de screening voor publicaties aan, en het US Institute of Electrical and Electronic Engineers (IEEE) schrapte voor enkele jaren de subsidie aan het WMSCI-congres.

Na 2005 leek SCIgen in de vergetelheid te raken. Totdat twee weken geleden op de website van Nature de bevindingen werden gepubliceerd van de Franse computerwetenschapper Cyril Labbé. Met behulp van door hem ontwikkelde software toonde hij aan dat zeker 120 conference proceedings en research papers, gepubliceerd in dertig verschillend wetenschappelijke journals tussen 2008 en 2013, gegenereerd waren door SCIgen. Zeker 85 van deze artikelen waren gepubliceerd in journals van het US Institute of Electrical and Electronic Engineers (IEEE). Grap of misbruik: helder was dat sinds 2005 SCIgen door vele (nep?)wetenschappers was gebruikt om artikelen in te dienen, waarmee tevens bleek dat de screening van wetenschappelijke publicaties her en der zo lek was als een mandje.

Ik kon uiteraard de verleiding niet weerstaan om ook eens te spelen met SCIgen. Ik heb mijn zaterdagmiddag besteed aan het genereren van de meest vreemde artikelen, gelardeerd met hilarische flowcharts die kant nog wal raakten. Maar de grootste grap vond ik nog dat één van de door mij gegenereerde artikelen volgens de literatuurlijst vooral gebaseerd was op een artikel dat ik in 2009 al over dit onderwerp had gepubliceerd, met als co-auteur… Albert Einstein.

Moet je ook eens proberen pdos.csail.mit.edu/scigen.