‘Tragisch dat het is misgegaan’

Een voordracht over probiotica, is dat niet een wat vreemd onderwerp voor een wiskundige?
”Je zou denken van wel, maar de ophef over het probioticaonderzoek heeft juist met wiskunde te maken. Bij de klinische testen zijn statistische protocollen gebruikt. Toen het leek alsof er iets mis was gegaan bij het onderzoek, vroegen mensen zich af of de fout in die wiskunde zat.”

Wat werd eigenlijk onderzocht?
”Het ging om onderzoek naar het gebruik van probiotica, speciale stammen van een ‘goede’ bacterie. Deze probiotica werden toegediend aan mensen met een alvleesklierontsteking. Dit is een zeer ernstige aandoening, de ontsteking verspreidt zich vaak naar andere organen en één op de tien patiënten overlijdt uiteindelijk. Antibiotica hielpen hier niet, maar er waren aanwijzingen dat probiotica wel zouden werken. Het idee was dat probiotica het afweersysteem lieten stijgen en dat tegelijk de goede bacteriën de strijd aanbonden met de slechte bacteriën. Er waren geen harde bewijzen dat dit werkte. Daarom wilde een groep medici onder leiding van hoogleraar chirurgie Hein Gooszen een goed onderzoek doen.”

Hoe was dat onderzoek opgezet?
”In totaal driehonderd patiënten werden geloot over twee groepen. Groep A kreeg de probiotica en groep B een placebo. Dit onderzoek werd driedubbelblind uitgevoerd: noch de patiënten, noch de artsen, noch de toezichthouders wisten welke groep de echte probiotica kreeg. In het onderzoek was ingebouwd dat ze halverwege zouden kijken of ze door moesten gaan.”

Wat was het criterium om te stoppen?
”Er zijn bij dit soort onderzoeken twee redenen om te stoppen. De eerste is significantie: als de behandeling duidelijk goed werkt dan is het onethisch om door te gaan, andere patiënten moeten de behandeling dan ook krijgen. De andere reden om te stoppen is nutteloosheid: als de resultaten zo zijn dat het vrijwel onmogelijk is om aan het eind van de proef nog een positief effect van het geteste middel te meten, dan moet je stoppen. Dit is ook een veiligheidsmaatregel: als het medicijn averechts werkt dan stopt het onderzoek.”

Wat gebeurde halverwege de probioticatest?
”Ze besloten om door te gaan. Pas aan het eind van de test, na driehonderd patiënten, werd de blindering opgeheven. Toen kwam de grote schok: de complicaties in beiden groepen waren vergelijkbaar maar in de groep met probiotica was de sterfte veel hoger: 24 ten opzichte van 8.
De geschrokken artsen hielden een persconferentie en stuurden brieven naar patiënten. In hun publicatie in een medisch tijdschrift werden alleen de gegevens van de eindstand bekend gemaakt, niet de data van halverwege de test.
Kansrekenaar Ronald Meester stuurde een brief naar Trouw, waarin hij schreef dat hij niet begreep waarom ze niet halverwege waren gestopt. Het leek hem onmogelijk dat de resultaten toen dusdanig waren dat er nog een positief eindresultaat kon komen voor de probiotica. Meesters methode was wat naïef, maar in feite had hij gelijk. Daardoor raakte ik geïnteresseerd in de zaak en begon ik de artikelen te lezen. In eerste instantie vond ik vooral die driedubbele blindering kwalijk.”

Kunt u daar wel iets zinvols over zeggen? U bent natuurlijk geen arts.
”Ik heb natuurlijk wel onderzoek gedaan in de medische statistiek en ik heb gecorrespondeerd met autoriteiten op dit gebied. En zij vinden deze vorm van blindering ook geen goed idee. Het is dus niet alleen mijn mening.”

Kon u toen al iets zeggen over de statistiek zelf?
”In het onderzoeksplan beschreven Gooszen en collega’s welke stopregel ze gebruikten. Ze verwezen naar een artikel met drie stopregels, zonder een hint welke van de drie het was. Later bleek dat ze een variant uit een Nederlands standaardwerk van medisch statisticus Hubert Schouten gebruikten, maar met de verkeerde cijfers. Dat was een aanwijzing dat ze niet wisten wat ze deden op het gebied van de statistiek. Ik vind het tragisch dat het is misgegaan, want ze probeerden het echt op een tekstboekmanier te doen.”

En toen bent u zonder dat u de echte gegevens had gaan ageren?
”Ik schreef een artikel met kritiek op de opzet van het onderzoek en een oproep tot discussie. Toen belde ‘Nova’, dat vooral geïnteresseerd was in sensationele verhalen over een patiënt die kreunend een handtekening moest zetten. Ik weet niet of dat soort kritiek terecht is, de opzet van het onderzoek leek verder heel correct. Helaas kregen Gooszen en ik elkaar niet te spreken in de uitzending en zei hij: ‘Gill heeft de gegevens niet en kan niets zeggen.’ Daarna kreeg ik van een journaliste alsnog de cijfers van de tussenstand. En wat bleek? Ze hadden volgens hun eigen stopregel moeten stoppen.
Je berekent voor zo’n stopregel uit de gegevens de p-waarde, een getal dat aangeeft hoe goed je meetgegevens bij je aanname passen. Volgens het recept dat de medici wilden gebruiken, zouden ze stoppen voor significantie als de p-waarde kleiner was dan 0,0081 en stoppen voor nutteloosheid als de p-waarde groter was dan 0,382. Als je de cijfers van halverwege het onderzoek invult, dan komt er een p-waarde van 0,8 uit.”

Waarom zijn ze dan niet gestopt?
”Het probleem is dat er twee van die p-waardes zijn: een linker en een rechter, bij elkaar opgeteld zijn ze één. In het onderzoek is een softwarepakket gebruikt dat niet vraagt welke van de twee je wilt hebben. Het programma geeft altijd de kleinste van de twee terug, in dit geval was dat dus 0,2 in plaats van 0,8.”

Hoe weet u dat het zo is gegaan?
”Doordat ik onlangs met Gooszen en anderen ben gaan praten. Zelf vinden ze het achteraf schokkend dat dit is misgegaan. Hoewel ze zeggen dat ze waarschijnlijk door zouden zijn gegaan met het onderzoek, ook al hadden ze die p-waarde van 0,8 gezien. Maar dan hadden ze halverwege in elk geval goed nagedacht over wat er precies aan de hand was.”

En hoe moet het nu verder?
”Ik ben van plan om samen met Gooszen en anderen een artikel te maken over hoe het wel had gemoeten. Mijn advies zou daarnaast zijn om in elke toezichtcommissie een professionele statisticus te plaatsen, die niet geblindeerd is, net als in andere landen al gebeurt.”

Eerder sprong u op de bres voor Lucia de B. Heeft u nog tijd voor uw normale onderzoek met al deze acties?
”Nu weer wel, ik probeer de draad weer op te pakken.”

En als er volgende week weer iets in de krant staat over onjuist gebruikte statistiek?
”Dan ga ik toch uitzoeken hoe het zit. Misschien kan ik iemand anders daarvoor interesseren, dat is ook best.”

Een dag later volgt een e-mail van Gill:
‘Je vroeg me of ik nu klaar was met ‘acties’ zoals Lucia de B. en probiotica, of dat ik terugging naar mijn onderzoek […]. Ik ben al betrokken bij een andere zaak. De zaak Kevin Sweeney waar alle wetenschappelijk evidentie kristalhelder is: de vrouw van Sweeney overleed vanwege een brand in hun huis, veroorzaakt door roken in bed. […] Het is allemaal bijna niet te geloven, wat allemaal mis ging in deze zaak. […] Deze zaak heeft niet veel met statistiek te maken, maar desondanks ben ik bezig met een Bayesiaanse modelering…’

WIE IS RICHARD GILL?
Richard Gill werd geboren in het Engelse Redhill, in 1951. Hij studeerde wiskunde in Cambridge en kwam daarna naar Nederland voor de liefde. Hij werkte op het Mathematisch Instituut in Amsterdam en promoveerde in 1979 op een onderwerp uit de medische statistiek: hoe lang blijven mensen gezond na een behandeling tegen kanker? Gill was onder andere afdelingshoofd statistiek in Amsterdam en hoogleraar in Utrecht. Sinds 2006 is Gill verbonden aan de Universiteit Leiden. Hij is voorzitter van de Vereniging voor Statistiek en Operationele Research.
Het afgelopen jaar voerde Gill fel actie tegen de veroordeling van verpleegster Lucia de B., die zeven moorden zou hebben gepleegd. Gill veegde de vloer aan met het statistische bewijs en nam samen met Maarten ’t Hart het initiatief tot een paginagrote advertentie met het verzoek om de zaak te heropenen. Inmiddels is de detentie van Lucia de B. geschorst en wordt bekeken of de zaak heropend kan worden.
Gill is getrouwd, heeft drie kinderen en een kleinzoon.