Hoe voorkom je dat je jezelf voor de gek houdt?

We zetten een stap terug in de tijd. ‘Majorana: geen fraude, maar confirmation bias’, kopte Delta een paar maanden geleden.

In maart 2021 moest Nature een artikel uit de groep van hoogleraar quantumtransport Leo Kouwenhoven van QuTech en Microsoft intrekken nadat er fouten in de data-analyse waren geconstateerd. In het artikel uit 2018 beweerden de onderzoekers Majoranadeeltjes te hebben waargenomen. Dat was groot nieuws omdat deze obscure deeltjes, zonder massa of lading, mogelijk dienst konden doen als qubits, de rekeneenheden van een toekomstige quantumcomputer.

Maar al snel rees de vraag of de onderzoekers hun bevindingen wel op een eerlijke wijze hadden gepresenteerd. Hadden ze opzettelijk onwelgevallige gegevens opzij geschoven om andere wetenschappers op het verkeerde been te zetten? Vanwege de aantijgingen stelde de TU een extern onderzoek in om deze vraag te beantwoorden.

In een publiek toegankelijke tussenrapportage stellen de experts dat de auteurs waarschijnlijk ‘in beslag genomen waren door het enthousiasme van het moment en daardoor onvoldoende oog hadden voor de data die niet pasten bij het doel dat zij nastreefden’. Anders gezegd: ze hadden zich laten leiden door confirmation bias, de neiging om bewijsmateriaal te interpreteren op een manier die je hypothese bevestigt zonder oog te hebben voor data die je hypothese tegenspreken.

Bevestigingsvooringenomenheid is een groot probleem in de wetenschap, zegt psycholoog Matthew Makel van de Johns Hopkins University School of Education. Hij doet veel onderzoek naar het zelfcorrigerend vermogen van de wetenschap. De Australische psycholoog Mark Rubin, van de Universiteit van Newcastle, kijkt er heel anders tegenaan. Hij onderzoekt groepsprocessen die vooroordelen zoals de confirmation bias versterken. Volgens hem kan confirmation bias juist gunstig zijn voor de wetenschap. Delta vroeg aan beide onderzoekers hoe je valkuilen het best vermijdt.

Matthew Makel: “We moeten meer waarde hechten aan onafhankelijk onderzoek.” (Foto: Johns Hopkins University School of Education)

Hoe kunnen onderzoekers zich tegen confirmation bias beschermen?
“Zoals de natuurkundige Richard Feynman ooit zei: ‘Het uitgangspunt is dat je jezelf niet voor de gek moet houden – en jij bent het gemakkelijkst voor de gek te houden.’ Onderzoekers zijn mensen. We kunnen ons het best richten op de onderliggende systemen en die proberen te verbeteren. De wetenschap moet zo ingericht worden dat onderzoekers gestimuleerd worden om gegevens te delen. Er moet meer aandacht komen voor repliceerbaarheid van onderzoek. En onderzoek moet gewaardeerd worden op basis van de kwaliteit van de onderzoeksvragen en –methoden, in plaats van op flitsende onderzoeksresultaten.”

Vallen sommige mensen gemakkelijker ten prooi aan vooringenomenheid?
“Mijn voorgevoel zegt dat context cruciaal is. Niet voor niets is het citaat van Upton Sinclair zo bekend: ‘Het is moeilijk om iemand iets te laten begrijpen als zijn salaris ervan afhangt dat hij het niet begrijpt’. Deze spreuk vindt veel weerklank. In het onderwijsonderzoek scoren programma-evaluaties die worden uitgevoerd of betaald door degenen die een bepaalde onderwijsvernieuwing hebben ontwikkeld bijvoorbeeld hoger dan evaluaties die door onafhankelijke teams worden uitgevoerd. Daarom is transparantie van het onderzoeksproces en het delen van potentiële belangenconflicten zo belangrijk. Dit wil niet zeggen dat belanghebbende partijen nooit waardevol onderzoek kunnen uitvoeren, maar voor de samenleving is het goed om meer waarde te hechten aan onafhankelijk onderzoek.”

Welke andere maatregelen moeten onderzoeksgroepen nemen om het risico van confirmation bias tegen te gaan? En hoe moeten universiteiten en uitgevers va wetenschappelijke bladen ermee omgaan?
“Er zijn verschillende mogelijkheden. Onderzoeksgroepen zouden hun eigen ‘red teams’ van onafhankelijke critici kunnen aanwerven waardoor een kritische kijk integraal deel uitmaakt van het werkproces. Ook is het mogelijk om voorafgaand aan de gegevensverzameling de onderzoeksopzet voor te leggen aan externe onafhankelijke onderzoekers voor peer review. Een derde manier is vooraf geregistreerde samenwerkingen aan te gaan met onderzoekers die een andere kijk hebben op de zaak.”

In hoeverre is wetenschap zelfcorrigerend?
“Wetenschap is zelfcorrigerend als wetenschappers ernaar streven zichzelf te corrigeren. Correctie is niet iets vanzelfsprekends. Er zijn financiële middelen nodig om de wetenschap zelfcorrigerend te maken. De onderzoeksgemeenschap dient ook te aanvaarden dat er ook na publicatie nog kwaliteitscontrole is. Maar bij voorkeur worden problemen opgespoord vóór de publicatie, of beter nog, vóór de verzameling van gegevens. Maar er zullen altijd fouten tussendoor glippen. Voortdurende evaluatie van onderzoek na publicatie is een belangrijk ingrediënt voor een gezond zelfcorrigerend systeem. Bij deze evaluatie kan worden gekeken naar de reproduceerbaarheid (kunnen anderen dezelfde resultaten halen uit dezelfde gegevens?) en naar replicatie (kunnen dezelfde resultaten worden gevonden met nieuwe gegevens?). Onderzoekers moeten aanvaarden dat hun werk ook na publicatie geëvalueerd blijft worden.”

Mark Rubin: “Bevestigingsvooringenomenheid kan gunstig zijn voor wetenschappelijke vooruitgang.” (Foto: University of Newcastle)

Zijn sommige mensen vatbaarder voor vooringenomenheid dan anderen?
“Ja, dat blijkt uit recent cognitief en neuraal onderzoek. Maar ik denk dat het belangrijk is om bevestigingsvooringenomenheid op collectief niveau te bekijken. In een recente studie werd aan deelnemers met een achtergrond in psychologie gevraagd om een studie te evalueren op basis van de samenvatting. De helft van de deelnemers las een versie van de samenvatting die de resultaten in verband bracht met parapsychologie, en de andere helft las een versie die de resultaten linkte aan de neurowetenschap. Beide groepen lazen over exact dezelfde methoden en resultaten. Toch beoordeelden de deelnemers de neurowetenschappelijke benadering als sterker, waarschijnlijk als gevolg van een collectieve bevestigingsbias ten gunste van de neurowetenschap. Het is duidelijk: we moeten oppassen dat we geldig bewijs niet te snel terzijde schuiven.”

Toch is confirmation bias volgens u niet per definitie een gevaar voor de wetenschap. Kunt u dat toelichten?
“Onderzoekers zijn geneigd om vooringenomen te zijn ten gunste van hypothesen die meer ingeburgerd en plausibel zijn (bijvoorbeeld neurowetenschappen in plaats van parapsychologie). Dus geëxtrapoleerd naar het collectieve niveau zal de bevestigingsvooringenomenheid de neiging hebben om theorieën en hypothesen te bevoordelen die plausibel zijn en minder plausibele hypothesen af te wijzen. Bijgevolg kan de bevestigingsvooringenomenheid in feite gunstig zijn voor de wetenschappelijke vooruitgang, omdat het wetenschappers ervan weerhoudt plausibele theorieën te gemakkelijk terzijde te schuiven.
Bovendien denk ik dat het onmogelijk en problematisch zou zijn om al je vooroordelen uit te bannen. Veel van onze vooroordelen zijn functioneel. Het is bijvoorbeeld nuttig om bevooroordeeld te zijn tegen vreemde mannen in donkere steegjes! Confirmation bias heeft evolutionair gezien een functie.
Net zo min als andere mensen, kunnen wetenschappers hun vooroordelen elimineren. In de wetenschap zou een ‘bias’ een gemotiveerde afwijking impliceren van een perspectief dat volgens sommige objectieve criteria als ‘juist’ wordt verondersteld. Maar wetenschappers zijn nooit 100% zeker van welk perspectief “juist” is, en dus is het altijd een kwestie van mening of zij onaanvaardbaar “bevooroordeeld” zijn of dat zij een redelijke rechtvaardiging hebben voor hun specifieke bewering. En, zoals Dr. Makel opmerkte, dat is waar onderlinge discussie, evaluatie en kritiek belangrijk zijn.”

Maar er kleven valkuilen aan confirmation bias. Hoe kunnen die worden vermeden?
“Alleen door in discussie te gaan met andere wetenschappers kunnen we de mogelijke invloed van onze vooroordelen op onze conclusies evalueren.
Preregistratie van onderzoeksopzetten wordt wel eens voorgesteld als methode om een confirmation bias aan het licht te brengen. Maar zoals ik in een recent artikel bespreek, sta ik om verschillende redenen sceptisch tegenover deze aanpak. Preregistratie vermindert de vooringenomenheid niet; het stelt mensen alleen in staat te identificeren wanneer onderzoekers hun aanvankelijke, vooraf geregistreerde vooringenomenheid hebben veranderd in een andere reeks vooringenomenheden. Ik denk dat transparantie en collegiale kritiek (peer review) belangrijker zijn dan preregistratie, omdat zij ons in staat stellen de nieuwe vooringenomenheid van de onderzoeker te beoordelen in de context van zijn huidige beweringen. In het geval van het Majorana-artikel bleek die aanpak effectief.”

Hoezo bleek die aanpak effectief?
“De externe commissie van deskundigen (Brouwer et al. (2020)) concludeerde dat de onderzoekers van de TU Delft hun ‘beste’ resultaten presenteerden en ervoor te kozen om hun minder indrukwekkende resultaten niet te rapporteren. Een belangrijk onderdeel van dit verhaal is dus dat de vooringenomen selectieve rapportage werd geïdentificeerd door peer review na publicatie.”

Dat kan zijn, maar het kostte twee klokkenluiders enorm veel tijd en moeite om een en ander in gang te zetten. Hoe kunnen we de wetenschap nog zelfkritischer maken?
“Er is altijd ruimte voor verbetering. Ik denk dat we een wetenschappelijke cultuur moeten bevorderen waarbij het gemeengoed is om gegevens te delen, transparant te zijn en kritiek op elkaar te uiten. En we moeten minder hard afgestraft worden als we vooroordelen en fouten toegeven. We zijn allemaal bevooroordeeld, en we maken allemaal fouten. Dit zou onderzoekers niet kwalijk genomen moeten worden.“