DOOR TIM SMITS. Een “wetenschappelijke publicatie” gebruiken in een betoog, dwingt gezag af. Zeker als het gaat over een ‘echte’ publicatie in een wetenschappelijk tijdschrift met peer review. Dan weten we dat het artikel eerst door andere academici kritisch bekeken werd vooraleer het groen licht kreeg om gepubliceerd te worden. Leken, journalisten, studenten en ook academici dichten zo’n publicatie de nodige sérieux en objectiviteit toe. Maar dat is volgens mij overdreven, want de manier waarop artikels gepubliceerd worden, is niet meer van deze tijd.

Peer review

Tim Smits

Voor de meeste tijdschriften werkt het nog steeds als volgt. Een auteur of groep van auteurs stuurt een artikel in naar een academisch tijdschrift. Liefst stuur je het “hoog” in, dat wil zeggen naar een hoog gewaardeerd tijdschrift in het vakgebied waar je toch denkt dat je stuk kans maakt aanvaard te worden. Een editor van dat tijdschrift vraagt dan aan enkele andere academici om het artikel te beoordelen. Indien het artikel relatief goed bevonden wordt is er dan nog wat heen- en weer van suggesties en verbeteringen tot een uiteindelijke versie aanvaard wordt. Die komt dan in het tijdschrift waarop het plots publiek wordt en als het ware een in steen gebeitelde objectiviteit kan claimen, “want het is peer-reviewed”.

Maar die peer-review is dus eigenlijk slechts een besloten clubje van enkele betrokkenen. Het maakt dan eigenlijk niet meer uit wat de rest van de academische gemeenschap er van vindt. Vooral voor op empirie gebaseerd onderzoek wringt hier het schoentje. Zelfs al zijn flink wat mensen het oneens met het artikel of geloven ze de bevindingen niet, dan ligt toch de “bewijslast” voor het ontkrachten ervan bij die anderen. Voor heel wat empirisch onderzoek wil dat dan ook zeggen dat je eigenlijk veel meer bewijs van het tegendeel moet laten aandraven om een eerder gepubliceerde bevinding te kunnen bijspijkeren. Dat is meteen ook één van de redenen waarom we te weinig onderzoek zien dat eerdere bevindingen probeert te controleren.

Besloten clubjes

Hieronder volgt een relaas dat illustreert hoe een tijdschrift echt een besloten en subjectief platform kan vormen ondanks inspanningen van academici om de gepubliceerde wetenschap objectiever te maken. Via discussies op Twitter geraakten een aantal wetenschappers, waaronder ikzelf, geïntrigeerd door de grove methodologische fouten in een artikel. Het artikel (Turkington et al., 2014) werd gepubliceerd in Journal of Nervous and Mental Disease, binnen die discipline een belangrijk tijdschrift met een lange traditie (sinds 1874). Soms kan er blijkbaar een artikel gepubliceerd raken waar nog fouten instaan die een gemiddelde bachelor student grotendeels moet kunnen herkennen. Dat is een duidelijk signaal dat soms het systeem van peer review echt faalt.

Peer-review is eigenlijk slechts een besloten clubje van enkele betrokkenen. Het maakt niet uit wat de rest van de academische gemeenschap er van vindt.

Omwille van die fouten schreven we de editor van het tijdschrift aan met een aantal bezorgdheden. Deze brief werd door de editor aanvaard en ook gepubliceerd in het tijdschrift (Smits et al., 2014). Deze vorm van zelf-correctie zou voldoende moeten zijn om het systeem van peer review krediet te geven. Maar die gepubliceerde brief werd onmiddellijk gevolgd door een reactie van de oorspronkelijke auteur dat er niets mis was met de oorspronkelijke analyses. Hij had die immers gecontroleerd (Turkington, 2014), zo schreef hij, maar uit latere e-mails bleek dat niet waar te zijn.

Hardnekkige fouten

Dus vroegen we de oorspronkelijke data op om dan maar zelf de analyses over te doen. Uiteindelijk kregen we dan toch de data (en een uitnodiging om afgemaakt (sic!) te worden op een academisch seminarie). We analyseerden die, stelden de juiste tabellen op en stuurden die naar het tijdschrift. Opnieuw werd dit aanvaard voor publicatie (Smits et al., 2015).

Dit kleine herstel van ons geloof in het peer review systeem bleek onterecht. Opnieuw werd, zonder dat wij voorinzage kregen, die gepubliceerde brief meteen gevolgd door een reactie. Deze keer kwam die van de statistische editor van het tijdschrift, Domenic Cicchetti. Hij is tegelijk ook degene die het meest van al bezorgd moest zijn omwille van onze reacties over gebrekkige statistische rapportering. Maar zijn reactie gaat helemaal niet meer over het oorspronkelijke artikel of over hoe we nu samen het niveau van de artikels in dit tijdschrift op een aanvaardbaar niveau kunnen krijgen. Zijn reactie leest eerder als een maneuver om de aandacht af te leiden van onze feedback.

Thuisvoordeel van tijdschriften

Het tijdschrift zelf heeft weliswaar onze correctie gepubliceerd, maar heeft niets gedaan aan het oorspronkelijke artikel. Het lijkt er sterk op dat ze ook gewoon hun ‘thuisvoordeel’ willen uitspelen door alle communicatie binnen het tijdschrift te houden. Op uitnodigingen om op publieke blogs te reageren is nog geen enkele reactie gekomen van de betrokkenen (zie ook de blog van James Coyne). Het tijdschrift kreeg voor deze ene publicatie dus drie rondes van peer review. Een eerste keer voor de publicatie en dan nog eens twee keer met een brief. Daardoor zijn we nu anderhalf jaar verder en nog steeds staan de oorspronkelijke foute gegevens in het tijdschrift. Als andere onderzoekers zich daarop zouden baseren om nieuw onderzoek te doen, kan het goed zijn dat ze een stuk of 40 psychose patiënten nodeloos laten participeren in een lange vorm van therapie, gewoon omdat de betrokkenen te koppig waren fouten toe te geven en de juiste statistiek te publiceren.

Bestaat er dan een alternatief voor traditionele peer review? We zien langzamerhand wel verandering optreden. Er wordt tenminste via verschillende platformen al steviger dan vroeger gediscussieerd over gepubliceerde artikels.

Twitter and blogs are where science progresses. Journal articles are the DVD rentals of the Hollywood remake.

— Daniël Lakens (@lakens) 17 mei 2015

Relevante links

• Voor een overzicht van de fouten in het oorspronkelijke artikel, zie deze andere blog
• Dat discussies over disciplines heen, op sociale media, leiden tot samenwerking, staat hier beschreven.
• Het afleidingsmanoeuvre van Domenic Cicchetti staat hier uitgelegd. Die Domenic Cicchetti ging het ook op de man spelen door een artikel van één van de co-auteurs in twijfel te trekken en onterecht te beweren dat het gepubliceerd was in een tijdschrift dat eigenlijk frauduleus is. Dit werd door andere wetenschappers opgepikt en ook zwaar bekritiseerd, zie bijvoorbeeld de blog van Neuroskeptic (hier).
• PubMed, een database voor biomedische literatuur, maakt het tegenwoordig mogelijk om commentaren te geven per artikel via PubMed Commons. En sommige tijdschriften, zoals de Frontiers groep, voorzien het binnen hun eigen online platformen.