“Ja, maar het is gepubliceerd”. So what?

DOOR TIM SMITS. Een “wetenschappelijke publicatie” gebruiken in een betoog, dwingt gezag af. Zeker als het gaat over een ‘echte’ publicatie in een wetenschappelijk tijdschrift met peer review. Dan weten we dat het artikel eerst door andere academici kritisch bekeken werd vooraleer het groen licht kreeg om gepubliceerd te worden. Leken, journalisten, studenten en ook academici dichten zo’n publicatie de nodige sérieux en objectiviteit toe. Maar dat is volgens mij overdreven, want de manier waarop artikels gepubliceerd worden, is niet meer van deze tijd.

Geschreven door Tim Smits, docent persuasieve en marketingcommunicatie aan het Instituut voor MediaStudies. Hij heeft een persoonlijke blog en tweet via @TimSmitsTim

Peer review

Tim Smits

Tim Smits

Voor de meeste tijdschriften werkt het nog steeds als volgt. Een auteur of groep van auteurs stuurt een artikel in naar een academisch tijdschrift. Liefst stuur je het “hoog” in, dat wil zeggen naar een hoog gewaardeerd tijdschrift in het vakgebied waar je toch denkt dat je stuk kans maakt aanvaard te worden. Een editor van dat tijdschrift vraagt dan aan enkele andere academici om het artikel te beoordelen. Indien het artikel relatief goed bevonden wordt is er dan nog wat heen- en weer van suggesties en verbeteringen tot een uiteindelijke versie aanvaard wordt. Die komt dan in het tijdschrift waarop het plots publiek wordt en als het ware een in steen gebeitelde objectiviteit kan claimen, “want het is peer-reviewed”.

Maar die peer-review is dus eigenlijk slechts een besloten clubje van enkele betrokkenen. Het maakt dan eigenlijk niet meer uit wat de rest van de academische gemeenschap er van vindt. Vooral voor op empirie gebaseerd onderzoek wringt hier het schoentje. Zelfs al zijn flink wat mensen het oneens met het artikel of geloven ze de bevindingen niet, dan ligt toch de “bewijslast” voor het ontkrachten ervan bij die anderen. Voor heel wat empirisch onderzoek wil dat dan ook zeggen dat je eigenlijk veel meer bewijs van het tegendeel moet laten aandraven om een eerder gepubliceerde bevinding te kunnen bijspijkeren. Dat is meteen ook één van de redenen waarom we te weinig onderzoek zien dat eerdere bevindingen probeert te controleren.

Besloten clubjes

Hieronder volgt een relaas dat illustreert hoe een tijdschrift echt een besloten en subjectief platform kan vormen ondanks inspanningen van academici om de gepubliceerde wetenschap objectiever te maken. Via discussies op Twitter geraakten een aantal wetenschappers, waaronder ikzelf, geïntrigeerd door de grove methodologische fouten in een artikel. Het artikel (Turkington et al., 2014) werd gepubliceerd in Journal of Nervous and Mental Disease, binnen die discipline een belangrijk tijdschrift met een lange traditie (sinds 1874). Soms kan er blijkbaar een artikel gepubliceerd raken waar nog fouten instaan die een gemiddelde bachelor student grotendeels moet kunnen herkennen. Dat is een duidelijk signaal dat soms het systeem van peer review echt faalt.

Peer-review is eigenlijk slechts een besloten clubje van enkele betrokkenen. Het maakt niet uit wat de rest van de academische gemeenschap er van vindt.

Omwille van die fouten schreven we de editor van het tijdschrift aan met een aantal bezorgdheden. Deze brief werd door de editor aanvaard en ook gepubliceerd in het tijdschrift (Smits et al., 2014). Deze vorm van zelf-correctie zou voldoende moeten zijn om het systeem van peer review krediet te geven. Maar die gepubliceerde brief werd onmiddellijk gevolgd door een reactie van de oorspronkelijke auteur dat er niets mis was met de oorspronkelijke analyses. Hij had die immers gecontroleerd (Turkington, 2014), zo schreef hij, maar uit latere e-mails bleek dat niet waar te zijn.

Hardnekkige fouten

Dus vroegen we de oorspronkelijke data op om dan maar zelf de analyses over te doen. Uiteindelijk kregen we dan toch de data (en een uitnodiging om afgemaakt (sic!) te worden op een academisch seminarie). We analyseerden die, stelden de juiste tabellen op en stuurden die naar het tijdschrift. Opnieuw werd dit aanvaard voor publicatie (Smits et al., 2015).

Dit kleine herstel van ons geloof in het peer review systeem bleek onterecht. Opnieuw werd, zonder dat wij voorinzage kregen, die gepubliceerde brief meteen gevolgd door een reactie. Deze keer kwam die van de statistische editor van het tijdschrift, Domenic Cicchetti. Hij is tegelijk ook degene die het meest van al bezorgd moest zijn omwille van onze reacties over gebrekkige statistische rapportering. Maar zijn reactie gaat helemaal niet meer over het oorspronkelijke artikel of over hoe we nu samen het niveau van de artikels in dit tijdschrift op een aanvaardbaar niveau kunnen krijgen. Zijn reactie leest eerder als een maneuver om de aandacht af te leiden van onze feedback.

Thuisvoordeel van tijdschriften

Het tijdschrift zelf heeft weliswaar onze correctie gepubliceerd, maar heeft niets gedaan aan het oorspronkelijke artikel. Het lijkt er sterk op dat ze ook gewoon hun ‘thuisvoordeel’ willen uitspelen door alle communicatie binnen het tijdschrift te houden. Op uitnodigingen om op publieke blogs te reageren is nog geen enkele reactie gekomen van de betrokkenen (zie ook de blog van James Coyne). Het tijdschrift kreeg voor deze ene publicatie dus drie rondes van peer review. Een eerste keer voor de publicatie en dan nog eens twee keer met een brief. Daardoor zijn we nu anderhalf jaar verder en nog steeds staan de oorspronkelijke foute gegevens in het tijdschrift. Als andere onderzoekers zich daarop zouden baseren om nieuw onderzoek te doen, kan het goed zijn dat ze een stuk of 40 psychose patiënten nodeloos laten participeren in een lange vorm van therapie, gewoon omdat de betrokkenen te koppig waren fouten toe te geven en de juiste statistiek te publiceren.

Bestaat er dan een alternatief voor traditionele peer review? We zien langzamerhand wel verandering optreden. Er wordt tenminste via verschillende platformen al steviger dan vroeger gediscussieerd over gepubliceerde artikels.

 

Relevante links

  • Voor een overzicht van de fouten in het oorspronkelijke artikel, zie deze andere blog
  • Dat discussies over disciplines heen, op sociale media, leiden tot samenwerking, staat hier beschreven.
  • Het afleidingsmanoeuvre van Domenic Cicchetti staat hier uitgelegd. Die Domenic Cicchetti ging het ook op de man spelen door een artikel van één van de co-auteurs in twijfel te trekken en onterecht te beweren dat het gepubliceerd was in een tijdschrift dat eigenlijk frauduleus is. Dit werd door andere wetenschappers opgepikt en ook zwaar bekritiseerd, zie bijvoorbeeld de blog van Neuroskeptic (hier).
  • PubMed, een database voor biomedische literatuur, maakt het tegenwoordig mogelijk om commentaren te geven per artikel via PubMed Commons. En sommige tijdschriften, zoals de Frontiers groep, voorzien het binnen hun eigen online platformen.

    • Mooie blog, maar de twee-uitmijter is er wat over. We moeten oppassen dat we het kind niet met het badwater wegsmijten, en zo studenten en leken het gevoel geven dat alle peer-review vriendjespolitiek is. In vele gevallen werkt het nog wel naar behoren en zie ik geen (echt) alternatief. Daarom heb ik problemen met de woorden in de beginparagraaf “Maar dat is volgens mij overdreven,…”, ik zou liever hebben zien staan: “Maar dat is niet altijd terecht”.

      • Bedankt voor je reactie Filip. Ik ben het er natuurlijk ook wel mee eens dat het systeem grotendeels goed is, maar tegelijk is er ook nog iets fundamenteel mis mee. En dat krijg je moeilijk gecommuniceerd tenzij je een wat extremere positie inneemt.
        Misschien moeten we voorlopig ook dat systeem van peer review wel laten bestaan, terwijl we tegelijk ook de commentaren nadien een betere plaats moeten geven in de wetenschap, bijvoorbeeld door ze zoals bij PubMed en bij PubPeer op te nemen in de record van het artikel zelf. Zo worden de commentaren makkelijker gevonden.
        Een andere vooruitgang die we misschien nog snel kunnen zien evolueren is het publiek maken en opwaarderen van de oorspronkelijke reviews. Bij PeerJ bijvoorbeeld is het de gewoonte dat de reviews ook publiek komen te staan (als een blogpost bij het artikel) en daar krijgen de reviews zelfs een DOI nummer mee zodat ze als een soort publicatie gaan gelden
        http://peerj.com/blog/post/84907052088/peerj-peer-reviews-now-have-dois/

  1. Een zeer mooi alternatief voor het traditionele peer reviewen is de publieke peer review, reeds toegepast door een aantal tijdschriften. Ofwel worden daarbij de peer review rapporten mee met de publicatie opgeladen, ofwel kan er via comments op de inhoud gereageerd worden. Dit geldt natuurlijk enkel voor digitale publicaties.

  2. Niet iedere reviewer neemt zijn/haar taak serieus. Hetzelfde geldt jammer genoeg voor zogenaamde wetenschappers. Wie zich in een discussie alleen maar kan beroepen op de publicatiestatus zal weinigen weten te overtuigen in de wetenschappelijke wereld en hopelijk ook daarbuiten.
    Goede wetenschappers hebben hun werk aan tientallen “reviewers” voorgelegd op informele en semi-formele wijze alvorens ze zelfs maar overwegen het artikel in te sturen naar een tijdschrift. Presentaties op congressen, seminaries aan buitenlandse en binnenlandse instellingen, interne en externe workshops, lunchgesprekken met collega’s, doctoraatsverdedigingen en working papers: ze zijn een essentieel onderdeel van het peer review proces. Maar de verantwoordelijkheid om dit informele proces te ondergaan ligt bij de wetenschapper zelf, zeker wat betreft de implementatie van informele suggesties of reactie op kritiek.
    Er is nood aan transparantie en verifieerbaarheid van resultaten om de ergste uitwassen te voorkomen in de toekomst. Daarnaast sluit ik me aan bij de suggesties over het publiek maken van de reviews, het zal de kwaliteit van paper en review wellicht verhogen.
    Maar laten we toch vooral niet vergeten dat de meeste wetenschappers integriteit hoger waarderen dan ijdelheid, uit liefde voor de wetenschap uiteraard!

  3. Bedankt om te delen! Terechte bezorgdheden, lijkt me.
    Het doet me denken aan het OPO Research Integrity dat onze startende doctorandi sinds vorig jaar verplicht moeten volgen, zeer goede zaak denk ik!


Reageer

Vul je gegevens in of klik op een icoon om in te loggen.

WordPress.com logo

Je reageert onder je WordPress.com account. Log uit / Bijwerken )

Twitter-afbeelding

Je reageert onder je Twitter account. Log uit / Bijwerken )

Facebook foto

Je reageert onder je Facebook account. Log uit / Bijwerken )

Google+ photo

Je reageert onder je Google+ account. Log uit / Bijwerken )

Verbinden met %s