Forskere nekter innsyn i ME-studie

«We went through the paper line by line, figure by figure,» said Begley. «I explained that we re-did their experiment 50 times and never got their result. He said they’d done it six times and got this result once, but put it in the paper because it made the best story. It’s very disillusioning.»
In cancer science, many «discoveries» don’t hold up, Reuters 2012.

Etter at den amerikanske journalisten David Tuller skrev en omfattende artikkel med et kritisk blikk på den største behandlingsstudien på ME-feltet noensinne, har det vært mye debatt rundt PACE-studien.

Her kan du lese David Tullers omfattende artikler i tre deler oversatt til norsk: Del 1 – Del 2 – Del 3.
Her er originalartikkelen på virology.ws.

PACE-studien tok for seg behandlingene kognitiv atferdsterapi (CBT), gradert treningsterapi (GET) og adaptive pacing therapy (APT) og sammenlignet dette med standard oppfølging av spesialist. Over 600 pasienter deltok i studien. Ifølge forskerne viste studien at CBT og GET ga en ekstra bedring for en andel av pasientene, og at denne effekten var moderat. Hver sjuende pasient hadde ifølge forskerne en statistisk signifikant bedring av CBT og GET sammenlignet med standard oppfølging av spesialist. Det betyr like fullt at 6 av 7 pasienter ikke hadde noen betydelig effekt av slik behandling.

Det er blitt arrangert en rekke pressekonferanser knyttet til prosjektet, og resultatene har fått omfattende mediedekning hvor CBT og GET har blitt anbefalt som den beste behandling for ME-pasienter. Daily Mail skrev en artikkel med en overskrift som antyder at ME-pasienter kan bli friske bare de kommer seg ut og trener, mens en annen avis skrev at ME-pasienter kan bli friske med trening og positive tanker. Svært mange av medieartiklene har i stor grad oversolgt resultatene som viser at kun 1 av 7 opplever noe bedring med slik behandling. PACE-studien har også hatt innflytelse på retningslinjer for behandling av ME i helsetjenestene rundt om i verden.

Studien ble publisert i The Lancet i 2011, og en rekke oppfølgingsstudier basert på det samme prosjektet er i årene etter blitt publisert i forskjellige vitenskapelige tidsskrifter. I artikkelen av den amerikanske helsejournalisten David Tuller ytrer flere fagpersoner sterk kritikk mot en del av metodene og rapporteringen i PACE-studiene. Det har ført til en tilspisset debatt rundt om ikke studien bør gjennomgås på nytt av uavhengige forskere for å se om det er hold i denne kritikken. Å gjøre rådata fra studier tilgjengelig for uavhengige analyser fra andre forskere er blitt en stadig mer sentral del av forskningsverden. Det er viktig for å kunne etterprøve rapporterte funn.

Det er flere store initiativer i gang for å få mer åpenhet om slike data. Det har fått stadig mer oppmerksomhet ettersom flere store forskningsprosjekter de siste årene har vist at en stor andel av forskningsfunnene innen medisin ikke lar seg bekrefte gjennom nye analyser og forsøk. Den åpenbare konsekvensen av dette er at mye av den kunnskapen leger og forskere baserer seg på i møte med pasienter og videre forskning, rett og slett er usikker og i verste fall feil.

Det skapte oppstyr da professor ved Stanford University, John Ioannidis, i 2005 publiserte artikkelen «Why most published research findings are false«. Han skrev at undersøkelser tyder på at det ser ut til å være mer sannsynlig at et medisinsk forskingsfunn er uriktig enn at det er sant. Det vil si at en rekke funn som er akseptert som viktige, viser seg å være vanskelig å verifisere.

Innen kreftforskningen er det de siste årene gjennomført flere store undersøkelser hvor det viser seg at tidligere forskning er upålitelig. Ifølge Reuters undersøkte et slikt prosjekt 53 studier, og i 47 av disse klarte de ikke å reprodusere funnene. I et annet prosjekt klarte forskerne kun å verifisere rundt en fjerdedel av 47 tidligere studier. Nylig ble en studie fra gigantprosjektet Open Science Collaboration  publisert i Science. Her forsøkte en stor gruppe forskere å reprodusere funnene i 100 studier innen psykologi. Resultatet? Det var kun 39 prosent av studiene de undersøkte hvor de klarte å bekrefte de opprinnelige funnene.

Kontroversene rundt PACE-studien har ført til at det er blitt rettet en rekke innsynskrav til universitetene som sto bak studien. I første rekke har det vært pasienter som har ønsket innsyn i anonymiserte rådata for å kunne vurdere disse opp mot det som er rapportert i studien. Et av de viktigste spørsmålene har dreid seg om at forskerne bak studien har endret nesten samtlige av utfallsmålene de selv hadde definert i protokollen for studien. Forskere lager alltid en omfattende studieprotokoll før studiestart hvor de definerer hvordan de skal måle resultatene. Hvis slike utfallsmål ikke defineres på forhånd, er det fare for at forskere plukker ut mål som gjør at studien viser et positivt resultat. Slik bør det selvsagt ikke være, men vi er alle mennesker, også forskere, og positive studier blir sett på som mer spennende enn negative studier. Det er ekstra problematisk når forskerne i utgangspunktet også har argumentert for at behandlingene som testes fungerer (noe som er tilfellet i PACE-studien). Da står faglig omdømme på spill.

Forskere skal derfor ha en svært god grunn for å endre forhåndsdefinerte utfallsmål etter at studien er i gang. Da kan det bli for fristende å endre målene på en måte som gir bedre resultater. Hvis slike endringer gjøres, regnes det uansett som god praksis å rapportere resultatene fra både de opprinnelige utfallsmålene fra protokollen i tillegg til de nye utfallsmålene. Deretter bør forskerne se på om endringene i utfallsmål har gitt store endringer i resultatene og diskutere dette. Det er et rødt flagg, hvis slike endringer fører til store forskjeller i resultatet av studien.

I denne forskningsartikkelen i JAMA fra 2014 så forskerne på reanalyser av en rekke kliniske studier og fant at i 35 prosent av studiene førte reanalysene til andre konklusjoner enn i den originale artikkelen.

PACE-forskerne endret på nesten samtlige utfallsmål post-hoc (dvs etter at studien var godt i gang). Alle de nye utfallsmålene var slakkere enn de opprinnelige målene i protokollen – det vil si at en deltaker lettere ville bli regnet som å ha hatt en bedring. Til tross for disse omfattende endringene rapporterte de ikke i tillegg resultatene slik de var definert i protokollen. De rapporterte kun resultatene fra de endrede utfallsmålene. Dette er noe av den sentrale kritikken de har blitt møtt med i etterkant, også fra fagpersonene i artikkelen til David Tuller. I tillegg har disse endringene ført til at man på noen av utfallsmålene kunne bli regnet som syk nok til å få være med i studien og samtidig være regnet som frisk nok til å bli ansett som «frisk». På målet fysisk funksjon ble deltakere for eksempel regnet som sterkt funksjonsnedsatt og syke nok til å få være med i studien hvis du hadde en score på under 65 (på en skala fra 0-100 hvor lavere score betyr at man er sykere). Samtidig ble deltakerne på samme målet karakterisert som «friske» hvis de scoret over 60 etter studien. Satt på spissen kunne man score 65 og få være med i studien, bli dårligere gjennom studien og score 61 etter 1 år, men allikevel bli regnet som «frisk» på dette utfallsmålet på slutten av studien.

Dette er grunnen til at mange har ønsket at forskerne også skal offentliggjøre resultatene slik de ville blitt med de opprinnelige utfallsmålene fra protokollen. Dette har forskerne ikke villet gjøre. Det har igjen ført til at det er sendt innsynskrav for å få tilgang på rådataene slik at dette kan bli analysert av andre. Universitetene hvor forskerne jobber har imidlertid nektet å gi ut noen rådata fra studien.

De fleste innsynskravene er sendt av pasienter, og selv om noen av disse pasientene har forskerkompetanse fra sitt tidligere arbeid, har flere av innsynskravene blitt karakterisert som en svertekampanje av forskerne og universitetene hvor de jobber. Etter artikkelen til David Tuller har imidlertid også enkelte akademikere sett nærmere på PACE-studien, blant dem forsker og professor i helsepsykologi, James C. Coyne. Han har skrevet flere kritiske bloggposter om studien. Nylig sendte han et innsynskrav til King’s College London, et av universitetene bak en oppfølgingsstudie fra PACE som ble publisert i PLoS One. Han ba om rådata for å gjøre egne analyser.

Innsynskravet ble avvist. Noen av begrunnelsene var oppsiktsvekkende lesning. King’s College mente at innsynskravet var «vexatious», det vil si at det kun var for å plage eller sverte mottakeren. I avslaget skriver King’s College at de mener Coyne har «uredelige motiver», og at innsynskravet kan føre til «sjikanering av og engstelse hos de ansatte». Mye av begrunnelsen for avslaget handler om at de involverte forskerne frykter offentlig kritikk og «skade på sitt omdømme». Her kan du lese hele avslaget fra King’s College.

Det er mye følelser og sinne i ME-debatten, og man skal selvsagt ikke utelukke at flere av innsynskravene har vært useriøse og umotiverte. Samtidig er mange av innsynskravene gjort på en skikkelig måte og med en oppriktig nysgjerrighet rundt dataene. Uavhengig av dette skal ikke innsyn være avhengig av intensjonene til avsenderen. Som journalist søker jeg ofte innsyn i dokumenter gjennom postjournalene til offentlige myndigheter. Det er en viktig del av demokratiet å kunne få innsyn i prosesser. Enhver kan søke innsyn, og det er et lovverk som regulerer dette. Ingen vil finne på å spørre meg om mine intensjoner når jeg søker innsyn, for det har ingenting med saken å gjøre. Hvis mottakeren ved hvert innsynskrav skulle kunne velge hvem som får innsyn ut fra om det er fare for at det vil føre til kritikk, ville det selvsagt ikke vært noen reell åpenhet.

Se for deg at en journalist ville bli nektet innsyn i postjournalene til statsministerens kontor fordi departementet mente journalisten hadde «uredelige motiver», og at innsyn kunne føre til omdømmeproblemer for statsministeren. Det ville blitt en opphetet debatt, og resultatet av den debatten ville vært nokså innlysende.

Åpenhet og offentlighet er ofte viktigst når den gjør vondt. Det er nemlig da problematiske ting avdekkes. Eller at ubegrunnet kritikk blir avkledd. Begge deler er viktig. Hemmelighold fører bare til mistanke om at noen vil skjule noe. Det er det som nå skjer rundt PACE-studien. Hvis analysene er gode i studien, er det ingen fare for at nye analyser vil underminere resultatene som er rapportert. Da vil nye analyser heller bidra til å styrke funnene. Derfor lurer mange på hvorfor det er så stor motstand mot å gi ut rådata slik at andre forskere kan analysere og vurdere.

Til nettsiden Retraction Watch sier en av de sentrale forskerne bak PACE-studien at de ikke vil gi ut rådata fordi de har lovet pasientene at de ikke skal gjøre det, og fordi det kan ødelegge for videre studier og analyser. Dette argumentet er vanskelig å forstå, ettersom å gi andre forskere tilgang til rådata blir regnet som god praksis i forskningsverdenen. Dette gjøres selvsagt også i anonymisert form, noe som uten problemer er blitt gjort i en rekke andre studier. Uten uavhengig kritisk vurdering av forskningsfunn, er ikke funnene verdt stort. Jo flere forskere som bekrefter de samme funnene og kan gå god for dataene, dess større sannsynlighet er det for at funnene er riktige. Å ikke gi tilgang til rådata er det samme som å gjøre seg utilgjengelig for opplyst kritikk. Det er som å si at «dere må bare stole på at vi har gjort dette riktig». Gitt alle studiene som nå viser hvor ofte forskningsresultater viser seg å være upresise eller regelrett feil, er dette en håpløs holdning. Man burde omfavne at andre forskere ønsker å ettergå egne data.

Det oppsiktsvekkende avslaget fra King’s College har på Twitter blitt møtt med vantro av flere fagpersoner i forskningsverdenen. Brian Nosek, leder for Center for Open Science, har kalt begrunnelsen for forskningsmessig uetisk. Andre fagpersoner har tatt i bruk karakteristikker som skandaløst, uvitenskapelig og rystet over begrunnelsene King’s College gir for å holde tilbake rådata fra å bli analysert av andre.

 

 

Det vitenskapelige tidsskriftet PLoS One har strenge regler for at forskere som publiserer hos dem også forplikter seg til å dele data med andre forskere. Nå har tidsskriftet satt i gang en granskning av studien basert på at King’s College nekter å dele data.

Tre renommerte amerikanske forskere har nå sendt et nytt innsynskrav til et av de andre universitetene bak studien, Queen Mary University, hvor de ber om tilgang til en del rådata fra PACE-studien. De tre professorene er Ronald Davis fra Stanford University og Bruce Levin og Vincent Racaniello fra Columbia University. Racaniello er mannen som driver bloggen virology.ws, hvor David Tullers artikkel ble publisert. Levin og Davis er to av forskerne som ble sitert i artikkelen til Tuller og var kritiske til metodene i PACE-studien.

I begrunnelsen for innsynskravet skriver de blant annet at studien kan se ut til å ha flere metodeproblemer som «major mid-trial changes in the primary outcomes that were not accompanied by the necessary sensitivity analyses; thresholds for “recovery” on the primary outcomes that indicated worse health than the study’s own entry criteria». Forskerne skriver at de er bekymret for at slike ting kan ha ført til at funnene i PACE-studiene er blitt oversolgt.

«Vi ber om tilgang på dataene fra studien kun basert på vårt ønske om å finne ut hva som faktisk er sant», skriver forskerne i avslutningen på brevet.

PACE-studien var finansiert med over 60 millioner kroner i offentlige midler. Det er vanskelig å forsvare at ikke andre forskere skal få tilgang til rådataene fra prosjektet. Fram til det skjer, vil det alltid være et skjær av mistenksomhet rundt studien. Det er i alle fall ingen tjent med.

Her kan du lese en blogg av forsker og professor Dorothy Bishop om hvorfor det er viktig å dele rådata.
Hun vurderer også de forskjellige grunnene forskere har for ikke å ville dele slike data.