ME-studien på rituximab er negativ

I tre små studier så forskerne en oppsiktsvekkende effekt av det immundempende medikamentet. Nå tyder en større studie på at rituximab ikke fungerer for ME-pasienter.

Det avslørte en av forskerne bak studien, Olav Mella, på en fagdag om ME som ble arrangert på Rikshospitalet i Oslo i dag. Forskerne på Haukeland universitetssykehus har gjennomført en randomisert kontrollert studie på 152 ME-pasienter fordelt på fem sykehus i Norge. Halvparten av dem fikk rituximab, og halvparten fikk placebo i form av saltvann. En slik randomisert kontrollert studie er gullstandarden for å teste om en behandling er effektiv.

Studien er ikke publisert ennå, så detaljerte analyser av resultatene må vente. Forskerne valgte allikevel å slippe nyheten nå, for å unngå at pasienter tester ut medikamentet gjennom private aktører, noe de for øvrig har advart mot tidligere.

For egen del kommer jeg et kort øyeblikk ut av et selvpålagt bloggeksil, ettersom jeg har skrevet mye om denne forskningen tidligere, og det er på sin plass å komme med mine betraktninger om at studien er negativ. Det er en lang bloggpost, men jeg har forsøkt å gjøre den lesevennlig gjennom å dele opp i bolker. Så da setter vi i gang.

Det vakte stor oppsikt da forskerne på Haukeland universitetssykehus i Bergen i 2011 publiserte en liten randomisert kontrollert studie på 30 ME-pasienter som pekte mot at rituximab fungerte for en del av pasientene. Det kan være greit å friske opp hukommelsen først med litt bakgrunnsinfo.

 

Hva er rituximab?

Det er et medikament som slår ut B-cellene i immunsystemet. Det er disse cellene som produserer antistoffer. Antistoffer fungerer som sporhunder i immunsystemet, hvor de sporer opp og tar knekken på fremmede inntrengere i kroppen. Rituximab er i utgangspunktet et medikament mot kreft i immunsystemet, men det har etter hvert også blitt mye brukt mot enkelte autoimmune sykdommer. Dette er sykdommer hvor immunsystemet får en feilkobling og går til angrep på egen kropp. I slike sykdommer kan kroppen danne autoantistoffer, det vil si antistoffer som angriper friskt vev i kroppen. Ved å slå ut B-cellene, vil man hindre produksjon av slike autoantistoffer og dermed dempe angrepet mot egen kropp. For eksempel er rituximab mye brukt mot leddgikt.

 

Hva viste de første studiene?

Den første studien var en liten pilotstudie på tre pasienter publisert i 2009. Den viste bedring hos alle de tre pasientene.

Den andre studien ble publisert i 2011 og var en randomisert kontrollert studie på 30 pasienter. 15 fikk rituximab, og 15 fikk placebo. 10 av 15 i rituximab-gruppen viste bedring (67%), mens det kun gjaldt 2 av 15 i placebogruppen (13 %). Pasientene som opplevde bedring med rituximab fikk tilbakefall etter en stund, noe som er vanlig ved slik behandling i autoimmune sykdommer. Bedringen gjaldt sekundære mål i studien. Det primære målepunktet etter tre måneder viste ingen forskjell mellom gruppene.

Den tredje studien var en åpen studie publisert i 2015, hvor alle de 28 pasientene fikk rituximab. Studien ble gjennomført for å teste ut om flere doser med rituximab gjorde at pasientene ikke fikk tilbakefall. 18 av 28 pasienter (64 %) viste bedring, og de hadde ikke tilbakefall på samme måte som i de tidligere studiene. Denne studien hadde ikke en kontrollgruppe som fikk placebomedisin, noe som gjør det vanskelig å si noe om faktisk effekt i denne studien.

 

Hva var hypotesen til forskerne?

Hypotesen til forskerne på Haukeland har vært at ME er en form for autoimmun sykdom. Det er ikke noe oppsiktsvekkende ved en slik hypotese ettersom flere andre forskere på ME-feltet også tror autoimmunitet kan spille en rolle i sykdommen. Siden de første rituximab-studiene i 2009 og 2011 har det kommet flere studier fra andre forskergrupper hvor de blant annet spekulerer i at autoimmunitet kan spille inn, uten at dette er bevist.

 

Knust håp

Siden ME dessverre har vært et omstridt felt, skapte resultatene fra rituximab-studien i 2011 en voldsom oppmerksomhet. Jeg var selv nettopp ferdig med min dokumentarbok ”De Bortgjemte – og hvordan ME ble vår tids mest omstridte sykdom”, hvor de første to studiene fra Haukeland var en av flere sentrale historier.

Grunnen til at rituximab-studien vakte oppsikt, og til at jeg også ga det en sentral plass i egen bok, var følgende: hvis dette viste seg å stemme i videre studier, ville det være det største gjennombruddet i ME-historien. Men den første studien var for liten til å slå fast med stor grad av sikkerhet at rituximab faktisk fungerte. Det understreket også forskerne selv. I denne type behandlingsforskning begynner man gjerne med små studier for å se om det er verdt å gå videre med større og sikrere studier. Store studier på medikamenter er dyrt og svært arbeidskrevende. Gjennom midler fra Kavlifondet, Forskningsrådet og en imponerende crowdfunding-kampanje gjennomført av pasienter fikk heldigvis forskerne penger til å fullføre det de hadde begynt på. Det var viktig å få bedre svar på om dette faktisk var en mulig behandling for den livsødeleggende sykdommen. Alternativet var at funnene ble hengende i luften uten gode svar.

ME-pasientene lever hver dag med en sykdom det forskes altfor lite på, og hvor behandlingsmulighetene er svært begrenset. Det er knapt gjort studier på mulig medikamentell behandling. De få forskningskronene til behandlingsstudier har i stor grad gått til psykologiske behandlingsformer som kognitiv terapi. Samlet sett har disse studiene vist at i beste fall er dette en en form for mestringsbehandling som hjelper en liten andel av pasientene og med små til moderate effekter. Men selv disse effektene er omstridte.

Med andre ord, det er stort behov for ny og bedre behandling. Derfor har de lovende rituximab-resultatene gitt enormt håp for pasientgruppen. Ikke bare fordi det kunne føre til en mulig behandling for en del av pasientene, men også fordi det kunne lede forskningen videre mot klarere svar på hva ME er, og hva slags behandling det bør forskes videre på. Dagens nyhet om negativt resultat i denne studien er derfor fryktelig tung for ME-pasientene. Jeg vet hvor vondt dette kommer til være for så mange pasienter og pårørende som har levd i årevis med alvorlig sykdom uten gode muligheter for hjelp.

Forskerne på Haukeland har gjort akkurat det de skal gjøre – de har testet hypotesen sin gjennom stadig forbedrede studier for å se om den holder vann. Denne siste studien gjør at de må tilbake til tegnebrettet for å revurdere hypotesen. Det er også tøft for forskere å jobbe knallhardt gjennom flere år, selvsagt med et håp om positive resultater, og så ende opp med resultater som gjør at de må tenke nytt. Nå er det bare å håpe at de rister av seg skuffelsen og fortsetter det viktige arbeidet de har begynt på. Forskerne bak studien har tusenvis av blodprøver i en biobank, et unikt materiale for å jobbe videre med viktig ME-forskning. De har allerede gjort spennende funn i laboratoriet med disse prøvene som kanskje kan peke mot årsaksmekanismer i sykdommen. De har også opprettet samarbeid med en rekke internasjonale forskergrupper. På et underforsket felt som ME er det avgjørende at de får mulighet til å forske videre på det omfattende materialet de har.

 

Hva betyr det negative resultatet?

Er dette et endelig svar på at rituximab ikke virker?

Svært få studier gir endelige svar (se for øvrig historien om lupus og rituximab lenger nede i denne bloggposten). Men studien er godt gjennomført på grundig diagnostiserte pasienter, og den gir i alle fall en klar indikasjon på at rituximab ikke ser ut til å fungere.

 

Har alle de oppsiktsvekkende historiene om bedring etter rituximab-behandling fra de andre studiene vært placeboresponser?

Det kan ikke denne studien svare på. Jeg skal prøve å skissere noen mulige forklaringer.

 

Alternativ 1:

De tidligere studiene kan ha hatt et annet utvalg pasienter, det forskerne kaller seleksjonsproblematikk. Det er fortsatt mulig at det finnes en undergruppe av pasienter som responderer på rituximab, og at forskerne har hatt en uforholdsmessig høy andel av disse i de første studiene. I så fall er denne undergruppen mye mindre enn forskerne så for seg i utgangspunktet.

Jeg skal forsøke å forklare dette litt nærmere gjennom et eksempel, nemlig leddgikt. Rituximab er vist å fungere i leddgikt. Men pasienter med leddgikt er ikke like, det er forskjellige typer av sykdommen. Hos en andel av pasientene med leddgikt finner man såkalte autoantistoffer – det vil si antistoffer som kan angripe eget vev. Man kan imidlertid ha leddgikt uten at disse autoantistoffene er til stede, og da kaller man det seronegativ leddgikt. Hos disse pasientene fungerer rituximab dårligere enn hos de seropositive pasientene (de som har autoantistoffer). Hvis de første studiene på rituximab mot leddgikt hadde hatt en overvekt av seronegative pasienter, hadde man endt opp med langt dårligere resultater i disse studiene. Forskerne har imidlertid kunnet velge ut seropositive pasienter til studiene, og det er en viktig årsak til at de kunne vise god effekt av medikamentet.

La oss som et tenkt eksempel late som at det fantes seropositive og seronegative ME-pasienter. I dette tenkte eksempelet kan vi så se for oss at 90 prosent av ME-pasientene er seronegative, mens det er en liten undergruppe på 10 prosent som er seropositive. Så tenker vi oss at det kun er for disse 10 prosent seropositive pasientene at rituximab fungerer. I store studier vil man stort sett få en fordeling av pasienter som speiler det store bildet, altså et klart flertall av seronegative pasienter. Men i mindre studier kan det skje at man har fått en skjevfordeling, og at forskerne har fått inn en overvekt av seropositive pasienter. I så fall ville det gi positive resultater av rituximab i disse små studiene. I en større studie, hvor de vil få en klar overvekt av seronegative pasienter, vil derimot resultatet bli at medikamentet ikke virker. I et slikt tenkt tilfelle virker altså rituximab for en liten andel av pasientene, men det vil ikke synes i en stor studie hvor svært få fra denne gruppen er med.

Dette er bare ment som en illustrasjon på mulige metodiske problemer som kan dukke opp med utvalg av pasienter. Forklaringen på de forskjellige resultatene kan være en helt annen, men forskerne må vurdere muligheten for slik seleksjonsproblematikk. Professor Olav Mella sa under offentliggjøringen i dag at han ikke var sikker på at dette var slutten for rituximab på ME-feltet. Han sa imidlertid at man neppe får svar på det før man eventuelt vet mer om årsaksmekanismene i sykdommen. Hvis rituximab virker på en svært liten undergruppe (som i det tenkte eksempelet over), må de ha biomarkører som kan si noe om hvem disse pasientene i så fall er slik at behandlingen testes på de rette pasientene. «Vi har ikke klart å vise på pasientutvalget i denne studien at rituximab har effekt,» sa Mella.

 

Alternativ 2:

Det er spekulasjon fra min side, men det kan være at en høy andel av pasientene i placebogruppen i studien viser målbar bedring. De enorme forventningene det har vært til denne studien og et virksomt medikament, kan definitivt ha bidratt til en høy placeborespons. Pasientene som har vært med i studien er selvsagt ikke upåvirket av alle medieoppslagene om pasienter med stor bedring fra de tidligere studiene. Vi vet det er mulig å få kraftige placeboresponser. I så fall kan det også hende at bedringen hos pasientene i de tidligere studiene til en viss grad har vært oppsiktsvekkende store placeboresponser.

Det som taler mot en slik tolkning er at gruppeforskjellen i den kontrollerte studien på 30 pasienter var stor (67 % hadde bedring i rituximab-gruppen, mot 13 % i placebogruppen). Studien var dobbelt blindet, det vil si at verken forskerne eller pasientene visste hvem som faktisk fikk medikamentet – noe som skal motvirke placeborespons. Enkelte kritikere av den første studien pekte på muligheten for at pasientene kunne ha gjettet at de var i rituximab-gruppen, for eksempel på grunn av små bivirkninger av medikamentet – og at de dermed fikk en kraftig placeborespons fordi de trodde det ville virke. Jeg har litt vanskelig for å tro at det er tilfellet, men det er en mulighet man må holde åpen. Da forskerne testet rituximab i tidlig fase, var det imidlertid lite som tydet på at pasientene hadde særskilt store forventninger til at det skulle virke. Et annet problem med den forklaringen er at da burde vel også denne siste studien endt opp positiv. Det var ikke noen mindre grunn til at pasientene skulle skjønne at de fikk rituximab i den siste studien. Men studien er altså negativ.

Ved behandling av autoimmune sykdommer med rituximab får man et mønster med bedring noen uker etter behandling, for så å ha et tilsvarende tilbakefall når effekten av medikamentet går ut. Derfor trenger pasientene påfyll av medikamentet for at bedringen skal vare. I de første forsøkene på ME-pasienter ga man ikke påfyll, og pasientene fikk den karakteristiske bedringen med påfølgende tilbakefall. Altså et mønster man skulle forvente, hvis rituximab hadde effekt. Hvis det var en ren placeborespons, var det i så fall en spesiell placeborespons hos pasienter som ikke visste så mye om hva de eventuelt kunne forvente. Pasientene hadde i all hovedsak hatt et stabilt sykdomsforløp i årene før de var med i disse første studiene, så det var ikke slik at store svingninger var normalt. Men om denne type placeboresponser er noe man ser også i andre, tilsvarende studier, er det andre som kan svare bedre på enn meg.

 

Alternativ tre:

De positive resultatene i den første kontrollerte studien på 30 pasienter var en ren tilfeldighet. Det vil si at disse pasientene ville hatt en naturlig bedring uavhengig av behandling, og så var det tilfeldig at de fleste av disse var i gruppen som fikk rituximab. Det skjer av og til i forskning.

Det finnes sikkert også andre mulige forklaringer som jeg ikke har tenkt på, og dette vil sikkert forskerne selv diskutere nærmere når studien blir publisert med mer detaljer om resultatene. Uansett er det kun videre forskning som kan gi svar på hva som faktisk er tilfellet.

 

Betyr det negative resultatet at problemet i ME ikke ligger i immunsystemet?

Nei, det gjør det ikke. De norske forskerne er langt i fra alene om å tro at immunsystemet er en viktig faktor i sykdommen. En rekke internasjonale forskergrupper har de siste tre-fire årene publisert funn som peker i den retningen. Samtidig er det også mulig at problemene forskerne finner i immunsystemet ikke er årsak bak sykdommen, men bare en konsekvens – altså at selve årsaken til at folk er syke finnes i et annet system i kroppen. Dette vet vi fortsatt for lite om.

Rituximab slår ut en spesifikk celle i immunsystemet, nemlig B-cellene. Det de negative rituximab-resultatene kan tyde på, er at B-cellene i immunsystemet ikke har den sentrale rollen de norske forskerne har trodd. I alle fall ikke for en stor andel av ME-pasientene. Funnene svekker den hypotesen, selv om én studie ikke er noen endelig fasit. Her kan det fort komme nye overraskelser med videre forskning.

 

Store studier har overrasket forskere før

Jeg vil også trekke fram en historie om en helt annen sykdom. Det er nemlig slik at dette langt i fra er første gang lovende resultater og observasjoner ikke blir bekreftet i større studier.

Den autoimmune sykdommen SLE (systemisk lupus) er en fæl sykdom som i mange tilfeller rammer pasientene hardt. Også for SLE-pasientene har behandlingsalternativene vært få, tross en langt høyere forskningsinnsats enn i ME. I SLE vet man at B-cellene i immunsystemet spiller en sentral rolle. Da rituximab kom på markedet, var det knyttet store forventninger til at det kunne være en mulig revolusjonerende behandling for lupuspasientene. Flere små studier og klinisk testing av rituximab mot lupus viste lovende resultater, og mange pasienter ble behandlet med medikamentet lenge før det var gjort store studier på om det fungerte.

Det var derfor knyttet stor spenning til to store studier som endelig skulle vise om rituximab fungerte så godt som man trodde mot SLE. I 2010 kom resultatene fra den første studien på 257 SLE-pasienter. De slo ned som en bombe for alle de legene som brukte rituximab i behandlingen av lupuspasienter. Studien viste nemlig ingen forskjell mellom dem som fikk rituximab og dem som fikk standard behandling. Da resultatene fra den andre store studien kom i 2012, trodde fortsatt mange i legestanden at den første studien bare var et feilskjær. Men nok en gang var det nedslående resultater. Heller ikke i denne studien på 144 lupuspasienter viste rituximab noen god effekt.

Det er en interessant parallell fordi det viser hvor vanskelig og uforutsigbar behandlingsforskning kan være. I SLE var det tross alt sikker kunnskap at B-cellene var viktig i sykdommen, noe man vet altfor lite om i ME. Allikevel viste disse to store studiene ingen effekt av å slå ut B-cellene hos lupuspasienter, tross lovende funn i mindre studier. Har det ført til at leger og forskere har lagt rituximab på hylla på lupusfeltet? Langt i fra, noe du kan lese om her. En rekke observasjonsstudier og andre studier antyder effekt av rituximab, og selv om det ikke er offisielt godkjent for bruk i sykdommen, blir det i stor grad brukt i behandlingen av vanskelige lupustilfeller – såkalt ”off label” bruk. Ikke misforstå, poenget mitt er ikke at rituximab bør brukes ”off label” i ME. Poenget er at selv ikke store, velkontrollerte behandlingsstudier gir endelige og helt sikre svar. Og også negative studier gir viktig kunnskap og nye spor om hvordan man kan angripe dette videre.

Her kan du lese en artikkel fra Medscape om historien om lupus og rituximab.

 

ME-forskerne trenger mer penger

Det store problemet er, at i motsetning til for eksempel lupus, hvor forskerne får hundrevis av millioner kroner til forskning hvert eneste år, er ME-forskningen sterkt underfinansiert. I USA får lupusforskerne mer enn tjue ganger så mye penger til forskning hvert eneste år sammenlignet med ME-forskerne. I løpet av en femårsperiode har amerikanske myndigheter bevilget over fire tusen millioner kroner til forskning på lupus, altså over fire milliarder kroner. For ME er tilsvarende beløp rundt 200 millioner kroner over fem år, noe som er å regne som knapper og glansbilder i medisinsk forskning.

ME har i to tiår vært blant sykdommene som får minst penger til forskning. Det er derfor fryktelig vanskelig å få finansiert dyre behandlingsstudier på ME-feltet. Den store rituximab-studien i Norge kostet alene 20-30 millioner kroner. Innenfor lupusfeltet har de fortsatt med videre forskning på rituximab og lignende medikamenter tross negative resultater fra store studier. På ME-feltet derimot kan et negativt resultat som dette fort bety at man skrinlegger alle forsøk på å følge opp videre. Det ville vært trist, for det er fortsatt svært mange ubesvarte spørsmål knyttet til immunologisk behandling i ME. For øyeblikket er det få forskningsmiljøer i verden som er bedre rustet til å finne ut mer om dette enn forskerne fra Haukeland. De har bygd opp et stort forskningsnettverk både nasjonalt og internasjonalt og har en av verdens største biobanker med prøver fra ME-pasienter.

Jeg ledet en paneldiskusjon med forskerne på fagdagen på Rikshospitalet i dag, og da var Olav Mella tydelig på at de ønsker å fortsette ME-forskningen. De har ikke planer om å legge inn årene. De har også en rekke andre spennende funn fra forskningen knyttet til den store rituximab-studien, og disse vil bidra til ny og viktig kunnskap på ME-feltet etter hvert som de fullfører analysene og publiserer. Spørsmålet er selvsagt om de får finansiering til å fortsette videre studier i de kommende årene.

 

Tidenes ME-opptur er i gang

Heldigvis er det nå en langt mer kraftfull satsing på ME-forskning i USA. Nylig ble tre forskningssentre på ME finansiert med rundt 300 millioner kroner over fem år, noe som kommer i tillegg til de vanlige forskningsbevilgningene (som for øvrig også har økt). Det amerikanske folkehelseinstituttet er selv i gang med det som nok er tidenes mest detaljerte studie på ME-pasienter. Der bruker de det heiteste av ny teknologi for å lete etter svar på gåten. Amerikanske helsemyndigheter har fra høyeste hold varslet en helt annen innsats på ME-feltet framover, noe som begynner å materialisere seg. Stadig flere medisinske toppforskere har kommet inn i ME-feltet, og det var slettes ikke vanlig for noen år tilbake. Funn fra denne satsingen vil gi mer innsikt om sykdommen, hva som forårsaker den og etter hvert bedre behandlingsmuligheter.

Det er en rekke forskningsfunn den siste tiden som peker mot et problem i immunsystemet og energiomsetning i cellene (en av disse studiene kommer fra forskningsgruppa i Bergen). Mye av den amerikanske forskningsinnsatsen retter seg mot å finne ut hva som går galt i disse systemene hos pasientene. Det vil fortsatt være en humpete vei med forskningsmessige nedturer og oppturer, men det går framover i et helt annet tempo enn tidligere.

Rituximab som et mulig behandlingsalternativ er imidlertid nede for telling. Det er en tøff påkjenning for pasientene som klamrer seg til håpet om et gjennombrudd. Et håp om noe som endelig kan gi dem et bedre liv. I slike stunder er det viktig å holde fast i det store bildet – det skjer veldig mye mer positivt innenfor ME-forskningen nå enn noen gang før i historien – og det vil føre til mer kunnskap og bedre behandling. Jeg vet det er en svært fattig trøst, men håpet er at det tross alt er en slags trøst for pasienter som i flere tiår har levd i en tilværelse hvor ingen har brydd seg særlig mye om dem. Nå er det faktisk flere og flere som virkelig bryr seg.

 

PS: Denne bloggposten er skrevet nokså raskt i forbindelse med nyheten om de negative resultatene. Finner du noen feil her, så ikke nøl med å kommentere, slik at jeg får rettet det opp.

Lege Maria Gjerpe har også blogget om de negative resultatene.

 

Reklamer

21 kommentarer

Filed under Uncategorized

På pause

De som har fulgt med på denne bloggen tidligere har selvsagt fått med seg at aktiviteten har vært fraværende i snart et år nå. Siste innlegg er fra april 2016. Grunnen til det er først og fremst mangel på tid. Det siste året har jeg blitt far og samtidig hatt en jobb som har krevd sitt, og dermed har bloggen blitt prioritert bort.

Jeg burde selvsagt hatt dette forklarende innlegget lenge før, men sånn er det når man til stadighet tror at man nok skal komme i gang igjen ganske snart. Det er fortsatt et mål å holde denne bloggen i gang, men jeg tar ikke sjansen på å love når den eventuelt oppdateres igjen. Det skjer en hel masse spennende på ME-feltet, så det er mer enn nok å skrive om, men så var det denne tiden.

Takk til alle som har fulgt med, lest og diskutert. Forhåpentligvis klarer jeg å komme inn i bloggmodus igjen om ikke så altfor lenge.

8 kommentarer

Filed under Uncategorized

Hva om pasientene har rett, Kristian Gundersen?

Professor Kristian Gundersen ønsker seg debatt om pasienters innflytelse på forskningen. Eksempelet han trekker fram er imidlertid et argument for hvor viktig pasientengasjement kan være.

 

«The results from PACE have been published in prestigious journals and influenced public health recommendations around the world; and yet, unraveling this design and the characterization of the outcomes of the trial has left many people, including me, unsure this study has any scientific merit. How did the study go unchallenged for five years?»
Fra PACE: The research that sparked a patient rebellion and challenged medicine av statistikkprofessor Rebecca Goldin.

Professor i biologi Kristian Gundersen forsøker i sin Uviten-spalte i Aftenposten å ta opp problematiske sider ved pasientaktivisme. Han mener for mye makt til pasienter kan påvirke forskning i negativ retning. Det kan ende med at ressurser brukes på ubrukelig forskning, og at svertekampanjer påvirker forskere.

Det er en interessant debatt han forsøker å belyse, og jeg har full respekt for at han vil diskutere temaet. Jeg synes også Gundersen har hatt et prisverdig engasjement for å avdekke problemer innenfor alternativ medisin og kvakksalveri. I Aftenposten-artikkelen synes jeg imidlertid han bommer med et av eksemplene han trekker fram for å fremme en debatt om problematiske sider ved pasientaktivisme og forskning. Eksempelet han trekker fram er den nå mye omdiskuterte PACE-studien på ME-feltet som tok for seg behandlingene kognitiv terapi og gradert treningsterapi.

Problemet er at Gundersen legger fram historien rundt PACE-kontroversen i en svært farget versjon som kan minne om det man i forskningsverden ville kalt «cherry picking» av data. Det vil si at man kun velger ut den informasjonen som passer med det argumentet man vil legge fram og ser bort fra informasjon som ikke støtter opp egne argumenter. Gundersen trekker sammenhenger ut av kontekst og bryr seg lite om tidslinjen i kontroversen. Han rasker sammen litt hendelser fra nåtiden og blander det sammen med hendelser fra flere år tilbake i tid uten å vise dette i teksten.

Hvorfor er det problematisk? Fordi hvis man ser på utviklingen i PACE-kontroversen, kan den ende som et utmerket eksempel på det nøyaktig motsatte av det Gundersen forsøker å argumentere for. Nemlig at kompetente pasienter kan ha viktige innspill overfor forskningsmiljøene som ikke ville kommet fram i dagen om det ikke hadde vært for disse pasientenes engasjement.

For å ta et punkt først, jeg er enig i at den overordnede debatten Gundersen forsøker å diskutere er relevant nok og viktig at debatteres. Men når han framstiller et eksempel på en svært skjev måte for å understreke et poeng, er han med på å nøre opp under en del problematiske forestillinger om ME-pasientene som fæle konfliktmakere som ikke er til å stole på. Det betyr faktisk noe for hvordan den enkelte ME-pasient møtes ute på legekontorene og andre kontorer rundt om i landet. Gundersen framstiller striden som om den står mellom sinte og irrasjonell pasienter versus rasjonelle og uhildede forskere. Da kan diverse forståsegpåere uten annen informasjon enn Gundersens framstilling tenke «ja, her har du disse håpløse ME-pasientene igjen» og bla videre i avisen. Men er det virkelig så enkelt?

Det skal selvsagt være rom for vanskelige debatter uten at man skal dra noe krenkelseskort, men da mener jeg det er ekstra viktig at man er redelig med hvordan eksempler legges fram. Å bruke det billige retoriske trikset «guilt by association» gjennom å trekke inn tobakksindustrien og klimaskeptikere i samme åndedrag som en spesifikk pasientgruppe framstår heller ikke som noe forsøk på en opplyst debatt. Sammenligningen er nokså absurd, så sant ikke ME-pasientene, som i gjentatte studier er vist å være blant de aller sykeste pasientene i samfunnet, plutselig har blitt svært velstående og mektige på sin reise gjennom velferdssystemet.

Så, hvorfor mener jeg Gundersens framstilling er så skjev? Det viktigste er de tingene han ikke skriver. Hadde han skrevet artikkelen i 2012 ville den lettere kunne forsvares. Etter at PACE-studien kom i 2011 ble den utsatt for mye kritikk fra pasientgrupper – både pasientforeninger og enkeltpasienter. Det er også riktig at en del ME-pasienter har en tidvis opphetet debattkultur på nett, og det er også riktig at det tidvis kan ha problematiske utslag som ufine ytringer og lite konstruktiv debatt blant enkelte. Det temaet kan selvsagt diskuteres, noe som dessverre av og til har skjedd i generaliserende og stigmatiserende vendinger.

Samtidig er det viktig å være klar over at mange av de engasjerte pasientene også er svært intellektuelt oppegående. Pasienter er ikke bare pasienter. De er også tidligere leger, forskere, statistikere, sykepleiere, byråkrater, politikere, statsvitere, doktorander og professorer. Sykdom rammer blindt. Å være syk betyr ikke at du mister all din tidligere kompetanse.

Mye av kritikken av PACE-studien fra pasienter var derfor også vitenskapelig godt begrunnet og relevant. Det var helt klart også noe surmaget kritikk som var lite konstruktiv skittkasting, men mengden rasjonell og oppriktig nysgjerrig kritikk var overraskende omfattende. Det ble rettet en rekke innsynskrav til forskerne bak studien. Noen av disse var helt sikkert dårlig begrunnet, og kanskje noen av dem kun var for å plage forskerne bak PACE-studien. Men, en rekke av innsynskravene var velbegrunnede og legitime for å kunne ettergå studien med et kritisk blikk. En av de meste sentrale kritikerne blant pasientstemmene var irske Tom Kindlon, en mann som før han ble syk studerte matematikk på renommerte Trinity College i Dublin. Også andre pasienter som sendte innsynskrav var tidligere akademikere med god innsikt i forskningsmetode.

Så lenge denne kritikken kom fra pasienthold, ble den stort sett avfeid av forskerne og The Lancet som «orkestrert aktivisme». De forholdt seg i liten grad til de faktiske argumentene og framstilte det hele som irrelevant kritikk fra et fåtall kranglete pasienter. Lancet-redaktør Richard Horton karakteriserte det hele som en svertekampanje fra pasienter rettet mot forskerne, og dette er noe Gundersen trekker fram i sin artikkel i Aftenposten uten å nevne at det stammer fra flere år tilbake.

Dette er altså noen år siden. Få brydde seg noe om PACE-kontroversen utenfor det lille ME-miljøet, og det var heller ikke noen voldsomme «kampanjer» fra pasienter etter at den første stormen hadde blåst over. Hadde Gundersen skrevet artikkelen sin på dette tidspunktet, skulle jeg latt tvilen komme han til gode. Men det gjorde ikke Gundersen, han skriver artikkelen nå som om det fortsatt var 2012.

Forskjellen er nemlig svært relevant, fordi pasientkritikerne nå har fått støtte fra en rekke hold, og hele historien om denne saken har endret seg drastisk. Det hele begynte med at den amerikanske journalisten som underviser i helsejournalistikk på Berkeley-universitetet i California, David Tuller, undret seg på om det ikke faktisk var noe i den kritikken som var kommet mot PACE fra enkelte deler av pasientmiljøet. Det gjorde at han begynte et omfattende journalistisk arbeid med research og intervjuer som kulminerte i en tre deler lang artikkel på den kjente bloggen virology.ws som er drevet av en forsker ved anerkjente Columbia university i USA (du kan lese Tullers artikkel på norsk her). I artikkelen nøstet Tuller opp i kritikken, blant annet fra Tom Kindlon, og han fikk en rekke anerkjente fagfolk til å se på PACE-studien og kommentere metodikken.

Dette er noe av det prominente fagfolk innen medisinsk forskning sa om det de så i PACE-studien:

Dr. Ronald Davis, Stanford University: «Jeg er sjokkert over at The Lancet publiserte studien…PACE-studien har så mange mangler, og det er så mange spørsmål knyttet til den, at jeg ikke kan skjønne hvordan den kom gjennom noen form for fagfellevurdering.»

Dr. Bruce Levin, Columbia University: «Å gi deltakerne informasjon om at behandlingene som testes har blitt anbefalt av en myndighetskomité basert på «den beste tilgjengelige forskningen», slår meg som toppen av amatørmessig klinisk forskning.»

Dr. Arthur Reingold, University of California, Berkeley: «Slik det ser ut, ville det absolutt vært på sin plass med en uavhengig gjennomgang av studien gjennomført av eksperter som ikke var involvert i studien.

Dr. Jonathan Edwards, University College London: «For meg er dette helt umulig å tolke….Alle problemene med studien er svært bekymringsfulle, noe som gjør det mer eller mindre umulig å vurdere den kliniske betydningen av funnene.»

 

Tullers artikkel har ført til en heftig offentlig debatt om PACE-studien. Den debatten handler nå i liten grad om kritiske pasienter. Tvert i mot er det en rekke anerkjente fagfolk som fra før av var helt ukjente med PACE-kontroversen som nå har kastet seg inn i debatten. Det oppsiktsvekkende var at svært mange av dem var enige med mye av kritikken som tidligere kun hadde kommet fra pasienter. Kort sagt – de mente de kritiske pasientene på mange punkter hadde hatt rett. Det var bare ikke noen som hadde vært interesserte i å lytte til dem før Tuller skrev sin artikkel.

Professor i helsepsykologi James Coyne, som er kjent for å ha avdekket dårlig forskning i en rekke studier og er en aktiv blogger, var blant dem som mente PACE-studiens mange metodeproblemer gjorde funnene nokså ubrukelige. Det toppet seg da Coyne bestemte seg for å søke forskerne om å få tilgang til enkelte rådata fra studien for å gjøre egne analyser. Universitetet til PACE-forskerne, King’s College, avviste innsynskravet med begrunnelsen at det var «vexatious», det vil si at det kun var for å plage eller sverte mottakeren. I avslaget skriver King’s College at de mener Coyne har «uredelige motiver», og at innsynskravet kan føre til «sjikanering av og engstelse hos de ansatte». Mye av begrunnelsen for avslaget handler om at de involverte forskerne frykter offentlig kritikk og «skade på sitt omdømme». Her kan du lese hele avslaget fra King’s College.

Dette var noe King’s College hadde brukt som begrunnelse gjentatte ganger overfor pasienter som hadde søkt innsyn i rådata, og som de hadde sluppet greit unna med. Ingen brydde seg jo om disse plagsomme pasientene uansett. Men da samme begrunnelse ble brukt overfor en anerkjent forsker som Coyne, endte det med at kjente fagfolk latterliggjorde King’s College sine oppsiktsvekkende begrunnelser i blogger og på sosiale medier. Det hele ble svært pinlig for universitetet. I USA underskrev over 40 forskere et brev til The Lancet hvor de ba om tilgang på rådata fra PACE-studien for å gjøre egne analyser.

Redaktør i The Lancet, Richard Horton, har valgt å møte all kritikk med stillhet. Han har ikke svart på noen ting. Og universitetet nekter fortsatt å utlevere rådata. Da det britiske Information Commissioner’s Office påla universitetet å utlevere anonymiserte rådata, valgte universitetet å trekke saken inn i rettssystemet for å slippe å utlevere data.

Det siste tilskuddet av uavhengige fagfolk som på grundig vis har gått gjennom PACE-studien er direktør for stats.org, en anerkjent side støttet av Sense About Science i USA og American Statistical Association. I en omfattende gjennomgang har direktøren for stats.org og professor i statistikk, Rebecca Goldin, vurdert kritikken mot PACE-studien. Hennes konklusjon er nådeløs:

«The PACE design changed so significantly as to leave many wondering whether there is value in the study itself. (…) It seems that the best we can glean from PACE is that study design is essential to good science, and the flaws in this design were enough to doom its results from the start.»

I en lederartikkel samme sted skriver Trevor Butterworth, en av grunnleggerne av Sense About Science USA, at journalist David Tuller fortjener en pris for det arbeidet han har gjort med å avdekke problemene knyttet til PACE-studien. Butterworth skriver også følgende, som er svært relevant opp mot Gundersens artikkel i Aftenposten:

«The reaction to patient criticism and Tuller’s story by the PACE researchers and the Lancet has been to deflect rather than to dissect; and the story has become one of questionable demands for patient level data and social media provocations and threats. While these are not trivial issues, they are something of a distraction from the fundamental one, which is that the way PACE was designed and redesigned means it cannot provide reliable answers to the questions it asked. There is really not a lot that can be said to mitigate that; it’s a terminal prognosis.»

Det er nettopp innenfor dette feltet Gundersens artikkel lander. Den stempler en hel pasientgruppe som farlig irrasjonelle og prøver å gjøre PACE-striden til en debatt om de farlige pasientene. Men hvis disse pasientene, som nå får støtte fra en rekke anerkjente fagfolk, har hatt rett? Hva da?

Gundersen argumenterer nærmest for at PACE-studien er bra fordi den er publisert i anerkjente The Lancet, noe som vitenskapelig sett er et ubrukelig argument – det går fra «guilt by association» for pasientene til «excellence by association» for forskerne. Han skriver videre at «PACE-forskerne selv svarer godt for seg vitenskapelig sett». Der møter han mildt sagt motstand fra fagfolkene i stats.org. De mener tvert i mot at forskerne unnlater å svare på konkrete spørsmål om metode, og at mye ser ut til å handle om «damage control».

Det gjør ikke saken bedre at det virker som PACE-forskerne for harde livet forsøker å unnlate å dele anonymiserte rådata slik at andre også kan analysere dem. Gundersen viser til at argumentet mot utlevering er at forskerne sier det er i konflikt med taushetsplikten overfor pasientene, og at data allerede er gjort tilgjengelig for andre forskere – noe som i seg selv er motstridende. Hvis taushetsplikten overfor pasientene var så ekstraordinær at ikke engang anonymiserte rådata kan deles, hvordan kan forskerne da allerede ha valgt å dele dem med noen forskere, mens de nekter å dele med andre.

Problemet er at så lenge forskerne nekter innsyn i rådata for uavhengige analyser, vil vi aldri få gode svar i PACE-kontroversen. Som journalist (som jeg selv er) er det imidlertid alltid én ting som trigger interesse mer enn noe annet, og det er når noen aktivt jobber for å holde noe unna innsyn og åpenhet (ref. debatten om idrettstoppenes reiseregninger i VG). Jeg har vanskelig for å skjønne hvorfor ikke PACE-forskerne bare kan gjøre en analyse av resultatene ut fra metodene de hadde satt opp i protokollen før studien satte i gang og offentliggjøre disse. Hvis dataene er gode, er det jo ingen fare. Nå skriver Gundersen prisverdig nok at kravet om innsyn i data er legitimt og bør etterkommes, så der er vi enige.

Allikevel gjør Gundersen i stor grad hele saken til en debatt om at engasjerte pasienter kan være farlig for forskningen. Ikke ett sted i artikkelen nevner han at kritikken mot PACE-studien i første rekke nå er drevet av fagfolk innen forskning og medisin. Pasientene hadde ingen makt alene til å få fram kritikken på en måte som betydde noe. Gundersen bruker PACE som eksempel på at pasientgrupper tvinger gjennom ensidig forskning. Et av argumentene er at det nå har kommet inn 11.000 underskrifter med krav om utlevering av rådata fra PACE-studien for uavhengige analyser. Denne underskriftskampanjen kom først etter journalist Tullers artikkel, da debatten i stor grad også involverte fagfolk. Gundersen framstiller det som at denne underskriftskampanjen kom løsrevet fra tid og sted og står sentralt i hele kontroversen. Men det var Tullers artikkel som var startpunktet, men den finner ikke Gundersen det for godt å nevne i det hele tatt. Isteden trekker han fram et sitat fra Lancet-redaktøren som om det var en respons på den siste tids kritikk, men så vidt jeg vet er dette et flere år gammelt sitat fra et intervju i 2011. Nå som kritikken i stor grad kommer fra anerkjente fagfolk, har redaktør Richard Horton valgt å ikke svare på noe av kritikken. Han sitter rett og slett stille i båten og håper det blåser over.

Det er uredelig når Gundersen framstiller dette som pasientdrevet propaganda uten hold i virkeligheten. Denne saken kan tvert i mot ende opp som et eksempel på hvor viktig pasientengasjement inn i forskningen kan være, fordi de personene forskningen virkelig betyr noe for er nettopp pasientene. Man forsker ikke for forskernes del, man gjør det for pasientene.

I tilfellet PACE begynte det hele med noen oppvakte pasienter som så metodeproblemer i en studie som hadde stor påvirkningskraft på ME-feltet. Problemene ble i lang tid ignorert av offentligheten. Da en journalist begynte å ettergå historien og kritikken, fant han at flere av pasientene hadde hatt viktige poenger og publiserte en historie om dette med uttalelser fra en rekke prominente fagfolk. Det førte til at debatten ble løftet inn i forskningsmiljøet, hvor ytterligere fagpersoner viste seg å være helt enig i mye av kritikken.

Uten de kritiske pasientrøstene ville sannsynligvis denne historien og debatten aldri kommet til overflaten. Den kom først ut i lyset da en journalist, og etter hvert en rekke fagfolk, tok pasientenes stemmer på alvor og undersøkte hva de faktisk sa. Uten fordommer.

Slik jeg forstår Gundersen, skulle han ønske det aldri hadde skjedd. Det virker som det er uvesentlig om pasientene til syvende og sist viser seg å ha rett, og med det kan ha avdekket problemer med en studie som har påvirket retningslinjer for ME-pasienter over hele verden. Gjennom å sause sammen utdrag fra helt forskjellige tidspunkter i utviklingen rundt PACE-kontroversen, og noe som virker som en bevisst utelatelse av at flere fagfolk i stor grad har støttet kritikken som kompetente pasienter først kom med, fordummer Gundersen debatten. Selvsagt kan det også ha vært problematisk pasientengasjement i denne striden med ufine ytringer og press, det kan man gjerne diskutere. Men for å få en opplyst debatt må bakgrunnshistorien være redelig formidlet.

Striden om PACE kommer sikkert til å fortsette en stund til. Men i motsetning til det Gundersen hevder, kan fort PACE-kontroversen ende opp som en positiv historie om pasientengasjement og forskning. Om kompetente pasienter som er så mye mer enn bare pasienter. De er leger, forskere, statistikere, lærere, rørleggere, sykepleiere, advokater, arkitekter, renholdere, professorer, journalister…de er deg og meg. De har vært så uheldige å bli alvorlig syke. Men de kan fortsatt tenke, resonnere, mene og ha viktig kunnskap. Det viser PACE-historien at vi skal være glade for.

 

Til slutt, la meg gi Kristian Gundersen følgende tenkte scenario:

En forskergruppe publiserer en studie på bruk av et nytt medikament mot multippel sklerose. De finner at 1 av 7 pasienter har noe bedring gjennom subjektive målepunkter (som er det angivelige resultatet i PACE, 6 av 7 har ingen effekt). Blant annet opplyser pasientene på skjemaer de fyller ut at de føler seg noe bedre. Det er imidlertid ingen effekt på objektive mål som gåtester, fitness-tester eller arbeidsdeltakelse.

Forskerne holder en rekke pressekonferanser hvor de anbefaler at dette medikamentet bør tilbys pasienter, og de hevder sågar at hver femte pasient «recover» (blir friske) med bruk av medikamentet, uten å nevne at måten de måler «recovered» på innebærer at pasientene fortsatt har svært dårlig funksjon. Avisoverskriftene sier at det er funnet en effektiv behandling mot MS, og at man kan bli frisk gjennom å ta en pille, uten at forskerne på noe vis forsøker å nyansere disse avisoppslagene.

Enkelte engasjerte MS-pasienter er kritiske til at forskerne i studien har endret alle målepunktene i studien og oppdager en rekke metodeproblemer. De spør om ikke forskerne kan publisere resultatene de ville fått med de mer restriktive målepunktene de hadde oppgitt i protokollen, men forskerne nekter dette. Flere av pasientene og pasientforeningene er sinte og opprørte, og det blir rettet en rekke innsynskrav til forskerne, men uten hell. Enkelte pasienter tipper over i sin frustrasjon og kommer med ufine utsagn i sosiale medier og debattforum på nett. Redaktøren i tidsskriftet som har publisert studien viser til disse ufine angrepene på forskerne og kaller det hele en skadelig svertekampanje utført av uopplyste pasienter.

Etter hvert fanges kontroversen opp i en avslørende artikkel i The New York Times hvor flere framtredende fagfolk i harde ordelag kritiserer studien og støtter kritikken fra pasientene. Det fører til at andre fagfolk hiver seg inn i debatten på begge sider. Forskerne selv nekter fortsatt å dele noe av rådataene og tar innsynskrav inn i rettssystemet for å hindre innsyn. Det blir avslørt at enkelte av forskerne har mottatt betaling fra selskapet som utvikler medisinen, noe de ikke har opplyst til pasientene i studien.

Når langtidsoppfølgingen av pasientene foreligger etter 2,5 år, viser det seg at det nå ikke er noe forskjell mellom de pasientene som fikk medikamentet og de som kun fikk placebo. Altså null effekt. Forskerne innkaller til pressekonferanse og sier at den nye studien viser at behandlingen virker, fordi de pasientene som fikk medikamentet fortsatt er i bedring (de nevner ikke at pasientene som fikk placebo-medisin nå har tilsvarende bedring). Avisoverskriftene skriver at den nye studien viser at dette medikamentet er effektivt for mange MS-pasienter. At studien faktisk har vist null forskjell mellom gruppene etter 2,5 år er det ingen som fokuserer på. Forskerne gjør heller ikke denne gangen noe forsøk på å nyansere disse avisoppslagene. Forskerne nekter fortsatt å utlevere rådata for uavhengige analyser fra andre forskere. I et av innsynsavslagene er noe av begrunnelsen at de frykter slikt innsyn kan føre til skade på forskernes omdømme. Studien brukes fortsatt som et viktig grunnlag for å anbefale medikamentet for MS-pasienter i en rekke land over hele verden.

Spørsmålet blir: Ville Kristian Gundersen i dette tilfellet skrevet en artikkel om det problematiske pasientengasjementet blant MS-pasienter?

Hvis Kristian Gundersen ønsker å svare, skal jeg selvsagt stille bloggplass til rådighet.

 

 

35 kommentarer

Filed under Uncategorized

Amerikanske myndigheter lover et krafttak i ME-forskningen

“One of the really key things is that we’re basically being moved out of Siberia.”
Pasient Robert Miller til Science Magazine.

2015 kan ha vært det store vendepunktet for ME-forskningen.

29. oktober 2015 kom det en pressemelding fra det amerikanske folkehelseinstituttet National Institutes of Health (NIH) som kan vise seg å være et vendepunkt i ME-historien.

NIH pressemelding 29 oktober 2015

«Av de mange mystiske sykdommene vitenskapen ennå ikke har funnet ut av, har ME/CFS vist seg å være en av de mest utfordrende,» sa toppsjefen i NIH, Francis S. Collins i pressemeldingen.

Han lover en kraftig økt innsats i forskning på ME med ønske om bedre å kunne forebygge og behandle sykdommen. Pressemeldingen kommer ikke ut av ingenting. Gjennom året har det kommet to viktige rapporter om ME i USA. Den ene fra en uavhengig faggruppe i regi av NIH. Den andre, og viktigste, rapporten kom fra renommerte Institute of Medicine (IOM) i februar i år. IOM blir regnet som den kanskje viktigste uavhengige premissleverandøren for helsemyndighetene i USA. The New York Times har skrevet om deres rapporter at de er «i stand til å endre medisinsk tenkning over hele verden».

Begge disse rapportene slo ettertrykkelig fast at ME/CFS er en svært alvorlig sykdom, og at helsevesen og myndigheter har sviktet pasientene. IOM-rapporten fikk betydelig medieomtale, og NIH har tydeligvis bestemt seg for å brette opp ermene. Etter pressemeldingen kom ut, verserte NIH-direktør Francis Collins i en lang rekke medieoppslag. Her er noe av det han sa:

  • «Gitt hvor alvorlig tilstanden er, har vi ikke gitt dette nok oppmerksomhet.» The Atlantic.
  • «Dette feltet har et desperat behov for nye idéer.» The Washington Post.
  • «Gi oss sjansen til å bevise at vi mener dette, for det gjør vi.» Science Magazine.
  • «Vi skal skru opp innsatsen». NPR.
Francis Collins NIH

NIH-direktør Francis Collins. Foto: NIH.

Så er det lett å tenke at dette bare er brannslukking etter all kritikken om mangel på forskningsinnsats i de to rapportene. Men det tror ikke jeg. For det første er det noe med styrken i uttalelsene til Francis Collins som vitner om alvor bak intensjonene. Det er ikke så ofte toppledere i myndighetsinstitusjoner uttaler seg i så klare ordelag, rett og slett fordi det er vanskelig å vite om de klarer å følge opp med reelle midler og innsats. Hvis de ikke klarer å følge opp store ord, ender de som regel med å få satsingen rett tilbake i trynet som berettiget misnøye og kritikk.

For det andre er det et sterkt signal at det er toppsjef Francis Collins selv som uttaler seg, både i pressemeldingen og til en rekke medier. Å hekte sitt eget navn (og rykte) på en slik satsing forplikter. Det er garantert en gjennomtenkt strategi. Noe som gjør at jeg tror de i NIH er temmelig sikre på at de skal få til en betydelig økt satsing. Det betyr også at det står mer på spill om de ikke får det til. Da blir gjerne innsatsen deretter.

Ett prosjekt har de allerede lovet å sette i gang, og det involverer NIH Clinical Center som er det største forskningssykehuset i verden. Her skal de sette i gang forskning på rundt førti personer som får ME/CFS etter en infeksjon. Til avisen The Atlantic sier Collins at de skal gjøre «enhver tenkelig analyse av immunsystemet, nervesystemet…metabolisme…alle de tingene du ønsker å få innsikt i for å finne ut hva som forårsaker denne mystiske lidelsen».

“We are thrilled. This is a disease that has been neglected by the federal government, frankly, for decades.”
Carol Head, president i pasientforeningen Solve ME/CFS Initiative til The Washington Post.

Nylig kom det enda en nyhet som vil gjøre det lettere for NIH å følge opp dette med reelle midler. Politikerne i USA ser ut til å bevilge to milliarder dollar mer til NIH i 2016, det vil si omkring 18 milliarder kroner. Totalbudsjettet er på 32 milliarder dollar, rundt 290 milliarder kroner, så dette regnes som en betydelig økning. Dette er også penger som ikke er bundet opp allerede. Det er friske midler. Det betyr at NIH kan sette inn en del av pengene på saker de ønsker å prioritere. Om bare en ørliten andel av disse 18 milliardene går til ME/CFS-satsing, vil det utgjøre enormt mye for et felt som har vært kronisk underfinansiert i 25 år.

Stort sett har ME/CFS-forskning blitt avspist med rundt 5 millioner dollar i året. Det har gjort at sykdommen hvert eneste år ligger ned mot bunnen av lista over sykdommer som får penger til forskning gjennom NIH. ME-forsker Nancy Klimas har tidligere sagt at det bevilges langt mer penger til å bekjempe mannlig skallethet, enn det som bevilges til ME/CFS.

For å illustrere hvor dårlig stilt ME/CFS er sammenlignet med noen sammenlignbare sykdommer, kan du ta en titt på denne grafen:

Forskningsmidler ME

Dette er midlene NIH har bevilget til forskning på fire forskjellige sykdommer i perioden 2009-2014. Hver søyle representerer et år. MS får over 100 millioner dollar hvert eneste år til forskning. ME får 5 millioner. Det innebærer at ett eneste år med forskning på MS tilsvarer over 20 år med forskning på ME.

NIH-direktør Collins har nå lovet at dette skal endre seg. Han har fått noen milliarder han kan benytte seg av. Det bør være mulig å tidoble innsatsen, selv om jeg nok ikke tror økningen kommer til å bli fullt så stor i første omgang. ME-forskerne har allerede fått til en del med de minimale midlene de har hatt fram til nå. Med ti ganger så mye kan man kanskje for første gang se noen virkelig store framskritt på ME-feltet.

«Et av hovedpoengene er at vi faktisk er på vei ut av Sibir,» sa ME-pasient Robert Miller til Science Magazine i forbindelse med nyheten om at NIH nå endelig skal øke innsatsen. Han har gjennom mange år kjempet for anerkjennelse og økt innsats for de rammede pasientene.

Samtidig er det selvsagt pengene som teller til syvende og sist. Miller sier han helst skulle ha sett at NIH lovet en spesifikk sum i satsingen. Toppforsker Ian Lipkin ved Columbia University, som nå jobber med ME-forskning, påpeker også at det til syvende og sist handler om budsjettet.

«Men dette betyr at det er flyttet frem i køen,» sier Lipkin til The Atlantic.

Ronald Davis ved Stanford University har en sønn som er alvorlig syk med ME/CFS, og han er nå i gang med å forske på sykdommen. Davis er en av de fremste genetiske forskerne i verden og jobbet sammen med Francis Collins i det enorme forskningsprosjektet som kartla det menneskelige genomet. Prosjektet var det største forskningssamarbeidet i verden noensinne og nådde målet i 2003. Nå er Davis i gang med et nytt kappløp for å finne årsaken bak ME. Han er positiv til det nye engasjementet til NIH, selv om også han gjerne vil se de konkrete resultatene før han er fornøyd.

«Jeg er optimistisk. Jeg tror Francis vil gjøre en god jobb. Han vet hva han må gjøre. Det er bare svært vanskelig å få det til,» sier Davis til NPR.

Francis Collins sier forskerne vil benytte det ypperste av teknologi for å forsøke å komme til bunns i mysteriet.

«Jeg vet ikke hva vi kommer til å finne. Men vi vil aldri få vite det, hvis vi ikke prøver,» sier han.

***

Dette var mitt forsøk på å avslutte 2015 med en opptur. Det er dessverre fortsatt slik at det altfor sjelden er skikkelig gode nyheter å melde på ME-feltet, men de kommer i det minste langt oftere enn før. Og jeg tror det er én ting de fleste ME-pasienter og folk som står dem nær ønsker seg mer enn noe annet til jul, og det er mer og bedre forskning som kan føre til bedre oppfølging og behandling i tiden framover. Jeg vet juletiden er vanskelig for mange som sliter med sykdom, og kanskje kan det hjelpe litt å vite at det er dedikerte mennesker der ute som jobber for at ting skal bli bedre. Jeg ønsker alle lesere en riktig god jul.

 

 

 

7 kommentarer

Filed under Uncategorized

Forskere nekter innsyn i ME-studie

«We went through the paper line by line, figure by figure,» said Begley. «I explained that we re-did their experiment 50 times and never got their result. He said they’d done it six times and got this result once, but put it in the paper because it made the best story. It’s very disillusioning.»
In cancer science, many «discoveries» don’t hold up, Reuters 2012.

Etter at den amerikanske journalisten David Tuller skrev en omfattende artikkel med et kritisk blikk på den største behandlingsstudien på ME-feltet noensinne, har det vært mye debatt rundt PACE-studien.

Her kan du lese David Tullers omfattende artikler i tre deler oversatt til norsk: Del 1Del 2Del 3.
Her er originalartikkelen på virology.ws.

PACE-studien tok for seg behandlingene kognitiv atferdsterapi (CBT), gradert treningsterapi (GET) og adaptive pacing therapy (APT) og sammenlignet dette med standard oppfølging av spesialist. Over 600 pasienter deltok i studien. Ifølge forskerne viste studien at CBT og GET ga en ekstra bedring for en andel av pasientene, og at denne effekten var moderat. Hver sjuende pasient hadde ifølge forskerne en statistisk signifikant bedring av CBT og GET sammenlignet med standard oppfølging av spesialist. Det betyr like fullt at 6 av 7 pasienter ikke hadde noen betydelig effekt av slik behandling.

Det er blitt arrangert en rekke pressekonferanser knyttet til prosjektet, og resultatene har fått omfattende mediedekning hvor CBT og GET har blitt anbefalt som den beste behandling for ME-pasienter. Daily Mail skrev en artikkel med en overskrift som antyder at ME-pasienter kan bli friske bare de kommer seg ut og trener, mens en annen avis skrev at ME-pasienter kan bli friske med trening og positive tanker. Svært mange av medieartiklene har i stor grad oversolgt resultatene som viser at kun 1 av 7 opplever noe bedring med slik behandling. PACE-studien har også hatt innflytelse på retningslinjer for behandling av ME i helsetjenestene rundt om i verden.

Studien ble publisert i The Lancet i 2011, og en rekke oppfølgingsstudier basert på det samme prosjektet er i årene etter blitt publisert i forskjellige vitenskapelige tidsskrifter. I artikkelen av den amerikanske helsejournalisten David Tuller ytrer flere fagpersoner sterk kritikk mot en del av metodene og rapporteringen i PACE-studiene. Det har ført til en tilspisset debatt rundt om ikke studien bør gjennomgås på nytt av uavhengige forskere for å se om det er hold i denne kritikken. Å gjøre rådata fra studier tilgjengelig for uavhengige analyser fra andre forskere er blitt en stadig mer sentral del av forskningsverden. Det er viktig for å kunne etterprøve rapporterte funn.

Det er flere store initiativer i gang for å få mer åpenhet om slike data. Det har fått stadig mer oppmerksomhet ettersom flere store forskningsprosjekter de siste årene har vist at en stor andel av forskningsfunnene innen medisin ikke lar seg bekrefte gjennom nye analyser og forsøk. Den åpenbare konsekvensen av dette er at mye av den kunnskapen leger og forskere baserer seg på i møte med pasienter og videre forskning, rett og slett er usikker og i verste fall feil.

Det skapte oppstyr da professor ved Stanford University, John Ioannidis, i 2005 publiserte artikkelen «Why most published research findings are false«. Han skrev at undersøkelser tyder på at det ser ut til å være mer sannsynlig at et medisinsk forskingsfunn er uriktig enn at det er sant. Det vil si at en rekke funn som er akseptert som viktige, viser seg å være vanskelig å verifisere.

Innen kreftforskningen er det de siste årene gjennomført flere store undersøkelser hvor det viser seg at tidligere forskning er upålitelig. Ifølge Reuters undersøkte et slikt prosjekt 53 studier, og i 47 av disse klarte de ikke å reprodusere funnene. I et annet prosjekt klarte forskerne kun å verifisere rundt en fjerdedel av 47 tidligere studier. Nylig ble en studie fra gigantprosjektet Open Science Collaboration  publisert i Science. Her forsøkte en stor gruppe forskere å reprodusere funnene i 100 studier innen psykologi. Resultatet? Det var kun 39 prosent av studiene de undersøkte hvor de klarte å bekrefte de opprinnelige funnene.

Kontroversene rundt PACE-studien har ført til at det er blitt rettet en rekke innsynskrav til universitetene som sto bak studien. I første rekke har det vært pasienter som har ønsket innsyn i anonymiserte rådata for å kunne vurdere disse opp mot det som er rapportert i studien. Et av de viktigste spørsmålene har dreid seg om at forskerne bak studien har endret nesten samtlige av utfallsmålene de selv hadde definert i protokollen for studien. Forskere lager alltid en omfattende studieprotokoll før studiestart hvor de definerer hvordan de skal måle resultatene. Hvis slike utfallsmål ikke defineres på forhånd, er det fare for at forskere plukker ut mål som gjør at studien viser et positivt resultat. Slik bør det selvsagt ikke være, men vi er alle mennesker, også forskere, og positive studier blir sett på som mer spennende enn negative studier. Det er ekstra problematisk når forskerne i utgangspunktet også har argumentert for at behandlingene som testes fungerer (noe som er tilfellet i PACE-studien). Da står faglig omdømme på spill.

Forskere skal derfor ha en svært god grunn for å endre forhåndsdefinerte utfallsmål etter at studien er i gang. Da kan det bli for fristende å endre målene på en måte som gir bedre resultater. Hvis slike endringer gjøres, regnes det uansett som god praksis å rapportere resultatene fra både de opprinnelige utfallsmålene fra protokollen i tillegg til de nye utfallsmålene. Deretter bør forskerne se på om endringene i utfallsmål har gitt store endringer i resultatene og diskutere dette. Det er et rødt flagg, hvis slike endringer fører til store forskjeller i resultatet av studien.

I denne forskningsartikkelen i JAMA fra 2014 så forskerne på reanalyser av en rekke kliniske studier og fant at i 35 prosent av studiene førte reanalysene til andre konklusjoner enn i den originale artikkelen.

PACE-forskerne endret på nesten samtlige utfallsmål post-hoc (dvs etter at studien var godt i gang). Alle de nye utfallsmålene var slakkere enn de opprinnelige målene i protokollen – det vil si at en deltaker lettere ville bli regnet som å ha hatt en bedring. Til tross for disse omfattende endringene rapporterte de ikke i tillegg resultatene slik de var definert i protokollen. De rapporterte kun resultatene fra de endrede utfallsmålene. Dette er noe av den sentrale kritikken de har blitt møtt med i etterkant, også fra fagpersonene i artikkelen til David Tuller. I tillegg har disse endringene ført til at man på noen av utfallsmålene kunne bli regnet som syk nok til å få være med i studien og samtidig være regnet som frisk nok til å bli ansett som «frisk». På målet fysisk funksjon ble deltakere for eksempel regnet som sterkt funksjonsnedsatt og syke nok til å få være med i studien hvis du hadde en score på under 65 (på en skala fra 0-100 hvor lavere score betyr at man er sykere). Samtidig ble deltakerne på samme målet karakterisert som «friske» hvis de scoret over 60 etter studien. Satt på spissen kunne man score 65 og få være med i studien, bli dårligere gjennom studien og score 61 etter 1 år, men allikevel bli regnet som «frisk» på dette utfallsmålet på slutten av studien.

Dette er grunnen til at mange har ønsket at forskerne også skal offentliggjøre resultatene slik de ville blitt med de opprinnelige utfallsmålene fra protokollen. Dette har forskerne ikke villet gjøre. Det har igjen ført til at det er sendt innsynskrav for å få tilgang på rådataene slik at dette kan bli analysert av andre. Universitetene hvor forskerne jobber har imidlertid nektet å gi ut noen rådata fra studien.

De fleste innsynskravene er sendt av pasienter, og selv om noen av disse pasientene har forskerkompetanse fra sitt tidligere arbeid, har flere av innsynskravene blitt karakterisert som en svertekampanje av forskerne og universitetene hvor de jobber. Etter artikkelen til David Tuller har imidlertid også enkelte akademikere sett nærmere på PACE-studien, blant dem forsker og professor i helsepsykologi, James C. Coyne. Han har skrevet flere kritiske bloggposter om studien. Nylig sendte han et innsynskrav til King’s College London, et av universitetene bak en oppfølgingsstudie fra PACE som ble publisert i PLoS One. Han ba om rådata for å gjøre egne analyser.

Innsynskravet ble avvist. Noen av begrunnelsene var oppsiktsvekkende lesning. King’s College mente at innsynskravet var «vexatious», det vil si at det kun var for å plage eller sverte mottakeren. I avslaget skriver King’s College at de mener Coyne har «uredelige motiver», og at innsynskravet kan føre til «sjikanering av og engstelse hos de ansatte». Mye av begrunnelsen for avslaget handler om at de involverte forskerne frykter offentlig kritikk og «skade på sitt omdømme». Her kan du lese hele avslaget fra King’s College.

Det er mye følelser og sinne i ME-debatten, og man skal selvsagt ikke utelukke at flere av innsynskravene har vært useriøse og umotiverte. Samtidig er mange av innsynskravene gjort på en skikkelig måte og med en oppriktig nysgjerrighet rundt dataene. Uavhengig av dette skal ikke innsyn være avhengig av intensjonene til avsenderen. Som journalist søker jeg ofte innsyn i dokumenter gjennom postjournalene til offentlige myndigheter. Det er en viktig del av demokratiet å kunne få innsyn i prosesser. Enhver kan søke innsyn, og det er et lovverk som regulerer dette. Ingen vil finne på å spørre meg om mine intensjoner når jeg søker innsyn, for det har ingenting med saken å gjøre. Hvis mottakeren ved hvert innsynskrav skulle kunne velge hvem som får innsyn ut fra om det er fare for at det vil føre til kritikk, ville det selvsagt ikke vært noen reell åpenhet.

Se for deg at en journalist ville bli nektet innsyn i postjournalene til statsministerens kontor fordi departementet mente journalisten hadde «uredelige motiver», og at innsyn kunne føre til omdømmeproblemer for statsministeren. Det ville blitt en opphetet debatt, og resultatet av den debatten ville vært nokså innlysende.

Åpenhet og offentlighet er ofte viktigst når den gjør vondt. Det er nemlig da problematiske ting avdekkes. Eller at ubegrunnet kritikk blir avkledd. Begge deler er viktig. Hemmelighold fører bare til mistanke om at noen vil skjule noe. Det er det som nå skjer rundt PACE-studien. Hvis analysene er gode i studien, er det ingen fare for at nye analyser vil underminere resultatene som er rapportert. Da vil nye analyser heller bidra til å styrke funnene. Derfor lurer mange på hvorfor det er så stor motstand mot å gi ut rådata slik at andre forskere kan analysere og vurdere.

Til nettsiden Retraction Watch sier en av de sentrale forskerne bak PACE-studien at de ikke vil gi ut rådata fordi de har lovet pasientene at de ikke skal gjøre det, og fordi det kan ødelegge for videre studier og analyser. Dette argumentet er vanskelig å forstå, ettersom å gi andre forskere tilgang til rådata blir regnet som god praksis i forskningsverdenen. Dette gjøres selvsagt også i anonymisert form, noe som uten problemer er blitt gjort i en rekke andre studier. Uten uavhengig kritisk vurdering av forskningsfunn, er ikke funnene verdt stort. Jo flere forskere som bekrefter de samme funnene og kan gå god for dataene, dess større sannsynlighet er det for at funnene er riktige. Å ikke gi tilgang til rådata er det samme som å gjøre seg utilgjengelig for opplyst kritikk. Det er som å si at «dere må bare stole på at vi har gjort dette riktig». Gitt alle studiene som nå viser hvor ofte forskningsresultater viser seg å være upresise eller regelrett feil, er dette en håpløs holdning. Man burde omfavne at andre forskere ønsker å ettergå egne data.

Det oppsiktsvekkende avslaget fra King’s College har på Twitter blitt møtt med vantro av flere fagpersoner i forskningsverdenen. Brian Nosek, leder for Center for Open Science, har kalt begrunnelsen for forskningsmessig uetisk. Andre fagpersoner har tatt i bruk karakteristikker som skandaløst, uvitenskapelig og rystet over begrunnelsene King’s College gir for å holde tilbake rådata fra å bli analysert av andre.

 

Nosek on Twitter

 

Det vitenskapelige tidsskriftet PLoS One har strenge regler for at forskere som publiserer hos dem også forplikter seg til å dele data med andre forskere. Nå har tidsskriftet satt i gang en granskning av studien basert på at King’s College nekter å dele data.

Tre renommerte amerikanske forskere har nå sendt et nytt innsynskrav til et av de andre universitetene bak studien, Queen Mary University, hvor de ber om tilgang til en del rådata fra PACE-studien. De tre professorene er Ronald Davis fra Stanford University og Bruce Levin og Vincent Racaniello fra Columbia University. Racaniello er mannen som driver bloggen virology.ws, hvor David Tullers artikkel ble publisert. Levin og Davis er to av forskerne som ble sitert i artikkelen til Tuller og var kritiske til metodene i PACE-studien.

I begrunnelsen for innsynskravet skriver de blant annet at studien kan se ut til å ha flere metodeproblemer som «major mid-trial changes in the primary outcomes that were not accompanied by the necessary sensitivity analyses; thresholds for “recovery” on the primary outcomes that indicated worse health than the study’s own entry criteria». Forskerne skriver at de er bekymret for at slike ting kan ha ført til at funnene i PACE-studiene er blitt oversolgt.

«Vi ber om tilgang på dataene fra studien kun basert på vårt ønske om å finne ut hva som faktisk er sant», skriver forskerne i avslutningen på brevet.

PACE-studien var finansiert med over 60 millioner kroner i offentlige midler. Det er vanskelig å forsvare at ikke andre forskere skal få tilgang til rådataene fra prosjektet. Fram til det skjer, vil det alltid være et skjær av mistenksomhet rundt studien. Det er i alle fall ingen tjent med.

Her kan du lese en blogg av forsker og professor Dorothy Bishop om hvorfor det er viktig å dele rådata.
Hun vurderer også de forskjellige grunnene forskere har for ikke å ville dele slike data.

 

5 kommentarer

Filed under Uncategorized

Er det noe alvorlig galt med den største behandlingsstudien for ME noensinne? – DEL 3

Dette er del 3 av en gjesteartikkel her på siden. Her finner dere del 1 og del 2. Artikkelen er svært lang. Den er også temmelig teknisk. Og på toppen av det hele har jeg oversatt den fra engelsk, noe som ikke var noen enkel oppgave tatt i betraktning at artikkelen er full av forskningsmetodiske detaljer. Dere er herved advart.

Denne artikkelen ble først publisert på bloggen virology.ws. Det er en populær medisinsk blogg redigert av forskeren og professoren ved Columbia University i New York City, Vincent Racaniello. Men det er ikke Racaniello selv som har skrevet artikkelen. Den er skrevet av den amerikanske journalisten David Tuller. Han jobber nå ved University of California som koordinator for et masterprogram i helsepolitikk og journalistikk. Han har tidligere skrevet for noen av verdens fremste aviser som The New York Times og San Francisco Chronicle.

I denne omfattende artikkelen på over 16.000 ord, tar Tuller for seg en omstridt studie på ME-feltet – PACE-studien. Jeg tok kontakt med Tuller etter å ha lest hele artikkelen og spurte om tillatelse til å oversette den og publisere den på min blogg, noe han ga tillatelse til. I første del kan du lese begrunnelsen for hvorfor jeg publiserer teksten.

Jeg publiserer artikkelen i tre deler, slik Tuller selv gjorde på virology.ws. Her finner du de originale artiklene på engelsk, hvis du foretrekker å lese på engelsk: Del 1  –  Del 2  –  Del 3

Note: I artikkelen brukes både ME, CFS, ME/CFS og kronisk utmattelsessyndrom som navn på sykdommen. 

Tusen takk til David Tuller som tillot at artikkelen ble oversatt og publisert her.

 

****************************

PRØVING OG FEILING: Problemet med ME/CFS-studien PACE – DEL 3

(Originalteksten finner du her: TRIAL BY ERROR: The Troubling Case of the PACE Chronic Fatigue Syndrome Study)

Skrevet av David Tuller, journalist og koordinator for masterprogrammet i helsepolitikk og journalistikk ved University of California, Berkeley.

For noen få år siden fikk jeg lov av Dr. Racaniello til å bruke bloggen hans til å publisere en lang artikkel om langvarig inkompetanse i det amerikanske CDCs oppfølging av den alvorlige lidelsen organisasjonen selv hadde gitt det misvisende navnet «kronisk utmattelsessyndrom». Nå vender jeg tilbake med en enda lengre artikkel om den kontroversielle og svært innflytelsesrike britiske forskningsstudien PACE. Studien kostet rundt 60 millioner kroner, ble finansiert av britiske myndigheter, og viste angivelig at pasienter kunne «bli friske» fra lidelsen gjennom behandling med to ikke-medikamentelle rehabiliteringsmetoder: gradert treningsterapi, som innebærer en gradvis økning i aktivitet, og en spesialisert form for kognitiv atferdsterapi. Hovedforskerne bak studien, en gruppe britiske fagpersoner innen psykisk helse, publiserte de første resultatene i The Lancet i 2011. Flere resultater ble senere publisert i andre vitenskapelige artikler.

Mye av det jeg skriver i denne artikkelen vil ikke være nytt for pasientmiljøet som har produsert en omfattende mengde kritiske kommentarer til studien på internett. Jeg kunne ikke ha skrevet denne artikkelen uten å dra nytte av disse undersøkelsene, og gjennom hjelp fra noen få kilder med kompetanse i statistikk som har veiledet meg gjennom kompliserte resultater. Jeg står også i takknemlighetsgjeld til kollegaer og venner innen både helsepolitikk og journalistikk som kom med verdifulle innspill og råd etter å ha lest tidligere utkast av artikkelen. Dette er del 3 av artikkelen. Her er del 1 og del 2. Jeg jobbet opprinnelig med denne saken sammen med Retraction Watch, men i sluttfasen ble vi ikke enige om retning og framgangsmåte for artikkelen.

Etter denne artikkelen ble publisert, har forskerne bak PACE-studien svart på artikkelen, og jeg har deretter svart på deres kritikk.

 

SAMMENDRAG AV ARTIKKELEN

 

Denne undersøkelsen av PACE-studien har avdekket flere store mangler:

* Studien inneholdt et paradoks av det bisarre slaget: da de påbegynte studien kunne deltakernes score på de to primære utfallsmålene fysisk funksjon og utmattelse både karakterisere dem som syke nok til å få delta i studien, men allikevel være ansett som «friske» på de samme utfallsmålene. Dette før de i det hele tatt hadde mottatt noen behandling. Det viste seg at 13 prosent av deltakerne i studien allerede ved starten av studien var ansett som «friske» på ett av disse to utfallsmålene. (jeg har oversatt «primary outcome» med primære utfallsmål – et utfallsmål er et målbart resultat forskerne bruker for å måle effekt av behandling).

* Midtveis i studien publiserte PACE-gruppa et nyhetsbrev for deltakerne som inneholdt entusiastiske sitater fra tidligere deltakere i studien om hvor mye «terapien» og «behandlingen» hadde hjulpet dem. Nyhetsbrevet inneholdt også en artikkel som informerte deltakerne om at de to behandlingene som ble testet i studien, gradert treningsterapi og kognitiv atferdsterapi, hadde blitt anbefalt som behandling av en komité nedsatt av de britiske myndighetene «basert på den beste tilgjengelige forskningen». Artikkelen i nyhetsbrevet nevnte ikke at en av nøkkelpersonene bak PACE-studien også hadde sittet i komitéen som anbefalte behandlingene som skulle testes i PACE-studien.

* PACE-forskerne endret på alle de primære utfallsmålene for å måle fysisk funksjon og utmattelse som var fastsatt i protokollen for studien. Men de gjennomførte ikke nødvendige analyser for å vise at de reviderte metodene og funnene fra disse var robuste. For eksempel gjennom en sensitivitetsanalyse (sensitivity analyses). Forskerne slakket også på alle de fire kriteriene i protokollens definisjon av «å ha blitt frisk» (recovered). Pasienter har bedt om innsyn i resultatene for «bli frisk»-definisjonen slik den er beskrevet i studieprotokollen, men forskerne har avvist slike innsynskrav med begrunnelsen at de kun er sendt «for å plage mottakeren» (OBS: det engelske ordet er «vexatious», og jeg tar gjerne imot en bedre oversettelse).

* PACE-forskernes påstand om vellykket behandling og «friske» pasienter var kun basert på pasientenes selvrapporterte utfallsmål fra spørreskjemaer. Alle objektive utfallsmål i studien – en gå-test, en step-test, og data om arbeidsførhet og mottak av trygdeytelser – ga ingen støtte til påstanden om at behandlingen var vellykket. I etterkant har PACE-forskerne avfeid de objektive utfallsmålene de selv definerte som ikke-objektive, irrelevante eller ikke til å stole på.

* Angående samtykkeerklæringene fra pasientene, brøt PACE-forskerne sin egen protokoll som inneholdt en eksplisitt erklæring om å informere deltakerne om enhver mulig interessekonflikt hos forskerne. Hovedforskerne har i lengre tid hatt bindinger til forsikringsindustrien gjennom konsulentoppdrag hvor de i årevis har gitt råd om at kognitiv atferdsterapi og gradert treningsterapi kunne få pasienter tilbake i arbeid. Allikevel fortalt de ikke deltakere om bindingene til forsikringsindustrien, og denne informasjonen ble ikke inkludert i samtykkeskjemaene. Forskerne informerte om dette under punktet «interessekonflikter» da de publiserte sine studier.

Renommerte forskere som har gått gjennom studien sier den en er full av metodeproblemer som umulig kan forsvares. Her er noen av deres kommentarer:

Dr. Bruce Levin, Columbia University: «Å gi deltakerne informasjon om at behandlingene som testes har blitt anbefalt av en myndighetskomité basert på «den beste tilgjengelige forskningen», slår meg som toppen av amatørmessig klinisk forskning.»

Dr. Ronald Davis, Stanford University: «Jeg er sjokkert over at The Lancet publiserte studien…PACE-studien har så mange mangler, og det er så mange spørsmål knyttet til den, at jeg ikke kan skjønne hvordan den kom gjennom noen form for fagfellevurdering.»

Dr. Arthur Reingold, University of California, Berkeley: «Slik det ser ut, ville det absolutt vært på sin plass med en uavhengig gjennomgang av studien gjennomført av eksperter som ikke var involvert i studien.

Dr. Jonathan Edwards, University College London: «For meg er dette helt umulig å tolke….Alle problemene med studien er svært bekymringsfulle, noe som gjør det mer eller mindre umulig å vurdere den kliniske betydningen av funnene.»

Dr. Leonard Jason, DePaul University: «PACE-forfatterne burde ha gjort noe med åpenbare metodiske problemer som kan så tvil om kredibiliteten til forskningen, slik som å ha overlappende kriterier som gjør at man kan bli regnet som frisk, men samtidig bli regnet som syk nok til å være med i studien.»

 

DEL TRE

Etterspill

Publiseringen av studien utløste noe The Lancet beskrev i en lederartikkel som «en strøm av bestyrtelse og fordømmelse fra enkeltpersoner eller grupper utenfor vårt vanlige nedslagsfelt». Pasienter uttrykte frustrasjon og fortvilelse over at de nok en gang ble fortalt at de måtte trene og gå i terapi. De var også sinte fordi artikkelen ignorerte den store mengden forskningsfunn som peker mot underliggende biologiske avvik.

Selv Action for ME, organisasjonen som samarbeidet med PACE-forskerne om å utviklet pacing-behandlingen, uttalte at de var «overrasket og skuffet» over «de overdrevne påstandene» om effekten av behandlingene. Peter Spencer, lederen i Action for ME, sa at funnene som viste at behandlingene ikke førte til forverringer, «står i motsetning til funnene fra våre og andre pasientorganisasjoners omfattende spørreundersøkelser».

Mange mente at bruken av de vidtfavnende Oxford-kriteriene delvis kunne forklare noe av effekten, også at det var så lite bivirkninger. Selv om personer med psykose, bipolar lidelse, rusmisbruk, organisk hjernesykdom og spiseforstyrrelse ble silt ut fra deltakelse i PACE-studien, var allikevel 47 prosent av deltakerne diagnostisert med en «stemningslidelse eller angstlidelse», blant annet depresjon. Men akkurat som kognitive behandlingsstrategier og atferdsterapi har vist seg å virke for personer med depresjon, slik som DePaul-psykolog Leonard Jason påpekte, er det også usannsynlig at økt aktivitet vil kunne være til skade for denne type pasienter, så sant de ikke også hadde nøkkelsymptomet for ME/CFS – forverring etter belastning.

Andre, som Tom Kindlon, undret seg på om mange av pasientene i behandlingsgruppene, tross i at de hadde rapportert at de følte seg bedre, allikevel ikke hadde økt aktivitetsnivået. Han mente de dårlige resultatene fra gå-testen på seks minutter støttet en slik spekulasjon. De resultatene antydet liten eller ingen bedring i fysisk funksjon.

«Hvis deltakere ikke fulgte anbefalingene og ikke gradvis økte aktivitetsnivået, kan det være at de ikke fikk tilbakefallene og forverringene som pasienter kan rapportere etter slike former for behandling,» sier Kindlon.

I et intervju på australsk radio fordømte Lancet-redaktør Richard Horton det han kalte en «iscenesatt respons» fra pasienter basert på «de spinkleste og mest urettferdige anklager» hvor de søkte å undergrave troverdigheten til forskningen og forskerne. «Man ser en temmelig liten, men svært velorganisert, svært høyrøstet og svært ødeleggende gruppe personer som har kapret agendaen og forvrengt debatten slik at det faktisk skader det overveldende flertallet av pasientene,» sa Horton. Han la til at «det forskerne gjorde, var på en grundig måte å undersøke kronisk utmattelsessyndrom fra et helt uavhengig perspektiv».

Horton fortalte i intervjuet at Lancets avgjørelse om å publisere resultatene kom etter «endeløse runder med fagfellevurdering». Men versjonen av artikkelen i databasen ScienceDirect indikerer at The Lancet «hurtigpubliserte» den. Ifølge nåværende Lancet-retningslinjer innebærer en hurtigpublisering at artikkelen blir publisert innen fire uker etter at manuskriptet er mottatt.

Michael Sharpe, en av hovedforskerne i PACE, var også med i det australske radiointervjuet. På spørsmål fra programlederen anerkjente han at kun én av sju deltakere oppnådde en «behandlingseffekt av klinisk betydning» med gradert treningsterapi og kognitiv atferdsterapi – et viktig poeng som ikke blir nevnt i Lancet-artikkelen.

«Hva denne studien ikke kan svare på, er hvor mye bedre disse behandlingene er sammenlignet med ikke å få noe særlig behandling i det hele tatt,» sa Sharpe i noe som kan ha vært et svakt øyeblikk, siden de britiske myndighetene hadde brukt 60 millioner kroner på PACE-studien for å finne ut nettopp det. Sharpes uttalelse så også ut til å være i strid med den rekken av nyhetsartikler om at pasienter var «blitt friske» og var «tilbake til normalen» som fulgte etter studien ble publisert.

***

PACE-forfatterne sto på sitt i en korrespondanse som ble publisert tre måneder etter offentliggjøringen. Som svar på bekymringene knyttet til endringer i protokollen, skrev de at endringene «ble gjort for å bedre rekrutteringen eller tolkningen», og de «ble godkjent av kontrollkomitéen, ble i fulle trekk rapportert i vår artikkel, og det ble gjort før vi ble kjent med resultatdataene for å unngå å bli påvirket». De nevnte ikke om de, siden det var en ublindet studie, allerede hadde en følelse av hva resultatene ville være før de fikk tilgang til resultatdataene. De forklarte heller ikke hvorfor de ikke gjennomførte sensitivitetsanalyser for å måle hva slags effekt endringene i protokollen hadde på resultatene.

De forsvarte sitt post-hoc «normalområde» for utmattelse og fysisk funksjon med at de hadde blitt beregnet gjennom den «konvensjonelle» statistiske formelen med gjennomsnittet pluss/minus et standardavvik. Som i Lancet-artikkelen verken nevnte eller forklarte de den uvanlige overlappingen mellom kriteriet for å blir regnet som syk nok til å være med i studien og resultatkriteriet for å bli regnet som innenfor «normalområdet». De forklarte heller ikke hvorfor de brukte den «konvensjonelle» metoden for å beregne normalområdet, når de to befolkningsbaserte datakildene deres ikke hadde en normaldistribusjon. Et problem Peter White selv hadde pekt på i en studie fra 2007.

Forskerne klargjorde at Lancet-artikkelen ikke hadde tatt for seg hvor mange som var «blitt friske» (recovery). De lovet å komme tilbake til dette i en senere artikkel. Men de forklarte ikke hvorfor Chalder på pressekonferansen hadde uttalt at pasientene kom seg «tilbake til normalen».

De forklarte heller ikke hvorfor de ikke hadde protestert mot påstanden i den ledsagende kommentarartikkelen om at 30 prosent av deltakerne i behandlingsgruppene «ble friske» basert på «strenge kriterier». Kommentaren ble skrevet av deres kollegaer og ble diskutert med dem før publisering. Særlig tatt i betraktning at de «strenge kriteriene» tillot at pasientene kunne bli sykere gjennom studien, men allikevel bli regnet som å ha «blitt friske» til slutt. De forklarte heller ikke hvorfor de ikke hadde kommet med noen offisiell uttalelse i etterkant i et forsøk på å korrigere den tilsynelatende uriktige nyhetsdekningen om at pasienter som fikk gradert treningsterapi og kognitiv atferdsterapi hadde «blitt friske» og kommet seg «tilbake til normalen».

Forfatterne innrømmet én feil. De hadde skrevet at beregningsgrunnlaget for «normalområdet» for fysisk funksjon var personer i «arbeidsdyktig alder». Men sannheten var at beregningsgrunnlaget var en «voksen» befolkning. Til forskjell fra personer i «arbeidsdyktig alder», inneholder en «voksen» befolkning også eldre mennesker, og denne befolkningen har derfor dårligere helse. Hvis PACE-deltakernes score på fysisk funksjon i SF-36 skulle vært sammenlignet med «normalområdet» for personer i arbeidsdyktig alder, ville prosentandelen i PACE som endte opp innenfor «normalområdet» vært enda lavere enn det de rapporterte.
Men The Lancet tok ikke inn noen korrigering i selve artikkelen, noe som gjør at lesere ikke blir gjort oppmerksomme på at den inneholdt – og fortsatt inneholder – en faktisk feil knyttet til et primært utfallsmål som får resultatene til å framstå bedre enn de faktisk er. (Ifølge retningslinjene i Lancet skal «enhver betydelig feil» og «enhver tallfeil i resultatene, eller enhver faktisk feil i tolkningen av resultatene» rettes opp).

***

En artikkel i PLoS One i 2012 handlet om økonomiske aspekter ved sykdommen og inneholdt resultater fra noen av de objektive utfallsmålene. Hvis syke personer ble så bra at de bedret arbeidsevnen, kunne man forvente en nedgang i trygdeytelser til de deltakerne som hadde fått behandling. Men istedenfor en nedgang i ytelser, var det ifølge artikkelen en moderat gjennomsnittlig økning i trygdeytelser for alle gruppene i studien. Det var heller ingen forskjeller mellom gruppene når det kom til dager de var borte fra jobben.

Forskerne ga ikke data om lønnsinntekter slik de hadde lovet. De hadde ennå heller ikke offentliggjort resultatene fra step-testen som de i protokollen hadde beskrevet som et mål på fysisk form.

Artikkelen i PLoS One argumenterte for at gradert trening og kognitiv atferdsterapi var de mest kostnadseffektive behandlingene ut fra et samfunnsperspektiv. Den konklusjonen kom de fram til gjennom å sette en verdi på såkalt «uformell» pleie – det vil si ubetalt pleie fra familie og venner som et alternativ til hjemmehjelp. Den planlagte statistiske analysen fra protokollen (godkjent i 2010, men ikke publisert før i 2013) inkluderte i tillegg to lavkostnadsalternativer. Den første satte en verdi på uformell pleie ut fra minimumslønn, mens den andre satte verdien ut fra null lønn.

Artikkelen i PLoS One viste ikke resultatene fra disse alternativene. Isteden ble det påpekt at «sensitivitetsanalyser avdekket at resultatene var robuste for alternative beregninger».

Folk som kommenterte på nettsidene til PLoS One, Tom Kindlon inkludert, angrep påstanden om at funnene ville være «robuste» i de alternative beregningene for uformell pleie. De pekte på at lavkostnadsalternativene faktisk ville redusere eller fullstendig eliminere de rapporterte fordelene ved kognitiv atferdsterapi og gradert treningsterapi når det kom til kost-nytteverdi.

I en kommentar fra førsteforfatter av studien, Paul McCrone, innrømmet han at det var riktig. McCrone verken nevnte eller forklarte den åpenbart uriktige sensitivitetsanalysen han skrev om i artikkelen, hvor han fant at kost-nyttefordelene ved gradert treningsterapi og kognitiv atferdsterapi var «robuste» uavhengig av hvordan det ble beregnet. Isteden argumenterte han for at det var urettferdige overfor de uformelle pleierne å bruke de to lavkostnadsalternativene ettersom familier fortjente å bli verdsatt mer for sitt arbeid.

«Vi mener at tiden familier bruker på å ta seg av personer med CFS/ME har en verdi, så å sette verdien til null er kontroversielt,» skrev McCrone. «Å anta at den også kun har verdien av minstelønn er også svært restriktivt».

I en påfølgende kommentar gikk Kindlon i rette med McCrone og pekte på at han fortsatt ikke hadde forklart artikkelens påstand om at sensitivitetsanalyser viste at funnene var «robuste» for alle alternative beregninger.

Kindlon viste også til at lavkostnadsalternativet var inkludert i PACE-forskernes egen statistikkplan.

«Husk at det var forskerne selv som valgte de alternative beregningene,» skrev Kindlon. «Hvis det nå er kontroversielt å sette null verdi på uformell pleie, så var dette like kontroversielt da de, før de så dataene, bestemte seg for å analysere dataene på denne måten. Det er liten vits i å publisere en statistisk plan, hvis resultater man ikke liker ikke blir formidlet og/eller slike funn blir uriktig framstilt».

***

I januar 2013 publiserte tidsskriftet Psychological Medicine de etterlengtede resultatene for å ha«blitt frisk» (recovery). I artikkelen la forskerne en betydelig begrensning på hvordan de bestemte hva som skulle regnes som å ha «blitt frisk». De definerte dette nå som kun å ha blitt frisk fra den siste sykdomsepisoden – en tilstand som vanligvis er kjent som «bedring» (engelsk: remission), ikke «blitt frisk». Definisjonen i protokollen inneholdt ikke en slik begrensning.

Fred Friedberg, en psykolog ved psykiatrisk divisjon ved Stony Brook University og ekspert på sykdommen, kritiserte PACE-forfatterne i en kommentar for en upresis bruk av begrepet «blitt frisk». «Deres konstruksjon…refererer kun til å ha blitt frisk fra den nåværende sykdomsepisoden, framfor å ha vært vedvarende frisk over lang tid,» skrev han og kollegaer i kommentaren. De bemerket at begrepet «bedring» var «mindre utsatt for feiltolkninger og overdrivelser».

Tom Kindlon er mer direkte. «Ingen tvang dem til å bruke begrepet «blitt frisk» i protokollen og i overskriften på artikkelen,» sier han. «Hvis de mente bedring, burde de ha sagt bedring». Ved lanseringen av Lancet-artikkelen snakket Chalder om å komme «tilbake til normalen» og ledsagerkommentaren kom med påstander om «blitt frisk» basert på «strenge kriterier». Kindlon trodde at PACE-gruppens tilnærming i formidlingen av resultatene igjen ville føre til uriktig nyhetsdekning hvor det ble fremstilt som at folk var «blitt friske».

PACE-forskerne hadde også slakket på alle protokollens fire kriterier for å bli regnet som «frisk» i den nye artikkelen. Men de nevnte ikke om noen kontrollkomité hadde godkjent de omfattende endringene i definisjonen av «blitt frisk». To av de fire reviderte kriteriene for «blitt frisk» var Lancet-artikkelens «normalområde» for utmattelse og fysisk funksjon. Heller ikke den nye artikkelen nevnte at dette «normalområdet» – nå gjenbrukt som grenseverdier for å ha «blitt frisk» – overlappet med kriteriene for å være alvorlig syk ved inngangen av studien. På den måten kunne deltakere allerede fra starten av studien ha et resultat som indikerte at de var «blitt friske».

De fire reviderte kriteriene for «blitt frisk» var:

* En score på 60 eller mer betydde «blitt frisk» på indikatoren fysisk funksjon. I protokollen var kravet en score på 85 eller mer. Ved starten av studien indikerte en score på 65 eller lavere at man var syk nok til å få være med i studien. Dette inngangskriteriet for dårlig helse på 65 indikerte bedre helse enn det nye «blitt frisk»-kriteriet på 60.

* En score på 18 eller mindre på en skala for utmattelse som gikk til 33 (på denne skalaen indikerer høyere score mer utmattelse). I protokollen var kravet en score på 3 eller mindre på en skala som gikk til 11, ut fra den opprinnelige måten å sette score på. På den reviderte skalaen ville det ved inngangen av studien være tilstrekkelig å score 12 eller mer for å være regnet som syk nok til å få være med i studien. Dette inngangskriteriet for dårlig helse på 12 indikerte bedre helse enn det nye «blitt frisk»-kriteriet på 18.

*En score på 1 («veldig mye bedre») eller 2 («mye bedre») på en skala til 7 på Clinical Global Impression Scale. I protokollen var kravet for å ha «blitt frisk» en score på 1. En score på 2 var ikke godt nok. Ifølge forskerne gjorde de denne endringen fordi «vi vurderte det slik at deltakere som rangerte helsen sin som «mye bedre» ga et uttrykk for at de var på vei til å bli friske». De viste ikke til noe forskning som rettferdiggjorde denne protokollendringen, og de forklarte heller ikke når og hvorfor de endret mening om hvordan dette måleverktøyet skulle tolkes.

* Det siste kravet i protokollen for å bli regnet som å ha «blitt frisk» var at man ikke tilfredsstilte noen av diagnosekriteriene i studien. Dette kravet var nå delt opp i færre og mer restriktive underkategorier. Hvis man tilfredsstilte de andre kravene slik de er listet opp over – og man i tillegg ikke tilfredsstilte Oxford-diagnosekriteriene – ble man nå regnet som å ha «blitt frisk i studien» (trial recovery). Dette uavhengig av om man fortsatt tilfredsstilte en av de to andre diagnosekriteriene i studien – CDC-kriteriene eller ME-kriteriene. De deltakerne som nådde protokollens strengere definisjon, at de ikke tilfredsstilte noen av de tre kriteriene, ble definert som å ha «blitt klinisk friske» (clinical recovery»). Forfatterne forklarte ikke når eller hvorfor de bestemte seg for å dele denne kategorien i to former for «blitt frisk».

Etter å ha slakket på en rekke av kravene i protokollens definisjon av å ha «blitt frisk», vektla de resultatene for den mindre restriktive kategorien «blitt frisk i studien» (trial recovery) i artikkelen, ikke for den mer restriktive kategorien «blitt klinisk friske» (clinical recovery). Forskerne fant at oddsen for å ha «blitt frisk i studien» var tre ganger så stor i gruppene som fikk kognitiv atferdsterapi og gradert treningsterapi sammenlignet med gruppene som fikk pacing (APT) eller kun spesialistoppfølging. De skrev ikke om de hadde foretatt noen sensitivitetsanalyser for å undersøke om resultatene kunne være påvirket av alle endringene i definisjonen av «blitt frisk» sammenlignet med slik den sto i protokollen.

De anerkjente at andelen pasienter som var «blitt friske i studien» var lav, med 22 prosent i de to gruppene. De foreslo at man kanskje kunne øke andelen gjennom å gi flere behandlinger med kognitiv atferdsterapi eller gradert treningsterapi, eller å gi de to behandlingene sammen.

***

Som med den tidligere artikkelen i Lancet var det også ukritisk mediedekning av denne artikkelen. Og som Tom Kindlon hadde fryktet, var det ikke begrepet «bedring» som ble brukt i mediene. «De tok heller ikke for seg de dramatiske endringene fra protokollen for alle de fire kriteriene for å regnes som «blitt frisk»,» sier Kindlon. Artikkelen i Psychological Medicine ble, ikke uventet, kritisert av pasienter og pasientforeninger.

Folk som kommenterte studien på tidsskriftets nettside og på forskjellige nettforum kritiserte den reviderte definisjonen for «blitt frisk». Som for eksempel at «normalområdet» for målene på utmattelse og fysisk funksjon overlappet med kriteriene for å være syk nok til å få være med i studien. De stilte spørsmål ved hvorfor PACE-forskerne i det hele tatt brukte begrepet «blitt frisk», med tanke på at betydningen av «blitt frisk» nå var svært utvannet. De påpekte også at forskerne så bort fra de objektive resultatene på gå-testen på 6 minutter i sin vurdering av om deltakerne var blitt friske. Dataene på arbeidsførhet og trygdeytelser fra PLoS One-artikkelen tok de heller ikke med i vurderingen. Ingen av disse objektive målene støttet opp om påstandene om at deltakere var «blitt friske».

I et svar på kritikken forsvarte White og kollegaene bruken av begrepet «blitt frisk» gjennom å vise til at de tydelig hadde forklart hva begrepet betydde i artikkelen. «Vi var nøye med å gi en presis definisjon av å ha blitt frisk og å understreke at dette gjaldt kun for et gitt tidspunkt og kun for den siste sykdomsepisoden,» skrev de. Men de forklarte ikke hvorfor de, gitt en slik definisjon, ikke rett og slett brukte det vanlige begrepet «bedring», siden begrepet «blitt frisk» ville kunne føre til misforståelser rundt resultatene.

Heller ikke denne gangen svarte de på hvorfor kriteriene for å være syk nok til å være med i studien på målene utmattelse og fysisk funksjon, overlappet med kriteriene for å være innenfor «normalområdet» på de samme målene – noe som nå også ble brukt som grenseverdier for å ha «blitt frisk». De forklarte heller ikke hvorfor de, når de skulle regne ut «normalområdet», brukte den statistiske metoden som brukes på normaldistribuerte populasjoner, når de visste at populasjonen de hadde som utgangspunkt var skjevfordelt. I tillegg tilbakeviste de nå betydningen av de objektive utfallsmålene de selv hadde valgt i protokollen, blant annet gå-testen som de i protokollen hadde beskrevet som «et objektivt utfallsmål for fysisk kapasitet».

«Vi er uenige i at gå-testen på seks minutter er et bedre og mer «objektivt» mål på å ha blitt frisk i PACE-studien,» skrev de nå og viste til «praktiske begrensninger» i dataene.

For det første, forklarte forskerne, var det slik at de på grunn av deltakernes dårlige helse, ikke hadde oppmuntret dem verbalt under gå-testen slik man normalt sett skulle gjøre. For det andre, hadde over en fjerdedel av deltakerne ikke gjennomført noen ny gå-test etter behandlingen, en betydelig mangel de ikke ga noen forklaring på. (En mulig forklaring er at deltakerne var for syke til å gjennomføre testen, noe som i så fall ville innebære at resultatene ville vært betydelig dårligere hvis de hadde tatt med resultatene fra de manglende deltakerne).

Til slutt forklarte PACE-forskerne at de kun hadde en 10 meter lang korridor til å gjennomføre testen, ikke de 30 til 50 meterne som var standard praksis ved testen. De forklarte imidlertid ikke om det var slik at alle de seks studiesentrene rundt om i landet hadde dette problemet, eller om det gjaldt bare noen. «Det førte til at deltakerne hyppigere måtte stoppe og snu, noe som sinket dem og derfor gjør det vanskelig å sammenligne med resultatene i andre studier,» skrev forskerne.

Den forklaringen reiste imidlertid nye spørsmål. Forskerne begynte pasientundersøkelsene i 2005, inkludert gå-testen. I protokollen de publiserte to år senere i BMC Neurology nevnte de ikke slike sammenligningsproblemer med et eneste ord. Isteden beskrev de gå-testen som et objektivt mål på fysisk kapasitet. Protokollen var skrevet før studien begynte, men i en kommentar på nettsidene til BMC Neurology i 2008, bekreftet de i et svar til en pasientkommentar at gå-testen på seks minutter var en av «flere objektive utfallsmål».

I korrespondansen i Psychological Medicine forklarte ikke White og kollegaene om de hadde oppdaget sammenligningsproblemene for gå-testen, da de publiserte protokollen i 2007. Heller ikke om de kjente til dette i 2008, da de publiserte kommentaren i BMC Neurology. De forklarte heller ikke hvorfor de i så fall ikke hadde oppdaget det på daværende tidspunkt.

I korrespondansen forkastet de også betydningen av utfallsmålene for arbeidsførhet og trygdeytelser, noe de i protokollen hadde beskrevet som «enda en form for mer objektive mål for funksjon». «Å bli frisk fra sykdom handler om helse, ikke økonomi, og det er en rekke arbeidsfolk som føler seg dårlige, mens friske folk ikke nødvendigvis jobber,» skrev de nå. «I tillegg kan det være at 6 måneder etter behandlingsslutt er for tidlig til å kunne se effekter på trygdeytelser eller arbeidsførhet. Vi er derfor uenige…om at slike utfallsmål er en nyttig del av målet på å ha blitt frisk i PACE-studien».

Som konklusjon i svaret i Psychological Medicine skrev de at kognitiv atferdsterapi og gradert treningsterapi «som en rutinepraksis nå bør tilbys alle dem som kan ha nytte av det».

***

Hver eneste publiserte artikkel genererte nye spørsmål. Pasienter og pasientforkjempere sendte inn en rekke innsynskrav til Queen Mary University of London for å få tilgang til PACE-relaterte dokumenter og data. Queen Mary University var Whites arbeidsgiver og skulle derfor administrere slike forespørsler.

Pasientene ville vite hvor mange PACE-deltakere som var «blitt friske» ifølge de mye strengere kriteriene i protokollen fra 2007. Hvor mange av deltakerne var allerede «innenfor normalområdet» på utmattelse og fysisk funksjon i det de begynte på studien? Når nøyaktig avgjorde forskerne å gjøre endringer i utfallsmålene fra protokollen, hvilke kontrollkomitéer godkjente endringene og hvorfor?

Noen innsynskrav ble innfridd. Et av dem avdekket at 85 deltakere – 13 prosent av det totale antallet – allerede scoret som «blitt friske» eller «var innenfor normalområdet» på utmattelse eller fysisk funksjon når de samtidig ble tatt inn i studien som tilstrekkelig syke for å få være med. (Nesten alle av disse, 78 deltakere, hadde en slik score for kun fysisk funksjon, fire hadde en slik score for kun utmattelse, og tre deltakere hadde en «blitt frisk»-score for begge målene).

Men mange av innsynskravene ble avvist. Anna Sheridan, en pasient med en doktorgrad i fysikk, ba i fjor om innsyn i hvordan de pasientene forskerne hadde vurdert som «friske» faktisk hadde gjort det på gå-testen på seks minutter. Queen Mary University avviste innsynskravet med begrunnelsen at det var sendt «kun for å plage mottakeren» (OBS: det engelske ordet er «vexatious», og jeg tar gjerne imot en bedre oversettelse).

Sheridan klagde på avgjørelsen. «Som forsker ønsker jeg å forstå den fulle rekkevidden av forskningen,» skrev hun. «Som pasient har det stor betydning hvilken avstand jeg vil være i stand til å gå…når jeg skal ta en avgjørelse om jeg vil forsøke behandlinger som CBT og GET. Det er vel ikke urimelig å ville vite hvor langt de friske pasientene etter behandling nå er i stand til å gå?».

Universitetet vurderte klagen og informerte Sheridan om at innsynskravet nok allikevel ikke var «kun til plage». Men innsynskravet ble avvist igjen, skrev universitetet, fordi ressursene de ville måtte sette inn for å finne informasjonen «ville overstige grensen for hva som regnes som passende» ifølge loven. Sheridan klagde avgjørelsen videre i systemet, til U.K. Information Commissioner’s Office, men ble avvist også der.

The Information Commissioner’s Office avviste også klagen til en som hadde bedt om innsyn i møtereferatene til kontrollkomitéene i PACE. Ønsket var å vite når og hvorfor utfallsmålene ble endret. Søkeren klagde avgjørelsen enda et hakk videre i systemet, til First-Tier Tribunal. Dette panelet – en dommer og to lekmenn – avviste klagen og mente det var «klinkende klart» at å gi innsyn i møtereferatene ville true den akademiske friheten og sette framtidig forskning på spill.

Panelet forsvarte de omfattende endringene i protokollen som «vanlig i de fleste kliniske studier» og mente at forskerne «ikke trikset med resultatene eller undergravde integriteten i funnene». Panelet framstilte de mange innsynskravene som å være en del av en mobbekampanje mot forskerne, og de viste sympati overfor den store tidsbyrden dette la på White. I sin konklusjon skrev panelet at de «ikke var i tvil om at sett i den rette konteksten, burde dette innsynskravet være ansett som kun til plage – ikke som et oppriktig ønske om informasjon – dets hensikt var i første rekke polemisk.»

Til dags dato har PACE-forskerne avvist innsynskrav om rådata fra studien slik at det kan gjøres uavhengige analyser. Pasienter og andre kritikere mener forskerne har en særlig forpliktelse til å frigjøre slike data ettersom studien ble gjennomført med offentlige midler.

I tiden etter Lancet-artikkelen har mye av mediedekningen av PACE-forskerne og deres kollegaer handlet om det som The Guardian har kalt en «kampanje av utskjelling og vold». Noe som visstnok skal være satt i gang av «militante…ansett som like farlige og kompromissløse som ekstreme dyrevernsaktivister». I en nyhetsartikkel i British Medical Journal portretterte White kritikerne som hyklere. «Paradokset er at aktivistene ønsker mer forskning på CFS, men hvis de ikke liker forskningen, setter de i gang kampanjer for å stoppe den,» sa han til tidsskriftet. Selv om nyhetsdekningen også har gjentatt PACE-forskernes påstander om behandlingssuksess og «friske» pasienter, har ingen av dem gått i dybden på studien og undersøkt om pasientenes innsigelser mot studien faktisk er relevante.

Tom Kindlon har hørt de samme argumentene om pasientaktivistene igjen og igjen. Han sier det blir brukt for å få oppmerksomheten bort fra manglene i PACE-studien. «De sier at aktivistene er ustabile, at de er ulogiske og at de er urettferdige eller har fordommer mot psykiatri. Det gjør det lett å avfeie dem,» sier Kindlon.

Han sier at det pasientene ikke liker, ikke handler om psykiatri eller psykiatere, men det å bli fortalt at den alvorlige biologiske sykdommen de lider av må ha en behandling som baserer seg på en hypotese om at pasientene har vrangforestillinger om sykdommen.

***

I januar i år publiserte PACE-forskerne en artikkel i The Lancet Psychiatry om hva som påvirker bedring. Ikke overraskende fant de at å dempe pasientenes antatte frykt for aktivitet var hovedmekanismen bak hvordan behandlingene kognitiv atferdsterapi og gradert treningsterapi så ut til å virke. Nyhetsdekningen rundt funnene antydet at ME/CFS-pasienter kunne bli bedre bare de klarte å kvitte seg med sin egen frykt for aktivitet.

Noe som ikke ble nevnt i mediedekningen var en ørliten graf gjemt bort på side 13 sammen med en rekke andre grafer. Den viste resultatene fra step-testen, testen som var beskrevet i protokollen som et mål for fysisk form. Den lille grafen indikerte at de to gruppene som hadde fått behandlingene ikke gjorde det noe bedre på step-testen enn de andre deltakerne. Det så faktisk ut som at deltakerne i de to andre gruppene kanskje hadde bedre resultater. Artikkelen inneholdt uansett ikke dataene grafen baserte seg på, og selve grafen var for liten til å kunne hente ut brukbare data.

Etter denne artikkelen ble publisert rettet en pasient et nytt innsynskrav for å få de faktiske dataene som ble brukt i grafen for step-testen. Queen Marry University avviste kravet som å være sendt «kun for å plage mottakeren».

Når nå grafen for step-testen var ute, så man at ingen av de «objektive» utfallsmålene i studien – med unntak av dataene for lønn som ennå ikke er offentliggjort – støttet opp om påstandene om vellykket behandling og at deltakere var «blitt friske» fra de to behandlingsmetodene. Artikkelen i Lancet Pscyhiatry nevnte ikke denne mangelen, at ingen av studiens objektive utfallsmål ga noe støtte til de subjektive utfallsmålene som ble rapportert.

Siden Lancet-artikkelen i 2011 har det skjedd utvikling på forskningsfronten som har ført til mer oppmerksomhet i retning av biomedisinske faktorer i sykdommen. To uavhengige faggrupper fra National Institutes of Health og fra Institute of Medicine har levert sine rapporter, forskning fra Columbia University har rapportert om avvik i immunsystemet, nye studier fra Norge om bruk av et immundempende medikament som professor Jonathan Edwards en gang var pioner for innen leddgikt, og en stadig økende mengde studier som dokumenterer pasientenes unormale reaksjon på aktivitet.

I Storbritannia har det britiske forskningsrådet gjort et lite skifte og har bevilget noe penger til biomedisinsk forskning. Men PACE-tankegangen fortsetter å dominere når det kommer til behandling av sykdommen i det offentlige helsevesenet. For to år siden lanserte de splittede miljøene et forskningssamarbeid – The CFS/ME Research Collaborative. Det er en paraplyorganisasjon som omfatter et stort spenn av meninger om sykdommen. På et to dagers møte i Bristol i september 2014, ble det presentert en rekke spennende biomedisinske forskningsprosjekter. Peter Whites foredrag, «PACE: A Trial and Tribulations», fokuserte på hvordan misfornøyde pasienter hadde reagert på studien.

Ifølge konferansereferatet viste White til pasientmiljøets «kampanje mot PACE-studien» for å forklare forsinkelsene de hadde hatt med å rekruttere deltakere til studien. Noe som tvang forskerne til å søke om mer tid og penger for å få fullført. Han fortalte om innsynskrav som kun var for «å plage mottakeren». Han sa at han så langt hadde mottatt 168 innsynskrav . (Han mottok blant annet et innsynskrav som spurte om hvor mange innsynskrav han hadde mottatt). Denne formen for pasientaktivitet «ødelegger» for forskningen, ifølge White.

Jonathan Edwards, en ekspert på leddgikt som nå jobber med ME/CFS, rapporterte fra konferansen for et populært nettforum for pasienter. «Jeg kan bare beskrive dr. Whites presentasjon som malplassert,» skrev han. Edwards viste til at White, etter raskt å ha forklart funnene fra studien, «brukte resten av foredraget på å snakke om hvor urimelig det var at pasientene ikke bare aksepterte funnene med takknemlighet, noe som indikerte at dette var et angrep på vitenskapen…»

«Jeg synes det var uheldig at dr. White antydet at folk var urimelige i sin tolkning av PACE-studien,» konkluderte Edwards. «Det så imidlertid ikke ut som noen så ut til å bli særlig fornærmet på grunn av det».

 

5 kommentarer

Filed under Uncategorized

Er det noe alvorlig galt med den største behandlingsstudien for ME noensinne? – DEL 2

Dette er del 2 av en gjesteartikkel her på siden. Del 1 finner dere her. Del 3 her. Artikkelen er svært lang. Den er også temmelig teknisk. Og på toppen av det hele har jeg oversatt den fra engelsk, noe som ikke var noen enkel oppgave tatt i betraktning at artikkelen er full av forskningsmetodiske detaljer. Dere er herved advart.

Denne artikkelen ble først publisert på bloggen virology.ws. Det er en populær medisinsk blogg redigert av forskeren og professoren ved Columbia University i New York City, Vincent Racaniello. Men det er ikke Racaniello selv som har skrevet artikkelen. Den er skrevet av den amerikanske journalisten David Tuller. Han jobber nå ved University of California som koordinator for et masterprogram i helsepolitikk og journalistikk. Han har tidligere skrevet for noen av verdens fremste aviser som The New York Times og San Francisco Chronicle.

I denne omfattende artikkelen på over 16.000 ord, tar Tuller for seg en omstridt studie på ME-feltet – PACE-studien. Jeg tok kontakt med Tuller etter å ha lest hele artikkelen og spurte om tillatelse til å oversette den og publisere den på min blogg, noe han ga tillatelse til. I første del kan du lese begrunnelsen for hvorfor jeg publiserer teksten.

Jeg publiserer artikkelen i tre deler, slik Tuller selv gjorde på virology.ws. Her finner du de originale artiklene, hvis du foretrekker å lese på engelsk: Del 1  –  Del 2  –  Del 3

Note: I artikkelen brukes både ME, CFS, ME/CFS og kronisk utmattelsessyndrom som navn på sykdommen. 

Tusen takk til David Tuller som tillot at artikkelen ble oversatt og publisert her.

***************************

PRØVING OG FEILING: Problemet med ME/CFS-studien PACE – DEL 2

(Originalteksten finner du her: TRIAL BY ERROR: The Troubling Case of the PACE Chronic Fatigue Syndrome Study)

Skrevet av David Tuller, journalist og koordinator for masterprogrammet i helsepolitikk og journalistikk ved University of California, Berkeley.

For noen få år siden fikk jeg lov av Dr. Racaniello til å bruke bloggen hans til å publisere en lang artikkel om langvarig inkompetanse i det amerikanske CDCs oppfølging av den alvorlige lidelsen organisasjonen selv hadde gitt det misvisende navnet «kronisk utmattelsessyndrom». Nå vender jeg tilbake med en enda lengre artikkel om den kontroversielle og svært innflytelsesrike britiske forskningsstudien PACE. Studien kostet rundt 60 millioner kroner, ble finansiert av britiske myndigheter, og viste angivelig at pasienter kunne «bli friske» fra lidelsen gjennom behandling med to ikke-medikamentelle rehabiliteringsmetoder: gradert treningsterapi, som innebærer en gradvis økning i aktivitet, og en spesialisert form for kognitiv atferdsterapi. Hovedforskerne bak studien, en gruppe britiske fagpersoner innen psykisk helse, publiserte de første resultatene i The Lancet i 2011. Flere resultater ble senere publisert i andre vitenskapelige artikler.

Mye av det jeg skriver i denne artikkelen vil ikke være nytt for pasientmiljøet som har produsert en omfattende mengde kritiske kommentarer til studien på internett. Jeg kunne ikke ha skrevet denne artikkelen uten å dra nytte av disse undersøkelsene, og gjennom hjelp fra noen få kilder med kompetanse i statistikk som har veiledet meg gjennom kompliserte resultater. Jeg står også i takknemlighetsgjeld til kollegaer og venner innen både helsepolitikk og journalistikk som kom med verdifulle innspill og råd etter å ha lest tidligere utkast av artikkelen. Dette er del 2 av artikkelen som publiseres i 3 deler. Her er del 1. Jeg jobbet opprinnelig med denne saken sammen med Retraction Watch, men i sluttfasen ble vi ikke enige om retning og framgangsmåte for artikkelen.

Etter denne artikkelen ble publisert, har forskerne bak PACE-studien svart på artikkelen, og jeg har deretter svart på deres kritikk.

 

SAMMENDRAG AV ARTIKKELEN

Denne undersøkelsen av PACE-studien har avdekket flere store mangler:

* Studien inneholdt et paradoks av det bisarre slaget: da de påbegynte studien kunne deltakernes score på de to primære utfallsmålene fysisk funksjon og utmattelse både karakterisere dem som syke nok til å få delta i studien, men allikevel være ansett som «friske» på de samme utfallsmålene. Dette før de i det hele tatt hadde mottatt noen behandling. Det viste seg at 13 prosent av deltakerne i studien allerede ved starten av studien var ansett som «friske» på ett av disse to utfallsmålene. (jeg har oversatt «primary outcome» med primære utfallsmål – et utfallsmål er et målbart resultat forskerne bruker for å måle effekt av behandling).

* Midtveis i studien publiserte PACE-gruppa et nyhetsbrev for deltakerne som inneholdt entusiastiske sitater fra tidligere deltakere i studien om hvor mye «terapien» og «behandlingen» hadde hjulpet dem. Nyhetsbrevet inneholdt også en artikkel som informerte deltakerne om at de to behandlingene som ble testet i studien, gradert treningsterapi og kognitiv atferdsterapi, hadde blitt anbefalt som behandling av en komité nedsatt av de britiske myndighetene «basert på den beste tilgjengelige forskningen». Artikkelen i nyhetsbrevet nevnte ikke at en av nøkkelpersonene bak PACE-studien også hadde sittet i komitéen som anbefalte behandlingene som skulle testes i PACE-studien.

* PACE-forskerne endret på alle de primære utfallsmålene for å måle fysisk funksjon og utmattelse som var fastsatt i protokollen for studien. Men de gjennomførte ikke nødvendige analyser for å vise at de reviderte metodene og funnene fra disse var robuste. For eksempel gjennom en sensitivitetsanalyse (sensitivity analyses). Forskerne slakket også på alle de fire kriteriene i protokollens definisjon av «å ha blitt frisk» (recovered). Pasienter har bedt om innsyn i resultatene for «bli frisk»-definisjonen slik den er beskrevet i studieprotokollen, men forskerne har avvist slike innsynskrav med begrunnelsen at de kun er sendt «for å plage mottakeren» (OBS: det engelske ordet er «vexatious», og jeg tar gjerne imot en bedre oversettelse).

* PACE-forskernes påstand om vellykket behandling og «friske» pasienter var kun basert på pasientenes selvrapporterte utfallsmål fra spørreskjemaer. Alle objektive utfallsmål i studien – en gå-test, en step-test, og data om arbeidsførhet og mottak av trygdeytelser – ga ingen støtte til påstanden om at behandlingen var vellykket. I etterkant har PACE-forskerne avfeid de objektive utfallsmålene de selv definerte som ikke-objektive, irrelevante eller ikke til å stole på.

* Angående samtykkeerklæringene fra pasientene, brøt PACE-forskerne sin egen protokoll som inneholdt en eksplisitt erklæring om å informere deltakerne om enhver mulig interessekonflikt hos forskerne. Hovedforskerne har i lengre tid hatt bindinger til forsikringsindustrien gjennom konsulentoppdrag hvor de i årevis har gitt råd om at kognitiv atferdsterapi og gradert treningsterapi kunne få pasienter tilbake i arbeid. Allikevel fortalt de ikke deltakere om bindingene til forsikringsindustrien, og denne informasjonen ble ikke inkludert i samtykkeskjemaene. Forskerne informerte om dette under punktet «interessekonflikter» da de publiserte sine studier.

Renommerte forskere som har gått gjennom studien sier den en er full av metodeproblemer som umulig kan forsvares. Her er noen av deres kommentarer:

Dr. Bruce Levin, Columbia University: «Å gi deltakerne informasjon om at behandlingene som testes har blitt anbefalt av en myndighetskomité basert på «den beste tilgjengelige forskningen», slår meg som toppen av amatørmessig klinisk forskning.»

Dr. Ronald Davis, Stanford University: «Jeg er sjokkert over at The Lancet publiserte studien…PACE-studien har så mange mangler, og det er så mange spørsmål knyttet til den, at jeg ikke kan skjønne hvordan den kom gjennom noen form for fagfellevurdering.»

Dr. Arthur Reingold, University of California, Berkeley: «Slik det ser ut, ville det absolutt vært på sin plass med en uavhengig gjennomgang av studien gjennomført av eksperter som ikke var involvert i studien.

Dr. Jonathan Edwards, University College London: «For meg er dette helt umulig å tolke….Alle problemene med studien er svært bekymringsfulle, noe som gjør det mer eller mindre umulig å vurdere den kliniske betydningen av funnene.»

Dr. Leonard Jason, DePaul University: «PACE-forfatterne burde ha gjort noe med åpenbare metodiske problemer som kan så tvil om kredibiliteten til forskningen, slik som å ha overlappende kriterier som gjør at man kan bli regnet som frisk, men samtidig bli regnet som syk nok til å være med i studien.»

 

DEL TO

PACE-studien blir publisert

Rekruttering av studiedeltakere og randomisering til de fire gruppene begynte tidlig i 2005. I 2007 publiserte forskerne en kortversjon av studieprotokollen i tidsskriftet BMC Neurology. Der lovet de følgende resultater for de to primære utfallsmålene:

* «Positiv effekt» for fysisk funksjon ble definert som enten en score på 75 eller høyere på SF-36, eller en 50 prosent bedring i scoren fra utgangspunktet.

* «Positiv effekt» for utmattelse ble definert som enten en score på 3 eller lavere på Chalder Fatigue Scale, eller en 50 prosent bedring i skåren fra utgangspunktet.

* For å bli regnet som en som opplevde bedring (overall improvers) måtte deltakeren ha en score for «positiv effekt» på både fysisk funksjon og utmattelse.

Forskerne lovet også resultater for det de definerte som «å bli frisk» (recovered), et sekundært utfallsmål som inneholdt fire komponenter:

* En score for fysisk funksjon på 85 eller mer.

* En score for utmattelse på 3 eller lavere.

* En score på 1 («veldig mye bedre») ut av 7 på skalaen Clinical Global Impression, et skjema hvor pasientene selv rapporterer endring i helsetilstanden.

* At pasienten ikke lenger oppfyller noen av de tre diagnosekriteriene som ble brukt i studien (Oxford, CDC, ME-kriteriet).

Tom Kindlon lette i protokollen for å finne detaljerte opplysninger om de objektive utfallsmålene som ble lovet. Han visste at selvrapportering fra pasienter gjennom spørreskjemaer, kunne bli påvirket av faktorer som forholdet til terapeuten, eller ønsket om virkelig å tro på behandlingen. Han visste også at tidligere studier av slike behandlinger for sykdommen, hadde vist at det ofte ikke var noen bedring på objektive utfallsmål selv om studiene viste bedring på de subjektive målene pasientene selv rapporterte.

«Hvis du vil måle effekten av slanking, vil du ikke spørre folk om de opplever å ha gått ned i vekt, du veier dem,» sier Kindlon.

Protokollens objektive utfallsmål for fysisk kapasitet og funksjon innebar:

* En seks minutters gå-test.

* En step-test (på en krakk/benk).

* Data om jobbsituasjon, lønn og trygdeytelser.

***

På nettsiden til studien publiserte PACE-gruppa av og til «nyhetsbrev» med oppdateringer om finansiering, rekruttering til studien og annen relevant informasjon. Det tredje nyhetsbrevet, datert desember 2008, inneholdt skryt av studien fra statsministerens kontor i tillegg til en artikkel om at de britiske myndighetene hadde offentliggjort nye retningslinjer for behandling av CFS.

Ifølge nyhetsbrevet var de nye retningslinjene «basert på den beste tilgjengelige forskningen» og anbefalte behandling med kognitiv atferdsterapi og gradert treningsterapi, de samme typene behandling som ble undersøkt i PACE. Nyhetsbrevet nevnte ikke at en av hovedforskerne bak PACE, fysioterapeut Jessica Bavington, også hadde sittet i den offentlig utnevnte komitéen som hadde gitt støtte til behandlingene brukt i PACE.

I det samme nyhetsbrevet var det en rekke sitater fra deltakere i studien som handlet om de positive effektene av «terapien» og «behandlingen». Hvilken terapi eller behandling de siktet til ble imidlertid ikke navngitt. Nyhetsbrevet inneholdt kun positive sitater, og ingen sitater fra deltakere med dårlige erfaringer. Ifølge en oversikt over rekrutteringen til studien var det på det tidspunktet fortsatt rundt en tredjedel av deltakerne – omkring 200 ut av 641 – som hadde en eller flere behandlingstimer igjen.

«Terapien var storartet,» skrev en deltaker. En annen var «så fornøyd med at denne behandlingen/studien hadde ført til stor bedring i søvn!». En tredje skrev: «Å få være med i denne studien har vært til enorm hjelp. (Behandlingen) er nå blitt et levesett for meg». En fjerde skrev: «(Terapeuten) er svært behjelpelig og gir svært nyttige råd i tillegg til å motivere meg». Legen til en av deltakerne skrev om de «positive endringene» hos pasienten som et resultat av «terapien» og erklærte at studien «åpenbart har potensiale til å forandre livene til mange mennesker». Legen gratulerte PACE-gruppa med det «suksessrike programmet», det til tross for at ingen resultater fra studien ennå var blitt offentliggjort.

Arthur Reingold er leder for epidemiologiavdelingen ved University of California Berkeley (og en kollega av meg). Han har fagfellevurdert en hel rekke kliniske studier gjennom flere tiår som forsker. Han har aldri sett et tilfelle hvor forskerne midtveis i studien har spredt denne type pasienterfaringer og sitater som skryter av behandlingene som blir testet. Det reiser bekymringer om hele integriteten til funnene i studien, sier Reingold.

Han legger til at selv om de spesifikke behandlingene ikke ble navngitt, kan slike pasientsitater allikevel påvirke tilbakemeldingene fra alle deltakerne i behandlingsgruppene i positiv retning. Eller det kan forårsake andre uforutsigbare effekter – særlig med tanke på at de primære utfallsmålene var selvrapportering fra pasientene. (Han har heller ikke sett noen studier hvor deltakerne kunne være regnet som syke nok til å få være med i studien, mens de med samme score på samme utfallsmål ville være regnet som å ha «blitt friske» på slutten av studien).

«Gitt de subjektive primære utfallsmålene, ser det ut til at å spre pasientsitater fra deltakere i behandlingsgruppene bryter med de grunnleggende prinsippene for forskningsdesign. Det kan potensielt føre til i betydelig grad å påvirke tilbakemeldingene og informasjonen fra studien,» sier Reingold. «Jeg kan ikke huske å sett en tilsvarende tilnærming i andre behandlingsstudier. Slik det ser ut, ville det absolutt vært på sin plass med en uavhengig gjennomgang av studien gjennomført av eksperter som ikke var involvert i studien».

***

Så fort Lancet-artikkelen var offentliggjort, begynte Kindlon å dele inntrykk med andre via nettet. «Det var som en bikube,» sier han. «Gradvis oppdaget folk forskjellige problemer og publiserte disse, og du kunne se hullene i studien».

I tillegg til å hevde at kognitiv atferdsterapi og gradert treningsterapi var moderat effektive behandlinger, erklærte forskerne i Lancet-artikkelen at behandlingene var trygge og uten tegn på alvorlige bivirkninger, tross bekymringene fra pasienter. Pacing-behandlingen viste seg å ikke være noe bedre enn vanlig oppfølging av en spesialist. Den viste også at de to undergruppene som ble definert ut fra andre diagnosekriterier, ikke skilte seg vesentlig fra resten av deltakerne når det kom til effekt.

Det tok ikke lang tid før Kindlon og andre la merke til noe uvanlig – forskerne hadde gjort en rekke endringer i utfallsmålene underveis i studien. Det inkluderte endringer i begge de primære utfallsmålene. PACE-forskerne forklarte i Lancet-artikkelen at de på grunn av treg rekruttering av deltakere elleve måneder ut i studieforløpet, hadde avgjort å slakke på grenseverdien for fysisk funksjon for å kunne være med i studien. De økte grenseverdien fra opprinnelig å ha vært 60, til isteden å være 65, noe som er en friskere score. Angående målet for utmattelse bestemte de seg for å gå bort fra det bimodale scoringssystemet hvor pasientsvarene ble scoret med 0 og 1. Isteden brukte de et annet system hvor pasientsvarene ble scoret fra 0 til 3. De skrev at det ble gjort for å kunne «mer presist teste våre hypoteser». (De innsamlede dataene gjorde det mulig å endre dette scoringssystemet underveis).

De forklarte ikke hvorfor de valgte å endre denne scoringsmetoden underveis i studien, framfor å gjøre det før studiestart. De forklarte heller ikke hvorfor de ikke like godt publiserte resultatene fra begge de to metodene. De nevnte ikke at FINE-studien fra 2010 – en mindre studie for sykere og hjemmeværende pasienter hvor det ble testet et behandlingsregime beslektet med behandlingene i PACE – rapporterte at de ikke fant noen signifikante forskjeller mellom de forskjellige gruppene i studien da de brukte de samme spørreskjemaene for fysisk funksjon og utmattelse som i PACE.

Analysen av pasientsvarene på Chalder Fatigue Scale i FINE-studien var bimodale, slik forskerne i PACE også lovet i sin protokoll for PACE. Forskerne bak FINE rapporterte imidlertid senere at en analyse i etterkant (post-hoc analyse), hvor de heller brukte et scoringssystem fra 0 til 3, viste moderat effekt av behandlingen. Året etter kopierte PACE-gruppa den samme reviderte metoden i Lancet-artikkelen.

FINE-studien ble også finansiert av det britiske forskningsrådet i 2003, og PACE-gruppa refererte til denne som sin søster-studie. Teksten i Lancet-artikkelen nevnte allikevel ikke de negative funnene fra FINE-studien med et eneste ord.

***

I tillegg til disse endringene publiserte ikke forskerne de dataene de hadde lovet i protokollen: resultatene for «positiv effekt» på utmattelse og fysisk funksjon, og for de som opplevde bedring («overall improvers») gjennom «positiv effekt» på begge disse målene. De skrev isteden at endringer var godkjent av kontrollkomitéer før forskerne gikk gjennom dataene. Så introduserte de andre statistiske metoder for å vurdere scorene for utmattelse og fysisk funksjon. Alle resultatene viste da moderat bedring etter kognitiv atferdsterapi og gradert treningsterapi.

Først sammenlignet de endringene i gjennomsnittsscoren for fysisk funksjon og utmattelse for alle gruppene ett år etter behandlingsstart. Men i motsetning til metoden de skrev i protokollen at de ville bruke, ga ikke den nye målemetoden noe informasjon om en viktig faktor – det faktiske antallet deltakere i hver gruppe som rapporterte at de var blitt bedre eller verre.

Gjennom en annen metode de kalte en post-hoc-analyse (dvs. at målemetoden er fastsatt i etterkant) beregnet de andelen deltakere i hver gruppe som nådde det de definerte som en «klinisk nyttig» bedring. Det innebar en økning på minst åtte poeng på skalaen for fysisk funksjon, og en nedgang på minst to poeng på skalaen for utmattelse. I motsetning til den første analysen, ga denne post-hoc-analysen svarene på individnivå framfor kun et samlet svar. Det er allikevel slik at post-hoc-analyser aldri blir sett på som like gode som de som er spesifisert på forhånd.

For å definere noe som en «klinisk nyttig» bedring var det i tillegg slik at kravene for det var satt lavere enn det som var kravet for å nå protokollens grenseverdier for «positiv effekt». Protokollens grenseverdier for «positiv effekt» var en økning på ti poeng på skalaen for fysisk funksjon, fra inngangsverdien på 65 og opp til 75, og en reduksjon på tre poeng på skalaen for utmattelse, fra inngangsverdien på 6 og ned til 3.

En tredje metode i Lancet-artikkelen var enda en post-hoc-analyse. Den målte hvor mange deltakere i hver gruppe som nådde det forskerne kalte «normalområdet» for utmattelse og fysisk funksjon. De regnet ut «normalområdet» med utgangspunkt i tidligere studier med resultater for SF-36 og Chalder Fatigue Scale fra store populasjoner. I gruppene som fikk kognitiv atferdsterapi og gradert treningsterapi scoret henholdsvis 30 og 28 prosent av deltakerne innenfor «normalområdet» for både utmattelse og fysisk funksjon sammenlignet med representative populasjoner, rapporterte forskerne. Det var omkring dobbelt så mange som i de to andre gruppene i studien.

Av de viktigste objektive utfallsmålene fra protokollen, var det kun resultatene fra en seks minutters gå-test som ble opplyst om i Lancet-artikkelen. Gruppa som fikk gradert treningsterapi hadde en moderat økning på 67 meter i distansen de klarte å gå. Det innebar en økning fra 312 meter ved begynnelsen av behandling til 379 meter etter ett år. Deltakerne i de andre gruppene, inkludert de som fikk kognitiv atferdsterapi, viste ingen betydelig bedring etter ett år.

Like fullt var resultatet fra gruppa som fikk gradert treningsterapi fortsatt indikasjon på alvorlig nedsatt funksjon. Resultatene viste at de presterte dårligere enn gjennomsnittet til friske kvinner mellom 70 og 79 år (490 meter), personer med pacemaker (461 meter), pasienter med hjertesvikt klasse II (558 meter) og pasienter med cystisk fibrose (626 meter). Rundt tre fjerdedeler av PACE-deltakerne var kvinner. Gjennomsnittsalderen var 38 år.

***

Kindlon så at Trudie Chalder trakk fram post-hoc-analysen av «normalområdet» for de to primære utfallsmålene, da hun uttalte seg på pressekonferansen i forbindelse med PACE-studien. Hun trakk fram at det i gruppene som fikk kognitiv atferdsterapi og gradert treningsterapi var «dobbelt så mange» deltakere som kom seg «tilbake til normalen». Men Kindlon visste at «normalområdet» var en statistisk konstruksjon, og det betydde ikke det samme som «tilbake til normalen» eller «å bli frisk» i medisinsk forstand.

Lancet-artikkelen inneholdt ingen resultater for å ha «blitt frisk» fra sykdommen slik dette var definert gjennom fire kriterier i protokollen. Kindlon mente derfor at Chalders uttalelser skapte unødvendig forvirring, da hun viste til at deltakere var kommet «tilbake til normalen». I tillegg mente han at kollegaer av PACE-forskerne forsterket det problemet gjennom en ledsagende kommentarartikkel i Lancet, hvor de hevdet at studien viste at 30 prosent av deltakerne var «blitt friske» (recovered), noe som var basert på analysene av å være innenfor «normalområdet».

Kindlon, og andre med han, la også merke til noe veldig underlig ved dette «normalområdet». Det overlappet med kriteriene for å få lov til å være med i studien. Mens en score for fysisk funksjon på 65 ble regnet som bevis for at man var syk nok til å få være med i studien, hadde forskerne nå fastsatt at en score på 60 eller bedre var «innenfor normalområdet». Man kunne dermed få lov til å være med i studien med en score for fysisk funksjon på 65, bli dårligere i løpet av studien og etter ett år ha en score på 60, men like fullt bli regnet som det PACE-studien hadde satt til å være innenfor «normalområdet».

Det samme bisarre paradokset gjaldt målet for utmattelse, hvor en lavere score indikerer mindre utmattelse. Det var krav om å score minst 6 ut av 11 på Chalder Fatigue Scale for å være syk nok til å være med i studien. I den reviderte målemetoden for Chalder Fatigue Scale, ble denne grensen regnet om til å være 12 eller høyere på en skala til 30. Allikevel var PACE-studiens «normalområde» for utmattelse regnet å være en score på 18 eller lavere. En deltaker kunne dermed bli tatt inn i studien med en score for utmattelse på 12, bli mer utmattet gjennom studien og score 18 etter ett år, men like fullt bli regnet som å være innenfor «normalområdet».

«Det var absurd at kriteriet for «normal» utmattelse og fysisk funksjon var lavere enn kriteriet for å være syk nok til å få bli med i studien,» sier Kindlon.

Kindlon skjønte at det innebar at noen av deltakerne Chalder beskrev som «tilbake til normalen» fordi de var innenfor «normalområdet», i realiteten egentlig kunne ha blitt dårligere i løpet av studien. Det samme gjaldt den ledsagende kommentarartikkelen til PACE-studien, hvor det ble sagt at deltakerne som møtte dette underlige målet for «normalområdet» var «blitt friske» ifølge «strenge kriterier». Denne definisjonen av å «bli frisk» ble åpenbart godkjent av PACE-forskerne da de før publisering gikk gjennom kommentarartikkelen.

Det overrasket ikke Tom Kindlon at påstandene om «tilbake til normalen» og «blitt friske» ble hovedfokus for mye av nyhetsdekningen rundt studien. Det irriterte han voldsomt at Chalder og forfatterne av den ledsagende kommentarartikkelen var i stand til å skape så mye positiv publisitet ut fra noe som tross alt var en post-hoc-analyse. En analyse som tillot at deltakere som ble regnet som å ha alvorlig nedsatt funksjon på samme tid kunne regnes som «tilbake til normalen» eller å ha «blitt friske».

***

Medlemmene i et av nettforumene var også overrasket, og de sjekket opp de populasjonsstudiene som PACE-studien viste til som beregningsgrunnlaget for «normalområdet». Da oppdaget de et alvorlig problem. I disse studiene fikk man ingen klassisk Bell-kurve for resultatene fra spørreskjemaene for fysisk funksjon og utmattelse. En slik kurve kalles en normaldistribusjon av data. Isteden var resultatene svært skjevfordelt, siden mange av svarene klumpet seg sammen i den friskeste enden av skalaen. Dette er et vanlig fenomen i helseundersøkelser på befolkningsnivå. Allikevel benyttet PACE-forskerne en standard statistisk metode for å regne ut sitt «normalområde». Dette innebar å ta gjennomsnittsverdien pluss/minus et standardavvik. I et tallmateriale med en normaldistribusjon vil en da plukke ut et spenn som inkluderer 68 prosent av personene i referansebefolkningen.

Standardavvik

Her er en Bell-kurve. Pluss/minus ett standardavvik vil inkludere 34 prosent på hver side av gjennomsnittet (100). I en normaldistribuert populasjon vil det dermed inkludere 68 prosent av populasjonen.

 

I en artikkel fra 2007, hvor Peter White var medforfatter, påpekte de at en slik beregningsmetode for normalområdet «antok en normaldistribusjon av resultatene». De skrev at man ville få andre resultater hvis dette ikke var tilfellet – altså hvis resultatene ikke hadde en normaldistribusjon. Whites artikkel fra 2007 påpekte også at resultatene på fysisk funksjon fra SF-36 i befolkningsundersøkelser ikke hadde normaldistribusjon. De skrev også at man ved bruk av statistiske metoder som er spesifikt beregnet for slik skjevfordeling, ville få andre resultater for hva som er normalområdet

skewed_distribution_

Her ser man en Bell-kurve til venstre med normaldistribusjon sammenlignet med en kurve hvor dataene er skjevfordelt til høyre. I det skjevfordelte datasettet vil gjennomsnittet (mean) forskyves. La oss si at de aller fleste personene i datasettet er friske og klumper seg sammen helt opp mot høyre ende, mens noen få er svært syke og har en veldig dårlig score helt til venstre. Da vil det fåtallet som har veldig mye dårligere helse enn resten, trekke gjennomsnittet uforholdsmessig mye ned. Gjennomsnittet vil ikke gjenspeile at det klare flertallet har en score som helt friske. Hvis man da regner ut et «normalområde» ut fra gjennomsnittet pluss/minus et standardavvik, vil dette «normalområdet» inkludere folk med langt dårligere helse enn det klare flertallet i utvalget.

For å beregne «normalområdet» for utmattelse brukte PACE-gruppa en 2010-artikkel hvor Chalder var medforfatter. Denne artikkelen viste befolkningsbaserte resultater fra Chalder Fatigue Scale. På samme måte som for SF-36-skjemaet, ga heller ikke svarene på Chalder Fatigue Scale en normaldistribusjon. Isteden klumpet resultatene seg i den friskeste enden av skalaen, noe som også ble påpekt i Chalders artikkel.

Til tross for at White påpekte slike feilkilder i artikkelen fra 2007, var det ingen advarsler i PACE-artikkelen om denne viktige kilden til skjevheter i beregningen av «normalområdet» for både fysisk funksjon og utmattelse. I Lancet-artikkelen verken nevnte eller diskuterte de betydningen av det merkelige resultatet som gjorde at utfallsmålene som skulle indikere bedring faktisk indikerte dårligere helse enn kriteriene for å være syk nok til å være med i studien.

Biostatistiker ved Columbia University, Bruce Levin, sier at det finnes enkle statistiske formler for å regne ut et område som inkluderer 68 prosent av verdiene selv om dataene ikke er normaldistribuert. Disse kunne vært anvendt på dataene fra befolkningsundersøkelsene PACE-forskerne brukte for å regne ut «normalområdet» for fysisk funksjon og utmattelse. Å bruke den vanlige regnemetoden på datasett som er svært skjevt fordelt, kan ifølge Levin føre til «svært misvisende» resultater.

***

Å stille kritiske spørsmål til endringene som ble gjort i PACE-protokollen var absolutt i samsvar med filosofien til tidsskriftet som publiserte den. BioMed Central, utgiveren av BMC Neurology, påpeker på sin nettside at et av hovedmålene med å publisere studieprotokoller er å «gjøre lesere i stand til å sammenligne hva som var den opprinnelige intensjonen, og hva som faktisk ble gjort, og gjennom det forebygge både tilsløring av data og post-hoc-revisjoner av målsettinger i studier». Redaktørkommentaren i BMC Neurology, som var lenket til PACE-protokollen, understreket meldingen om at forskere bør ettergås.

Biostatistiker Bruce Levin sier at det aldri er å anbefale å endre protokollen, og at dette særlig er problematisk i ublindede studier som PACE. Han sier at forskerne i slike studier lett kan snappe opp hvilken vei studien ser ut til å gå, lenge før de faktisk får se resultatdataene. Den kunnskapen kan påvirke hvordan de gjør endringer fra protokollen, ifølge Levin.

Han legger til at selv når slike endringer er godkjent av kontrollkomitéer, må forskerne ta nødvendige forholdsregler for å vurdere hvordan det kan påvirke resultatene. Slike forholdsregler kan innebære å rapportere resultatene fra både den opprinnelige og den revidere metoden gjennom sensitivitetsanalyser, ifølge Levin. Da kan man måle om andre antakelser eller betingelser vil gi betydelige forskjeller i resultatene.

«Og i de tilfellene hvor det er betydelige forskjeller i resultatene, må forskerne forklare hvorfor forskjellene oppstår og overbevise et skeptisk publikum hvorfor de reviderte funnene bør ilegges mer vekt enn funnene gjort med de opprinnelige metodene,» sier Levin. Han påpeker at PACE-forfatterne ikke tok slike forholdssregler.

***

Noen av deltakerne i PACE syntes det var en ubehagelig overraskelse da de først etter at studien var ferdig, fikk vite om forskernes økonomiske bindinger til forsikringsbransjen gjennom å ha tatt konsulentoppdrag. Forskerne informerte om disse bindingene som en «interessekonflikt» i Lancet-artikkelen. Men de hadde også lovet å etterfølge Helsinkideklarasjonen, som er internasjonale retningslinjer for forskningsetikkk. Disse krever at deltakere i studier informeres om «enhver mulig interessekonflikt» og «tilknytninger» forskerne har.

Deltakerinformasjonen og samtykkeerklæringene i den siste godkjente protokollen inneholdt ikke noe av denne informasjonen. Av fire deltakere som er blitt intervjuet i forbindelse med denne saken, tre av dem ansikt til ansikt og en via telefon, opplyser alle at de ikke ble informert om forskernes bindinger til forsikringsselskaper verken før eller underveis i studieløpet. To fortalte at de ville ha blitt med på studien uansett, fordi de ikke hadde andre alternativer. Mens to fortalte at denne informasjonen ville ha påvirket beslutningen deres om å være med.

Rhiannon Chaffer sier at hun sannsynligvis ville ha avslått å være med i studien, hvis hun hadde visst dette på forhånd. «Jeg er skeptisk til alt som er støttet av forsikringsbransjen. Derfor ville det ha utgjort en forskjell for meg, fordi jeg hadde følt at studien ikke var uavhengig,» sier Chaffer, en dame midt i trettiårene som ble syk i 2006 og gikk til et studiesenter for PACE i Bristol.

En annen av de fire trakk samtykket sitt i ettertid og forbød forskerne å bruke hennes data i studien. «Ærlig talt så ble jeg ikke gitt anledning til å være informert,» sier deltakeren som ønsker å være anonym på grunn av en pågående rettstvist i forbindelse med sykdommen. «Jeg ble temmelig forbanna og følte meg lurt. Jeg følte at de løy gjennom å utelate dette.»

(Ingen av de fire deltakerne, hvor tre var i gruppen som fikk kognitiv terapi, følte at studien hadde reversert sykdommen. Jeg vil komme tilbake til pasientenes opplevelser senere.)

DEL 3 FINNER DU HER.

6 kommentarer

Filed under Uncategorized