Er det noe alvorlig galt med den største behandlingsstudien for ME noensinne? – DEL 3

Dette er del 3 av en gjesteartikkel her på siden. Her finner dere del 1 og del 2. Artikkelen er svært lang. Den er også temmelig teknisk. Og på toppen av det hele har jeg oversatt den fra engelsk, noe som ikke var noen enkel oppgave tatt i betraktning at artikkelen er full av forskningsmetodiske detaljer. Dere er herved advart.

Denne artikkelen ble først publisert på bloggen virology.ws. Det er en populær medisinsk blogg redigert av forskeren og professoren ved Columbia University i New York City, Vincent Racaniello. Men det er ikke Racaniello selv som har skrevet artikkelen. Den er skrevet av den amerikanske journalisten David Tuller. Han jobber nå ved University of California som koordinator for et masterprogram i helsepolitikk og journalistikk. Han har tidligere skrevet for noen av verdens fremste aviser som The New York Times og San Francisco Chronicle.

I denne omfattende artikkelen på over 16.000 ord, tar Tuller for seg en omstridt studie på ME-feltet – PACE-studien. Jeg tok kontakt med Tuller etter å ha lest hele artikkelen og spurte om tillatelse til å oversette den og publisere den på min blogg, noe han ga tillatelse til. I første del kan du lese begrunnelsen for hvorfor jeg publiserer teksten.

Jeg publiserer artikkelen i tre deler, slik Tuller selv gjorde på virology.ws. Her finner du de originale artiklene på engelsk, hvis du foretrekker å lese på engelsk: Del 1  –  Del 2  –  Del 3

Note: I artikkelen brukes både ME, CFS, ME/CFS og kronisk utmattelsessyndrom som navn på sykdommen. 

Tusen takk til David Tuller som tillot at artikkelen ble oversatt og publisert her.

 

****************************

PRØVING OG FEILING: Problemet med ME/CFS-studien PACE – DEL 3

(Originalteksten finner du her: TRIAL BY ERROR: The Troubling Case of the PACE Chronic Fatigue Syndrome Study)

Skrevet av David Tuller, journalist og koordinator for masterprogrammet i helsepolitikk og journalistikk ved University of California, Berkeley.

For noen få år siden fikk jeg lov av Dr. Racaniello til å bruke bloggen hans til å publisere en lang artikkel om langvarig inkompetanse i det amerikanske CDCs oppfølging av den alvorlige lidelsen organisasjonen selv hadde gitt det misvisende navnet «kronisk utmattelsessyndrom». Nå vender jeg tilbake med en enda lengre artikkel om den kontroversielle og svært innflytelsesrike britiske forskningsstudien PACE. Studien kostet rundt 60 millioner kroner, ble finansiert av britiske myndigheter, og viste angivelig at pasienter kunne «bli friske» fra lidelsen gjennom behandling med to ikke-medikamentelle rehabiliteringsmetoder: gradert treningsterapi, som innebærer en gradvis økning i aktivitet, og en spesialisert form for kognitiv atferdsterapi. Hovedforskerne bak studien, en gruppe britiske fagpersoner innen psykisk helse, publiserte de første resultatene i The Lancet i 2011. Flere resultater ble senere publisert i andre vitenskapelige artikler.

Mye av det jeg skriver i denne artikkelen vil ikke være nytt for pasientmiljøet som har produsert en omfattende mengde kritiske kommentarer til studien på internett. Jeg kunne ikke ha skrevet denne artikkelen uten å dra nytte av disse undersøkelsene, og gjennom hjelp fra noen få kilder med kompetanse i statistikk som har veiledet meg gjennom kompliserte resultater. Jeg står også i takknemlighetsgjeld til kollegaer og venner innen både helsepolitikk og journalistikk som kom med verdifulle innspill og råd etter å ha lest tidligere utkast av artikkelen. Dette er del 3 av artikkelen. Her er del 1 og del 2. Jeg jobbet opprinnelig med denne saken sammen med Retraction Watch, men i sluttfasen ble vi ikke enige om retning og framgangsmåte for artikkelen.

Etter denne artikkelen ble publisert, har forskerne bak PACE-studien svart på artikkelen, og jeg har deretter svart på deres kritikk.

 

SAMMENDRAG AV ARTIKKELEN

 

Denne undersøkelsen av PACE-studien har avdekket flere store mangler:

* Studien inneholdt et paradoks av det bisarre slaget: da de påbegynte studien kunne deltakernes score på de to primære utfallsmålene fysisk funksjon og utmattelse både karakterisere dem som syke nok til å få delta i studien, men allikevel være ansett som «friske» på de samme utfallsmålene. Dette før de i det hele tatt hadde mottatt noen behandling. Det viste seg at 13 prosent av deltakerne i studien allerede ved starten av studien var ansett som «friske» på ett av disse to utfallsmålene. (jeg har oversatt «primary outcome» med primære utfallsmål – et utfallsmål er et målbart resultat forskerne bruker for å måle effekt av behandling).

* Midtveis i studien publiserte PACE-gruppa et nyhetsbrev for deltakerne som inneholdt entusiastiske sitater fra tidligere deltakere i studien om hvor mye «terapien» og «behandlingen» hadde hjulpet dem. Nyhetsbrevet inneholdt også en artikkel som informerte deltakerne om at de to behandlingene som ble testet i studien, gradert treningsterapi og kognitiv atferdsterapi, hadde blitt anbefalt som behandling av en komité nedsatt av de britiske myndighetene «basert på den beste tilgjengelige forskningen». Artikkelen i nyhetsbrevet nevnte ikke at en av nøkkelpersonene bak PACE-studien også hadde sittet i komitéen som anbefalte behandlingene som skulle testes i PACE-studien.

* PACE-forskerne endret på alle de primære utfallsmålene for å måle fysisk funksjon og utmattelse som var fastsatt i protokollen for studien. Men de gjennomførte ikke nødvendige analyser for å vise at de reviderte metodene og funnene fra disse var robuste. For eksempel gjennom en sensitivitetsanalyse (sensitivity analyses). Forskerne slakket også på alle de fire kriteriene i protokollens definisjon av «å ha blitt frisk» (recovered). Pasienter har bedt om innsyn i resultatene for «bli frisk»-definisjonen slik den er beskrevet i studieprotokollen, men forskerne har avvist slike innsynskrav med begrunnelsen at de kun er sendt «for å plage mottakeren» (OBS: det engelske ordet er «vexatious», og jeg tar gjerne imot en bedre oversettelse).

* PACE-forskernes påstand om vellykket behandling og «friske» pasienter var kun basert på pasientenes selvrapporterte utfallsmål fra spørreskjemaer. Alle objektive utfallsmål i studien – en gå-test, en step-test, og data om arbeidsførhet og mottak av trygdeytelser – ga ingen støtte til påstanden om at behandlingen var vellykket. I etterkant har PACE-forskerne avfeid de objektive utfallsmålene de selv definerte som ikke-objektive, irrelevante eller ikke til å stole på.

* Angående samtykkeerklæringene fra pasientene, brøt PACE-forskerne sin egen protokoll som inneholdt en eksplisitt erklæring om å informere deltakerne om enhver mulig interessekonflikt hos forskerne. Hovedforskerne har i lengre tid hatt bindinger til forsikringsindustrien gjennom konsulentoppdrag hvor de i årevis har gitt råd om at kognitiv atferdsterapi og gradert treningsterapi kunne få pasienter tilbake i arbeid. Allikevel fortalt de ikke deltakere om bindingene til forsikringsindustrien, og denne informasjonen ble ikke inkludert i samtykkeskjemaene. Forskerne informerte om dette under punktet «interessekonflikter» da de publiserte sine studier.

Renommerte forskere som har gått gjennom studien sier den en er full av metodeproblemer som umulig kan forsvares. Her er noen av deres kommentarer:

Dr. Bruce Levin, Columbia University: «Å gi deltakerne informasjon om at behandlingene som testes har blitt anbefalt av en myndighetskomité basert på «den beste tilgjengelige forskningen», slår meg som toppen av amatørmessig klinisk forskning.»

Dr. Ronald Davis, Stanford University: «Jeg er sjokkert over at The Lancet publiserte studien…PACE-studien har så mange mangler, og det er så mange spørsmål knyttet til den, at jeg ikke kan skjønne hvordan den kom gjennom noen form for fagfellevurdering.»

Dr. Arthur Reingold, University of California, Berkeley: «Slik det ser ut, ville det absolutt vært på sin plass med en uavhengig gjennomgang av studien gjennomført av eksperter som ikke var involvert i studien.

Dr. Jonathan Edwards, University College London: «For meg er dette helt umulig å tolke….Alle problemene med studien er svært bekymringsfulle, noe som gjør det mer eller mindre umulig å vurdere den kliniske betydningen av funnene.»

Dr. Leonard Jason, DePaul University: «PACE-forfatterne burde ha gjort noe med åpenbare metodiske problemer som kan så tvil om kredibiliteten til forskningen, slik som å ha overlappende kriterier som gjør at man kan bli regnet som frisk, men samtidig bli regnet som syk nok til å være med i studien.»

 

DEL TRE

Etterspill

Publiseringen av studien utløste noe The Lancet beskrev i en lederartikkel som «en strøm av bestyrtelse og fordømmelse fra enkeltpersoner eller grupper utenfor vårt vanlige nedslagsfelt». Pasienter uttrykte frustrasjon og fortvilelse over at de nok en gang ble fortalt at de måtte trene og gå i terapi. De var også sinte fordi artikkelen ignorerte den store mengden forskningsfunn som peker mot underliggende biologiske avvik.

Selv Action for ME, organisasjonen som samarbeidet med PACE-forskerne om å utviklet pacing-behandlingen, uttalte at de var «overrasket og skuffet» over «de overdrevne påstandene» om effekten av behandlingene. Peter Spencer, lederen i Action for ME, sa at funnene som viste at behandlingene ikke førte til forverringer, «står i motsetning til funnene fra våre og andre pasientorganisasjoners omfattende spørreundersøkelser».

Mange mente at bruken av de vidtfavnende Oxford-kriteriene delvis kunne forklare noe av effekten, også at det var så lite bivirkninger. Selv om personer med psykose, bipolar lidelse, rusmisbruk, organisk hjernesykdom og spiseforstyrrelse ble silt ut fra deltakelse i PACE-studien, var allikevel 47 prosent av deltakerne diagnostisert med en «stemningslidelse eller angstlidelse», blant annet depresjon. Men akkurat som kognitive behandlingsstrategier og atferdsterapi har vist seg å virke for personer med depresjon, slik som DePaul-psykolog Leonard Jason påpekte, er det også usannsynlig at økt aktivitet vil kunne være til skade for denne type pasienter, så sant de ikke også hadde nøkkelsymptomet for ME/CFS – forverring etter belastning.

Andre, som Tom Kindlon, undret seg på om mange av pasientene i behandlingsgruppene, tross i at de hadde rapportert at de følte seg bedre, allikevel ikke hadde økt aktivitetsnivået. Han mente de dårlige resultatene fra gå-testen på seks minutter støttet en slik spekulasjon. De resultatene antydet liten eller ingen bedring i fysisk funksjon.

«Hvis deltakere ikke fulgte anbefalingene og ikke gradvis økte aktivitetsnivået, kan det være at de ikke fikk tilbakefallene og forverringene som pasienter kan rapportere etter slike former for behandling,» sier Kindlon.

I et intervju på australsk radio fordømte Lancet-redaktør Richard Horton det han kalte en «iscenesatt respons» fra pasienter basert på «de spinkleste og mest urettferdige anklager» hvor de søkte å undergrave troverdigheten til forskningen og forskerne. «Man ser en temmelig liten, men svært velorganisert, svært høyrøstet og svært ødeleggende gruppe personer som har kapret agendaen og forvrengt debatten slik at det faktisk skader det overveldende flertallet av pasientene,» sa Horton. Han la til at «det forskerne gjorde, var på en grundig måte å undersøke kronisk utmattelsessyndrom fra et helt uavhengig perspektiv».

Horton fortalte i intervjuet at Lancets avgjørelse om å publisere resultatene kom etter «endeløse runder med fagfellevurdering». Men versjonen av artikkelen i databasen ScienceDirect indikerer at The Lancet «hurtigpubliserte» den. Ifølge nåværende Lancet-retningslinjer innebærer en hurtigpublisering at artikkelen blir publisert innen fire uker etter at manuskriptet er mottatt.

Michael Sharpe, en av hovedforskerne i PACE, var også med i det australske radiointervjuet. På spørsmål fra programlederen anerkjente han at kun én av sju deltakere oppnådde en «behandlingseffekt av klinisk betydning» med gradert treningsterapi og kognitiv atferdsterapi – et viktig poeng som ikke blir nevnt i Lancet-artikkelen.

«Hva denne studien ikke kan svare på, er hvor mye bedre disse behandlingene er sammenlignet med ikke å få noe særlig behandling i det hele tatt,» sa Sharpe i noe som kan ha vært et svakt øyeblikk, siden de britiske myndighetene hadde brukt 60 millioner kroner på PACE-studien for å finne ut nettopp det. Sharpes uttalelse så også ut til å være i strid med den rekken av nyhetsartikler om at pasienter var «blitt friske» og var «tilbake til normalen» som fulgte etter studien ble publisert.

***

PACE-forfatterne sto på sitt i en korrespondanse som ble publisert tre måneder etter offentliggjøringen. Som svar på bekymringene knyttet til endringer i protokollen, skrev de at endringene «ble gjort for å bedre rekrutteringen eller tolkningen», og de «ble godkjent av kontrollkomitéen, ble i fulle trekk rapportert i vår artikkel, og det ble gjort før vi ble kjent med resultatdataene for å unngå å bli påvirket». De nevnte ikke om de, siden det var en ublindet studie, allerede hadde en følelse av hva resultatene ville være før de fikk tilgang til resultatdataene. De forklarte heller ikke hvorfor de ikke gjennomførte sensitivitetsanalyser for å måle hva slags effekt endringene i protokollen hadde på resultatene.

De forsvarte sitt post-hoc «normalområde» for utmattelse og fysisk funksjon med at de hadde blitt beregnet gjennom den «konvensjonelle» statistiske formelen med gjennomsnittet pluss/minus et standardavvik. Som i Lancet-artikkelen verken nevnte eller forklarte de den uvanlige overlappingen mellom kriteriet for å blir regnet som syk nok til å være med i studien og resultatkriteriet for å bli regnet som innenfor «normalområdet». De forklarte heller ikke hvorfor de brukte den «konvensjonelle» metoden for å beregne normalområdet, når de to befolkningsbaserte datakildene deres ikke hadde en normaldistribusjon. Et problem Peter White selv hadde pekt på i en studie fra 2007.

Forskerne klargjorde at Lancet-artikkelen ikke hadde tatt for seg hvor mange som var «blitt friske» (recovery). De lovet å komme tilbake til dette i en senere artikkel. Men de forklarte ikke hvorfor Chalder på pressekonferansen hadde uttalt at pasientene kom seg «tilbake til normalen».

De forklarte heller ikke hvorfor de ikke hadde protestert mot påstanden i den ledsagende kommentarartikkelen om at 30 prosent av deltakerne i behandlingsgruppene «ble friske» basert på «strenge kriterier». Kommentaren ble skrevet av deres kollegaer og ble diskutert med dem før publisering. Særlig tatt i betraktning at de «strenge kriteriene» tillot at pasientene kunne bli sykere gjennom studien, men allikevel bli regnet som å ha «blitt friske» til slutt. De forklarte heller ikke hvorfor de ikke hadde kommet med noen offisiell uttalelse i etterkant i et forsøk på å korrigere den tilsynelatende uriktige nyhetsdekningen om at pasienter som fikk gradert treningsterapi og kognitiv atferdsterapi hadde «blitt friske» og kommet seg «tilbake til normalen».

Forfatterne innrømmet én feil. De hadde skrevet at beregningsgrunnlaget for «normalområdet» for fysisk funksjon var personer i «arbeidsdyktig alder». Men sannheten var at beregningsgrunnlaget var en «voksen» befolkning. Til forskjell fra personer i «arbeidsdyktig alder», inneholder en «voksen» befolkning også eldre mennesker, og denne befolkningen har derfor dårligere helse. Hvis PACE-deltakernes score på fysisk funksjon i SF-36 skulle vært sammenlignet med «normalområdet» for personer i arbeidsdyktig alder, ville prosentandelen i PACE som endte opp innenfor «normalområdet» vært enda lavere enn det de rapporterte.
Men The Lancet tok ikke inn noen korrigering i selve artikkelen, noe som gjør at lesere ikke blir gjort oppmerksomme på at den inneholdt – og fortsatt inneholder – en faktisk feil knyttet til et primært utfallsmål som får resultatene til å framstå bedre enn de faktisk er. (Ifølge retningslinjene i Lancet skal «enhver betydelig feil» og «enhver tallfeil i resultatene, eller enhver faktisk feil i tolkningen av resultatene» rettes opp).

***

En artikkel i PLoS One i 2012 handlet om økonomiske aspekter ved sykdommen og inneholdt resultater fra noen av de objektive utfallsmålene. Hvis syke personer ble så bra at de bedret arbeidsevnen, kunne man forvente en nedgang i trygdeytelser til de deltakerne som hadde fått behandling. Men istedenfor en nedgang i ytelser, var det ifølge artikkelen en moderat gjennomsnittlig økning i trygdeytelser for alle gruppene i studien. Det var heller ingen forskjeller mellom gruppene når det kom til dager de var borte fra jobben.

Forskerne ga ikke data om lønnsinntekter slik de hadde lovet. De hadde ennå heller ikke offentliggjort resultatene fra step-testen som de i protokollen hadde beskrevet som et mål på fysisk form.

Artikkelen i PLoS One argumenterte for at gradert trening og kognitiv atferdsterapi var de mest kostnadseffektive behandlingene ut fra et samfunnsperspektiv. Den konklusjonen kom de fram til gjennom å sette en verdi på såkalt «uformell» pleie – det vil si ubetalt pleie fra familie og venner som et alternativ til hjemmehjelp. Den planlagte statistiske analysen fra protokollen (godkjent i 2010, men ikke publisert før i 2013) inkluderte i tillegg to lavkostnadsalternativer. Den første satte en verdi på uformell pleie ut fra minimumslønn, mens den andre satte verdien ut fra null lønn.

Artikkelen i PLoS One viste ikke resultatene fra disse alternativene. Isteden ble det påpekt at «sensitivitetsanalyser avdekket at resultatene var robuste for alternative beregninger».

Folk som kommenterte på nettsidene til PLoS One, Tom Kindlon inkludert, angrep påstanden om at funnene ville være «robuste» i de alternative beregningene for uformell pleie. De pekte på at lavkostnadsalternativene faktisk ville redusere eller fullstendig eliminere de rapporterte fordelene ved kognitiv atferdsterapi og gradert treningsterapi når det kom til kost-nytteverdi.

I en kommentar fra førsteforfatter av studien, Paul McCrone, innrømmet han at det var riktig. McCrone verken nevnte eller forklarte den åpenbart uriktige sensitivitetsanalysen han skrev om i artikkelen, hvor han fant at kost-nyttefordelene ved gradert treningsterapi og kognitiv atferdsterapi var «robuste» uavhengig av hvordan det ble beregnet. Isteden argumenterte han for at det var urettferdige overfor de uformelle pleierne å bruke de to lavkostnadsalternativene ettersom familier fortjente å bli verdsatt mer for sitt arbeid.

«Vi mener at tiden familier bruker på å ta seg av personer med CFS/ME har en verdi, så å sette verdien til null er kontroversielt,» skrev McCrone. «Å anta at den også kun har verdien av minstelønn er også svært restriktivt».

I en påfølgende kommentar gikk Kindlon i rette med McCrone og pekte på at han fortsatt ikke hadde forklart artikkelens påstand om at sensitivitetsanalyser viste at funnene var «robuste» for alle alternative beregninger.

Kindlon viste også til at lavkostnadsalternativet var inkludert i PACE-forskernes egen statistikkplan.

«Husk at det var forskerne selv som valgte de alternative beregningene,» skrev Kindlon. «Hvis det nå er kontroversielt å sette null verdi på uformell pleie, så var dette like kontroversielt da de, før de så dataene, bestemte seg for å analysere dataene på denne måten. Det er liten vits i å publisere en statistisk plan, hvis resultater man ikke liker ikke blir formidlet og/eller slike funn blir uriktig framstilt».

***

I januar 2013 publiserte tidsskriftet Psychological Medicine de etterlengtede resultatene for å ha«blitt frisk» (recovery). I artikkelen la forskerne en betydelig begrensning på hvordan de bestemte hva som skulle regnes som å ha «blitt frisk». De definerte dette nå som kun å ha blitt frisk fra den siste sykdomsepisoden – en tilstand som vanligvis er kjent som «bedring» (engelsk: remission), ikke «blitt frisk». Definisjonen i protokollen inneholdt ikke en slik begrensning.

Fred Friedberg, en psykolog ved psykiatrisk divisjon ved Stony Brook University og ekspert på sykdommen, kritiserte PACE-forfatterne i en kommentar for en upresis bruk av begrepet «blitt frisk». «Deres konstruksjon…refererer kun til å ha blitt frisk fra den nåværende sykdomsepisoden, framfor å ha vært vedvarende frisk over lang tid,» skrev han og kollegaer i kommentaren. De bemerket at begrepet «bedring» var «mindre utsatt for feiltolkninger og overdrivelser».

Tom Kindlon er mer direkte. «Ingen tvang dem til å bruke begrepet «blitt frisk» i protokollen og i overskriften på artikkelen,» sier han. «Hvis de mente bedring, burde de ha sagt bedring». Ved lanseringen av Lancet-artikkelen snakket Chalder om å komme «tilbake til normalen» og ledsagerkommentaren kom med påstander om «blitt frisk» basert på «strenge kriterier». Kindlon trodde at PACE-gruppens tilnærming i formidlingen av resultatene igjen ville føre til uriktig nyhetsdekning hvor det ble fremstilt som at folk var «blitt friske».

PACE-forskerne hadde også slakket på alle protokollens fire kriterier for å bli regnet som «frisk» i den nye artikkelen. Men de nevnte ikke om noen kontrollkomité hadde godkjent de omfattende endringene i definisjonen av «blitt frisk». To av de fire reviderte kriteriene for «blitt frisk» var Lancet-artikkelens «normalområde» for utmattelse og fysisk funksjon. Heller ikke den nye artikkelen nevnte at dette «normalområdet» – nå gjenbrukt som grenseverdier for å ha «blitt frisk» – overlappet med kriteriene for å være alvorlig syk ved inngangen av studien. På den måten kunne deltakere allerede fra starten av studien ha et resultat som indikerte at de var «blitt friske».

De fire reviderte kriteriene for «blitt frisk» var:

* En score på 60 eller mer betydde «blitt frisk» på indikatoren fysisk funksjon. I protokollen var kravet en score på 85 eller mer. Ved starten av studien indikerte en score på 65 eller lavere at man var syk nok til å få være med i studien. Dette inngangskriteriet for dårlig helse på 65 indikerte bedre helse enn det nye «blitt frisk»-kriteriet på 60.

* En score på 18 eller mindre på en skala for utmattelse som gikk til 33 (på denne skalaen indikerer høyere score mer utmattelse). I protokollen var kravet en score på 3 eller mindre på en skala som gikk til 11, ut fra den opprinnelige måten å sette score på. På den reviderte skalaen ville det ved inngangen av studien være tilstrekkelig å score 12 eller mer for å være regnet som syk nok til å få være med i studien. Dette inngangskriteriet for dårlig helse på 12 indikerte bedre helse enn det nye «blitt frisk»-kriteriet på 18.

*En score på 1 («veldig mye bedre») eller 2 («mye bedre») på en skala til 7 på Clinical Global Impression Scale. I protokollen var kravet for å ha «blitt frisk» en score på 1. En score på 2 var ikke godt nok. Ifølge forskerne gjorde de denne endringen fordi «vi vurderte det slik at deltakere som rangerte helsen sin som «mye bedre» ga et uttrykk for at de var på vei til å bli friske». De viste ikke til noe forskning som rettferdiggjorde denne protokollendringen, og de forklarte heller ikke når og hvorfor de endret mening om hvordan dette måleverktøyet skulle tolkes.

* Det siste kravet i protokollen for å bli regnet som å ha «blitt frisk» var at man ikke tilfredsstilte noen av diagnosekriteriene i studien. Dette kravet var nå delt opp i færre og mer restriktive underkategorier. Hvis man tilfredsstilte de andre kravene slik de er listet opp over – og man i tillegg ikke tilfredsstilte Oxford-diagnosekriteriene – ble man nå regnet som å ha «blitt frisk i studien» (trial recovery). Dette uavhengig av om man fortsatt tilfredsstilte en av de to andre diagnosekriteriene i studien – CDC-kriteriene eller ME-kriteriene. De deltakerne som nådde protokollens strengere definisjon, at de ikke tilfredsstilte noen av de tre kriteriene, ble definert som å ha «blitt klinisk friske» (clinical recovery»). Forfatterne forklarte ikke når eller hvorfor de bestemte seg for å dele denne kategorien i to former for «blitt frisk».

Etter å ha slakket på en rekke av kravene i protokollens definisjon av å ha «blitt frisk», vektla de resultatene for den mindre restriktive kategorien «blitt frisk i studien» (trial recovery) i artikkelen, ikke for den mer restriktive kategorien «blitt klinisk friske» (clinical recovery). Forskerne fant at oddsen for å ha «blitt frisk i studien» var tre ganger så stor i gruppene som fikk kognitiv atferdsterapi og gradert treningsterapi sammenlignet med gruppene som fikk pacing (APT) eller kun spesialistoppfølging. De skrev ikke om de hadde foretatt noen sensitivitetsanalyser for å undersøke om resultatene kunne være påvirket av alle endringene i definisjonen av «blitt frisk» sammenlignet med slik den sto i protokollen.

De anerkjente at andelen pasienter som var «blitt friske i studien» var lav, med 22 prosent i de to gruppene. De foreslo at man kanskje kunne øke andelen gjennom å gi flere behandlinger med kognitiv atferdsterapi eller gradert treningsterapi, eller å gi de to behandlingene sammen.

***

Som med den tidligere artikkelen i Lancet var det også ukritisk mediedekning av denne artikkelen. Og som Tom Kindlon hadde fryktet, var det ikke begrepet «bedring» som ble brukt i mediene. «De tok heller ikke for seg de dramatiske endringene fra protokollen for alle de fire kriteriene for å regnes som «blitt frisk»,» sier Kindlon. Artikkelen i Psychological Medicine ble, ikke uventet, kritisert av pasienter og pasientforeninger.

Folk som kommenterte studien på tidsskriftets nettside og på forskjellige nettforum kritiserte den reviderte definisjonen for «blitt frisk». Som for eksempel at «normalområdet» for målene på utmattelse og fysisk funksjon overlappet med kriteriene for å være syk nok til å få være med i studien. De stilte spørsmål ved hvorfor PACE-forskerne i det hele tatt brukte begrepet «blitt frisk», med tanke på at betydningen av «blitt frisk» nå var svært utvannet. De påpekte også at forskerne så bort fra de objektive resultatene på gå-testen på 6 minutter i sin vurdering av om deltakerne var blitt friske. Dataene på arbeidsførhet og trygdeytelser fra PLoS One-artikkelen tok de heller ikke med i vurderingen. Ingen av disse objektive målene støttet opp om påstandene om at deltakere var «blitt friske».

I et svar på kritikken forsvarte White og kollegaene bruken av begrepet «blitt frisk» gjennom å vise til at de tydelig hadde forklart hva begrepet betydde i artikkelen. «Vi var nøye med å gi en presis definisjon av å ha blitt frisk og å understreke at dette gjaldt kun for et gitt tidspunkt og kun for den siste sykdomsepisoden,» skrev de. Men de forklarte ikke hvorfor de, gitt en slik definisjon, ikke rett og slett brukte det vanlige begrepet «bedring», siden begrepet «blitt frisk» ville kunne føre til misforståelser rundt resultatene.

Heller ikke denne gangen svarte de på hvorfor kriteriene for å være syk nok til å være med i studien på målene utmattelse og fysisk funksjon, overlappet med kriteriene for å være innenfor «normalområdet» på de samme målene – noe som nå også ble brukt som grenseverdier for å ha «blitt frisk». De forklarte heller ikke hvorfor de, når de skulle regne ut «normalområdet», brukte den statistiske metoden som brukes på normaldistribuerte populasjoner, når de visste at populasjonen de hadde som utgangspunkt var skjevfordelt. I tillegg tilbakeviste de nå betydningen av de objektive utfallsmålene de selv hadde valgt i protokollen, blant annet gå-testen som de i protokollen hadde beskrevet som «et objektivt utfallsmål for fysisk kapasitet».

«Vi er uenige i at gå-testen på seks minutter er et bedre og mer «objektivt» mål på å ha blitt frisk i PACE-studien,» skrev de nå og viste til «praktiske begrensninger» i dataene.

For det første, forklarte forskerne, var det slik at de på grunn av deltakernes dårlige helse, ikke hadde oppmuntret dem verbalt under gå-testen slik man normalt sett skulle gjøre. For det andre, hadde over en fjerdedel av deltakerne ikke gjennomført noen ny gå-test etter behandlingen, en betydelig mangel de ikke ga noen forklaring på. (En mulig forklaring er at deltakerne var for syke til å gjennomføre testen, noe som i så fall ville innebære at resultatene ville vært betydelig dårligere hvis de hadde tatt med resultatene fra de manglende deltakerne).

Til slutt forklarte PACE-forskerne at de kun hadde en 10 meter lang korridor til å gjennomføre testen, ikke de 30 til 50 meterne som var standard praksis ved testen. De forklarte imidlertid ikke om det var slik at alle de seks studiesentrene rundt om i landet hadde dette problemet, eller om det gjaldt bare noen. «Det førte til at deltakerne hyppigere måtte stoppe og snu, noe som sinket dem og derfor gjør det vanskelig å sammenligne med resultatene i andre studier,» skrev forskerne.

Den forklaringen reiste imidlertid nye spørsmål. Forskerne begynte pasientundersøkelsene i 2005, inkludert gå-testen. I protokollen de publiserte to år senere i BMC Neurology nevnte de ikke slike sammenligningsproblemer med et eneste ord. Isteden beskrev de gå-testen som et objektivt mål på fysisk kapasitet. Protokollen var skrevet før studien begynte, men i en kommentar på nettsidene til BMC Neurology i 2008, bekreftet de i et svar til en pasientkommentar at gå-testen på seks minutter var en av «flere objektive utfallsmål».

I korrespondansen i Psychological Medicine forklarte ikke White og kollegaene om de hadde oppdaget sammenligningsproblemene for gå-testen, da de publiserte protokollen i 2007. Heller ikke om de kjente til dette i 2008, da de publiserte kommentaren i BMC Neurology. De forklarte heller ikke hvorfor de i så fall ikke hadde oppdaget det på daværende tidspunkt.

I korrespondansen forkastet de også betydningen av utfallsmålene for arbeidsførhet og trygdeytelser, noe de i protokollen hadde beskrevet som «enda en form for mer objektive mål for funksjon». «Å bli frisk fra sykdom handler om helse, ikke økonomi, og det er en rekke arbeidsfolk som føler seg dårlige, mens friske folk ikke nødvendigvis jobber,» skrev de nå. «I tillegg kan det være at 6 måneder etter behandlingsslutt er for tidlig til å kunne se effekter på trygdeytelser eller arbeidsførhet. Vi er derfor uenige…om at slike utfallsmål er en nyttig del av målet på å ha blitt frisk i PACE-studien».

Som konklusjon i svaret i Psychological Medicine skrev de at kognitiv atferdsterapi og gradert treningsterapi «som en rutinepraksis nå bør tilbys alle dem som kan ha nytte av det».

***

Hver eneste publiserte artikkel genererte nye spørsmål. Pasienter og pasientforkjempere sendte inn en rekke innsynskrav til Queen Mary University of London for å få tilgang til PACE-relaterte dokumenter og data. Queen Mary University var Whites arbeidsgiver og skulle derfor administrere slike forespørsler.

Pasientene ville vite hvor mange PACE-deltakere som var «blitt friske» ifølge de mye strengere kriteriene i protokollen fra 2007. Hvor mange av deltakerne var allerede «innenfor normalområdet» på utmattelse og fysisk funksjon i det de begynte på studien? Når nøyaktig avgjorde forskerne å gjøre endringer i utfallsmålene fra protokollen, hvilke kontrollkomitéer godkjente endringene og hvorfor?

Noen innsynskrav ble innfridd. Et av dem avdekket at 85 deltakere – 13 prosent av det totale antallet – allerede scoret som «blitt friske» eller «var innenfor normalområdet» på utmattelse eller fysisk funksjon når de samtidig ble tatt inn i studien som tilstrekkelig syke for å få være med. (Nesten alle av disse, 78 deltakere, hadde en slik score for kun fysisk funksjon, fire hadde en slik score for kun utmattelse, og tre deltakere hadde en «blitt frisk»-score for begge målene).

Men mange av innsynskravene ble avvist. Anna Sheridan, en pasient med en doktorgrad i fysikk, ba i fjor om innsyn i hvordan de pasientene forskerne hadde vurdert som «friske» faktisk hadde gjort det på gå-testen på seks minutter. Queen Mary University avviste innsynskravet med begrunnelsen at det var sendt «kun for å plage mottakeren» (OBS: det engelske ordet er «vexatious», og jeg tar gjerne imot en bedre oversettelse).

Sheridan klagde på avgjørelsen. «Som forsker ønsker jeg å forstå den fulle rekkevidden av forskningen,» skrev hun. «Som pasient har det stor betydning hvilken avstand jeg vil være i stand til å gå…når jeg skal ta en avgjørelse om jeg vil forsøke behandlinger som CBT og GET. Det er vel ikke urimelig å ville vite hvor langt de friske pasientene etter behandling nå er i stand til å gå?».

Universitetet vurderte klagen og informerte Sheridan om at innsynskravet nok allikevel ikke var «kun til plage». Men innsynskravet ble avvist igjen, skrev universitetet, fordi ressursene de ville måtte sette inn for å finne informasjonen «ville overstige grensen for hva som regnes som passende» ifølge loven. Sheridan klagde avgjørelsen videre i systemet, til U.K. Information Commissioner’s Office, men ble avvist også der.

The Information Commissioner’s Office avviste også klagen til en som hadde bedt om innsyn i møtereferatene til kontrollkomitéene i PACE. Ønsket var å vite når og hvorfor utfallsmålene ble endret. Søkeren klagde avgjørelsen enda et hakk videre i systemet, til First-Tier Tribunal. Dette panelet – en dommer og to lekmenn – avviste klagen og mente det var «klinkende klart» at å gi innsyn i møtereferatene ville true den akademiske friheten og sette framtidig forskning på spill.

Panelet forsvarte de omfattende endringene i protokollen som «vanlig i de fleste kliniske studier» og mente at forskerne «ikke trikset med resultatene eller undergravde integriteten i funnene». Panelet framstilte de mange innsynskravene som å være en del av en mobbekampanje mot forskerne, og de viste sympati overfor den store tidsbyrden dette la på White. I sin konklusjon skrev panelet at de «ikke var i tvil om at sett i den rette konteksten, burde dette innsynskravet være ansett som kun til plage – ikke som et oppriktig ønske om informasjon – dets hensikt var i første rekke polemisk.»

Til dags dato har PACE-forskerne avvist innsynskrav om rådata fra studien slik at det kan gjøres uavhengige analyser. Pasienter og andre kritikere mener forskerne har en særlig forpliktelse til å frigjøre slike data ettersom studien ble gjennomført med offentlige midler.

I tiden etter Lancet-artikkelen har mye av mediedekningen av PACE-forskerne og deres kollegaer handlet om det som The Guardian har kalt en «kampanje av utskjelling og vold». Noe som visstnok skal være satt i gang av «militante…ansett som like farlige og kompromissløse som ekstreme dyrevernsaktivister». I en nyhetsartikkel i British Medical Journal portretterte White kritikerne som hyklere. «Paradokset er at aktivistene ønsker mer forskning på CFS, men hvis de ikke liker forskningen, setter de i gang kampanjer for å stoppe den,» sa han til tidsskriftet. Selv om nyhetsdekningen også har gjentatt PACE-forskernes påstander om behandlingssuksess og «friske» pasienter, har ingen av dem gått i dybden på studien og undersøkt om pasientenes innsigelser mot studien faktisk er relevante.

Tom Kindlon har hørt de samme argumentene om pasientaktivistene igjen og igjen. Han sier det blir brukt for å få oppmerksomheten bort fra manglene i PACE-studien. «De sier at aktivistene er ustabile, at de er ulogiske og at de er urettferdige eller har fordommer mot psykiatri. Det gjør det lett å avfeie dem,» sier Kindlon.

Han sier at det pasientene ikke liker, ikke handler om psykiatri eller psykiatere, men det å bli fortalt at den alvorlige biologiske sykdommen de lider av må ha en behandling som baserer seg på en hypotese om at pasientene har vrangforestillinger om sykdommen.

***

I januar i år publiserte PACE-forskerne en artikkel i The Lancet Psychiatry om hva som påvirker bedring. Ikke overraskende fant de at å dempe pasientenes antatte frykt for aktivitet var hovedmekanismen bak hvordan behandlingene kognitiv atferdsterapi og gradert treningsterapi så ut til å virke. Nyhetsdekningen rundt funnene antydet at ME/CFS-pasienter kunne bli bedre bare de klarte å kvitte seg med sin egen frykt for aktivitet.

Noe som ikke ble nevnt i mediedekningen var en ørliten graf gjemt bort på side 13 sammen med en rekke andre grafer. Den viste resultatene fra step-testen, testen som var beskrevet i protokollen som et mål for fysisk form. Den lille grafen indikerte at de to gruppene som hadde fått behandlingene ikke gjorde det noe bedre på step-testen enn de andre deltakerne. Det så faktisk ut som at deltakerne i de to andre gruppene kanskje hadde bedre resultater. Artikkelen inneholdt uansett ikke dataene grafen baserte seg på, og selve grafen var for liten til å kunne hente ut brukbare data.

Etter denne artikkelen ble publisert rettet en pasient et nytt innsynskrav for å få de faktiske dataene som ble brukt i grafen for step-testen. Queen Marry University avviste kravet som å være sendt «kun for å plage mottakeren».

Når nå grafen for step-testen var ute, så man at ingen av de «objektive» utfallsmålene i studien – med unntak av dataene for lønn som ennå ikke er offentliggjort – støttet opp om påstandene om vellykket behandling og at deltakere var «blitt friske» fra de to behandlingsmetodene. Artikkelen i Lancet Pscyhiatry nevnte ikke denne mangelen, at ingen av studiens objektive utfallsmål ga noe støtte til de subjektive utfallsmålene som ble rapportert.

Siden Lancet-artikkelen i 2011 har det skjedd utvikling på forskningsfronten som har ført til mer oppmerksomhet i retning av biomedisinske faktorer i sykdommen. To uavhengige faggrupper fra National Institutes of Health og fra Institute of Medicine har levert sine rapporter, forskning fra Columbia University har rapportert om avvik i immunsystemet, nye studier fra Norge om bruk av et immundempende medikament som professor Jonathan Edwards en gang var pioner for innen leddgikt, og en stadig økende mengde studier som dokumenterer pasientenes unormale reaksjon på aktivitet.

I Storbritannia har det britiske forskningsrådet gjort et lite skifte og har bevilget noe penger til biomedisinsk forskning. Men PACE-tankegangen fortsetter å dominere når det kommer til behandling av sykdommen i det offentlige helsevesenet. For to år siden lanserte de splittede miljøene et forskningssamarbeid – The CFS/ME Research Collaborative. Det er en paraplyorganisasjon som omfatter et stort spenn av meninger om sykdommen. På et to dagers møte i Bristol i september 2014, ble det presentert en rekke spennende biomedisinske forskningsprosjekter. Peter Whites foredrag, «PACE: A Trial and Tribulations», fokuserte på hvordan misfornøyde pasienter hadde reagert på studien.

Ifølge konferansereferatet viste White til pasientmiljøets «kampanje mot PACE-studien» for å forklare forsinkelsene de hadde hatt med å rekruttere deltakere til studien. Noe som tvang forskerne til å søke om mer tid og penger for å få fullført. Han fortalte om innsynskrav som kun var for «å plage mottakeren». Han sa at han så langt hadde mottatt 168 innsynskrav . (Han mottok blant annet et innsynskrav som spurte om hvor mange innsynskrav han hadde mottatt). Denne formen for pasientaktivitet «ødelegger» for forskningen, ifølge White.

Jonathan Edwards, en ekspert på leddgikt som nå jobber med ME/CFS, rapporterte fra konferansen for et populært nettforum for pasienter. «Jeg kan bare beskrive dr. Whites presentasjon som malplassert,» skrev han. Edwards viste til at White, etter raskt å ha forklart funnene fra studien, «brukte resten av foredraget på å snakke om hvor urimelig det var at pasientene ikke bare aksepterte funnene med takknemlighet, noe som indikerte at dette var et angrep på vitenskapen…»

«Jeg synes det var uheldig at dr. White antydet at folk var urimelige i sin tolkning av PACE-studien,» konkluderte Edwards. «Det så imidlertid ikke ut som noen så ut til å bli særlig fornærmet på grunn av det».