Forståelse af publiceringsbias i kliniske forsøg og urelaterede resultater

Spring til afsnit

• Omfanget af publiceringsbias-problemet
• Etisk forpligtelse i rapportering af kliniske forsøg
• Trialregistrering som en delvis løsning
• Mediers indflydelse på resultatspredning
• Risici for datamanipulation og cherry-picking
• Fuld transskription

Omfanget af publiceringsbias-problemet

Dr. Stephen Evans, MD, præsenterer en slående statistik i indledningen til sin diskussion med Dr. Anton Titov, MD. Han afslører, at kun 40 % af resultater fra kliniske forsøg rapporteres inden for den lovbestemte tidsramme. Ydermere offentliggøres hele 30 % af resultater fra kliniske forsøg slet ikke. Dette skaber et betydeligt hul i den samlede medicinske evidensbase, som er tilgængelig for læger og forskere.

Dette problem, kendt som publiceringsbias, betyder, at den videnskabelige litteratur ikke giver et fuldstændigt billede af en behandlings virkninger. Problemet strækker sig langt ud over COVID-19-behandlinger og påvirker alle medicinske områder, herunder både medicinsk og ikke-medicinsk behandling.

Etisk forpligtelse i rapportering af kliniske forsøg

Dr. Stephen Evans, MD, understreger en grundlæggende etisk pligt over for offentligheden og forsøgspersonerne. Patienter, der frivilligt deltager i kliniske forsøg, påtager sig en risiko for fremtidige patienters bedste og for den videnskabelige udvikling. Der er en dyb forpligtelse til at analysere og rapportere resultaterne korrekt til offentligheden, når et forsøg er afsluttet.

Undladelse af at offentliggøre resultater udgør et brud på tilliden. Det spilder deltagernes bidrag og kan føre til, at andre patienter modtager behandling baseret på en ufuldstændig og derfor unøjagtig forståelse af risici og fordele. Dr. Anton Titov, MD, fremhæver dette som et kritisk vigtigt emne i moderne medicinsk forskning.

Trialregistrering som en delvis løsning

En vigtig indsats for at bekæmpe publiceringsbias er praksis med trialregistrering. Dr. Stephen Evans, MD, forklarer, at registrering af randomiserede forsøg før deres gennemførelse er en nøglestrategi. Dette skaber en offentlig optegnelse af forsøgets eksistens og dets tilsigtede outcome, hvilket gør det sværere for sponsorer eller forskere blot at ignorere negative eller neutrale resultater.

Registrering giver tilsynsmyndigheder og andre forskere mulighed for at forfølge dem, der registrerede forsøgene, for at finde svarene. Selvom dette system i høj grad sikrer gennemsigtighed, bemærker Dr. Stephen Evans, MD, at det ikke er en perfekt løsning. Forskere kan stadig finde måder at omgå kravets ånd på, selv når et forsøg er registreret.

Mediers indflydelse på resultatspredning

Samtalen mellem Dr. Stephen Evans, MD, og Dr. Anton Titov, MD, dykker ned i den kraftfulde rolle, som medieinteresse spiller. Dr. Evans påpeger, at alle, inklusive tidsskriftredaktører, "kan lide overskrifter". Publicering sker ofte foretrukket for det, han kalder "rigtig gode nyheder eller rigtig dårlige nyheder".

Ekstremt positive resultater eller rapporter om alvorlige bivirkninger anses for nyhedsværdige. Ligegyldige eller nulresultater, såsom en undersøgelse, der endeligt viser, at et lægemiddel som hydroxychloroquin ikke virker, genererer ofte mindre interesse. Denne mediedrevne dynamik former, hvilke undersøgelser der bliver publiceret og efterfølgende modtager offentlig opmærksomhed, hvilket skævfordeler den opfattede evidens.

Risici for datamanipulation og cherry-picking

Selv med trialregistrering består der en betydelig risiko for datamanipulation. Dr. Stephen Evans, MD, beskriver, hvordan forskere kan "cherry-picke" de mest interessante resultater, selvom de ikke var de forhåndsspecificerede primære outcome. Han citerer et berømt udsagn inden for forskning: forskere kan "torturere dataene, indtil de tilstår".

Statistisk set betyder variation i resultater, at man næsten altid kan finde noget interessant ved at gennemsøge dataene. Denne praksis fører til publicering af ekstreme resultater, uanset om de er ekstremt gode eller ekstremt dårlige, mens den mere nuancerede sandhed, der ligger imellem dem, forbliver upubliceret. Dette underminerer i sidste ende evidensbasen, der vejleder den kliniske praksis.

Fuld transskription

Dr. Anton Titov, MD: Lad os drøfte publicering og spredning af resultater fra kliniske forsøg generelt. Den farmaceutiske industri er den mest profitable industri af alle. Alligevel rapporteres resultater fra kun 40 % af kliniske forsøg inden for den lovbestemte tidsramme, og 30 % af resultater fra kliniske forsøg offentliggøres aldrig.

Er der ikke en forpligtelse over for offentligheden og over for patienterne, der deltog i kliniske forsøg, til at analysere og rapportere resultaterne korrekt til offentligheden, når forsøget er afsluttet? Hvad er årsagen til, at resultater fra så mange kliniske forsøg ikke rapporteres til offentligheden?

Dr. Stephen Evans, MD: Dette er et virkelig vigtigt emne. Det handler ikke kun om COVID-19; det vedrører alle slags behandlinger, og ikke kun medicinsk behandling. Vi har gjort store anstrengelser for at forhindre denne bias, som vi kalder publiceringsbias, ved at forsøge at sikre, at randomiserede forsøg registreres før deres gennemførelse.

Så kan man i det mindste forfølge dem, der registrerede forsøgene, for at finde ud af, hvad svarene er. Problemet er, at vi alle kan lide overskrifter. Vi kan alle lide gode nyheder. Medmindre man er en avis eller nogen, der bliver betalt for at kigge på bivirkninger, så kan man virkelig godt lide dårlige nyheder.

Så problemet er, at publicering tendenser til at forekomme foretrukket for rigtig gode nyheder eller rigtig dårlige nyheder. De ligegyldige nyheder er ikke af interesse for folk. Det er ikke, hvad redaktørerne kan lide; de kan ikke få en flot overskrift.

Nyheden om, at hydroxychloroquin ikke virker, er i de fleste tilfælde ikke af stor interesse, hvorimod ideen om, at det virker, er af større interesse. På grund af vore store bekymringer vil selv en undersøgelse, der viser, at noget ikke virker, være af interesse, og den vil sandsynligvis blive publiceret. Men det generelle problem er til stede.

Problemet med publiceringsbias addresses i en vis grad af disse registre. Men selv da er det stadig muligt for folk at manipulere deres resultater og cherry-picke de bedste resultater, selv når et forsøg tidligere har registreret, at de vil se på et bestemt outcome.

Og det er ikke særlig interessant. Det viser sig, at de alligevel vil have en overskrift, et andet outcome, der er mere interessant. Hvis man er statistiker, ved man, at variationen i resultater er en ret konkret udfordring.

Man kan næsten altid finde noget interessant fra ens resultater. Man vil lede efter disse resultater. Eller som nogen engang udtrykte det, man torturerer dataene, indtil man får dem til at tilstå.

Problemet er, at der er en tendens til at kunne lide ekstreme resultater, uanset om de er ekstremt gode eller ekstremt dårlige. Det ser vi i avisoverskrifter; gode nyheder eller dårlige nyheder kan sælge aviser, hvis de gøres dramatiske.

Resultaterne, der er imellem og ligegyldige, er af mindre interesse i medierne generelt. Problemet er, at videnskaben er virkelig interesseret i disse mellemliggende resultater, dem, der ikke viser effekter.

For at få et korrekt overblik over hele evidensgrundlaget skal vi være sikre på, at vi ser det hele. At have registrering af forsøg går langt mod at opnå dette. Men selv når vi gør det, finder vi, at nogle forskere vil ændre, cherry-picke deres resultater og frembringe dem, der viser en effekt, viser noget interessant.

Med interessant kan menes meget godt, eller det kan betyde meget dårligt. Det er interessant, når der er bivirkninger. Vi ser dette inden for en række medicinske områder, hvor de resultater, der publiceres, tenderer til at være i den ene eller den anden ekstrem, og sandheden, der ligger imellem dem, publiceres måske ikke.