Cosa dovremmo pensare quando le prove mediche non sono d'accordo?

Per capire se un nuovo trattamento per una malattia è davvero migliore di trattamenti più vecchi, i dottori e i ricercatori cercano le migliori prove disponibili. I professionisti della salute vogliono una "ultima parola" in evidenza per risolvere le domande su quali siano le migliori modalità di trattamento.

Ma non tutte le prove mediche sono uguali. E c'è una chiara gerarchia di prove: l'opinione degli esperti e le relazioni sui casi di eventi individuali sono al livello più basso, e gli studi controllati randomizzati ben condotti sono vicini. In cima a questa gerarchia ci sono le meta-analisi: studi che combinano i risultati di più studi che hanno posto la stessa domanda. E lo stesso, molto in cima a questa gerarchia ci sono le meta-analisi eseguite da un gruppo chiamato il Cochrane Collaboration.

Per essere membri della Cochrane Collaboration, i singoli ricercatori o gruppi di ricerca devono attenersi a linee guida molto rigide su come le metanalisi devono essere segnalate e condotte. Ecco perché le revisioni Cochrane sono generalmente considerate le migliori meta-analisi.

Tuttavia, nessuno ha mai chiesto se i risultati delle meta-analisi eseguite dalla Collaborazione Cochrane sono diversi dalle meta-analisi di altre fonti. In teoria, se confrontassi una meta-analisi di Cochrane e non-Cocrano, entrambe pubblicate in un periodo di tempo simile, ti aspetteresti che avrebbero scelto gli stessi studi per analizzare, e che i loro risultati e l'interpretazione sarebbero più o meno abbinare.

Il nostro team della School of Public Health della Boston University ha deciso di scoprirlo. E sorprendentemente, non lo è quello che abbiamo trovato.


innerself iscriviti alla grafica


Che cos'è una meta-analisi, comunque?

Immagina di avere cinque piccoli studi clinici che hanno tutti riscontrato un beneficio generalmente positivo per, diciamo, l'assunzione di aspirina per prevenire attacchi di cuore. Ma poiché ciascuno degli studi aveva solo un piccolo numero di soggetti di studio, nessuno poteva affermare con sicurezza che gli effetti benefici non erano semplicemente dovuti al caso. In termini di statistica, tali studi sarebbero considerati "underpowered".

C'è un buon modo per aumentare il potere statistico di quegli studi: combinare questi cinque studi più piccoli in uno solo. Questo è ciò che fa un meta-anaysis. Combinare diversi studi più piccoli in un'analisi e prendere la media di questi studi può a volte far pendere la bilancia e consentire alla comunità medica di sapere con certezza se un determinato intervento funziona o meno.

Le meta-analisi sono efficienti ed economiche perché non richiedono l'esecuzione di nuove prove. Piuttosto, si tratta di trovare tutti gli studi pertinenti che sono già stati pubblicati, e questo può essere sorprendentemente difficile. I ricercatori devono essere persistenti e metodici nella loro ricerca. Trovare studi e decidere se sono abbastanza buoni da fidarsi è dove l'arte - e l'errore - di questa scienza diventa un problema critico.

Questa è in realtà una delle ragioni principali per cui è stata fondata la Cochrane Collaboration. Archie Cochrane, un ricercatore di servizi sanitari, ha riconosciuto il potere delle meta-analisi, ma anche l'enorme importanza di farle bene. Le meta-analisi di Cochrane Collaboration devono rispettare standard molto elevati di trasparenza e rigore metodologico e riproducibilità.

Sfortunatamente, pochi possono impegnare il tempo e gli sforzi per aderire alla Collaborazione Cochrane, e ciò significa che la stragrande maggioranza delle meta-analisi non sono condotte dalla Collaborazione e non sono obbligate ad aderire ai loro standard. Ma questo conta davvero?

Quanto possono essere diverse due meta-analisi?

Per scoprirlo, abbiamo iniziato identificando coppie 40 di meta-analisi, una da Cochrane e una non, che coprivano lo stesso intervento (ad esempio, l'aspirina) e il risultato (ad esempio, attacchi di cuore), e poi confrontati e contrastati.

Innanzitutto, abbiamo scoperto che quasi la percentuale di 40 delle meta-analisi Cochrane e non-Cochrane era in disaccordo nelle loro risposte statistiche di fondo. Ciò significa che lettori, dottori o responsabili delle politiche sanitari tipici, ad esempio, fornirebbero un'interpretazione fondamentalmente diversa del fatto che l'intervento fosse efficace o meno, a seconda di quali metamissioni si sono verificati.

In secondo luogo, queste differenze sembravano sistematiche. Le revisioni non Cochrane tendevano, in media, a suggerire che gli interventi che stavano testando erano più potenti, con maggiori probabilità di curare la condizione o di evitare alcune complicazioni mediche rispetto alle recensioni di Cochrane suggerite. Allo stesso tempo, le revisioni non Cochrane erano meno precise nella loro precisione, il che significa che c'era una maggiore possibilità che i risultati fossero semplicemente dovuti al caso.

Una meta-analisi non è altro che una semplice media ponderata dei suoi studi sui componenti. Siamo stati sorpresi di scoprire che approssimativamente la percentuale di 63 degli studi inclusi era unica per l'una o l'altra serie di meta-analisi. In altre parole, nonostante il fatto che le due serie di meta-analisi presumibilmente cercherebbero gli stessi documenti, usando criteri di ricerca simili, in un periodo di tempo simile e da database simili, solo circa un terzo dei documenti che i due gruppi avevano inclusi erano gli stessi.

Sembra probabile che la maggior parte o tutte queste differenze si riducano al fatto che Cochrane insiste su criteri più severi. Una meta-analisi è valida solo come gli studi che include, e prendere la media della scarsa ricerca può portare a risultati mediocri. Come dice il proverbio, "spazzatura in, spazzatura fuori".

È interessante notare che le analisi che hanno riportato dimensioni di effetto molto più elevate tendono a essere citate di nuovo in altri documenti ad un tasso molto più alto rispetto alle analisi che riportano la dimensione dell'effetto inferiore. Questa è un'incarnazione statistica del vecchio detto giornalistico "Se sanguina, conduce". Gli effetti grandi e audaci ricevono più attenzione dei risultati che mostrano esiti marginali o equivoci. Dopotutto, la comunità medica è solo umana.

Perché questo tema?

Al suo livello più elementare, questo dimostra che Archie Cochrane era assolutamente corretto. La coerenza metodologica e il rigore e la trasparenza sono essenziali. Senza quello, c'è il rischio di concludere che qualcosa funzioni quando non lo fa, o anche solo di sovrascrivere i benefici.

Ma a un livello più alto questo ci mostra, ancora una volta, quanto sia difficile generare un'interpretazione unificata della letteratura medica. Le meta-analisi sono spesso usate come l'ultima parola su un dato argomento, come gli arbitri dell'ambiguità.

Chiaramente tale ruolo è messo in discussione dal fatto che due meta-analisi, apparentemente sullo stesso argomento, possono raggiungere conclusioni diverse. Se consideriamo la meta-analisi come il "gold standard" nella nostra attuale era di "medicina basata sull'evidenza", come può reagire il medico medio, il responsabile politico o anche il paziente quando due standard d'oro si contraddicono a vicenda? Caveat emptor.

Circa l'autoreThe Conversation

Christopher J. Gill, professore associato, Dipartimento di salute globale; Specialista in malattie infettive, Università di Boston.

Questo articolo è stato pubblicato in origine The Conversation. Leggi il articolo originale.


Libro correlati:

at InnerSelf Market e Amazon