La revisione della letteratura scientifica è un'operazione necessaria e delicata

Uno dei compiti più difficili della comunità scientifica consiste nel revisionare tutta la letteratura scientifica pubblicata su un dato argomento, per verificare quale sia lo stato delle conoscenze circa l’efficacia di un trattamento medico. È un compito difficile perché, sebbene esistano raffinati strumenti scientifici atti ad aggregare i dati prodotti da studi molto diversi e procedure utili a decidere in modo rigoroso quali studi possono essere compresi in una metanalisi e quali vanno esclusi, se la letteratura analizzata presenta bias di tipo sistemico, questi possono essere difficili da evidenziare, anche con le tecniche numeriche disponibili; in questo modo, l’immagine circa l’efficacia o la sicurezza di un dato trattamento può uscirne deformata, e il consenso scientifico può risentirne di conseguenza.

Allo scopo di identificare quale sia il peso medio della deformazione contenuta nella letteratura circa l’efficacia delle terapie o di altre procedure, o più in generale circa la significatività dei risultati ottenuti in un dato settore scientifico, l’ideale sarebbe quello di disporre di studi che, discutendo di risultati sicuramente falsi o, nello specifico, di metodi terapeutici certamente inefficaci, presentassero invece in media una certa significatività statistica a favore di un’ipotesi falsa, ovvero, nel caso che qui ci interessa di più, misurassero una certa efficacia media per un approccio terapeutico di interesse. Servirebbe, cioè, un “campo nullo” scientifico, un insieme di articoli che riportino risultati ben descritti dal punto di vista metodologico, risultati certamente falsi, per verificare se, nonostante tutto, essi vengano mediamente presentati come significativi e veri; la misura dei falsi positivi descritti nel “campo nullo” sarebbe utile a inferire il grado di bias positivo che affligge poi tutti gli altri risultati in un settore paragonabile, ove però non è detto che i risultati descritti siano falsi, ed anzi potrebbero benissimo essere veri.

Se, per esempio, stabilissimo di verificare l’accuratezza dei risultati pubblicati circa l’efficacia di una certa procedura chirurgica, potremmo pensare di verificare quanto efficace sia riportato essere un metodo chirurgico per le stesse condizioni, ma completamente e certamente inefficace; nel caso vi sia una residua efficacia riportata per il secondo, potremmo attribuirla a diversi bias da parte degli autori degli articoli che lo descrivono in letteratura, e questo bias potrebbe costituire una “efficacia minima” che un metodo realmente funzionante deve avere per essere preso in considerazione, dato che metodi sicuramente inefficaci raggiungono, a parole e nelle pubblicazioni in letteratura, tale livello. Ma quale potrebbe essere, in concreto, un buon “campo nullo” da usare per esempio in clinica?

Uno studio da poco pubblicato ci fornisce un ottimo esempio per questo, valutando l’efficacia riportata per una procedura che ha la massima probabilità di essere in realtà inefficace, e chiarendo almeno in parte l’origine del bias che porta ad attribuirvi una efficacia superiore al placebo in studi clinici randomizzati e in cieco. Si tratta di un lavoro pubblicato dal gruppo di Ioannidis, di Stanford, che ha trovato un eccellente esempio di campo nullo in medicina: l’omeopatia. I ricercatori hanno ragionato in proposito nel seguente modo: l’assenza di un principio attivo nei preparati omeopatici preclude il funzionamento degli stessi, a meno di non descrivere nuove leggi della fisica e della chimica le quali, oltre a spiegare l’omeopatia, devono avere lo stesso potere esplicativo della scienza moderna nella sua completezza, dai buchi neri alla biologia molecolare di qualunque essere vivente, perché i principi che sarebbero contraddetti dalla nuova teoria atta a spiegare il funzionamento dei preparati omeopatici sono quelli alla base della scienza moderna. Per questo motivo, qualunque presunta efficacia di un preparato omeopatico riportata in letteratura riflette ad oggi bias positivi di ogni tipo e dunque, come sostenuto da Ioannidis e dai suoi colleghi, le pubblicazioni che riportano analisi di efficacia clinica in studi randomizzati e in cieco sono perfette per valutare l’entità di questi bias e di vari tipi di errore in un “campo nullo” della scienza.

Rispetto al placebo, l’analisi di 50 studi randomizzati e in cieco hanno riportato un’efficacia standardizzata maggiore di 0.36 volte; si tratta di un effetto clinico niente affatto trascurabile, che mostra l’entità del bias di pubblicazione. La controprova che si tratta appunto di un artefatto viene dall’analisi dettagliata condotta dagli autori: errori di calcolo, procedure statistiche erronee, deviazioni dalle pratiche corrette di ogni tipo sono presenti in una parte molto sostanziale dei lavori esaminati e spingono tutti in direzione della sovrastima dell’efficacia dell’omeopatia, come del resto già emerso da studi indipendenti. Inoltre, più i lavori mostravano efficacia dell’omeopatia, più risultavano pubblicati su riviste Open Access in cui gli autori pagano per pubblicare, e più risultavano inoltre citate da riviste predatorie.

Trovando esempi opportuni e più specifici di altri campi nulli, per esempio riferendosi a specifiche condizioni cliniche e misurando gli effetti di presunta efficacia anche per altre teorie la cui probabilità di essere vere è bayesianamente molto bassa, potrà forse ottenersi pulizia anche da molti altri artefatti di letteratura, riferiti non a procedure pseudoscientifiche, ma magari di sovrastimata efficacia per ogni tipo di interesse o di errore. Intanto, l’omeopatia, con i suoi studi clinici, rappresenta un ottimo “campo nullo” scientifico per stabilire una efficacia media minima che bisognerebbe registrare per trattamenti realmente funzionanti in condizioni equivalenti; alla fine, anche le pubblicazioni che pretendono di prendere per fondata la pseudoscienza, come si vede, se trattate nel modo opportuno possono tornare utili alla scienza.