E’ POSSIBILE CHE UNO STUDIO SCIENTIFICO SIA FALSO? Il caso degli zombie trials

In inglese li chiamano «zombie trial». Sono gli studi clinici su farmaci e terapie che contengono dati sbagliati o inventati di sana pianta.

Un ricercatore del dipartimento di anestesiologia dell’ospedale di Torquay (UK), il dottor Carlisle, preoccupato che gli studi contenessero dati falsi, ha analizzato i dati riassuntivi degli studi randomizzati controllati sottoposti alla rivista Anesthesia da febbraio 2017 a marzo 2020. Ha classificato i processi con dati falsi come “zombie” se pensava che il processo fosse fatalmente difettoso.

John Carlisle ha analizzato 526 studi sottoposti ad Anaesthesia: 73 (14%) avevano dati falsi e 43 (8%) sono stati classificati come zombie. Gli autori dei cinque paesi che hanno presentato la maggior parte degli studi zombie sono: cinesi (48%), sudcoreani (32%); indiani (62%); giapponesi (10%) egiziani (90%) (1).

La revisione dei dati dei singoli pazienti degli studi randomizzati controllati presentati ha rivelato dati falsi nel 44% dei casi.

Quanto è probabile che uno studio scientifico sia falso? L’errata interpretazione delle statistiche e il pregiudizio umano sono accusati della maggior parte dei risultati falsi. Tuttavia alcuni risultati sono falsi perché i dati erano falsi, indipendentemente dal fatto che gli autori sapessero che i dati erano falsi o meno. Tali studi andrebbero ritirati.

Ad esempio, il sito web https://retractionwatch.com elenca 30 studi sul COVID-19 che sono stati ritirati dal 31 gennaio 2020 al 31 luglio 2020. Le ragioni della ritrattazione includevano: critiche avverse e perdita di fiducia dell’autore nel proprio lavoro; citazione di uno studio ritirato; colleghi che riferiscono che gli autori avevano mentito; disaccordo tra gli autori; risultati dei test errati; violazione etica e pubblicazione duplicata.

Ma è utile scoprire studi falsi anni dopo la loro pubblicazione e spesso anni prima della loro ritrattazione? Sarebbe meglio prevenire la pubblicazione di dati falsi in primo luogo, piuttosto che ritirarli, anni dopo che hanno influenzato la conoscenza.

Nel 2017, il Dottor Carlisle, redattore di Anesthesia, ha deciso di analizzare tutti gli studi randomizzati controllati presentati alla rivista. Inizialmente ha limitato le richieste di dati di singoli pazienti a studi che avevano sollevato sospetti, sulla base di una combinazione di: precedenti dati falsi da uno o più autori o dall’istituto di ricerca; incongruenze nei protocolli registrati; contenuti copiati da articoli pubblicati, tra cui tabelle, figure e testo; valori medi (SD) insolitamente dissimili o insolitamente simili per le variabili di base o risultati incredibili.

Gli studi presentati alla rivista sono stati sottoposti alla ricerca di dati falsi leggendo e analizzando lo studio presentato e le informazioni di supporto, compresi i dati dei singoli pazienti quando forniti, e confrontando la presentazione con protocolli e altri documenti degli stessi autori. I dati classificati come falsi includevano: la duplicazione di figure, tabelle e altri dati provenienti da lavori pubblicati; la duplicazione dei dati nelle righe e nelle colonne dei fogli di calcolo; valori impossibili e calcoli errati. La parola “zombie” indica che le prove relative a studi i cui i dati erano falsi, erano sufficienti per pensare che il processo sarebbe stato ritirato se i difetti fossero stati scoperti dopo la pubblicazione.

Che cosa si dovrebbe fare per le presentazioni di zombie non pubblicate? Gli autori sono liberi di presentare prove sugli zombie altrove una volta liberati dalla considerazione per la pubblicazione. Gli autori delle sperimentazioni sugli zombie sottoposte ad Anesthesia li hanno infatti pubblicati altrove, così come altri articoli che avrebbero dovuto essere ritirati. La riservatezza degli autori e forse la rivalità tra le riviste impediscono una cooperazione utile, così come le attuali linee guida etiche che presumono che i dati falsi siano rari.

La scienza fabbricata in Paesi senza un’efficace supervisione normativa è una preoccupazione. Sono necessari molteplici metodi di regolamentazione, che premino la condotta etica e non incoraggino una produzione prolifica. Le organizzazioni che registrano gli studi, concedono l’approvazione etica, finanziano e facilitano lo svolgimento, dovrebbero essere tutte dotate di un ruolo normativo. Le associazioni che sintetizzano le prove, come la Cochrane Collaboration, e gli autori di revisioni sistematiche e raccomandazioni pratiche, dovrebbero ponderare matematicamente ogni studio, al di là degli attuali criteri di giudizio metodologico interno.

Il principale indiziato del fenomeno sono le cosiddette «fabbriche di pubblicazioni scientifiche», vere e proprie aziende specializzate nel generare studi scientifici falsi ma all’apparenza autentici. Queste società offrono i loro servizi agli scienziati che hanno bisogno di aggiungere pubblicazioni al proprio curriculum per ottenere cattedre universitarie e fare carriera.

Alla fine, sono truffe a basso rischio, perché le riviste scientifiche di scarsa qualità non hanno interesse ad aumentare i controlli: i ricercatori pagano migliaia di euro per pubblicare le loro ricerche per sostenere i costi editoriali e agli editori conviene chiudere un occhio. Se una rivista scientifica si accorge che una ricerca è manipolata e la rispedisce al mittente, nulla impedisce che poi la stessa sia pubblicata altrove, su una rivista meno attenta, come documenta Ioana Cristea, neuroscienziata rumena che insegna all’università di Padova ed è specializzata nella caccia alle frodi. Lei ha denunciato il tema durante l’annuale congresso “4words – le parole dell’innovazione in sanità”, che si è tenuto a Roma l’11 maggio 2023 (2). Per capire se uno studio è autentico, occorre esaminare i dati originali, ma molti autori si rifiutano di condividerli adducendo questioni di privacy. E la legge è dalla loro parte. In Italia, per esempio, il garante della privacy chiede che per riutilizzare i dati dei pazienti che hanno partecipato a uno studio serva un nuovo consenso informato da ciascuno di loro, un’operazione dispendiosa e spesso impossibile.

Il Valore della ricerca

In un editoriale pubblicato su Anaesthesia il Professor Ioannidis (3) si chiede se i processi falsi e zombie come definiti da Carlisle sono uno spreco totale, o abbiano ancora un certo valore nonostante i loro difetti. In primo luogo, bisogna riconoscere che Carlisle non ha fornito una stima dell’accordo inter-osservatore per definire un processo falso o zombie. Diversi editori e analisti possono avere opinioni diverse sulla gravità dei problemi rilevati. Alcune peculiarità e anomalie osservate nei dati possono ancora essere risultati casuali senza manipolazioni coinvolte. Tuttavia, sembra molto improbabile che la maggior parte rifletta la casualità.

Un problema critico è se il rilevamento di una firma zombie invalida l’intero set di dati. Forse solo una parte dei dati sono spuri e il resto sono validi. Ad esempio, non si può escludere che alcuni dati siano stati inseriti da uno studente inesperto o anche da un collega con comportamenti non etici, ma il resto dei dati è del tutto valido. La ricerca clinica è difficile e soggetta a errori. Il processo perfetto non esiste, ma i processi imperfetti possono ancora offrire alcune prove e indicazioni utili.

L’intrigante esperienza editoriale di Anesthesia ha implicazioni in tutta la ricerca medica. La revisione editoriale degli studi dovrebbe richiedere l’accesso ai dati a livello individuale e ciò richiede risorse adeguate e impegno in termini di tempo.

Inoltre, i revisori sistematici dovrebbero essere consapevoli che i test falsi e zombie sono molto comuni e possono essere ancora più comuni in campi specifici e in studi provenienti da alcuni Paesi. Molte revisioni sistematiche potrebbero aver bisogno di attenuare la loro fiducia nelle loro conclusioni. Infine, i finanziatori e le autorità di regolamentazione dovrebbero promuovere la trasparenza fornendo incentivi per la condivisione dei dati e/o sanzioni contro l’occultamento dei set di dati. Il sistema di ricompensa accademica dovrebbe quindi prendere più seriamente in considerazione la trasparenza, l’apertura e il rigore della ricerca nelle sue valutazioni per l’assunzione e la promozione di docenti.

Bibliografia