Giochi di prestigio

Come L’Istituto Superiore della Sanità ti gonfia i dati

Dati alla mano, ecco il tentativo dell'ISS di ingigantire i risultati scientifici conseguiti con i finanziamenti amministrati dalla discussa 'Commissione cellule staminali 2001'.

Con l'aiuto di alcuni esperti abbiamo deciso di analizzare i documenti pubblicati dall'Istituto Superiore di Sanità nel suo tentativo di rendicontare l'utilizzo del primo bando di finanziamento amministrato dalla Commissione cellule staminali 2001. Documenti incompleti, come spiega l'articolo sopra, visto che poco si sa del secondo bando che sarebbe stato emesso;quanto alla terza parte del finanziamento, questa addirittura non sarebbe mai stata erogata per mancanza di fondi (sic!). E che ad un'analisi più attenta appaiono pure falsati. Siamo riusciti a identificare solo 213 pubblicazioni scientifiche rispetto alle 261 citate dal rapporto finale dell'ISS, quindi premettiamo - per correttezza - che l'analisi che vi proponiamo di seguito è relativa solo a questi 213. Facendo il rapporto otteniamo un impact factor (IF) totale medio pari a 1.443; quindi questo è diventato il nostro IF totale di riferimento potendo analizzare solo 213 articoli (proporzionale dunque all'IF di 1.773 per le 261 pubblicazioni).

Come abbiamo operato? Ciascuno degli articoli scientifici che l'ISS adduce al suo finanziamento è stato stampato e, indipendentemente l'una dall'altra, tre persone hanno analizzato l'anno di pubblicazione dell'articolo e la sezione Acknowledgements ("ringraziamenti") per verificare il numero di enti finanziatori dichiarati per articolo (laddove vi fossero più enti). In particolare, ovviamente, abbiamo cercato, tra gli enti finanziatori, il nome dell'ISS, della Commissione Staminali o del Ministero della Salute.

Primo risultato. L'ISS, nel suo consuntivo, indica che i fondi da esso amministrati hanno prodotto 261 articoli e 1773 punti di IF. Ci si sarebbe aspettato quindi che quegli articoli fossero stati interamente finanziati con fondi ISS. Invece l'analisi dimostra che ciascun articolo scientifico presenta più di un ente finanziatore: è stata calcolata una media di 4,2 enti finanziatori per ognuno dei 213 articoli analizzati. Ascrivere interamente, a maggior gloria dei fondi erogati dall'ISS, pubblicazioni di fatto finanziate anche da altri enti, non appare quindi corretto.

Secondo risultato. Abbiamo poi analizzato, per ciascuno dei 213 articoli, se tra gli enti finanziatori indicati nella sezione "ringraziamenti" fossero quantomeno presenti il Ministero della Salute, l' ISS o il Progetto Nazionale Cellule Staminali. Solo quest'ultima, infatti, sarebbe la dizione corretta; infatti indicare nei ringraziamenti, per esempio, solo "Ministero della Salute" potrebbe implicare che altri fondi sono stati impiegati. Comunque, si è voluto prescindere da ciò e sono stati inclusi nel conteggio tutti quegli articoli (tra i 213) che avevano almeno una delle suddette tre dizioni citate nella sezione ringraziamenti. Abbiamo verificato che solo 126 pubblicazioni presentavano una di queste tre citazioni. Occorre precisare che nel documento dal titolo "Elenco pubblicazioni estratte dai rendiconti scientifici", reso disponibile lo scorso novembre sul sito web dell'ISS, veniva precisato che il resoconto teneva conto degli articoli che i ricercatori stessi avevano indicato, nei loro reports, essere prodotti con quei fondi. Si desume che i ricercatori, forse distratti, hanno indicato nei loro reports pubblicazioni che non presentavano tra gli enti finanziatori nessuna delle tre dizioni di cui sopra.E' però presumibile che sia compito di chi finanzia anche monitorare e vigilare sui prodotti che derivano dai propri finanziamenti, per informare al meglio, senza correre il rischio di falsare i dati. Questa analisi dimostra come tanto il peer review (messo in atto dalla stessa commissione, a quanto risulta dagli atti parlamentari) quanto il monitoraggio dei risultati ottenuti con fondi pubblici, siano aspetti su cui ancora molto si deve fare in Italia.

Terzo risultato. Si è poi proceduto a calcolare l'impact factor totale per quelle 126 pubblicazioni. I punti di IF inizialmente attribuibili ad esse, per rapporto ai 1773 totali per le 261 pubblicazioni dichiarate nel consuntivo, dovrebbero essere una media di 855. Questo numero è stato poi diviso per 5,1 che è il numero medio degli enti finanziatori per ciascuna delle 126 pubblicazioni. Si conclude che i fondi ISS erogati tra il 2003 e il 2005 dalla Commissione Staminali 2001 hanno reso 126 articoli scientifici con un IF totale di 167. Il numero è quindi ben diverso dai 213 articoli con IF di circa 1443 (rapportabili ai 261 con 1773 di IF dichiarati nel consuntivo).

Quarto risultato. L'analisi dimostra che nel conteggio sono stati inclusi articoli pubblicati nel 2004 e, addirittura, nel 2003. Ma se il finanziamento iniziava il 17 dicembre 2003, come è possibile che in pochi mesi, o addirittura con giorni di anticipo rispetto all'avvio delle ricerche finanziate da quel bando, i ricercatori potessero avere pubblicato già dei risultati? Significativo è il fatto che il comunicato ISS del novembre scorso indichi che, in realtà, i prodotti sarebbero ancora di più di quelli pubblicati, in quanto non sarebbero stati inclusi quelli del 2006 e 2007. Eppure è noto che la ricerca richiede anni per raggiungere risultati; sarebbe stato meglio fornire un'analisi obiettiva che specificasse anche le difficoltà del condurre una simile analisi o comunque chiarisse tutti questi aspetti. L'inclusione di pubblicazioni del 2003 costituisce un pessimo segno circa la metodologia utilizzata per condurre l'analisi dei prodotti.

Quinto risultato. In base al comunicato stampa dell'ISS dello scorso novembre che accompagnava la pubblicazione su web del consuntivo di cui sopra, si scopre che la Commissione Staminali 2001 ha erogato 17 milioni di euro. Ricordiamo ai lettori che, come da decreto 442 del 2001, la Commissione doveva invece erogare 7.5 milioni di euro divisi in tre bandi per gli anni 2003-2005. Ad una prima interrogazione parlamentare dell'On. Donatella Poretti, dirigente dell'Associazione Coscioni, l'ISS ha risposto di avere erogato 11 milioni di euro. Ora, ad anni di distanza, scopriamo che i milioni sono molti di più. Ancora non sappiamo a chi siano andati, poco si sa del secondo bando (quanto scritto sopra e' riferito solo al primo bando) mentre per il terzo bando, solo grazie a una ennesima interrogazione dell' On. Poretti, la comunità scientifica ha potuto apprendere che la Commissione l'ha cancellato perché i fondi esauriti al primo e secondo bando. Questo nonostante, in epoche di grandi carestie, quei fondi, a disposizione di quella commissione, veniamo ora a sapere, sono stati più che duplicati.

 

Impact Factor

L'impact factor (IF o fattore d'impatto) è una misura della frequenza con cui un "articolo medio" di una rivista viene citato dalle altre riviste in un particolare anno o periodo. Questa misura serve per dare una valutazione empirica dell'importanza e della credibilità delle riviste stesse, e quindi, indirettamente, degli articolo scientifici in essa pubblicati. Visto che chi riesce a pubblicare un articolo può attribuire ad esso l'impact factor del giornale, l'IF costituisce oggi il più diffuso metodo per quantificare il livello della produzione scientifica. Soldi "a pioggia", decisioni verticistiche, favoritismi e, soprattutto, illegalità: così si finanzia la ricerca scientifica in Italia. Il caso "esemplare"dei fondi ministeriali per le cellule staminali, gestititi dall'Istituto Superiore di Sanità.

Giovedì, 3 luglio, 2008 - 17:05
Eccetto dove diversamente specificato i contenuti di questo sito
sono rilasciati sotto la licenza Creative Commons: Attribuzione della paternità

Licenza Creative Commons

cc Associazione Luca Coscioni, via di Torre Argentina, 76 - 00186 Roma, Italia.
Tel. 06 689 79 286, Fax. +39 06 23 32 72 48, Email info [at] lucacoscioni.it
Posta Certificata: associazionelucacoscioni [at] pec.it