Il Comitato ICSU per la libertà e la responsabilità nella condotta della scienza (CFRS) teme che alcune delle politiche e delle pratiche attualmente adottate dalle istituzioni scientifiche e dagli editori di riviste possano inavvertitamente minare l'integrità della letteratura scientifica. Ciò è aggravato dall'uso acritico delle metriche di pubblicazione, in sostituzione della revisione tra pari indipendente, nella valutazione delle prestazioni scientifiche. Sottolineando queste preoccupazioni alle organizzazioni membri dell'ICSU, si spera che agiranno per garantire la qualità della documentazione scientifica e promuovere un approccio cauto e critico all'uso delle metriche di pubblicazione nella valutazione della ricerca.
Problemi di preoccupazione:
- Nell'assegnazione di incarichi di carriera e nell'assegnazione di sovvenzioni, il record di pubblicazione dei candidati, e in particolare il numero e il presunto impatto delle pubblicazioni, è spesso un criterio principale. Ciò crea inavvertitamente incentivi per pubblicazioni duplicate, pubblicazioni divise, pubblicazioni di scarso valore e paternità onoraria.
- I fattori di impatto della rivista forniscono un'indicazione del numero medio di citazioni che ci si può aspettare per un articolo in una particolare rivista, ma questi numeri sono facilmente interpretabili in modo errato. Ad esempio, possono essere influenzati dal rapporto tra recensioni e articoli primari. Le citazioni per ogni singolo articolo possono essere molto più alte o più basse di quelle previste dal fattore di impatto.
- Sebbene il numero di citazioni possa dare un'indicazione della qualità di una pubblicazione, non è necessariamente così. Documenti veramente nuovi e molto importanti potrebbero attirare poca attenzione per diversi anni dopo la loro pubblicazione. Un documento errato può generare più citazioni da documenti che lo confutano e i numeri di citazione possono essere gonfiati dall'auto-citazione. I numeri delle citazioni tendono anche ad essere maggiori per le recensioni rispetto ai giornali primari.
- Il valore attribuito alle registrazioni di pubblicazioni e citazioni può spingere gli scienziati a pubblicare troppo presto o a esagerare e interpretare eccessivamente i risultati. Può anche, in situazioni estreme, promuovere una cattiva condotta scientifica, in cui i risultati sono fabbricati, falsificati o plagiati.
- Come risultato della pressione alla pubblicazione, un numero crescente di manoscritti viene inviato a più riviste prima di essere infine accettati. Ciò aumenta l'onere per i revisori, che in definitiva diminuisce la completezza del processo di revisione. Invii multipli e revisioni dello stesso lavoro possono ritardare la comunicazione di risultati importanti e si può sostenere che moltiplicare il numero di revisioni raramente impedisce l'eventuale pubblicazione di lavori di scarsa qualità.
- I mezzi alternativi di pubblicazione in archivi elettronici non revisionati o non revisionati da esperti, su home page o blog individuali o istituzionali, stanno diventando sempre più popolari. Mentre questi media aprono nuove possibilità e migliorano l'accessibilità generale alle pubblicazioni, aumentano anche la disponibilità di informazioni meno significative o forse fuorvianti.
Il CFRS teme che le politiche e le pratiche attuali possano avere seri effetti sulla qualità del lavoro scientifico in generale e aumentare l'onere per i revisori delle riviste. Qualsiasi aumento non necessario del volume delle pubblicazioni scientifiche minaccia un corretto processo di revisione, essenziale per mantenere standard di accuratezza e integrità.
Oltre al suo ruolo nell'editoria scientifica, il Comitato considera la revisione tra pari rigorosa e imparziale il meccanismo più importante per giudicare la qualità del lavoro scientifico e dei progetti scientifici. Stabilire e mantenere buoni processi di revisione tra pari è di per sé una sfida ed è riconosciuto che possono esserci vantaggi nell'uso di misure e metriche quantitative come complementi a questo processo. Tuttavia, l'apparente semplicità e attrazione di tali indici numerici non dovrebbero nascondere il loro potenziale di manipolazione e interpretazione errata e dovrebbero quindi essere usati solo con notevole cautela.
Poiché le norme per il numero di pubblicazione, le convenzioni sulla paternità e le citazioni differiscono da campo a campo, i giudizi e le politiche sono spesso formulati al meglio da colleghi con esperienza nella stessa area. Il CFRS esorta le organizzazioni membri dell'ICSU a stimolare la discussione sui criteri di valutazione scientifica, sugli indicatori di carriera e sui documenti di pubblicazione, con l'obiettivo di promuovere un sistema che possa servire meglio la scienza in generale. Piuttosto che imparare a sopravvivere in una cultura del "pubblica o muori", i giovani scienziati dovrebbero essere incoraggiati e sostenuti per produrre comunicazioni scientifiche di alta qualità che diano un reale contributo al progresso scientifico.
Le domande da considerare, in merito all'uso delle metriche nella valutazione delle prestazioni della ricerca, includono:
- Nel giudicare le domande di sovvenzioni e posizioni, qual è l'equilibrio ottimale tra la revisione diretta tra pari, inclusa la lettura di articoli pertinenti, e l'uso di misure quantitative basate sui record di pubblicazione?
- Nella valutazione dei record e delle prestazioni delle pubblicazioni, quale ponderazione dovrebbe essere applicata al numero di pubblicazione, ai fattori h, al fattore di impatto della rivista, al numero di citazioni, alla pubblicazione principale rispetto alla revisione?
- Notando che le convenzioni variano considerevolmente da un campo all'altro, quanto credito dovrebbe essere dato alla prima paternità, all'ultima paternità, alla paternità centrale o alla paternità corrispondente? In alcuni campi anche la prevalenza della "paternità fantasma" è motivo di notevole preoccupazione*.
- Quale credito dovrebbe essere dato per i prestampati e altre pubblicazioni elettroniche, siano esse sottoposte a revisione paritaria o meno? Devono essere presi in considerazione indici di impatto come clic, download o link?
- Il numero di pubblicazioni che contano per sovvenzioni o incarichi dovrebbe essere limitato? Ad esempio, dovrebbero essere prese in considerazione solo le tre migliori pubblicazioni all'anno? Gli scienziati dovrebbero anche essere penalizzati per la paternità di più di, diciamo, 20 pubblicazioni all'anno? [Tali limiti possono sembrare controintuitivi, ma aiuterebbero a promuovere una cultura in cui tutti gli autori hanno realmente contribuito alle pubblicazioni su cui compaiono i loro nomi.]
- Quale peso dovrebbe essere dato ad altre misure quantitative dei risultati della ricerca, come domande di brevetto, brevetti concessi o brevetti concessi in licenza?
Il Comitato è consapevole che la discussione su molti di questi temi è già ben avviata in alcuni paesi e in alcune aree della scienza, ma suggerisce che il dibattito si allarghi all'intera comunità scientifica internazionale. Condividendo opzioni e strategie, si spera che la comunità scientifica globale possa trarre vantaggio dalle esperienze delle singole organizzazioni.
*Vedi, ad esempio, Ross et al, JAMA 299, 1800-1812 (2008).
appendice
Durante lo sviluppo di questa affermazione, l'Unione Matematica Internazionale ha pubblicato il rapporto Citation Statistics, che è un'analisi critica dettagliata dell'uso dei dati delle citazioni per la valutazione scientifica. Una conclusione principale di questo rapporto è: sebbene avere un unico numero per giudicare la qualità sia davvero semplice, può portare a una comprensione superficiale di qualcosa di complicato come la ricerca. I numeri non sono intrinsecamente superiori ai giudizi sani.
Rapporto sulle statistiche delle citazioni
A proposito di questa affermazione
Questa affermazione è responsabilità del Committee on Freedom and Responsibility in the Conduct of Science (CFRS), che è un comitato politico dell'International Council for Science (ICSU). Non riflette necessariamente le opinioni delle singole organizzazioni membri dell'ICSU.
Articoli correlati
Un anno di guerra in Ucraina: esplorare l'impatto sul settore scientifico e sostenere le iniziative
04.08.2023
Attacchi a scienziati ambientali: implicazioni per la pratica libera e responsabile della scienza
06.07.2023
Dalle minacce autoritarie alle disparità di finanziamento: sfide chiave nella scienza globale
12.06.2023
Promuovere la scienza libera e responsabile: approfondimenti dall'incontro di medio termine dell'ISC
25.05.2023
Dall'Antartide allo Spazio: aggiornamenti dagli Enti Affiliati al Day 3 dell'ISC Mid-term meeting
15.05.2023
Un anno dopo: Dichiarazioni, offerte di assistenza e risorse sulla guerra in corso in Ucraina
24.02.2023
'Nessun problema è troppo grande' – Combattere la discriminazione nella scienza geospaziale
10.01.2023
Science in Times of Crisis Episodio 3 - Le conseguenze del conflitto: l'Artico e lo spazio
15.12.2022
Science in Times of Crisis Episodio 2 - Lo scontro attuale: scienza e interesse nazionale.
08.12.2022
Il rapporto ISC evidenzia come i ricercatori combattono le nuove minacce ai principali diritti umani
10.12.2021
Una prospettiva contemporanea sulla pratica libera e responsabile della scienza nel 21° secolo
10.12.2021
Sostieni il Dr. Ahmadreza Djalali per proteggere la libertà e la responsabilità scientifica
02.12.2021
Liberi di pensare: il progetto di monitoraggio Scholars At Risk settembre 2020-agosto 2021
12.07.2021
Celebrazione delle scienziate in occasione della Giornata internazionale della donna, e ogni giorno
08.03.2021
Dichiarazione sul dottor Ahmadreza Djalali, attualmente incarcerato e condannato a morte in Iran
29.08.2019
Il più grande raduno scientifico di sempre in Medio Oriente per il World Science Forum 2017
08.11.2017
Accesso aperto ai dati e alla letteratura scientifica e valutazione della ricerca mediante metriche
14.10.2014
