Rafforzare l'integrità della ricerca: migliorare la revisione tra pari nell'editoria

I tema della Peer Review Week 2022, 'esplorare l'importanza della revisione tra pari nel sostenere l'integrità della ricerca,' è opportuno. La pandemia di COVID-19 ha dimostrato il potere della scienza. Sebbene la rapida diffusione delle scoperte scientifiche fosse fondamentale, lo era accompagnati da rischi significativi. Storia australiana dell'idrossiclorochina è un salutare (ma sfortunatamente non l'unico) esempio di come la scienza povera, scarsamente rivista e comunicata, possa alimentare la disinformazione e causare danni reali. Tale intensa attenzione pubblica e politica ha accresciuto l'attenzione sui processi e le pratiche che sono alla base dell'integrità della ricerca, di cui la revisione tra pari è fondamentale.

Tradizionalmente, peer review è stato considerato il "gold standard" dell'editoria scientifica. Tuttavia, anche prima delle questioni sollevate dalla pandemia, l'efficacia e la sostenibilità della revisione tra pari venivano messe in discussione. Sono in aumento le ritrattazioni delle pubblicazioni sottoposte a revisione paritaria. Molti, come il famigerato caso Wakefield e il recente Scandalo della lancetta idrossiclorochina, che implicano una grave frode, avrebbe dovuto essere preso in esame tramite revisione tra pari e mai pubblicato. Rappresentano carenze significative della scienza e del suo sistema di garanzia della qualità.

Un recente giornale occasionale, Rafforzare l'integrità della ricerca: il ruolo e le responsabilità dell'editoria, dell'International Science Council's progetto sul futuro dell'editoria scientifica, ha formulato due raccomandazioni per migliorare la revisione tra pari prima della pubblicazione, rafforzando così l'integrità della ricerca nel record pubblicato:

Mandare la co-pubblicazione dei dati. Molte ritrattazioni si basano su problemi di dati. L'adozione universale della co-pubblicazione di un documento e dei dati sottostanti sarebbe una riforma significativa e sicuramente eliminerebbe i casi più eclatanti di frode dei dati. Recente guida politica dall'Office of Science and Technology Policy (OSTP) negli Stati Uniti, la richiesta che la ricerca finanziata dal governo statunitense, compresi i dati, sia disponibile gratuitamente al momento della pubblicazione entro il 2025 dovrebbe essere un game-changer. Anche la cultura della ricerca dovrà cambiare: a recente analisi delle opinioni dei ricercatori sulla condivisione dei dati concluso che 'molti ricercatori affermano che condivideranno i dati, ma non lo fanno.' Riviste e revisori tra pari dovrebbero iniziare urgentemente a insistere sul fatto che l'accettazione richiede la co-pubblicazione dei dati sottostanti. Come sostenuto da Tim Vine, fondatore di DataSeer, consentire il controllo dei dati potrebbe ridurre il potenziale di fabbricazione dei dati e fare della ricerca onesta "il percorso di minor resistenza".
Aumenta la concentrazione sul potenziale di replicabilità/riproducibilità. Come praticato dalla maggior parte delle riviste, la revisione tra pari tenta di bilanciare le valutazioni della "novità" o "importanza" dei risultati e della competenza metodologica dello studio riportato. L'integrità della ricerca può risentirne quando la novità diventa troppo predominante. Gli arbitri dovrebbero, nella misura più ampia possibile, garantire che nel documento in esame siano forniti dettagli sufficienti sui metodi coinvolti e, se necessario, sulla disponibilità dei dati in modo che il lavoro possa essere replicato ei risultati confermati o invalidati. La revisione tra pari prima della pubblicazione è raramente, se non mai, un verdetto definitivo o definitivo. UN Rapporto 2019 delle National Academies negli Stati Uniti ha sottolineato: 'Ripetuti risultati di risultati comparabili tendono a confermare la veridicità di una conclusione scientifica originale e, allo stesso modo, ripetuti insuccessi nel confermare mettono in dubbio le conclusioni originali.' Questa e altre forme di revisione tra pari post-pubblicazione sono fondamentali per il processo della scienza. Eppure stanno emergendo troppi esempi, come in questo esempio dalla ricerca sulle bioscienze, per suggerire quella revisione tra pari prima la pubblicazione non riesce troppo spesso per garantire che ciò sia anche potenzialmente possibile. I revisori dovrebbero anche riconoscere attivamente il importanza degli studi replicativi e risultati nulli e incoraggiare la pubblicazione.

L'adeguatezza dei test statistici è spesso un problema, in particolare per i dati complessi. Eppure, molti gli editori non utilizzano esperti di statistica per valutare i documenti presentati. Altri recensori non dovrebbero esitare a raccomandare una tale recensione.

La tecnologia ha un ruolo da svolgere nel migliorare la revisione tra pari. Mentre strumenti di screening automatico non possono ancora sostituire i revisori umani, possono supportarli e dovrebbero essere utilizzati più attivamente. Tuttavia, uno degli usi più costruttivi di strumenti come ScreenIT, è da parte degli autori prima dell'invio per migliorare il loro articolo, inclusa la valutazione della riproducibilità, come in questo esempio di uno schermo di preprint COVID-19. Non sarebbe irragionevole per giornali e revisori chiedere se un articolo presentato fosse passato attraverso uno schermo del genere. Chiedere agli autori di completare un pre-invio Lista di controllo sarebbe un altro sviluppo utile. Tali liste di controllo dovrebbero essere adattate per le differenze disciplinari, ma ancora una volta l'intento dovrebbe essere quello di incoraggiare una pratica migliore piuttosto che rilevare la negligenza.

Altre riforme della revisione tra pari sono possibili e anzi auspicabili. Revisione tra pari aperta in cui i revisori non mantengono l'anonimato è un'opzione. UN uno studio del 2020 concluso che

'La revisione tra pari aperta … riduce i pregiudizi, migliora la trasparenza e l'affidabilità del processo di arbitraggio. Rendono i revisori responsabili dell'accettazione di articoli per pubblicazioni accademiche.'

Lo sviluppo di tassonomie di revisione tra pari merita una considerazione attiva. Tali tassonomie potrebbero consentire una classificazione o un badge più oggettivi delle riviste e delle loro pratiche e qualità di revisione tra pari.

In definitiva è necessaria una riforma più fondamentale - e anzi radicale - dell'editoria scientifica per realizzare un sistema conforme al otto principi articolati dall'International Science Council. Ciò richiederà tempo e notevoli cambiamenti culturali. Fino a quando ciò non accadrà, le riviste rimarranno essenziali per diffondere i risultati scientifici. È quindi imperativo che tutti - autori, revisori ed editori di riviste - facciano tutto il possibile per migliorare la revisione tra pari e garantire che il record pubblicato sia il più affidabile possibile. Settimana della revisione tra pari 2022 è un'opportunità per portare avanti questa agenda critica.

Michael N. Barbiere

Michael N. Barber è professore emerito, AO, FAA, FTSE e membro del comitato direttivo per il progetto dell'International Science Council il futuro dell'editoria scientifica.

Foto di Jason Wong on Unsplash