Renforcer l'intégrité de la recherche : améliorer l'examen par les pairs dans l'édition

La thème de la Semaine de l'évaluation par les pairs 2022, 'explorer l'importance de l'examen par les pairs pour soutenir l'intégrité de la recherche,' arrive à point nommé. La pandémie de COVID-19 a démontré le pouvoir de la science. Alors que la diffusion rapide des découvertes scientifiques était essentielle, accompagnée de risques importantsL’ Histoire australienne de l'hydroxychloroquine est un exemple salutaire (mais malheureusement pas le seul) de la façon dont une science médiocre, mal examinée et communiquée, peut alimenter la désinformation et causer des dommages réels. Une attention publique et politique aussi intense a mis l'accent sur les processus et les pratiques qui sous-tendent l'intégrité de la recherche, dont l'examen par les pairs est essentiel.

Traditionnellement, examen par les pairs a été considéré comme le «gold standard» de l'édition scientifique. Cependant, avant même les problèmes soulevés par la pandémie, l'efficacité et la durabilité de l'examen par les pairs étaient remises en question. Les rétractations de publications à comité de lecture se multiplient. Beaucoup, comme le tristement célèbre affaire Wakefield et la récente Scandale de l'hydroxychloroquine au Lancet, impliquant une fraude grave, aurait dû faire l'objet d'un examen par les pairs et ne jamais être publié. Ils représentent des lacunes importantes de la science et de son système d'assurance qualité.

Un article occasionnel récent, Renforcement de l'intégrité de la recherche : le rôle et les responsabilités de la publication, du Conseil scientifique international projet sur l'avenir de l'édition scientifique, a formulé deux recommandations pour améliorer l'examen par les pairs avant la publication, renforçant ainsi l'intégrité de la recherche dans le dossier publié :

Mandater la co-publication des données. De nombreuses rétractations sont basées sur des problèmes de données. L'adoption universelle de la co-publication d'un document et des données sous-jacentes serait une réforme importante et éliminerait certainement les cas les plus flagrants de fraude de données. Récent orientation politique de l'Office of Science and Technology Policy (OSTP) aux États-Unis exigeant que la recherche financée par le gouvernement américain, y compris les données, soit librement disponible lors de la publication d'ici 2025 devrait être un changeur de jeu. La culture de la recherche devra également changer : un analyse récente des points de vue des chercheurs sur le partage des données a conclu que 'de nombreux chercheurs disent qu'ils partageront des données - mais ne le font pas.' Les revues et les pairs examinateurs devraient commencer de toute urgence à insister sur le fait que l'acceptation nécessite la co-publication des données sous-jacentes. Comme l'a soutenu Tim Vine, fondateur de DataSeer, permettre l'examen minutieux des données pourrait réduire le potentiel de fabrication de données et faire des recherches honnêtes 'le chemin de moindre résistance'.
Mettre davantage l'accent sur le potentiel de réplicabilité/reproductibilité. Comme pratiqué par la plupart des revues, l'examen par les pairs tente d'équilibrer les évaluations de la « nouveauté » ou de « l'importance » des résultats et la compétence méthodologique de l'étude rapportée. L'intégrité de la recherche peut souffrir lorsque la nouveauté devient trop prédominante. Les arbitres doivent, dans la mesure du possible, s'assurer que suffisamment de détails sont donnés dans le document examiné sur les méthodes impliquées et, si nécessaire, la disponibilité des données afin que le travail puisse être reproduit et les résultats confirmés ou invalidés. L'examen par les pairs avant la publication est rarement, voire jamais, un verdict final ou définitif. UN Rapport 2019 des National Academies aux États-Unis souligné : 'Des découvertes répétées de résultats comparables tendent à confirmer la véracité d'une conclusion scientifique originale et, du même coup, des échecs répétés à confirmer jettent le doute sur les conclusions originales. Ceci et d'autres formes de examen par les pairs post-publication sont fondamentales pour le processus de la science. Pourtant, trop d'exemples émergent, comme dans ce exemple de la recherche en biosciences, pour suggérer que l'examen par les pairs before la publication échoue bien trop souvent pour que cela soit même potentiellement possible. Les examinateurs doivent également reconnaître activement la importance des études réplicatives et des résultats nuls et encourager la publication.

La pertinence des tests statistiques est souvent un problème, en particulier pour les données complexes. Pourtant, beaucoup les éditeurs n'utilisent pas d'experts statistiques pour évaluer les articles soumis. D'autres examinateurs ne devraient pas hésiter à recommander un tel examen.

La technologie a un rôle à jouer dans l'amélioration de l'examen par les pairs. Alors que outils de dépistage automatique ne peuvent pas encore remplacer les examinateurs humains, ils peuvent les soutenir et devraient être utilisés plus activement. Cependant, l'une des utilisations les plus constructives d'outils tels que ÉcranIT, est par les auteurs avant la soumission pour améliorer leur article, y compris l'évaluation de la reproductibilité, comme dans cet exemple de un écran de prépublications COVID-19. Il ne serait pas déraisonnable pour les revues et les examinateurs de demander si un article soumis est passé par un tel écran. Demander aux auteurs de remplir une pré-soumission checklist serait un autre développement utile. Ces listes de contrôle devraient être adaptées aux différences disciplinaires, mais encore une fois, l'intention devrait être d'encourager de meilleures pratiques plutôt que de détecter les fautes professionnelles.

D'autres réformes de l'examen par les pairs sont possibles et même souhaitables. Examen ouvert par les pairs dans lequel les examinateurs ne conservent pas l'anonymat est une option. UN étude de 2020 A conclu que

»Examen ouvert par les pairs… réduit les préjugés, améliore la transparence et la fiabilité du processus d'arbitrage. Ils rendent les examinateurs responsables de l'acceptation des articles pour les publications savantes.»

Le développement de taxonomies d'examen par les pairs mérite une réflexion active. De telles taxonomies pourraient permettre un classement plus objectif ou l'attribution de badges aux revues ainsi qu'à leurs pratiques et à leur qualité d'examen par les pairs.

En fin de compte, une réforme plus fondamentale, voire radicale, de l'édition scientifique est nécessaire pour mettre en place un système conforme à la huit principes énoncés par l'International Science Council. Cela prendra du temps et des changements culturels considérables. D'ici là, les revues resteront essentielles pour diffuser les résultats scientifiques. Il est donc impératif que tous — auteurs, examinateurs et éditeurs de revues — fassent tout leur possible pour améliorer l'examen par les pairs et s'assurer que le dossier publié est aussi fiable que possible. Semaine de l'examen par les pairs 2022 est une occasion de faire avancer ce programme essentiel.

Michael N. Barbier

Michael N. Barber est professeur émérite, AO, FAA, FTSE et membre du comité directeur du projet du Conseil international des sciences l'avenir de l'édition scientifique.

Photo par Jason Wong on Unsplash