L'avenir de l'évaluation de la recherche : une synthèse des débats et des développements actuels

Un système de recherche dynamique et inclusif est extrêmement important pour que la science et la société puissent faire progresser les connaissances et la compréhension fondamentales et relever les défis mondiaux de plus en plus urgents. Mais le système de recherche est sous pression en raison des attentes croissantes de la part de multiples acteurs (notamment les bailleurs de fonds, les gouvernements et le secteur de l’édition), des tensions entre les dynamiques de concurrence et de coopération, d’un système de communication scientifique en évolution, d’un secteur de l’édition et de l’analyse de données parfois agressif. et des ressources limitées. L’entreprise de recherche doit gérer ces demandes et tensions tout en maintenant la qualité et l’intégrité de la recherche, en étant inclusive et diversifiée et en protégeant la recherche fondamentale et appliquée.

Au cours de la dernière décennie, ces pressions exercées sur le système scientifique et le besoin de réactivité de celui-ci se sont accompagnés de réflexions plus critiques sur les systèmes d’évaluation de la recherche et de mesure des performances. Bien que des méthodologies appropriées et adaptées au contexte soient importantes pour évaluer la qualité et l'impact de la recherche, les débats se sont intensifiés sur les effets étendus, complexes et ambigus des critères et mesures d'évaluation actuels sur la qualité et la culture de la recherche, la qualité des données factuelles qui éclairent l'élaboration des politiques, les priorités en matière de recherche et de financement de la recherche, les trajectoires de carrière individuelles et le bien-être des chercheurs. Dans certaines régions du monde, il est de plus en plus reconnu qu’un ensemble restreint et simpliste de mesures et d’indicateurs d’évaluation ne permet pas de rendre compte de manière satisfaisante de la qualité, de l’utilité, de l’intégrité et de la diversité de la recherche. Les mesures couramment utilisées – souvent basées sur des revues – ne parviennent pas à capturer d’importantes dimensions supplémentaires d’une recherche de haute qualité, telles que celles trouvées dans le mentorat, le partage de données, l’engagement avec le public, la formation de la prochaine génération de chercheurs et l’identification et l’offre d’opportunités aux groupes sous-représentés. En plus d’avoir une portée trop étroite, la question de la mauvaise application des mesures et des indicateurs semble également fausser les incitations à la réussite, désavantager certaines disciplines (y compris la recherche interdisciplinaire et transdisciplinaire vitale) et alimenter des pratiques de publication prédatrices et contraires à l’éthique.

Les campagnes visant à lutter contre la mauvaise application des mesures, à élargir les critères de qualité et à transformer plus systématiquement la culture de la recherche par le biais de manifestes et de déclarations, de principes et de réformes ont ouvert la voie à un débat mondial sur la nécessité de réformer l’évaluation de la recherche. Ces voix appellent désormais à passer des manifestes à l’action. Cela se produit dans un contexte de changements transformationnels dans la manière dont la recherche est entreprise et communiquée. L’essor des cadres de recherche ouverts et des médias sociaux, l’évolution vers une science transdisciplinaire et axée sur une mission, la croissance de l’évaluation ouverte par les pairs et le potentiel de transformation de l’intelligence artificielle (IA) et de l’apprentissage automatique nécessitent une nouvelle réflexion sur la manière dont la recherche et les chercheurs sont évalués. .

Dans ce contexte, le Académie mondiale des jeunes (GYA), Partenariat interacadémique (IAP) et par Conseil international des sciences (ISC) ont uni leurs forces pour faire le point sur les débats et les développements en matière d'évaluation de la recherche dans le monde, en s'appuyant sur un groupe de cadrage composé de scientifiques et une série de consultations régionales. De nouvelles approches sont développées et testées par des établissements d’enseignement supérieur et des bailleurs de fonds de la recherche dans certaines régions du monde, et plusieurs d’entre elles sont incluses dans ce document. Dans d’autres parties du monde, ces débats et actions sont naissants, voire inexistants. Les systèmes de recherche évoluant à des rythmes différents, il existe un risque de divergence et de fragmentation. Une telle divergence peut compromettre l’homogénéité nécessaire pour permettre la collaboration en matière de recherche et faciliter la mobilité des chercheurs entre différentes zones géographiques, secteurs et disciplines. Cependant, il n’existe pas de solution unique et il est nécessaire de déployer des efforts adaptés au contexte pour réformer l’évaluation, en tenant compte des défis locaux.

En mettant l'accent sur la recherche du secteur public et l'évaluation de la recherche et des chercheurs, ce document de discussion a une perspective mondiale, couvrant un programme généralement dominé par les développements en Europe et en Amérique du Nord : les perspectives régionales et les exemples de développement national et de réforme institutionnelle sont Souligné. Les membres mondiaux et collectifs du GYA, de l’IAP et de l’ISC représentent un large échantillon de l’écosystème de recherche dont les divers mandats peuvent faciliter un véritable changement systémique. Ce document s'efforce de stimuler le GYA, l'IAP et l'ISC - en tant que plates-formes d'apprentissage mutuel, d'expérimentation et d'innovation - pour qu'ils travaillent avec leurs membres, d'autres institutions scientifiques et des groupes clés dans le monde entier, pour initier et faire progresser les conversations et mobiliser des acteurs plus inclusifs. et une action commune.

Les recommandations destinées au GYA, à l'IAP et à l'ISC et à leurs membres (voir section 5) sont structurées autour de leurs rôles de défenseurs, d'exemples, d'innovateurs, de bailleurs de fonds, d'éditeurs, d'évaluateurs et de collaborateurs, avec des délais d'action indicatifs. Dans l'immédiat, ces actions comprennent la création d'un espace pour partager les leçons et les résultats des initiatives pertinentes à ce jour (pour construire une communauté de pratique) ; à moyen terme, organiser conjointement des forums multipartites avec des groupes clés pour repenser et mettre en œuvre l'évaluation de la recherche de manière pratique, adaptée au contexte et inclusive ; et, à plus long terme, susciter de nouvelles études qui contribuent à la réflexion sur l’avenir, sensibles aux développements rapides des technologies de l’IA, aux méthodologies et réformes d’examen par les pairs, ainsi qu’aux médias de communication.

La Académie mondiale des jeunes (GYA), Partenariat interacadémique (IAP) et par Conseil international des sciences (ISC) se sont réunis en 2021 pour faire le point sur les défis, les débats et les développements en matière d'évaluation de la recherche dans le monde, à travers diverses cultures et systèmes de recherche, et pour explorer les moyens par lesquels ils pourraient participer et influencer la réimagination de l'évaluation de la recherche pour le 21e siècle, de manière ouverte et inclusive.

Un groupe de réflexion international (Annexe A) a été convoqué pour étudier le domaine et conseiller les trois organisations sur la manière dont elles pourraient renforcer les efforts existants pour réformer l'évaluation de la recherche. Au cœur de ce travail se trouvait la prémisse selon laquelle (1) une initiative concertée dirigée par des chercheurs donnerait à la communauté mondiale de la recherche une voix plus forte pour façonner l'avenir de l'évaluation de la recherche et (2) il y a des avantages à « évaluer avec les évalués » ; ainsi, aidant à tracer la voie vers un changement systémique et durable dans les cultures et les pratiques d’évaluation.

En complément de la recherche documentaire, une série de consultations régionales avec des experts identifiés par le groupe de cadrage et les partenaires ont été menées fin 2021. Le document de discussion est le principal résultat de ce travail. Il est destiné à servir de prospectus pour des conversations exploratoires avec de multiples parties prenantes, notamment la communauté mondiale de la recherche elle-même.

Les pratiques d’évaluation de la recherche servent de multiples objectifs et sont menées par de multiples parties prenantes. Ils sont utilisés pour évaluer les propositions de recherche en vue de décisions de financement, les documents de recherche à publier, les chercheurs à recruter ou à promouvoir et les performances des instituts de recherche et des universités. Cet article se concentre principalement sur l’évaluation des chercheurs et de la recherche et ne couvre pas l’évaluation ou le classement institutionnel, bien que tous ces domaines d’évaluation soient inextricablement liés. Les pratiques actuelles s'appuient largement sur des mesures quantitatives et largement basées sur des revues, telles que le facteur d'impact du journal (JIF), le nombre de publications, le nombre de citations, l'indice h et le score d'influence de l'article (AIS). D'autres mesures incluent les objectifs de revenus des subventions, les mesures des intrants (telles que le financement de la recherche ou la taille de l'équipe de recherche), le nombre de brevets enregistrés et, plus récemment, les mesures des médias sociaux (anciennement « altmetrics ») telles que les partages ou les téléchargements sur les réseaux sociaux. Ensemble, ces mesures influencent profondément la réputation des établissements, des groupes de recherche et des individus, les programmes de recherche individuels et collaboratifs, les trajectoires de carrière et l'allocation des ressources.

Au cours des deux dernières décennies, les investissements mondiaux dans la recherche et le développement (R&D) ont triplé, pour atteindre environ 2 1980 milliards de dollars par an. Ces dernières années ont connu à elles seules la croissance des dépenses de R&D la plus rapide depuis le milieu des années 19, soit une hausse d'environ 2021 % (UNESCO, 1) [XNUMX]. Cet investissement supplémentaire dans la recherche entraîne une culture de responsabilité qui exerce une pression sur les institutions de recherche et les individus, et peut générer des aberrations ou des incitations perverses en réponse. Cela a également conduit à de plus grandes aspirations : maintenir la qualité et réduire le gaspillage, les erreurs et l'inefficacité de la recherche ; maximiser l’inclusion et la diversité ; optimiser la recherche en tant que bien public mondial ; et promouvoir une recherche plus ouverte et plus engagée. Sans réforme, la qualité, l’intégrité, la diversité et l’utilité de la recherche sont menacées.

Les mesures quantitatives peuvent constituer une partie importante de l’évaluation de la recherche, dans la transition vers un système de recherche plus ouvert, plus responsable et plus orienté vers le public (La Société Royale, 2012) [2]. Mais ils sont également en partie responsables du fait qu'ils alimentent la culture de la recherche « publier ou périr » qui existe dans le monde entier, avec des effets néfastes sur la qualité des résultats de la recherche, l'intégrité et la fiabilité des systèmes de recherche et la diversité des communautés de recherche (par exemple Haustein et Larivière, 2014) [3]. En effet, les paramètres sont utilisés comme indicateurs de la qualité de la recherche par les institutions, les décideurs politiques et les bailleurs de fonds de la recherche, mais ils constituent une mesure des résultats et non de la qualité ou de l’impact de la recherche en soi. À ce titre, ces acteurs contribuent grandement à définir le contexte social et culturel dans lequel la recherche se déroule, et les systèmes de récompense et de promotion du milieu universitaire façonnent les choix des scientifiques à toutes les étapes de leur carrière (Macleod et coll., 2014) [4].

« L’utilisation d’indices bibliométriques… comme indicateurs indirects des performances des chercheurs est un indice d’évaluation pratique mais profondément imparfait. La plupart mettent constamment l'accent sur la réussite individuelle, édulcorent le soutien à la recherche en raison de l'intérêt d'une université pour des mesures à fort impact, mettent la pression sur tous pour qu'ils « cochent des cases » et se conforment, tout en jouant un rôle important dans la distorsion du marché de la publication de revues. Il y a un besoin urgent de réforme.

Opening the Record of Science (2021), le Conseil scientifique international

L’autre communauté de parties prenantes détenant un pouvoir et une influence considérables sur la communication en matière de recherche et la production de connaissances est le secteur de l’édition. Les mesures basées sur les revues sont devenues une puissante incitation à publier dans des revues commerciales et peuvent inciter à des comportements pouvant avoir de graves effets secondaires. Plutôt que de juger les résultats d’une recherche sur ses mérites scientifiques, c’est la qualité perçue de la revue dans laquelle elle est publiée qui est systématiquement acceptée comme preuve de qualité scientifique, alimentant un marché de l’édition hautement commercial basé sur la réputation plutôt que sur la science. Les coûts du libre accès proviennent en grande partie des frais de traitement des auteurs (APC) : ceux-ci peuvent être prohibitifs, en particulier dans certaines régions du monde, créant des obstacles à la publication de recherches pour les chercheurs aux ressources limitées et risquant potentiellement de fracturer la communauté scientifique internationale. Les risques de devenir de plus en plus dépendants des fournisseurs commerciaux et de leurs conditions d’utilisation à toutes les étapes du processus de recherche constituent de solides arguments en faveur d’alternatives à but non lucratif. En outre, dans la mesure où les indicateurs bibliométriques constituent la principale source d’incitations dans les universités, ils ont diminué la valeur du travail éducatif et d’autres formes de travail scientifique (comme l’enseignement et les conseils politiques). Alors que les systèmes d'évaluation de la recherche tendent à favoriser ceux qui obtiennent des subventions importantes et publient dans des revues à facteurs d'impact élevés, il existe des preuves suggérant que les chercheurs qui ont déjà réussi ont plus de chances de réussir à nouveau (l'« effet Matthew », Bol et coll., 2018) [5].

Lorsque la publication scientifique devient un moyen d’évaluation plutôt qu’un moyen de communication, cela désavantage ceux qui choisissent de communiquer leurs recherches par d’autres moyens significatifs (Rapport 2021 de l'ISC) [6]. Cela comprend les produits communs (et sans doute la principale devise) de la Global Young Academy (GYA), de l'InterAcademy Partnership (IAP) et de l'International Science Council (ISC) : rapports, documents de travail, déclarations communes, éditoriaux d'opinion, actualités et webinaires. . Certaines disciplines sont également désavantagées : par exemple, les chercheurs en ingénierie et en informatique où la communication (généralement plus rapide) à travers les conférences et leurs actes est importante ; et ceux des sciences humaines et sociales qui utilisent généralement des monographies, des livres et des magazines professionnels.

D’autres choisissent de publier dans des revues spécialisées ou locales, ou n’ont pas les moyens de publier leurs recherches (même de haute qualité) dans des revues en libre accès avec des facteurs d’impact élevés (et des APC élevés concomitants) ; ces derniers désavantageant ceux des pays à faible revenu, en particulier les chercheurs en début de carrière (ECR). Ces mêmes chercheurs subissent une pression intense pour obtenir des postes universitaires permanents et leur comportement est fortement conditionné par les critères quantitatifs utilisés par les agences de financement de la recherche et les comités institutionnels de recrutement et de promotion. La tentation de penser avec des indicateurs (Müller et de Rijcke, 2017) [7], et même « jouer » avec le système, est une réalité pour tous les chercheurs partout dans le monde (par exemple Ansède, 2023) [8].

Les manifestations de ce jeu incluent des chercheurs (sciemment ou par inadvertance) utilisant des revues et des conférences prédatrices pour augmenter leur nombre de publications. (IAP, 2022 [9] Elliott et al., 2022 [10]), se livrant à l'auto-citation et à la falsification des évaluations par les pairs, au plagiat, à l'inflation des facteurs d'impact et au « découpage en tranches de salami » (divisant une vaste étude qui aurait pu être rapportée dans un seul article de recherche en articles publiés plus petits) (Collyer, 2019) [11]. Sous pression, les chercheurs peuvent être tentés de recourir à des services prédateurs dans le seul but d'obtenir leur doctorat, d'être embauchés ou promus, ou de faire financer leurs projets de recherche (par exemple Abad-García, 2018 [12] Omobowale et coll., 2014) [13]. Les universités et les systèmes de publication universitaires axés sur les mesures génèrent des incitations insidieuses : le lieu où un chercheur publie est plus important que ce qu’il publie.

L’impact sur la qualité et l’intégrité de la recherche est extrêmement préoccupant. Le nombre d’articles scientifiques rétractés a considérablement augmenté ces dernières années, en raison de mauvaises conduites en matière de recherche et de publication et d’ensembles de données médiocres ou frauduleux. Les revues peuvent mettre des mois, voire des années, à retirer des recherches peu fiables, après quoi elles peuvent déjà avoir été citées à plusieurs reprises et être dans le domaine public (Ordway, 2021) [14].

La prédominance de l’évaluation de la recherche basée sur des paramètres métriques est sans équivoque et il existe des tendances divergentes à l’échelle mondiale en matière de réforme de l’évaluation, ce qui risque de laisser de côté une partie de la communauté de la recherche. Dans son analyse du paysage mondial de l’évaluation de la recherche (Curry et coll., 2020 [15] ; soumis), il semble que de nombreuses institutions de recherche et de financement dans les pays/régions à revenus plus élevés commencent à inclure un ensemble plus large d'indicateurs, tels que des mesures qualitatives de « l'impact », tandis que la bibliométrie reste prédominante dans les institutions du « Sud » [16 ], dans toutes les disciplines. Sans une action plus inclusive, il risque d’y avoir une divergence entre les systèmes nationaux d’évaluation, introduisant potentiellement encore davantage de biais systémiques et d’incompatibilités potentielles dans les systèmes de recherche, d’évaluation, de financement et de publication. Cela pourrait à son tour entraver la collaboration internationale en matière de recherche et la mobilité des chercheurs. En créant des obstacles à la collaboration Nord-Sud, cela peut également entraver le renforcement concomitant des écosystèmes de recherche dans les pays du Sud – une évaluation solide de la recherche renforce les écosystèmes de recherche et la confiance en eux, réduit le risque de fuite des cerveaux et contribue à établir un capital humain solide pour un développement durable. développement. Néanmoins, les versions universelles de ce qui constitue une bonne performance génèrent des comportements qui ne sont pas nécessairement propices à l’excellence, à l’équité, à la transparence et à l’inclusion. Mesurer les réalisations d’universitaires qui ont prospéré dans des environnements favorables et dotés de ressources suffisantes où les opportunités abondent, de la même manière que ceux qui ont relevé des défis et surmonté des obstacles dans des environnements hostiles et peu favorables, est pour le moins discutable (GYA, 2022) [17]. De nombreux chercheurs se sentent exclus de la communauté des chercheurs sur le plan historique et géographique, en grande partie à cause de la manière dont ils sont évalués tout au long de leur carrière. En excluant certaines formes de recherche et en ne parvenant pas à exploiter une diversité d’idées à l’échelle mondiale, il existe un risque que les pratiques actuelles d’évaluation de la recherche favorisent une culture dominante/suiveuse des modèles dominants conçus par l’Occident.

Les chercheurs des pays à faible revenu et aux premiers stades de leur carrière ont besoin d’une voix pour pouvoir contribuer à façonner de nouveaux modèles d’évaluation adaptés au contexte, adaptés à leur objectif et tenant compte des défis auxquels ils sont confrontés au quotidien. base de jour. La GYA et un nombre croissant de jeunes académies nationales donnent cette voix aux ECR, et le Groupe de travail de GYA sur l'excellence scientifique [18] donne son point de vue sur la réforme de l'évaluation de la recherche (voir texte ci-dessous).

Points de vue de la communauté des chercheurs en début de carrière

Les chercheurs en début de carrière (ECR) sont particulièrement préoccupés par les pratiques d’évaluation de la recherche, car leurs perspectives de carrière et la poursuite de leur programme de recherche dépendent de manière cruciale de la manière dont ils sont évalués. Cela éclaire les pratiques de financement, d’embauche et de promotion d’une manière qui n’est pas toujours perçue comme juste et équitable.

S'il est évident que les décisions en matière de financement et de ressources humaines affectent la composition de la main-d'œuvre des chercheurs, il n'est pas toujours reconnu que, par son impact sur le financement, l'évaluation de la recherche incite les établissements et les chercheurs à poursuivre une certaine trajectoire de recherche, à travailler dans un certain domaine ou rejoindre certains réseaux plutôt que d'autres. De cette manière, l’évaluation de la recherche façonne le développement de la science elle-même, et cela est particulièrement vrai en ce qui concerne son impact disproportionné sur les perspectives et les attentes des ECR.

Bien que la science soit une entreprise mondiale, certains chercheurs se heurtent à des obstacles plus importants pour entrer dans la communauté des chercheurs et s’y engager en raison de leur lieu de naissance, de leur identité ou de leur origine socio-économique. Il s’agit d’une question d’organisation de l’industrie scientifique et non d’évaluation de la recherche en soi, mais de nombreux ECR estiment que les critères d’évaluation ne devraient pas ignorer cette réalité de l’expérience des chercheurs et ne devraient pas imposer des critères uniformes et standardisés à différentes situations.

Les recherches menées par le groupe de travail sur l'excellence scientifique du GYA (rapport à paraître) montrent que l'évaluation de la recherche pourrait être davantage motivée par la politique de recherche d'un pays que par des débats culturels ou scientifiques. En se concentrant sur les critères de promotion au poste de professeur titulaire (ou équivalent) dans le milieu universitaire, le rapport montre que les politiques et les institutions nationales ont tendance à disposer de documents spécifiques définissant leurs critères d'évaluation de la recherche. Plutôt que d’englober un ensemble vaste et varié de critères qui pourraient être utilisés pour former une vision globale d’un chercheur, ces documents ont tendance à se concentrer sur une seule dimension ou priorité. Par exemple, certains documents se concentrent sur l'évaluation des activités de service d'un chercheur (telles que l'enseignement et le mentorat) ou d'autres sur la production accumulée d'un chercheur (par exemple, en termes de nombre d'articles de revues) – mais rarement les deux.

Il y a deux implications principales à cette découverte. Premièrement, cette évaluation de la recherche est hiérarchique et descendante. Cela crée un risque, dans la mesure où les mesures et les méthodes qualitatives ignorent souvent la diversité des chercheurs : à la fois dans leurs parcours et leurs parcours professionnels, et – tout aussi important – dans leurs méthodes et leurs idées. En revanche, les ECR représentés au GYA estiment qu’il serait important de reconnaître la diversité des activités nécessaires à l’entreprise de recherche et de concevoir des programmes d’évaluation de la recherche qui favorisent la diversité et le pluralisme plutôt que d’imposer la conformité et l’homologation.

Deuxièmement, les différences entre disciplines sont moins significatives que les différences selon le statut économique des pays dans lesquels travaille un chercheur. Les pays à faible revenu semblent s'appuyer sur des mesures quantitatives et récompenser la « productivité », tandis que les pays à revenu élevé sont de plus en plus ouverts à l'évaluation qualitative de l'impact. Si cette divergence s’accentuait, elle pourrait constituer un obstacle supplémentaire à la mobilité internationale des chercheurs – ce qui est particulièrement important pour les ECR.

En conclusion, le rapport GYA souligne qu'il n'existe pas de solution miracle : l'évaluation de la recherche doit être orientée vers les objectifs de l'évaluation et, en fin de compte, vers les objectifs d'une institution ou d'une politique de recherche d'un pays. L'évaluation doit tenir compte de la diversité des profils et des carrières des chercheurs et adopter une orientation différente en fonction de l'objectif de l'évaluation. La science étant une conversation globale et autocritique, une évaluation externe n’est pas toujours nécessaire. En effet, l’utilité et la valeur réelle de classements malveillants (de personnes, d’institutions, de médias ou même de pays entiers) sont souvent débattues.

Les défis mondiaux d'aujourd'hui, dont beaucoup sont articulés dans les objectifs de développement durable (ODD) des Nations Unies, nécessitent une recherche transformatrice, interdisciplinaire et transdisciplinaire, qui elle-même nécessite de nouvelles modalités de prestation et de coopération de la recherche (ISC, 2021) [19]. L’urgence d’une recherche inclusive, participative, transformatrice et transdisciplinaire n’a pas d’équivalent dans la manière dont la recherche est soutenue, évaluée et financée : pour que la recherche puisse tenir ses promesses envers la société, elle a besoin de systèmes d’évaluation plus ouverts, inclusifs et sensibles au contexte (Gluckman, 2022) [20]. Le comportement intégré des universitaires, des bailleurs de fonds et des éditeurs peut rendre le changement difficile, de sorte que les investissements peuvent potentiellement être détournés des domaines qui en ont le plus besoin.

La croissance de la recherche interdisciplinaire et transdisciplinaire et de la science participative ou citoyenne constitue un développement important et vital pour relever les défis mondiaux. Alors que la recherche transcende les frontières disciplinaires et institutionnelles et implique un ensemble plus large de parties prenantes – y compris la communauté des utilisateurs pour co-concevoir des questions de recherche urgentes pour la société – les critères d’évaluation de la recherche universitaire traditionnelle sont insuffisants et peuvent même limiter le développement et l’utilisation de la recherche transdisciplinaire (Belcher et al., 2021) [21]. Des principes et critères plus appropriés sont nécessaires pour guider la pratique et l’évaluation de la recherche transdisciplinaire : un premier exemple de cadre d’évaluation de la qualité est construit autour des principes de pertinence, de crédibilité, de légitimité et d’utilité (Belcher et al., 2016) [22].

Les façons dont la recherche est commandée, financée, menée et communiquée évoluent rapidement et nécessitent l’accélération de la réforme de l’évaluation de la recherche. Ils comprennent les éléments suivants :

(1) La transition vers la science ouverte

Le mouvement de la science ouverte nécessite une réforme concomitante des systèmes d’évaluation de la recherche pour améliorer l’ouverture et la transparence. De nombreux paramètres et indicateurs utilisés pour mesurer les performances de la recherche sont eux-mêmes opaques et fréquemment calculés à huis clos. Ce manque de transparence compromet l’autonomie de la communauté des chercheurs – il restreint les possibilités d’évaluation, de test, de vérification et d’amélioration des indicateurs de recherche (Wilsdon et coll., 2015 [23]). L'évaluation responsable de la recherche devient un aspect essentiel des avancées mondiales vers une science ouverte, comme en témoigne, par exemple, la Recommandation de l'Organisation des Nations Unies pour l'éducation, la science et la culture (UNESCO) sur la science ouverte (UNESCO, 2021 [24]) – qui comprend le développement d’une boîte à outils pour la science ouverte pour ses membres afin de les aider à revoir et à réformer leurs évaluations de carrière en recherche et leurs critères d’évaluation [25].

(2) Développements en matière d’évaluation par les pairs

La croissance de l’évaluation ouverte par les pairs – qu’il s’agisse de la publication de rapports d’évaluation par les pairs et/ou de l’identification publique des évaluateurs – constitue une évolution importante pour l’évaluation de la recherche (Barroga, 2020 [26] Woods et al., 2022 [27]). La croissance de l'infrastructure de données a permis aux éditeurs de générer des identifiants d'objet numérique (DOI) pour les rapports d'évaluation par les pairs, de lier les rapports d'évaluation par les pairs à des identifiants individuels de chercheur et de contributeur ouvert (ORCID) et de publier des articles sous forme de prépublications. Le nombre de prépublications a considérablement augmenté pendant la pandémie mondiale de COVID et a mis en évidence les défis posés par l’évaluation de la recherche en mode réponse rapide. Néanmoins, les pratiques ouvertes d’évaluation par les pairs – que ce soit avant ou après la publication – peuvent contribuer à perturber le contrôle qu’exercent les éditeurs commerciaux sur les processus de communication et de production des connaissances en matière de recherche, réduisant ainsi le pouvoir de la revue scientifique et des mesures associées telles que les JIF. Les dossiers ouverts des activités d’évaluation par les pairs peuvent également fournir une infrastructure pour documenter – et, avec le temps, générer une plus grande valeur dans – les activités d’évaluation par les pairs, qui constituent un service professionnel vital souvent largement invisible et sous-estimé dans les évaluations académiques (Kaltenbrunner et coll., 2022 [28]).

(3) L'application de l'intelligence artificielle et de l'apprentissage automatique

Les progrès technologiques en matière d'intelligence artificielle (IA) et d'apprentissage automatique auront probablement de profondes conséquences sur l'évaluation de la recherche, y compris sur les processus d'examen par les pairs qui la soutiennent (par exemple Holm et coll., 2022 [29] Proctor et coll., 2020 [30]). L’IA est déjà utilisée pour rationaliser et renforcer l’évaluation par les pairs (Nature, 2015 [31] ; Nature, 2022. [32]), tester la qualité de l’évaluation par les pairs (Séverin et coll., 2022 [33]), tester la qualité des citations (Gadd, 2020 [34]), détecter le plagiat (Foltynek et al., 2020 [35]), capturent les données des chercheurs traitant (Quach, 2022 [36]) et trouver des pairs évaluateurs, de plus en plus rares car ces travaux n'obtiennent pas le crédit qu'ils méritent dans l'évaluation des chercheurs. L'« IA conversationnelle », telle que ChatGPT (Chat Generative Pre-Trained Transformer), a la capacité de concevoir des expériences, d'écrire et de compléter des manuscrits, de procéder à un examen par les pairs et de soutenir les décisions éditoriales d'accepter ou de rejeter des manuscrits (Nature, 2023. [37]). L’IA pourrait également améliorer l’efficacité de l’évaluation par les pairs en utilisant des algorithmes pour alléger le fardeau des évaluateurs en tant qu’arbitres des résultats de la recherche (Nature, 2022. ). L'utilisation de l'IA est déjà testée en Chine pour trouver des arbitres (Nature, 2019. [39]).

Toutes ces applications d’IA peuvent réduire ce fardeau et permettre aux experts expérimentés de concentrer leur jugement sur la qualité de la recherche et sur des évaluations plus complexes (Thelwall, 2022 [40]). Mais elles risquent également de propager des biais car ce sont des technologies prédictives qui renforcent les données existantes qui peuvent être biaisées (par exemple en fonction du sexe, de la nationalité, de l'origine ethnique ou de l'âge) : en effet, l'utilisation de l'IA elle-même pourrait bénéficier d'une compréhension plus approfondie de ce qui constitue la « qualité ». ' recherche (Chomsky et coll., 2023 [41] ISI, 2022 [42]).

Cependant, il est essentiel que toutes les formes d’IA et d’apprentissage automatique soient sujettes à des abus (Blauth et coll., 2022 [43]; Bengio, 2019 [44]). Les communautés universitaires et de recherche devront se préparer et faire preuve de résilience face à cette situation, en travaillant avec les dirigeants du gouvernement, de l’industrie et de la société civile qui gouvernent cet espace.

(4) L'essor des médias sociaux

Les mesures quantitatives conventionnelles de l’impact de la recherche ne tiennent pas compte de l’augmentation de l’engagement dans les médias sociaux et des chercheurs/universitaires connectés aux réseaux sociaux (Jordan, 2022 [45]). De nombreux universitaires utilisent les plateformes de médias sociaux pour impliquer les communautés, les décideurs politiques et le public tout au long de la durée de leur projet de recherche ; s'engager positivement dans leurs recherches, les tester et les éclairer, et apporter une diversité d'idées et de contributions, plutôt que de simplement publier le résultat final comme un fait accompli pour un public destinataire. Cet engagement n’est pas repris par les formes conventionnelles d’évaluation de la recherche, mais peut conduire à des opportunités d’influence et de sensibilisation plus larges. Les mesures des médias sociaux (« altmetrics ») sont en cours de développement pour contribuer à des mesures responsables (Wouters et coll., 2019 [4]) et incluez les mentions Twitter ou Facebook et le nombre de followers sur ResearchGate, par exemple. D’une part, ces altmetrics peuvent aider à s’ouvrir, à créer de l’espace et à élargir l’évaluation (Rafols et Stirling, 2021 [47]), mais d’un autre côté, comme d’autres indicateurs, ils peuvent également être utilisés de manière irresponsable et/ou donner l’impression d’imposer une autre couche de mesures dans les systèmes d’évaluation.

Les défis posés à la réforme de l’évaluation de la recherche sont multiples. Quelques-uns des plus significatifs sont illustrés ici.

Toute réforme incluant davantage de mesures qualitatives doit – en même temps – préserver la qualité de la recherche fondamentale et appliquée. Il existe des preuves anecdotiques selon lesquelles certains scientifiques pourraient eux-mêmes s’opposer à la réforme, peut-être en particulier les chercheurs avancés qui ont prospéré dans le système actuel, parce qu’ils craignent que celle-ci risque d’alimenter une recherche médiocre, ou que des formes d’évaluation plus qualitatives puissent favoriser la recherche appliquée par rapport à la recherche fondamentale. La réforme des critères d’évaluation de la recherche tend à s’articuler autour d’évolutions vers une recherche orientée vers une mission et ayant un impact sociétal, qui fait appel au soutien du public et des politiques d’une manière que la recherche fondamentale ou à ciel bleu moins tangible ne peut pas faire. Certains soutiennent qu'une interprétation plus nuancée de la « valeur » de la recherche est nécessaire pour soutenir l'innovation, car l'avenir nécessite un investissement continu dans la recherche fondamentale motivée par la curiosité et une appréciation plus large du rôle crucial qu'elle joue dans la capacité de répondre aux défis mondiaux (GYA, 2022 [48]).

Le manque de cohérence dans le sens et l’utilisation de la terminologie de recherche, de manière plus générale, constitue un obstacle au changement. Le cadre conceptuel de l'évaluation de la recherche n'a pas beaucoup changé au fil du temps, pas plus que le langage qui le soutient : le système de recherche est toujours coincé dans de vieilles dichotomies telles que science « fondamentale » et « appliquée », et des termes comme « impact », « qualité » (inutilement assimilé à la productivité) et « l'excellence » ne sont pas clairement définis de manière à éviter les préjugés géographiques, disciplinaires, liés au stade de carrière et au genre. (Jong et coll., 2021 [49]) : cela peut être particulièrement aigu dans les panels décisionnels manquant de diversité (Hatch et Curry, 2020 ) [50].

Tout comme l’évaluation basée sur des paramètres, les formes d’évaluation plus qualitatives sont également imparfaites. Faire valoir que les processus d’évaluation par les pairs et le jugement des experts sont au moins aussi importants que la bibliométrie n’est pas simple. Ils peuvent être biaisés en raison du manque de clarté et de transparence du processus d’évaluation par les pairs. Les comités d'examen par les pairs, par exemple, ont été critiqués comme des mécanismes qui préservent les formes établies de pouvoir et de privilèges en permettant aux « réseaux de vieux garçons » et à l'homophilie (les évaluateurs recherchant ceux qui leur ressemblent) de persister, tout en étant également vulnérables aux dynamiques de pensée de groupe. Les mesures quantitatives, même imparfaites, sont considérées dans certaines régions du monde comme un moyen de défense contre le népotisme et les préjugés. Des arguments similaires peuvent être appliqués à l’examen par les pairs des documents de recherche, le recours à une évaluation plus qualitative ouvrant potentiellement la porte à d’autres formes de comportement discriminatoire.

Le manque de reconnaissance professionnelle et de formation pour l’évaluation par les pairs, sous quelque forme que ce soit, décourage l’exercice de la fonction d’évaluateur par les pairs, réduisant ainsi les capacités. En outre, lorsque la demande dépasse l’offre, elle peut inciter à rogner sur les raccourcis et à réduire la rigueur. Il est nécessaire d’accroître la transparence de l’évaluation par les pairs (qu’elle soit totalement ouverte, anonyme ou hybride) et de former, en encourageant et en récompensant les bonnes pratiques d’évaluation par les pairs ; tout comme la poursuite des recherches sur les modèles d'évolution à mesure que les résultats de la recherche se diversifient (PAI, 2022 [51]) et les technologies d’IA progressent.

Les débats sur la réforme de l’évaluation de la recherche sont complexes et non binaires. Les informations qualitatives et quantitatives ont souvent été combinées dans des contextes d'évaluation par les pairs : des déclarations comme le Manifeste de Leiden pour les mesures de recherche (Hicks et coll., 2015 [52]) appellent à un « examen par les pairs éclairé » dans lequel le jugement des experts est soutenu – mais non guidé par – des indicateurs quantitatifs sélectionnés et interprétés de manière appropriée et par des informations qualitatives. Le débat sur l'évaluation de la recherche n'est pas un choix binaire « qualitatif ou quantitatif » d'outils d'évaluation, mais plutôt la manière d'assurer la meilleure combinaison de multiples formes d'information.

Enfin, toute réforme doit également être pratique et réalisable. Le système de recherche montre déjà des signes d'effondrement, à mesure que le volume des publications augmente de façon exponentielle et que le fardeau de l'évaluation tombe de manière inégale dans l'entreprise de recherche (par exemple Publications, 2018 [53] Kovanis et coll., 2016 [54] Nature, 2023. [55]). Les mesures basées sur les revues et l'indice h, ainsi que les notions qualitatives de prestige de l'éditeur et de réputation institutionnelle, peuvent fournir des raccourcis pratiques pour les évaluateurs occupés et présenter des obstacles au changement qui sont devenus profondément ancrés dans l'évaluation universitaire (Hatch et Curry, 2020 [56]). Les mesures quantitatives sont saluées dans certains pays comme fournissant des voies relativement claires et sans ambiguïté en matière de nomination et de promotion. Dans les pays du Sud, des facteurs d'impact moyens sont couramment utilisés pour présélectionner les candidats, et toute alternative doit être également réalisable et capable de tirer parti des ressources supplémentaires inévitablement requises pour élargir la portée de l'évaluation. La commodité d’utiliser des mesures quantitatives simples dans l’évaluation de la recherche constituera probablement un obstacle majeur au changement, et l’introduction de nouveaux systèmes d’évaluation pourrait même créer davantage d’iniquité mondiale en raison du manque de capacité ou de compétence dans certains pays.

Au cours de la dernière décennie, une série de manifestes et de principes de grande envergure sur l'évaluation de la recherche ont été publiés pour relever ces défis, notamment le Manifeste de Leiden (élaboré par un groupe d'experts internationaux), les Principes de Hong Kong (Moher et al., 2020 [57]) (développé lors de la 6e Conférence mondiale sur l’intégrité de la recherche en 2019) et La marée métrique [58] et Exploiter la marée métrique [59] rapports (élaborés dans le contexte d'un examen du cadre de recherche et d'évaluation du Royaume-Uni, REF). Il existe au moins 15 efforts distincts exhortant les principales parties prenantes – qu’il s’agisse des décideurs politiques, des bailleurs de fonds ou des directeurs d’établissements d’enseignement supérieur (EES) – à minimiser les dommages potentiels des systèmes d’évaluation actuels. Toutes ces initiatives ont touché un large public et sont progressistes dans la mesure où elles mettent l’accent sur des mesures responsables comme condition préalable à l’amélioration de la culture de la recherche et à l’instauration de l’égalité, de la diversité, de l’inclusion et de l’appartenance à la communauté de la recherche. Mais certains architectes de ces initiatives s’inquiètent de plus en plus du fait que, bien qu’utiles, elles nuisent à une action pratique concrète : l’acte d’être signataire n’est efficace que s’il est suivi d’une mise en œuvre pratique (Nature, 2022. [60]).

Il existe un soutien croissant en faveur d’une « évaluation responsable de la recherche » et de « mesures responsables » (DORA, 2012 [61] Hicks et al. 2015 [62] Wilsdon et coll., 2015) qui s'éloignent des mesures purement quantitatives pour se tourner vers une plus grande variété de mesures permettant aux chercheurs de décrire l'impact économique, social, culturel, environnemental et politique de leurs recherches ; pour tenir compte des enjeux valorisés par la communauté des chercheurs : « des données utiles » ou des « indicateurs axés sur la valeur » qui abordent des attributs plus larges (Curry et coll., 2022 [63]). Ces dernières années, des approches innovantes et progressistes d’évaluation responsable de la recherche ont été développées et pilotées par certains établissements d’enseignement supérieur et bailleurs de fonds de la recherche dans des régions et des pays du monde entier. Certains sont mis en avant ici.

Parmi les initiatives mondiales mentionnées ci-dessus, la San Francisco 2013 'Déclaration sur l'évaluation de la recherche» [64] (DORA) est peut-être l’initiative mondiale la plus active. Il a répertorié les problèmes causés par l'utilisation d'indicateurs basés sur des revues pour évaluer les performances de chercheurs individuels et propose 18 recommandations pour améliorer cette évaluation. DORA décourage catégoriquement l'utilisation de mesures basées sur des revues pour évaluer la contribution d'un chercheur ou lorsque l'on cherche à embaucher, promouvoir ou financer. À la mi-avril 2023, la déclaration avait été signée par 23,059 160 signataires (institutions et particuliers) dans XNUMX pays, s'engageant à réformer. En mettant l'accent sur la résolution des défis intrinsèques et des préjugés innés de l'évaluation qualitative, DORA développe Outils pour faire progresser l’évaluation de la recherche (TARA) [65] pour aider à mettre la déclaration en pratique : ces outils comprennent un tableau de bord pour indexer et classer les politiques et pratiques innovantes en matière d'évaluation de carrière et une boîte à outils de ressources pour aider à éliminer les préjugés dans la composition des comités et à reconnaître différentes formes qualitatives d'impact de la recherche.

En outre, DORA finance dix projets – en Argentine, en Australie, au Brésil, en Colombie (2), en Inde, au Japon, aux Pays-Bas, en Ouganda et au Venezuela – pour tester différentes manières de promouvoir la réforme de l'évaluation de la recherche dans leurs contextes locaux, ainsi que compiler des exemples de bonnes pratiques: par exemple, sensibilisation, développement de nouvelles politiques ou pratiques, formation et conseils pratiques pour les candidats à un emploi (DORA [66]). La demande de subventions de ce type a été élevée – plus de 55 candidats provenant de 29 pays – ce qui indique une reconnaissance croissante de la nécessité d'une réforme.

Les associations professionnelles de gestion de la recherche comme le Réseau international des sociétés de gestion de la recherche (INORMS) ont également développé activement des ressources pour guider le changement organisationnel, y compris le Groupe d'évaluation de la recherche sur le cadre SCOPE | INORMS – Le cadre INORMS SCOPE pour l’évaluation de la recherche [67] qui commence par définir ce qui est valorisé, qui est évalué et pourquoi (une affiche explicative utile ici [68]).

Le secteur du développement international a offert de nouvelles perspectives en matière d'évaluation de la recherche, un excellent exemple étant Recherche Qualité Plus | CRDI – Centre de recherches pour le développement international [69], qui mesure ce qui compte pour les personnes qui reçoivent la recherche. L'outil Research Quality Plus (RQ+) reconnaît que le mérite scientifique est nécessaire mais pas suffisant, reconnaissant le rôle crucial de la communauté des utilisateurs pour déterminer si la recherche est pertinente et légitime. Il reconnaît également que la mise à jour et l’influence de la recherche commencent au cours du processus de recherche. Les demandes de recherche sont souvent évaluées par des panels hautement interdisciplinaires, comprenant également des experts en développement extérieurs au monde universitaire (par exemple un ministère ou une organisation non gouvernementale (ONG)), des praticiens et des représentants nationaux : cela renforce l'importance de la communauté des utilisateurs/des experts non spécialisés. avoir besoin de comprendre la recherche et comment elle peut être appliquée dans la pratique. La recherche dans des contextes complexes, à faible revenu ou fragiles peut être accompagnée d'une boîte à outils ou d'un cadre éthique, conçu pour éclairer et soutenir les choix éthiques tout au long du cycle de vie de la recherche, depuis le début jusqu'à la diffusion et l'impact, par exemple Reid et al., 2019 [70]. Les approches de « théorie du changement » sont largement utilisées dans la recherche sur le développement international par les donateurs, les ONG et les agences multilatérales, où les candidats doivent articuler des voies menant à un impact, soutenues par des cadres de suivi, d'évaluation et d'apprentissage, par exemple. Valters, 2014 [71]. La communauté de la recherche universitaire peut potentiellement apprendre de la communauté du développement.

Reconnaissant le rôle des bailleurs de fonds dans l'élaboration des stratégies des établissements d'enseignement supérieur, le Évaluation de la recherche responsable du Global Research Council (GRC) (RRA) [72] a incité les principaux bailleurs de fonds de la recherche du monde entier à œuvrer pour réaliser les ambitions de la RRA dans leurs propres contextes régionaux et nationaux et à développer des cadres d'évaluation efficaces pour évaluer l'impact (vidéo explicative ici [73]). Commande d'un document de travail sur la RRA (Curry et coll., 2020 [74]), le GRC a appelé ses membres à intégrer les principes de la RRA et à prendre des mesures concrètes pour les mettre en œuvre, et à apprendre les uns des autres grâce à la collaboration et au partage de bonnes pratiques. Un groupe de travail international [75] fournit des conseils et un soutien aux membres du GRC, les aidant à passer du mouvement à l'action.

En grande partie grâce aux efforts du GYA, les ECR commencent également à se mobiliser autour de ce programme. C'est Groupe de travail sur l'excellence scientifique [76] s'efforce d'identifier des environnements de recherche propices à « libérer la curiosité et la créativité dans le domaine scientifique et à favoriser le développement du potentiel humain par la diversité et l'inclusion ». Leur travail appelle la communauté ECR à remettre en question les définitions de « l'excellence » utilisées par leurs organisations, à s'impliquer dans des initiatives visant à réformer l'évaluation de la recherche et à rejoindre le mouvement des Young Academies. Il appelle également les organismes de financement et de recrutement à impliquer les ECR dans les débats sur l’évaluation de la recherche et à reconnaître une plus grande diversité de contributions et de carrières dans la recherche.

Bien que certaines universités et autres établissements d’enseignement supérieur soient signataires de DORA et/ou rejoignent le mouvement européen (décrit ci-dessous), ils ne semblent pas s’organiser collectivement autour de l’évaluation de la recherche comme le font d’autres groupes clés.

Les problèmes créés par les systèmes d'évaluation qui sont presque exclusivement quantitatifs sont largement perçus et diagnostiqués du point de vue du « Nord », le « Sud » risquant de rattraper son retard. Au risque d'une généralisation excessive, il existe des problèmes systémiques majeurs dans le « Nord » liés au manque de diversité, d'équité et d'inclusion, qui sont exacerbés par les systèmes d'évaluation. Dans le « Sud global », il y a un manque de définition locale et régionale de ce qui constitue la « qualité » et « l'impact », des systèmes d'évaluation très variés (même entre les départements d'une même université) et relativement peu de contestation des le status quo. Partout dans le monde, les problèmes proviennent de l’importance excessive accordée aux indicateurs quantitatifs, du lien entre évaluation et allocation des ressources, du système de financement hautement compétitif et de la pression pour publier, et du mépris pour d’autres dimensions moins quantifiables de la recherche et de la vie universitaire.

La littérature évaluée par des pairs sur les études comparatives sur la réforme de l’évaluation de la recherche est rare. Une rare exception est une comparaison des interventions d'évaluation de la recherche dans six zones géographiques différentes (Australie, Canada, Allemagne, Hong Kong, Nouvelle-Zélande et Royaume-Uni), qui observe que la performance indexée de chacune des six semble s'améliorer après plusieurs types d'intervention (au moins en utilisant des indicateurs bibliométriques conventionnels) (ISI, 2022 [77]). DORA propose des études de cas (en grande partie institutionnelles) sur sa page Web (DORA [78]) et dans un rapport (DORA, 2021 [79]) destinés à inciter les autres à agir, mais il s’agit là d’exemples majoritairement européens.

Ici, les auteurs fournissent des aperçus régionaux et des exemples nationaux d’expérimentation et de réforme pour un aperçu plus approfondi – ceux-ci ne prétendent pas être complets ou exhaustifs.

La Coalition européenne pour la réforme de l'évaluation de la recherche [80], ou CoARA, approuvée en juillet 2022, est la plus grande initiative de réforme de l’évaluation de la recherche au monde. En préparation depuis quatre ans et développé par 350 organisations dans 40 pays (en grande partie européens), l'Association européenne des universités et Science Europe (un réseau de bailleurs de fonds et d'académies scientifiques du continent), de concert avec la Commission européenne, ont élaboré un accord ou fixé de principes (un 'parcours de réforme'), pour une évaluation de la recherche plus inclusive et responsable (CoARA, 2022 [81]). L'accord se concentre sur trois niveaux d'évaluation : les établissements, les chercheurs individuels et la recherche elle-même. Bien que gouvernée par des partenaires européens, la coalition a l’ambition de devenir mondiale et DORA et GYA en sont déjà signataires. Les signataires s'engagent à engager des ressources pour améliorer l'évaluation de la recherche, développer de nouveaux critères et outils d'évaluation, sensibiliser et offrir une formation sur l'évaluation de la recherche (par exemple aux pairs évaluateurs). Cette évolution a été décrite comme « le signe le plus prometteur d’un véritable changement » (Nature, 2022. [82]).

L'UE finance également de nouvelles initiatives passionnantes conçues pour soutenir la réforme de l'évaluation de la recherche : notamment la science ouverte et universelle (OPUS [83]) – développer une « suite complète » d’indicateurs couvrant de multiples processus et résultats de recherche, et ainsi inciter les chercheurs européens à pratiquer la science ouverte – et l’espace de données d’évaluation de la science ouverte SaisirOS [84] – créer un espace de données ouvert pour soutenir la réforme politique en matière d’évaluation de la recherche.

Le Conseil européen de la recherche (ERC), qui soutient la recherche exploratoire dans tous les domaines (avec un budget de 16 milliards d'euros pour 2021-2027), a signé CoARA et a modifié ses formulaires et processus d'évaluation pour intégrer des descriptions plus narratives, notamment en prenant en compte moins des parcours de carrière conventionnels et des « contributions exceptionnelles » à la communauté de la recherche. Les propositions seront jugées davantage sur leur mérite que sur les réalisations passées du candidat et continueront d'être évaluées par des comités d'examen par les pairs composés d'éminents universitaires en utilisant le seul critère d'excellence scientifique (ERC, 2022 [85]).

Certaines académies européennes sont également engagées. Le Conseil de ALLEA [86], la Fédération européenne des académies des sciences et des sciences humaines, représentant neuf des plus de 50 académies nationales dans 40 pays européens, a soutenu le mouvement CoARA. ALLEA s'est engagé à créer un groupe de travail dédié pour collecter, échanger et promouvoir les bonnes pratiques en matière d'admission de nouveaux membres de l'Académie et pour contribuer à un « échange culturel significatif » d'évaluation de la recherche, basé sur les principes de qualité, d'intégrité, de diversité et d'ouverture. Dans son Déclaration d'octobre 2022 , ALLEA appelle les académies membres à faire ce qui suit :

1. Reconnaître la diversité des contributions et des carrières en recherche conformément aux besoins et à la nature de la recherche ; dans le cas des boursiers de l'Académie, les procédures de sélection devraient (1) prendre en compte la parité hommes-femmes et les défis uniques des chercheurs en début de carrière, (2) soutenir la diversité des cultures et des disciplines, (3) valoriser une variété de domaines de compétences et de talents, et (4) promouvoir l'interdisciplinarité et le multilinguisme.

2. Fonder l'évaluation de la recherche principalement sur une évaluation qualitative pour laquelle l'examen par les pairs est central, soutenu par une utilisation responsable d'indicateurs quantitatifs ; l'évaluation de l'excellence et de l'impact des travaux des candidats boursiers doit être basée sur un examen qualitatif par les pairs qui répond aux principes fondamentaux de rigueur et de transparence et prend en considération la nature spécifique de la discipline scientifique.

3. Abandonner l'utilisation inappropriée de mesures basées sur les revues et les publications dans l'évaluation de la recherche ; en particulier, cela signifie abandonner l'utilisation de mesures telles que le Journal Impact Factor (JIF), l'Article Influence Score (AIS) et l'indice h comme indicateurs dominants de la qualité et de l'impact.

Déclaration d'Allea sur la réforme de l'évaluation de la recherche au sein des académies européennes

Dans leurs réponse conjointe [87] À l'accord de l'UE et à la coalition CoARA, la communauté ECR de la GYA a également salué cet engagement et propose des moyens de mettre en œuvre ses principes. Il s'agit notamment de pratiques inclusives et reflétant la diversité des spécificités nationales et des caractéristiques des disciplines, les chercheurs de tous les niveaux de carrière bénéficiant de formations, d'incitations et de récompenses, la formation obligatoire sur la science ouverte pour les chercheurs, le personnel et les membres des comités étant essentielle.

Les universités européennes à forte intensité de recherche ont également soutenu la réforme de l'évaluation de la recherche en tant que voie vers des carrières de recherche « multidimensionnelles » (Overlaet, B., 2022 [88]). Ils ont développé un cadre commun pour inspirer et aider les universités à reconnaître une diversité de contributions à la recherche, à l'éducation et au service à la société.

Au niveau national, plusieurs pays testent désormais différents modèles d'évaluation : par exemple, les agences nationales de financement Belgique, Pays-Bas, Suisse ainsi que UK utilisent tous des « CV narratifs ». Les CV narratifs examinent de manière plus globale la réussite académique : contribution à la génération de connaissances, au développement des individus, à la communauté de recherche au sens large et à la société au sens large (La Royal Society [89]). Même si ce type de CV suscite un soutien croissant, certains craignent également qu'ils obligent les universitaires à être bons dans tous les domaines, et risquent ainsi de compromettre une expertise approfondie dans la recherche d'un statut de polyvalent (Grove, J., 2021 [90]).

Quatre exemples de systèmes de recherche nationaux qui coordonnent des réformes à l'échelle nationale en matière d'évaluations académiques orientées vers la carrière sont inclus dans les encadrés suivants.

Exemple national : le Royaume-Uni

Le Research Evaluation Framework (REF) du Royaume-Uni mesure l'impact de la recherche à travers deux dimensions : « l'importance » (la différence tangible qu'un projet apporte) et la « portée » (la mesure quantifiable dans laquelle il le fait) (UKRI). L'impact est ici défini comme « un effet, un changement ou un bénéfice pour l'économie, la société, la culture, la politique ou les services publics, la santé, l'environnement ou la qualité de vie, au-delà du monde universitaire », mais au-delà de cela, il s'agit d'une discipline très ouverte. variable et sans doute ambiguë, ne tenant pas suffisamment compte de l’engagement du public, par exemple.

Le REF du Royaume-Uni est évalué en 2022-2023 dans le cadre du Programme d'évaluation de la recherche future explorer de nouvelles approches possibles pour l'évaluation des performances de la recherche dans l'enseignement supérieur au Royaume-Uni, et comprend la compréhension des pratiques internationales d'évaluation de la recherche. La prochaine itération du REF prendra peut-être en compte un ensemble plus diversifié de résultats et peut-être même réduira l’importance qui leur est accordée. Le modèle actuel accorde 60 % d’importance aux résultats, 25 % à l’impact de la recherche et 15 % à la culture/environnement de la recherche. Si ces facteurs étaient plus équitablement pondérés, le REF aurait alors un aspect très différent, avec une plus grande importance accordée à la culture de la recherche, à l’intégrité de la recherche et au travail d’équipe (Bosquet, 2020).

Exemple national : Finlande

En 2020, la Fédération finlandaise des sociétés savantes a coordonné un groupe de travail composé de bailleurs de fonds de la recherche, d'universités et de syndicats qui a publié la déclaration Bonnes pratiques en matière d'évaluation de la recherche. Celui-ci définit des lignes directrices pour suivre un processus responsable d'évaluation des universitaires individuels, comprenant cinq principes généraux d'évaluation : transparence, intégrité, équité, compétence et diversité. Les bonnes pratiques en matière d'évaluation de la recherche appellent à ce que l'intégrité de la recherche, l'éducation, le mentorat et les services scientifiques (par exemple l'examen par les pairs) soient mieux reconnus dans l'évaluation des contributions académiques des individus. La déclaration considère que les évaluations ne consistent pas simplement à produire des jugements sommatifs : elle encourage également les évaluateurs à partager leurs commentaires avec les personnes évaluées afin de faciliter la rétroaction et l'apprentissage.

Les organismes de recherche et les organismes de financement de la recherche se sont tous engagés à mettre en œuvre de bonnes pratiques en matière d'évaluation de la recherche et à générer leurs propres variantes locales des orientations, et un modèle national de CV de portefeuille de chercheurs est en cours d'élaboration. Les bonnes pratiques en matière d’évaluation de la recherche s’engagent à des révisions et des améliorations régulières.

Exemple national : les Pays-Bas

Aux Pays-Bas, le programme national de reconnaissance et de récompenses a débuté en 2019, avec la publication de la déclaration de position De la place pour le talent de chacun. Cette collaboration à l'échelle nationale entre l'Académie royale des arts et des sciences des Pays-Bas (KNAW – membre de l'IAP et de l'ISC), les bailleurs de fonds de la recherche, les universités et les centres médicaux indique qu'une modernisation à l'échelle du système des cultures d'évaluation de la recherche doit se produire. Ce faisant, elle décline cinq ambitions pour faire évoluer les procédures d’évaluation : une plus grande diversité des parcours professionnels, la reconnaissance des performances individuelles et collectives, la priorité à la qualité du travail sur les indicateurs quantitatifs, la science ouverte et le leadership académique.

Depuis 2019, les universités néerlandaises ont décidé de promulguer leurs propres traductions locales de la déclaration de vision nationale. Simultanément, les agences de financement ont lancé des formats de « CV narratifs » plus nombreux et ont cessé de demander des informations bibliométriques, citant San Francisco DORA comme source d'inspiration. Le Conseil néerlandais de la recherche a récemment déménagé dans un CV « fondé sur des preuves » dans lequel certaines informations quantitatives peuvent être utilisées. Le KNAW a également développé son propre plan triennal mettre en œuvre le programme de reconnaissance et de récompenses en interne. Un gestionnaire de programme et une équipe à temps plein ont été nommés pour faciliter le programme de réforme de reconnaissance et de récompenses, et un « Festival de reconnaissance et de récompenses » est organisé chaque année entre les principaux acteurs de la réforme pour soutenir l'apprentissage à l'échelle de la communauté.

Enfin, financé par une subvention d'engagement communautaire DORA, le Initiative Jeune Scientifique en Transition pour les doctorants, basée à Utrecht, a développé un nouveau guide d'évaluation pour les doctorats, dans le but de changer la culture de la recherche.

Exemple national : Norvège

En 2021, la Norvège, les universités norvégiennes et le Conseil norvégien de la recherche ont publié NOR-CAM – Une boîte à outils pour la reconnaissance et les récompenses dans les évaluations académiques. NOR-CAM fournit un cadre matriciel pour améliorer la transparence et élargir l'évaluation de la recherche et des chercheurs au-delà des indicateurs étroits fondés sur la bibliométrie. NOR-CAM signifie Norwegian Career Assessment Matrix et a été adapté d'un document de 2017. rapport par la Commission européenne qui a présenté la matrice d'évaluation des carrières en science ouverte. Comme son prédécesseur européen, NOR-CAM propose également des moyens de mieux intégrer les pratiques scientifiques ouvertes dans les évaluations. La matrice vise à guider les évaluateurs et les candidats à des postes universitaires, aux demandes de financement de recherche et aux évaluateurs nationaux évaluant la recherche et l'éducation norvégiennes. Il est également destiné à servir de guide général pour le développement de carrière individuel.

La matrice comprend six domaines de compétence principaux : les résultats de la recherche, le processus de recherche, les compétences pédagogiques, l'impact et l'innovation, le leadership et d'autres compétences. La matrice fournit ensuite des suggestions pour permettre la planification de carrière et la reconnaissance de l'évaluation autour de chacun des critères – des exemples de résultats et de compétences, des moyens de documentation et des pistes de réflexion sur chaque critère. On ne s’attend pas à ce que les candidats obtiennent des résultats égaux sur tous les critères.

NOR-CAM a été créé par un groupe de travail composé d'acteurs d'organismes de recherche et de financement, coordonné par Universities Norvège, ce qui signifie qu'il bénéficie en principe de l'adhésion des membres de toutes les universités norvégiennes. Des ateliers impliquant des universités norvégiennes ont ensuite été organisés pour développer conjointement des moyens d'intégrer NOR-CAM dans les procédures d'évaluation des nominations et des promotions, et un système de CV « automatique » est en cours de développement pour récupérer des données provenant de multiples sources nationales et internationales. Il est en cours de développement afin de réduire les formalités administratives. fardeau. Les coordinateurs des trois programmes de réforme au niveau national mentionnés ci-dessus se sont réunis régulièrement pour échanger leurs expériences et partager leurs apprentissages.

L’Amérique latine et les Caraïbes (ALC) contrastent à bien des égards avec d’autres régions du monde. Ici, la science est considérée comme un bien public mondial et ses systèmes et infrastructures de recherche et de publication universitaire sont de propriété publique (financés) et non commerciaux : mais ces atouts et traditions régionales ne se reflètent pas encore dans les systèmes d’évaluation. Les principales parties prenantes susceptibles d’apporter des changements sont les conseils nationaux de la recherche, les ministères des sciences et les principales universités de recherche – le rôle des établissements d’enseignement supérieur est vital, étant donné que plus de 60 % des chercheurs travaillent dans des universités (RiCyT, 2020 [91]). Il est possible d’aligner plus étroitement les systèmes d’évaluation sur les ODD et sur les mouvements de science ouverte et de science citoyenne, qui ont une tradition florissante dans la région.

Il existe actuellement une forte fragmentation des systèmes d’évaluation de la recherche aux niveaux national, local et institutionnel, mettant la recherche en concurrence avec d’autres fonctions, telles que l’enseignement, la vulgarisation et la coproduction. Les systèmes d'évaluation de la recherche et de bourses des chercheurs en ALC favorisent généralement une notion d'excellence ancrée dans les méthodologies du « Nord », fondée exclusivement sur le facteur d'impact des revues et des classements universitaires (CLACSO, 2020 [92]). La reconnaissance des différentes formes de production et de communication des connaissances, ainsi que la multiplicité des carrières universitaires (par exemple, enseignement, formation et mentorat, science citoyenne et communication publique de la science) sont largement absentes des pratiques d'évaluation de la recherche. Cela est particulièrement problématique pour les chercheurs en sciences sociales et humaines, où les monographies et les langues locales sont largement utilisées (CLACSO, 2021 [93]). Les revues et indicateurs régionaux sont dévalorisés ou ne sont pas reconnus dans ces processus d’évaluation. Tout cela est exacerbé par la faiblesse des systèmes d’information et la faible interopérabilité des infrastructures (en particulier celles appartenant à la communauté), sous-financées car les rares fonds sont dirigés vers les paiements d’APC pour les revues en libre accès.

Néanmoins, certaines universités de la région commencent à mettre en œuvre des pratiques d’évaluation qui déploient une combinaison de méthodologies qualitatives et quantitatives, notamment dans l’évaluation des chercheurs et la recherche orientée mission (Gras, 2022 [94]). La transition vers des systèmes d’évaluation de la recherche plus complets nécessitera la conception conjointe de critères plus qualitatifs ; l’utilisation responsable des données quantitatives et le renforcement des processus d’examen par les pairs ; des changements progressifs qui harmonisent et coordonnent les politiques et les méthodologies vers des principes partagés sur l’évaluation responsable de la recherche et la science ouverte ; de nouvelles méthodologies et données pour mieux évaluer les questions scientifiques inter/transdisciplinaires, environnementales et locales ; des infrastructures partagées, interopérables, durables et fédérées qui soutiennent la bibliodiversité et le multilinguisme ; et des conceptions participatives ascendantes qui élargissent la participation des citoyens et des mouvements sociaux et l’inclusion de groupes de recherche sous-représentés.

Pour relever ces défis, la région a adopté un ensemble de principes et de lignes directrices pour l'évaluation de la recherche. Le Déclaration de principes CLACSO-FOLEC pour l'évaluation de la recherche [95], approuvé en juin 2022, vise à garantir et à protéger la qualité et la science socialement pertinente, et à adopter les principes de DORA et de la science ouverte, la diversité des résultats de recherche et des carrières de recherche, la valeur des revues régionales et des services d'indexation, et d'interdisciplinarité, de langue locale et de savoir autochtone. À ce jour, il compte plus de 220 adhérents et il existe déjà des tendances positives en matière d'évaluation responsable de la recherche et des exemples de réforme. Quelques exemples nationaux sont fournis dans les encadrés suivants.

Exemple national : Colombie

Financés par un prix d'engagement communautaire DORA, les associations colombiennes d'universités, d'éditeurs universitaires, de directeurs de recherche et un réseau de gestion scientifique et technologique, entre autres, ont travaillé ensemble sur les opportunités et les défis des mesures responsables en Colombie. Grâce à une série d'ateliers et de consultations, notamment avec des organisations internationales comme références, ils ont développé une rubrique pour aider les institutions colombiennes à concevoir leurs propres REF. Cette rubrique s'efforce de prendre en compte les défis identifiés au niveau local, qui – pour les EES – incluent le manque de connaissances sur les alternatives d'évaluation de la recherche, la nature de l'écosystème national d'évaluation de la recherche et la résistance au changement. UN site web dédié a été développé, ainsi que des infographies pour aider les chercheurs, et la diffusion et l'apprentissage continuent d'être partagés à travers le pays.

En savoir plus : Le projet colombien de métrique responsable : vers un instrument institutionnel et méthodologique colombien pour l'évaluation de la recherche | DORA (sfdora.org)

Exemple national : Argentine

Une intéressante tentative de réforme dans le Conseil National de la Recherche Scientifique et Technique (Consejo Nacional de Investigaciones Científicas y Técnicas – CONICET) a été la création d'une résolution spéciale pour les sciences sociales et humaines qui met les revues indexées dans le circuit grand public sur le même plan avec les revues indexées dans des bases régionales telles que SciELO, redalyc or Catalogue Latindex. Le règlement est actuellement en cours de révision, afin de clarifier certaines ambiguïtés dans sa mise en œuvre et d'élargir ses critères. À son tour, en 2022, le conseil d'administration du CONICET a adhéré au DORA de San Francisco, reconnaissant publiquement son engagement à améliorer la recherche en renforçant l'évaluation et l'amélioration continue de ses processus.

La Agence Nationale pour la Promotion de la Recherche, du Développement Technologique et de l'Innovation (Agencia Nacional de Promoción de la Investigación, el Desarrollo Tecnológico y la Innovavión – AGENCIA I+D+i), sous la direction Ministère des sciences, de la technologie et de l'innovation, est le principal bailleur de fonds de la recherche dans le pays en raison de la diversité et de l'ampleur de ses appels très compétitifs. AGENCIA met actuellement en œuvre un programme renforcer les processus d’évaluation de la recherche dans leurs principaux fonds financiers. Les améliorations actuelles incluent la rémunération des pairs évaluateurs pour stimuler leur engagement dans ces processus, l'incitation au libre accès car les résultats des projets devraient être destinés au domaine public à travers des publications ou des documents de libre circulation (conformément aux obligations de 'Dépôts numériques institutionnels en libre accès' Loi nationale 26.899) et l'intégration des dimensions d'équité et d'inclusivité à travers le genre, les groupes générationnels sous-représentés et/ou les mécanismes d'égalisation de renforcement institutionnel dans les processus d'évaluation de la recherche. Néanmoins, dans divers comités disciplinaires, le parcours scolaire des principaux chercheurs responsables des propositions est toujours évalué par leurs pairs à l'aide d'indicateurs d'impact des citations.

Enfin, financée par une subvention d'engagement communautaire DORA, la Faculté de psychologie de l'Université nationale de la Plata a organisé une événement virtuel en septembre 2022 sur l'évaluation en psychologie et en sciences sociales qui a attiré plus de 640 personnes (en grande partie des étudiants de premier cycle) de 12 pays, démontrant l'intérêt des jeunes du continent. L'événement a contribué à façonner le plan de gestion quadriennal de la faculté et servira de base à un livre sur la réforme de l'évaluation académique dans le contexte hispanophone.

Exemple national : Brésil

L’évaluation de la recherche fait l’objet de vifs débats au Brésil parmi les institutions de recherche et les chercheurs, voire parmi les gouvernements des États et fédéral. Cependant, malgré le plus grand nombre d’institutions signataires de DORA dans le monde, les exemples de réforme de l’évaluation de la recherche sont étonnamment peu nombreux. Suite à une enquête auprès des signataires nationaux de DORA, des consultations institutionnelles et un événement public, financés par une subvention d'engagement communautaire DORA, un guide a été préparé pour que les dirigeants universitaires explorent les pratiques d'évaluation responsables.

Le guide se concentre sur trois actions principales : (1) sensibiliser à l'évaluation responsable sous toutes ses formes ; (2) la formation et le renforcement des capacités des évaluateurs et des personnes évaluées ; et (3) la mise en œuvre et l’évaluation. Les prochaines étapes consistent à construire un réseau de praticiens – ou dix bureaux de renseignement universitaires – pour apporter des changements dans les pratiques d’évaluation et piloter des modèles sensibles au contexte, et finalement élaborer une feuille de route pour les institutions brésiliennes qui souhaitent apporter du changement.

Projeto Métricas (2022). Défis institutionnels et perspectives pour une évaluation responsable dans l’enseignement supérieur brésilien : résumé des résultats du partenariat Projeto Métricas DORA. Université de São Paulo, Brésil.

L’Amérique du Nord s’éloigne actuellement des indicateurs purement quantitatifs, accélérée par le programme de science ouverte. La science ouverte et l'examen ouvert contribuent à rendre les pratiques d'évaluation plus transparentes, en offrant l'occasion d'une réflexion personnelle et de faire ressortir des problèmes, par exemple l'auto-citation et le copinage lors du recrutement, de la promotion et des comités d'évaluation par les pairs, ainsi que les préjugés innés liés au genre et autres. Des débats sont en cours sur la nécessité de développer des indicateurs plus intelligents et des méthodes d’évaluation mixtes, avec le potentiel d’un modèle d’évaluation hybride et convergent au service de la science fondamentale (progression des connaissances) et de la science appliquée (impact sociétal).

Il est également reconnu que les universités ont besoin d'espace académique et de liberté pour se sevrer des outils qu'elles utilisent actuellement pour l'évaluation, sans aucun « désavantage du premier arrivé », et que la communauté des utilisateurs devrait faire partie du processus d'évaluation pour aider à mesurer l'utilisabilité des outils d'évaluation. connaissances, leur adoption et leur impact. Mais il existe également une résistance contingente au changement (un « aveuglement volontaire ») de la part du haut et de la base de l'écosystème de la recherche – de la part de ceux qui bénéficient du statu quo et de ceux qui y sont récemment entrés. Très peu d’universités américaines ont signé DORA et un nouveau projet DORA tente de comprendre pourquoi c’est le cas (TARA). Néanmoins, tant au Canada qu'aux États-Unis, il existe quelques exemples intéressants d'initiatives nationales et institutionnelles conçues pour provoquer un changement systémique (voir les encadrés suivants).

Exemple national : États-Unis

Aux États-Unis, la National Science Foundation est une voix de premier plan en faveur du changement grâce à ses Faire progresser l’impact de la recherche sur la société programme et accompagnement boîte à outils sur les impacts plus larges pour les chercheurs et les évaluateurs. L’équité, la diversité et l’inclusion, y compris la participation des communautés autochtones et traditionnellement marginalisées, sont des facteurs clés. Membre de l'IAP et de l'ISC, les National Academies of Sciences des États-Unis cherchent également à stimuler une vaste réforme, en fournissant une plate-forme d'échange d'informations et d'apprentissage sur la réforme du CV traditionnel des chercheurs (Conseil stratégique du NAS, 2022). Issu des travaux des académies américaines, le Initiative de leadership dans l’enseignement supérieur pour les bourses ouvertes est une cohorte de plus de 60 collèges et universités engagés dans une action collective pour faire progresser l’érudition ouverte, notamment en repensant l’évaluation de la recherche pour récompenser l’ouverture et la transparence.

L'Institut national de la santé, par exemple, a conçu un nouveau bio-croquis (SciENcv) pour le personnel participant aux demandes de subvention afin de minimiser les biais systémiques et la charge de reporting, tout en étant davantage axé sur les impacts.

Exemple national : Canada

Au Canada, de multiples discussions ont lieu sur la réforme de l'évaluation de la recherche, menée par DORA ; les trois conseils fédéraux de la recherche en sont signataires. Le Conseil des sciences naturelles et du génie a critères redéfinis pour la qualité de la recherche, en supprimant la bibliométrie, les citations et l'index h, conformément aux principes DORA : les mesures de qualité incluent désormais une bonne gestion des données de recherche et de l'accès aux données, l'équité, la diversité et l'inclusion, ainsi que les responsabilités en matière de formation. Les deux autres conseils de recherche emboîteront probablement le pas.

Les chercheurs canadiens ont tendance à se concentrer sur la « mobilisation des connaissances », un effort intentionnel visant à faire progresser l'impact sociétal de la recherche, par le biais de la coproduction avec les communautés d'utilisateurs (ISI, 2022). Impact de la recherche Canada est un réseau de plus de 20 universités qui vise à renforcer les capacités institutionnelles grâce à la connaissance de l'impact, ou la capacité « d'identifier les objectifs et les indicateurs d'impact appropriés, d'évaluer de manière critique et d'optimiser les voies d'impact, et de réfléchir aux compétences nécessaires pour adapter les approches à différents contextes » afin de maximiser l’impact de la recherche pour le bien public.

Il convient de noter que très peu d’universités canadiennes ont signé DORA. Le principal facteur de motivation de tout changement sera probablement l’adoption de l’érudition autochtone : c’est devenu un impératif moral au Canada.

Les systèmes d'incitation et de récompense de la recherche en Afrique ont tendance à refléter les normes et conventions « internationales », principalement occidentales. Les institutions africaines s'efforcent de les suivre lorsqu'elles développent leur approche de la « qualité » et de « l'excellence » en matière de recherche, mais elles ne sont pas toujours adaptées aux connaissances et aux besoins locaux. La « qualité », « l'excellence » et « l'impact » de la recherche ne sont pas bien définis sur le continent, et certains chercheurs ne sont pas habitués à une culture de « l'impact de la recherche ».

Les systèmes d’évaluation en Afrique ont tendance à ne pas prendre en compte la recherche au bénéfice de la société, l’enseignement, le renforcement des capacités, l’administration et la gestion de la recherche. Les modèles de publication ne sont pas sensibles au contexte, les APC créant des obstacles à la production de la recherche africaine. La réforme des systèmes d’évaluation de la recherche pourrait contribuer à corriger les asymétries dans la contribution que la recherche africaine peut apporter aux défis sociétaux, ainsi qu’à améliorer l’accès aux ressources pour aider la communauté de recherche africaine à y parvenir. Il est impératif de supprimer les obstacles à la coopération intersectorielle et interdisciplinaire pour permettre à une diversité de points de vue et de systèmes de connaissances de prospérer et de contribuer à interpréter ce qui constitue la qualité de la recherche en Afrique. Les mécanismes qui intègrent les visions du monde locales, autochtones et « conventionnelles » concernant l'évaluation de la qualité et de l'excellence de la recherche doivent être pris en compte dans toute réforme.

Des partenariats solides se construisent autour de la RRA sur le continent. Financé par un consortium international d'agences de développement, le Initiative des conseils subventionnaires des sciences (SGCI) [96], impliquant 17 pays africains, a mené une étude sur l'excellence de la recherche en Afrique, en examinant les agences de financement de la science et l'évaluation des chercheurs du point de vue du Sud (Tijssen et Kraemer-Mbula, 2017 [97], [98]). Il a exploré la question de l'excellence de la recherche en Afrique subsaharienne et la nécessité d'une approche qui étend la notion d'excellence au-delà des publications (Tijssen et Kraemer-Mbula, 2018 [99]); produire un document d'orientation, en cours de mise à jour, sur les bonnes pratiques dans la mise en œuvre des concours de recherche (SGCI [100]). Lors du Forum mondial de la science en 2022, sous les auspices du SGCI et du GRC, le gouvernement sud-africain Fondation nationale de recherche (NRF) et le Département de la science et de l'innovation a réuni des partenaires internationaux et locaux pour discuter du rôle des agences de financement dans la progression de la RRA, et pour partager des expériences, faire progresser les bonnes pratiques et évaluer les progrès en matière de renforcement des capacités et de collaboration (NRF, 2022 [101]).

La Réseau africain de preuves [102], un réseau panafricain et intersectoriel de plus de 3,000 XNUMX praticiens a mené des travaux sur l'évaluation de la recherche transdisciplinaire (Réseau africain de preuves [103]), mais la mesure dans laquelle cela a été intégré dans les systèmes d’évaluation nationaux et régionaux n’est pas encore claire. Le Réseau de recherche et d'impacts en Afrique [103] a travaillé sur une carte de pointage comprenant un ensemble d'indicateurs pour évaluer la qualité de l'évaluation de la science, de la technologie et de l'innovation (STI) en Afrique, qu'il espère développer en un outil décisionnel basé sur le Web pour guider les décisions d'investissement en STI. .

Au niveau national, des changements progressifs ont commencé – quelques exemples sont donnés dans les encadrés suivants. Parmi les autres pays où les agences de financement de la recherche prennent les devants figurent la Tanzanie (COSTECH), le Mozambique (FNI) et le Burkina Faso (FONRID). L'initiative RRA du GRC s'avère être une plateforme importante pour le changement sur le continent, tout comme l'apprentissage du secteur du développement international, notamment celui du CRDI. Cadre d’évaluation de la qualité de la recherche Plus (RQ+) [104], avec la particularité qu'il a déjà été appliqué, étudié et amélioré. Le groupe basé en Afrique Académie internationale d'évaluation [105] peut également constituer une opportunité intéressante.

Exemple national : Côte d'Ivoire

Au cœur de la Côte d'Ivoire Programme Appui Stratégique à la Recherche Scientifique (PASRES) (Programme de soutien stratégique à la recherche scientifique) est la conviction que l'excellence en recherche doit transcender le nombre de publications de recherche et inclure la dimension « d'adoption de la recherche ». S'adaptant au contexte national, le processus d'évaluation de la recherche repose sur des critères liés à la pertinence scientifique et sociale, à l'implication des partenaires, à la formation des étudiants, à la mobilisation des connaissances et à la faisabilité. Les panels d'évaluation impliquent des experts scientifiques (pour juger de la qualité de la recherche effectuée), du secteur privé (pour juger de l'enrichissement économique) et d'autres institutions (pour mesurer le potentiel culturel et social de la recherche).

PASRES a créé deux revues locales (une pour les sciences sociales et la linguistique et l'autre pour l'environnement et la biodiversité) et prend en charge l'intégralité des coûts de publication dans celles-ci. Enfin, le PASRES finance des activités de renforcement des capacités et des conférences thématiques pour permettre aux chercheurs de présenter leurs recherches au secteur privé et à la société civile.

Plus d'informations : Ouattara, A. et Sangaré, Y. 2020. Soutenir la recherche en Côte d'Ivoire : processus de sélection et d'évaluation des projets. E. Kraemer-Mbula, R. Tijssen, ML Wallace, R. McLean (éd.), African Minds, pp.

PASRES || Programme d'Appui Stratégique Recherche Scientifique (csrs.ch)

Exemple national : Afrique du Sud

L'évaluation de la recherche en Afrique du Sud (SA) est principalement axée sur la bibliométrie. Depuis 1986, lorsque le Département de l’Enseignement Supérieur (DHET) a introduit une politique de subvention aux universités pour les publications de recherche publiées dans des revues d’index accrédités, la production de publications de recherche universitaires a augmenté parallèlement à la valeur Rand attribuée par publication. Dans le but d’obtenir un financement pour la recherche et de faire progresser leur carrière, les chercheurs sud-africains ont publié autant d’articles aussi rapidement qu’ils le pouvaient, créant des conséquences perverses et involontaires.

L’Académie des sciences d’Afrique du Sud (ASSAf) a commandé un rapport sur l’édition scientifique dans le pays (2005-2014) et a trouvé des indications de pratiques éditoriales douteuses et de publications prédatrices (ASSAf, 2019). En utilisant un système nuancé de catégorisation, un chiffre estimé à 3.4 % du total des articles des dix dernières années ont été jugés prédateurs, avec des chiffres en hausse plus abrupte à partir de 2011. Les revues jugées prédatrices ont été incluses dans le DHET « acceptables pour le financement » Il a été constaté que des universitaires de toutes les universités sud-africaines étaient impliqués (Mouton et Valentine, 2017).

Le rapport de l'ASSAf a formulé des recommandations aux niveaux systémique, institutionnel et individuel et les contre-mesures qui ont suivi par le DHET, la NRF et certaines universités semblent avoir freiné les pratiques prédatrices en Afrique du Sud, l'incidence des publications prédatrices par des universitaires sud-africains (dans des revues accréditées par le DHET) ayant culminé en 2014. 2015 et en baisse par la suite. Les chercheurs s'inquiétaient également du fait que les politiques du DHET en Afrique du Sud décourageaient la collaboration et ne reconnaissaient pas la contribution des individus au sein des grandes équipes de recherche, ce qui nécessitait une révision des programmes d'évaluation des performances et de la recherche. Le recours au système d’unités de publication est désormais reconnu comme un mauvais indicateur pour l’évaluation de la qualité et de la productivité de la recherche ainsi que pour la sélection et la promotion des universitaires.

En savoir plus :

Académie des sciences d'Afrique du Sud (ASSAf). 2019. Douze ans : Deuxième rapport de l'ASSAf sur la publication de recherches en Afrique du Sud et à partir de celle-ci. Pretoria, ASSAF.

Mouton, J. et Valentine, A. 2017. L'étendue des articles d'auteurs sud-africains dans des revues prédatrices. Journal sud-africain des sciences, Vol. 113, n° 7/8, pp.

Mouton, J. et al. 2019. La qualité des publications de recherche en Afrique du Sud. Stellenbosch.

2019_assaf_collaborative_research_report.pdf

Exemple national : Nigéria

Les universités nigérianes évaluent les chercheurs dans trois domaines principaux : l'enseignement, la productivité de la recherche et les services communautaires. Parmi ceux-ci, la productivité de la recherche est plus fortement pondérée, en mettant l’accent sur les articles de recherche publiés évalués par des pairs et en prenant en considération le nombre et le rôle des auteurs (paternité première et/ou paternité correspondante) dans ces publications. Dans un effort pour devenir plus compétitives à l'échelle mondiale, la plupart des universités accordent plus d'importance aux revues indexées par International Scientific Indexing ou SCOPUS, afin de mettre davantage l'accent sur la qualité et la collaboration internationale ; et utiliser le pourcentage d'articles dans ces revues comme critère de promotion.

Une conséquence malheureuse de cette situation est que de nombreux chercheurs, notamment dans le domaine des sciences humaines, ne disposent pas du financement adéquat et/ou de la capacité nécessaire pour publier dans ces revues. Au lieu de cela, ils publient davantage d’articles de synthèse que de recherche, ou se sentent obligés d’inclure des collègues influents et expérimentés comme co-auteurs, en raison de leur contribution financière plutôt qu’intellectuelle. Le plagiat augmente, tout comme la publication prédatrice. Cependant, le classement mondial global des universités nigérianes a augmenté, satisfaisant ainsi le gouvernement et les agences de financement et étant considéré comme un succès. Le Nigeria n’est pas seul à cet égard.

L'Académie nigériane des sciences a rétabli sa propre revue à comité de lecture en tant que revue phare dans laquelle les universitaires peuvent publier (actuellement gratuitement) et être hautement notés par leurs institutions.

Les systèmes d’évaluation hautement compétitifs et fondés sur des mesures quantitatives dominent la région, les pays anglophones façonnant généralement les cadres d’évaluation et d’autres pays emboîtant le pas. En Australie, par exemple, il existe un système de financement compétitif basé sur la bibliométrie et les classements des universités : « même les ODD sont transformés en indicateurs de performance ». Des défis similaires existent en Malaisie et en Thaïlande, et d’autres pays de l’ASEAN devraient suivre. Une exception importante est la Chine, où le gouvernement joue un rôle important dans la création de changements systémiques majeurs et qui pourraient avoir de profondes implications à l’échelle mondiale (voir encadré).

Il est encourageant de constater que la communauté des chercheurs de la région est de plus en plus consciente et préoccupée des limites des systèmes actuels d’évaluation de la recherche et de leur menace pour l’intégrité de la recherche. Bien que les ECR, notamment les National Young Academies et le réseau des jeunes scientifiques de l’ASEAN, ainsi que les mouvements populaires, s’engagent de plus en plus sur cette question, ils ont du mal à se faire entendre. Le gouvernement et les communautés de financement, y compris les dirigeants universitaires, sont largement absents du débat : ils attachent de l’importance aux mesures quantitatives mais n’apprécient pas leurs implications pour la recherche. En effet, les personnes consultées signalent que davantage de critères quantitatifs sont ajoutés, à tel point que les institutions et les chercheurs commencent à jouer avec le système, alimentant ainsi les mauvaises conduites en recherche.

Mais il existe d’importantes possibilités de changement, comme le montrent les encadrés suivants.

Exemple national : Chine

Aujourd’hui le pays le plus productif en matière de recherche au monde (Tollefson, 2018; Statista, 2019), et le second en termes d'investissement dans la recherche (OCDE, 2020), ce qui se passe en Chine est susceptible de provoquer un véritable changement systémique. Une nouvelle politique au niveau de l'État vise à restaurer « l'esprit scientifique, la qualité de l'innovation et la contribution des services » de la recherche et à « promouvoir le retour des universités à leurs objectifs académiques d'origine » (LE PLUS, 2020). Les indicateurs du Web of Science ne seront plus un facteur prédominant dans les décisions d’évaluation ou de financement, pas plus que le nombre de publications et de JIF. Les publications dans des revues chinoises de grande qualité seront encouragées et leur développement soutenu. Des « publications représentatives » – 5 à 10 articles de choix plutôt que des listes exhaustives – sont recherchées dans les comités d'évaluation, ainsi que des critères évaluant la contribution de la recherche à la résolution de questions scientifiques importantes, à l'apport de nouvelles connaissances scientifiques ou à l'introduction d'innovations et de véritables progrès. d'un domaine particulier.

En développant un système d'évaluation de la qualité et de l'excellence de la recherche plus adapté à ses propres besoins, la plus grande agence chinoise de financement de la recherche fondamentale, la Fondation nationale des sciences naturelles de Chine (NSFC), a mené des réformes systématiques depuis 2018 pour refléter les évolutions de la science : l'évolution mondiale paysages scientifiques, l'importance de la transdisciplinarité, la combinaison de la recherche appliquée et fondamentale et l'interaction entre la recherche et l'innovation (Manfred Horvat, 2018), passant de la bibliométrie à un système qui renforce la pertinence locale de la recherche en Chine (Zhang et Sivertsen, 2020). Il a amélioré son système d'examen par les pairs pour l'évaluation des propositions afin de mieux s'adapter à la recherche perturbatrice motivée par la curiosité, aux problèmes brûlants aux frontières de la recherche, à l'excellence de la science appliquée aux demandes économiques et sociales et à la recherche transdisciplinaire confrontée à de grands défis. En 2021, 85 % des propositions ont été soumises et examinées en utilisant ces catégories. Récemment, en novembre 2022, un plan pilote de réforme sur deux ans pour l'évaluation des talents scientifiques et technologiques a été annoncé, impliquant huit ministères, douze instituts de recherche, neuf universités et six gouvernements locaux. Son objectif sera d'explorer les indicateurs et les méthodes d'évaluation des talents scientifiques et technologiques engagés dans différentes parties du système d'innovation.

Exemple sous-régional : Australie et Nouvelle-Zélande

L’Australie et la Nouvelle-Zélande se trouvent actuellement à un tournant important. En Australie, les examens simultanés en cours du Conseil australien de la recherche, des négociations sur l'excellence en recherche en Australie et sur le Gold Open Access présentent cumulativement une fenêtre d'opportunité (Ross, 2022 ans).

Suite à une consultation publique sur l'avenir du financement de la science, la Nouvelle-Zélande élabore un nouveau programme systémique pour l’avenir de son système national de recherche et d’innovation. L'Australie et la Nouvelle-Zélande ont contribué au développement d'un système de métrique pour leurs groupes de recherche autochtones (Principes de CARE).

Exemple national : Inde

Le Centre de recherche politique du Département des sciences et technologies (DST-CPR) a mené des études récentes sur l'évaluation de la recherche et sa réforme en Inde, en animant des ateliers avec les principales parties prenantes (agences nationales de financement, instituts de recherche et académies), des entretiens et des enquêtes. L’étude a révélé que, même si les universités et de nombreuses institutions d’importance politique nationale (comme l’agriculture) se concentrent presque exclusivement sur des mesures quantitatives, certains organismes de financement et institutions comme les instituts indiens de technologie ont également adopté des mesures plus qualitatives. Cette approche plus qualitative dans les institutions de premier plan permet déjà de détourner davantage de fonds vers la recherche sur les priorités nationales, même s'il est trop tôt pour dire si elle a un effet quantifiable sur la qualité et l'impact de la recherche.

Le principal critère d'évaluation est l'examen par les pairs basé sur l'opinion d'un comité d'experts, mais seulement après une sélection initiale des candidatures entièrement basée sur des paramètres quantitatifs. Des défis fondamentaux existent également avec ces comités : le manque de diversité et de compréhension des pratiques de science ouverte, le peu de considération des impacts sociétaux de la recherche, et la faiblesse des capacités et des préjugés. Ces problèmes, et plus généralement les méthodologies d’évaluation, sont mal compris et il existe une pénurie de lignes directrices et de littérature sur le sujet.

Néanmoins, on prend de plus en plus conscience de la nécessité de réformer l’évaluation de la recherche. Financée par une subvention d'engagement communautaire DORA, l'Indian National Young Academy of Sciences s'est associée à l'Indian Institute of Science (IISc) et au DST-CPR pour explorer les moyens d'améliorer l'évaluation de la recherche - leurs délibérations ont été partagées avec les principales parties prenantes avec un en vue de stimuler une conversation nationale sur la nécessité de réformer et, à terme, de changer la culture de la recherche en Inde afin que sa recherche soit plus innovante et/ou socialement pertinente. DST-CPR prévoit de développer un cadre d'excellence en recherche qui pourrait être intégré à son cadre de classement institutionnel national.

En savoir plus :

Battacharjee, S. 2022. La manière dont l’Inde évalue sa recherche fait-elle son travail ? – La science du fil

DORA_IdeasForAction.pdf (dstcpriisc.org).

Suchiradipta, B. et Koley, M. 2022. Évaluation de la recherche en Inde : qu'est-ce qui devrait rester, qu'est-ce qui pourrait être mieux ? DST-CPR, IISc.

Exemple national : Japon

Les protocoles d'évaluation de la recherche sont fortement décentralisés au Japon : s'il existe des « lignes directrices nationales pour l'évaluation de la R&D », publiées par le Conseil pour la science, la technologie et l'innovation du Cabinet Office, le ministère de l'Éducation, de la Culture, des Sports, de la Science et de la Technologie (MEXT) et d'autres les ministères ont également élaboré leurs propres lignes directrices. En outre, les universités et les instituts de recherche disposent de leurs propres systèmes d’évaluation de la recherche et des chercheurs, qui – comme dans de nombreuses régions du monde – sont désormais liés aux performances institutionnelles et à l’allocation budgétaire.

On s’inquiète de plus en plus du recours excessif à l’évaluation quantitative. En réponse, le Conseil scientifique du Japon a préparé une recommandation sur l'avenir de l'évaluation de la recherche au Japon (2022) appelant à moins mettre l’accent sur les mesures quantitatives et davantage sur les mesures qualitatives, à davantage de reconnaissance de la diversité et de la responsabilité de la recherche dans l’évaluation de la recherche et à la surveillance des tendances internationales dans la réforme des pratiques d’évaluation de la recherche. En fin de compte, les intérêts et la promotion de la recherche devraient être au cœur de l’évaluation de la recherche et tous les efforts devraient être faits pour éviter la lassitude, la démotivation et la pression excessive sur les chercheurs.

Une enquête du MEXT sur les indicateurs d'évaluation a révélé que le JIF est l'un des nombreux indicateurs et, en tant que tel, n'a pas eu un impact important sur la recherche japonaise, bien que cela dépende de la discipline : par exemple, l'utilisation du JIF est plus élevée dans les sciences médicales – et les activités de recherche moins traditionnelles, telles que les données ouvertes, sont moins susceptibles d'être évaluées.

Plus d’informations : RECOMMANDATION – Vers une évaluation de la recherche pour l’avancement de la science : défis et perspectives pour une évaluation souhaitable de la recherche (scj.go.jp)

En conclusion, il existe une dynamique croissante en faveur de la réforme de l’évaluation de la recherche dans certaines régions, pays et institutions. Les exemples illustrés ici incluent les réformes à l’échelle nationale, la création de consortiums ou de coalitions d’institutions partageant les mêmes idées et cherchant le changement, le ciblage/le pilotage de secteurs spécifiques et les interventions visant à lutter contre les incitations et les comportements pervers.

Il ne s’agit pas encore d’une conversation mondiale cohérente et inclusive, et les pratiques et les idées ne sont pas nécessairement partagées ouvertement. Certains membres de GYA, IAP et ISC sont déjà proactifs dans cet espace et des opportunités pourraient utilement être trouvées pour les aider à partager leurs apprentissages et leurs bonnes pratiques entre eux et avec l'ensemble des membres. Le lancement de l'Observatoire mondial d'évaluation de la recherche responsable (AGORRA) par le Research on Research Institute (RoRI) plus tard en 2023 fournira une plate-forme supplémentaire pour partager l'apprentissage, pour l'analyse comparative des systèmes de réforme nationaux et internationaux et pour accélérer les deux- manière d’échanger et de tester les bonnes idées à travers ces systèmes.

Ce document a défini les principaux moteurs, opportunités et défis de la réforme de l’évaluation de la recherche et rassemblé des exemples illustratifs de changements survenant aux niveaux mondial, régional, national et institutionnel. Le but de ceci est de mobiliser le GYA, l’IAP et l’ISC et leurs membres respectifs, en tant que constituants importants de l’écosystème mondial de la recherche.

En s’appuyant sur la littérature scientifique et les travaux de sensibilisation de la dernière décennie, il existe cinq conclusions principales.

1. Il est impératif de repenser la manière dont les chercheurs, les institutions et les résultats sont évalués. Il est clair et urgent. Maintenir l’intégrité et la qualité de la recherche, maximiser la diversité scientifique, inclusive et non discriminatoire, et optimiser la science pour le bien public mondial sont des facteurs majeurs, dans le contexte d’un monde en évolution rapide.

2. La manière dont la recherche est commandée, financée, réalisée et communiquée évolue rapidement. L'évolution vers une science transdisciplinaire et axée sur une mission, les cadres scientifiques ouverts, l'évolution des modèles d'évaluation par les pairs, l'utilisation de l'IA et de l'apprentissage automatique ainsi que l'essor rapide des médias sociaux modifient les façons traditionnelles de faire et de communiquer la recherche, nécessitant une nouvelle réflexion sur les systèmes d'évaluation de la recherche. ainsi que les paramètres et les processus d’examen par les pairs qui le sous-tendent. Des recherches plus poussées et urgentes sont nécessaires pour pérenniser ces systèmes.

3. Il est impératif de mettre en place des systèmes d'évaluation de la recherche plus équilibrés, dotés d'indicateurs à la fois quantitatifs et qualitatifs valorisant de multiples formes de résultats, de processus et d'activités de recherche. Cependant, affirmer que les processus qualitatifs d'évaluation par les pairs sont au moins aussi importants que la bibliométrie n'est pas simple et est encore plus compliqué par le fait que différentes parties du monde se trouvent à des stades différents dans le développement de leurs systèmes d'évaluation : dans certaines, les débats sur la réforme de l'évaluation de la recherche sont assez avancés, dans d'autres, ils sont naissants ou absents.

4. Une initiative concertée, véritablement mondiale et inclusive est nécessaire pour mobiliser les principales communautés de parties prenantes afin de développer et de mettre en œuvre des méthodes cohérentes d'évaluation et de financement de la recherche ; apprendre les uns des autres et des autres secteurs (notamment les bailleurs de fonds de la recherche et les agences de développement). Une action collective et inclusive en faveur d'un changement transformateur devra reconnaître l'interconnectivité plutôt que l'internationalisation ou l'universalisation, c'est-à-dire être sensible au contexte, conscient des différents défis auxquels sont confrontées les différentes parties du monde et de la riche hétérogénéité de l'écosystème de recherche, tout en garantissant une l’homogénéité pour permettre des systèmes de recherche et de financement compatibles et la mobilité des chercheurs, pour minimiser les divergences et la fragmentation. Une conversation partielle et exclusive risque de biaiser et de désavantager davantage ceux qui ont été historiquement exclus.

5. Un changement est nécessaire à tous les niveaux – mondial, régional, national et institutionnel – car les mesures se répercutent dans tout l’écosystème de recherche et tous ces niveaux sont interconnectés. Toutes les parties prenantes doivent jouer leur rôle en tant que partenaires et non en tant qu’adversaires – y compris les bailleurs de fonds, les universités, les associations d’universités et d’instituts de recherche, les organisations intergouvernementales (OIG), les gouvernements et les réseaux gouvernementaux, les académies, les décideurs scientifiques, les gestionnaires de recherche et d’innovation et les chercheurs individuels. Les membres de GYA, IAP et ISC, collectivement, couvrent une grande partie de ce riche paysage (Figure 1, Annexe C).

Figure 1 : Carte des parties prenantes par rapport aux membres de GYA, IAP et ISC (Cliquez pour magasinez)

Le pouvoir fédérateur d'organisations comme GYA, IAP et l'ISC peut aider à rassembler une diversité de points de vue et d'expériences dans une grande partie de l'écosystème de recherche : expérimenter, apprendre et s'appuyer sur des initiatives existantes et nouvelles. Essentiellement, ils peuvent se connecter avec les principales parties prenantes qui incitent au changement – ​​les gouvernements, les bailleurs de fonds de la recherche et les universités, ainsi que les mouvements mondiaux vitaux comme DORA – pour aider à mobiliser une architecture d’acteurs. Collectivement, ils peuvent servir de :

● des défenseurs – en sensibilisant aux débats, aux développements et aux réformes sur l'évaluation de la recherche, en reconnaissant que leurs membres servent de (i) mentors et superviseurs de jeunes collègues, (ii) dirigeants d'établissements d'enseignement supérieur, (iii) membres du conseil d'administration des organes de gouvernance de financement et de publication et ( iv) conseillers auprès des décideurs politiques ;

● innovateurs – explorer différentes approches pour valoriser la recherche fondamentale et appliquée de manière inclusive et innovante ;

● des exemples – en changeant leur propre culture institutionnelle – en actualisant leurs pratiques en matière d'adhésion, de récompenses, de publication et de conférence, et en donnant l'exemple ;

● les évaluateurs – capitalisant sur le rôle des membres aux niveaux institutionnel et individuel dont la mission est d'évaluer les chercheurs, la recherche et les institutions, et ceux qui ont des rôles de publication, de rédaction et d'évaluation par les pairs ;

● les bailleurs de fonds – en s'appuyant notamment sur les agences de financement représentées au sein de l'ISC, et sur les membres qui gèrent et répartissent d'importantes subventions nationales et internationales ;

● collaborateurs – soutenant les campagnes de réforme déjà établies, par exemple DORA, le CoARA de l'UE et l'engagement de l'UNESCO en faveur de la science ouverte.

Les auteurs de cet article encouragent le GYA, l'IAP et l'ISC, ainsi que les organisations comme elles, à s'engager des manières suivantes :

ACTION 1 : Partager les enseignements et les bonnes pratiques

Cet article met en lumière des exemples d’interventions et d’innovations du monde entier. Un espace de partage d'expériences et de construction d'une « coalition de volontaires » forte et inclusive est vital.

1.1 : Fournir une plateforme aux membres qui sont déjà proactifs dans cet espace pour partager leurs apprentissages et établir des liens stratégiques, en particulier au niveau national. Utilisez ces exemples pour vous aider à remplir Le tableau de bord de DORA [106] d'apprentissage et de bonnes pratiques.

1.2 : Enquêter et cartographier les développements menés par les membres en matière de réforme de l'évaluation de la recherche afin d'identifier les approches institutionnelles, nationales et régionales, et de trouver et partager les bonnes pratiques. Réunissez ceux qui ont déjà dirigé/engagé dans des initiatives nationales et internationales majeures pour renforcer le plaidoyer et l’apprentissage parmi les membres.

ACTION 2 : Montrer l’exemple

Les membres de GYA, IAP et ISC couvrent de nombreux éléments de l'écosystème de recherche, et chacun peut jouer un rôle important dans la définition de ce à quoi ressemble le succès en tant que scientifique.

2.1 : Transition vers des méthodologies d’évaluation de la recherche plus progressistes pour l’ensemble des membres. Montrer l’exemple et contribuer à changer la culture de l’évaluation de la recherche grâce à leurs propres philosophies et pratiques d’adhésion, tout en s’appuyant sur les enseignements de DORA et du GRC. Les académies, en tant qu’organisations traditionnellement élitistes, ont un rôle particulier à jouer ici – elles devraient être encouragées à élargir leurs propres critères d’élection et de sélection pour refléter une compréhension plus large et plus plurielle de la qualité et de l’impact de la recherche, afin de refléter ce pluralisme (et avec c'est plus d'inclusion et de diversité) parmi leurs membres.

2.2 : Stimuler la coopération et le leadership régionaux. Encourager les réseaux régionaux des membres du GYA et des jeunes académies nationales, les réseaux d'académies régionales de l'IAP et les points focaux régionaux de l'ISC à envisager d'imiter le conseil d'administration de l'ALLEA. à l'AMS, adaptés à leurs propres contextes.

ACTION 3 : Établir des partenariats stratégiques avec des groupes clés.

Les trois principaux acteurs responsables de la réforme de l’évaluation de la recherche sont les gouvernements, les bailleurs de fonds de la recherche et les universités. Le GYA, l'IAP et l'ISC peuvent chacun contribuer à impliquer la communauté de recherche dans ses efforts de réforme et de combler les écarts qui existent actuellement.

3.1 : S'engager avec les dirigeants du GRC pour explorer des moyens de travailler ensemble – essentiellement pour stimuler les membres et leurs représentants nationaux respectifs du GRC à explorer la manière dont leurs communautés de recherche peuvent s'impliquer.

3.2 : S'engager avec des réseaux mondiaux et régionaux d'universités, tels que l'Association internationale des universités (AIU), pour développer de nouveaux outils de formation pour la communauté de recherche ; utiliser le leadership des EES au sein des membres collectifs du GYA, de l’IAP et de l’ISC comme défenseurs.

3.3 : Mettre en relation les institutions membres des pays subventionnés par DORA (Argentine, Australie, Brésil, Colombie, Inde, Japon, Pays-Bas, Ouganda et Venezuela) avec les responsables des subventions DORA pour partager des idées et potentiellement intensifier ces initiatives locales.

3.4 : Établir des relations avec les principales agences de développement international qui déploient déjà des stratégies innovantes et efficaces pour l'évaluation de la recherche dans les pays à revenu faible et intermédiaire et les pays les moins avancés.

3.5 : Travailler avec l'UNESCO pour contribuer à façonner les engagements nationaux en matière d'évaluation de la recherche dans le cadre de son Recommandation sur la science ouverte.

ACTION 4 : Assurer un leadership intellectuel sur l’avenir de l’évaluation de la recherche.

Il est impératif de se concentrer sur les défis spécifiques et urgents liés à la réforme de l’évaluation de la recherche. Le GYA, l'IAP et l'ISC, ainsi que les réseaux internationaux comme eux, peuvent s'appuyer sur leurs pouvoirs de mobilisation respectifs, le poids intellectuel et l'influence de leurs membres et leurs liens avec des groupes clés.

4.1 : Organiser conjointement avec les principales parties prenantes une série de forums de discussion multipartites ou « Laboratoires de transformation » pour repenser et mettre en œuvre la réforme de l'évaluation de la recherche - impliquer les dirigeants des établissements d'enseignement supérieur et leurs réseaux mondiaux (par exemple l'AIU et l'IARU) et régionaux (par exemple LERU et l'AUA) [107 ]), les bailleurs de fonds de la recherche (y compris les représentants nationaux du GRC), les agences de développement international et les principaux éditeurs, entre autres. Mobiliser de nouvelles ressources ou déployer des ressources existantes pour financer ce travail (voir l'annexe D pour quelques idées préliminaires).

4.2 : Développer une nouvelle étude sur un aspect important du développement futur de l'évaluation de la recherche, tel que (1) l'impact des progrès technologiques sur l'évaluation de la recherche et l'examen par les pairs (y compris l'utilisation et l'abus), et comment ceux-ci pourraient évoluer à l'avenir et ( 2) réformer le système d'évaluation par les pairs de manière plus large (en termes de transparence, d'ouverture, de capacité, de reconnaissance et de formation). Ces deux questions font partie intégrante de la fiabilité des connaissances et de la fiabilité de la science.

Au cœur de tous ces efforts devraient se trouver trois éléments fondamentaux :

• Élargir les critères d'évaluation de la recherche scientifique et des chercheurs au-delà des mesures académiques traditionnelles pour inclure de multiples formes de résultats et de fonctions de recherche, y compris des critères quantitatifs permettant de mesurer l'impact social de la recherche.

• Encourager les dirigeants des EES et les bailleurs de fonds de la recherche à adopter et à promouvoir ces nouveaux critères d'évaluation en tant que mesures de la qualité et de la valeur de la recherche.

• Travailler avec ces dirigeants sur de nouvelles formes de sensibilisation et de formation pour les générations futures de chercheurs afin de les doter des compétences nécessaires pour communiquer et s'engager efficacement avec les décideurs politiques, le public et d'autres parties prenantes clés ; et favoriser la diversité et l’inclusion dans l’entreprise de recherche.

Les auteurs de cet article concluent que des réseaux comme le GYA, l'IAP et l'ISC, en collaboration avec et en soutenant d'autres groupes clés, peuvent aider à construire une initiative mondiale cohérente et participative pour mobiliser les communautés de recherche, les universités et autres établissements d'enseignement supérieur autour de cet agenda, et à considérer comment opérationnaliser de nouvelles méthodes d’évaluation et de financement de la recherche pour la rendre plus efficace, équitable, inclusive et percutante.

Télécharger

Cet article a été rédigé par les membres du groupe de cadrage GYA-IAP-ISC, qui ont travaillé par intermittence entre mai 2021 et février 2023 (plus de détails dans l'annexe A) :

• Sarah de Rijcke (Présidente, Pays-Bas)

• Clémencia Cosentino (États-Unis)

• Robin Crewe (Afrique du Sud)

• Carlo D'Ippoliti (Italie)

• Shaheen Motala-Timol (Maurice)

• Noorsaadah Binti A Rahman (Malaisie)

• Laura Rovelli (Argentine)

• David Vaux (Australie)

• Yao Yupeng (Chine)

Le groupe de travail remercie Tracey Elliott (consultante principale d'ISC) pour son travail de coordination et de rédaction. Merci également à Alex Rushforth (Centre d'études scientifiques et technologiques (CWTS), Université de Leiden, Pays-Bas) et à Sarah Moore (ISC) pour leur contribution et leur soutien supplémentaires.

Le groupe de travail remercie également tous ceux qui ont été consultés lors de la préparation de ce document (Annexe B), qui ont donné de leur temps et partagé leurs points de vue sur l'évaluation de la recherche dans leurs pays et régions respectifs, ainsi qu'aux évaluateurs nommés par le GYA, PAI et ISC :

• Karina Batthyány, directrice exécutive, Conseil latino-américain des sciences sociales (CLACSO) (Uruguay)

• Richard Catlow, professeur-chercheur, University College London (Royaume-Uni)

• Sibel Eker, professeur adjoint, Radbound University (Pays-Bas)

• Encieh Erfani, chercheur scientifique, Centre international de physique théorique (Iran, Italie)

• Motoko Kotani, vice-président exécutif, Riken (Japon)

• Pradeep Kumar, professeur et chercheur principal, Université de Witwatersrand (Afrique du Sud)

• Boon Han Lim, professeur agrégé, Université de Tinku Abdul Rahman (UTAR) (Malaisie)

• Priscilla Kolibea Mante, maître de conférences, Université des sciences et technologies Kwame Nkrumah (KNUST) (Ghana)

• Alma Hernández-Mondragón, présidente, Association mexicaine pour l'avancement de la science (AMEXAC) (Mexique)

• Khatijah Mohamad Yusoff, professeur principal, Université de Putra Malaisie (UPM) (Malaisie)

1. UNESCO. 2021. Rapport de l'UNESCO sur la science : La course contre la montre pour un développement plus intelligent (Chapitre 1). UNESCO. https://unesdoc.unesco.org/ark:/48223/pf0000377250

2. La Société royale. (2012). La science comme entreprise ouverte. Le Centre de politique scientifique de la Royal Society. https://royalsociety.org/~/media/policy/projects/sape/2012-06-20-saoe.pdf

3. Haustein, S. et Larivière, V. 2014. L'utilisation de la bibliométrie pour évaluer la recherche : possibilités, limites et effets indésirables. I. Welpe, J. Wollersheim, S. Ringelhan, M. Osterloh (éd.), Incentives and Performance, Cham, Springer, pp.

4. Macleod, M., Michie, S., Roberts, I., Dirnagi, U., Chalmers, I., Ioadnnidis, J., Al-Shahi Salman, R., Chan., AW et Glasziou, P. 2014 Recherche biomédicale : augmenter la valeur, réduire les déchets. La Lancette, Vol. 383, n° 9912, p. 101-104.

5. Bol, T., de Vaan, M. et van de Rijt, A. 2018. L'effet Matthew dans le financement de la science. Actes de l'Académie nationale des sciences des États-Unis d'Amérique, Vol. 115, n° 19, pages 4887 à 4890.

6. Conseil scientifique international. 2021. Ouvrir les archives scientifiques : faire en sorte que l'édition scientifique soit au service de la science à l'ère numérique. Paris, France, ISC. https://doi.org/10.24948/2021.01

7. Müller, R. et de Ricke, S. 2017. Penser avec des indicateurs. Explorer les impacts épistémiques des indicateurs de performance académique dans les sciences de la vie. Évaluation de la recherche, vol. 26, n° 3, p. 157-168.

8. Ansede, M. 2023. L'un des scientifiques les plus cités au monde, Rafael Luque, suspendu sans salaire pendant 13 ans. El País. https://english.elpais.com/science-tech/2023-04-02/one-of-the-worlds-most-cited-scientists-rafael-luque-suspended-without-pay-for-13-years. HTML

9. PAI. 2022. Combattre les revues et conférences universitaires prédatrices. Trieste, Italie, IAP. https://www.interacademies.org/publication/predatory-practices-report-English

10. Elliott, T., Fazeen, B., Asrat, A., Cetto, AM., Eriksson, S., Looi, LM et Negra, D. 2022. Perceptions sur la prévalence et l'impact des revues et conférences universitaires prédatrices : une enquête mondiale auprès des chercheurs. Éditions savantes, Vol. 3, n° 4, p. 516-528.

11. Collyer, TA 2019. Le « tranchage du salami » aide les carrières mais nuit à la science. Nature Comportement humain, Vol. 3, p. 1005-1006.

12. Abad-García, MF 2019. Plagiat et revues prédatrices : une menace pour l'intégrité scientifique. Anales De Pediatría (édition anglaise), Vol. 90, n° 1, p. 57.e1-57.e8.

13. Omobowale, AO, Akanle, O., Adeniran, AI et Adegboyega, K. 2013. Bourses périphériques et contexte de l'édition rémunérée à l'étranger au Nigeria. Sociologie actuelle, Vol. 62, n° 5, p. 666-684.

14. Ordway, D.-M. 2021. Les revues universitaires et les journalistes perpétuent la désinformation en traitant les rétractations de recherches. La ressource du journaliste. https://journalistsresource.org/home/retraction-research-fake-peer-review/

15. Curry, S., de Rijcke, S., Hatch, A., Pillay, D., van der Weijden, I. et Wilsdon, J. 2020. Le rôle changeant des bailleurs de fonds dans l’évaluation responsable de la recherche : progrès, obstacles et La voie à suivre. Londres, Royaume-Uni, Research on Research Institute.

16. Le Nord fait généralement référence aux économies industrialisées ou développées, telles que définies par les Nations Unies (2021), tandis que le Sud fait référence aux économies nouvellement industrialisées ou en cours d'industrialisation ou de développement, et qui sont souvent actuelles. ou anciens sujets du colonialisme.

17. Partenariat interacadémie. Session 12 : Gagner grâce à une plus grande inclusion : relation entre la diversité et la culture académique. PAI. https://www.interacademies.org/page/session-12-winner-greater-inclusion-relation-between-diversity-and-academic-culture

18. Académie mondiale des jeunes. Groupe de travail sur l'excellence scientifique. Berlin, Allemagne, GYA. https://globalyoungacademy.net/activities/scientific-excellence/

19. ISC. 2021. Libérer la science : Réaliser des missions pour la durabilité. Paris, France, ISC. est ce que je: 10.24948/2021.04

20. ISC. 2022. Un extrait du discours de Peter Gluckman au Endless Frontier Symposium. Paris, France. ISC. https://council.science/current/blog/an-extract-from-peter-gluckmans-speech-to-the-endless-frontier-symposium/

21. Belcher, B., Clau, R., Davel, R., Jones, S. et Pinto, D. 2021. Un outil pour la planification et l'évaluation de la recherche transdisciplinaire. Informations sur l’intégration et la mise en œuvre. https://i2insights.org/2021/09/02/transddisciplinaire-research-evaluation/

22. Belcher, BM, Rasmussen, KE, Kemshaw, MR et Zornes, DA 2016. Définir et évaluer la qualité de la recherche dans un contexte transdisciplinaire. Évaluation de la recherche, vol. 25, n° 1, p. 1-17.

23. Wilsdon, J. et coll. 2015. The Metric Tide : Rapport de l'examen indépendant du rôle des mesures dans l'évaluation et la gestion de la recherche. HEFCE.

24. UNESCO. Recommandation de l'UNESCO sur la science ouverte. Paris, France, UNESCO. https://unesdoc.unesco.org/ark:/48223/pf0000379949

25. Une source de l'UNESCO a révélé que ce travail est actuellement suspendu parce que le débat est dominé par quelques-uns seulement et ne trouve pas nécessairement un écho auprès de beaucoup : un dialogue approfondi doit précéder l'élaboration de recommandations.

26. Barroga, E. 2020. Stratégies innovantes pour l'examen par les pairs. Journal des sciences médicales coréennes, Vol. 35, n° 20, p. e138.

27. Woods, HB et coll. 2022. Innovations en matière d'évaluation par les pairs dans l'édition scientifique : un méta-résumé. SocArXiv, doi : 10.31235/osf.io/qaksd

28. Kaltenbrunner, W., Pinfield, S., Waltman, L., Woods, HB et Brumberg, J. 2022. Innover dans l'examen par les pairs, reconfigurer la communication scientifique : un aperçu analytique des activités d'innovation en cours dans le cadre de l'examen par les pairs. SocArXiv, est ce que je: 10.31235/osf.io/8hdxu

29. Holm, J., Waltman, L., Newman-Griffis, D. et Wilsdon, J. 2022. Bonnes pratiques dans l'utilisation de l'apprentissage automatique et de l'IA par les organismes de financement de la recherche : aperçus d'une série d'ateliers. Londres, Royaume-Uni, Research on Research Institute. https://doi.org/10.6084/m9.figshare.21710015.v1

30. Procter, R., Glover, B. et Jones, E. 2020. Recherche 4.0 La recherche à l'ère de l'automatisation. Londres, Royaume-Uni, DÉMOS.

31. Baker, M. 2015. Un logiciel intelligent détecte les erreurs statistiques dans les articles de psychologie. Nature, https://doi.org/10.1038/nature.2015.18657

32. Van Noorden, R. 2022. Les chercheurs utilisent l'IA pour analyser l'évaluation par les pairs. Nature 609, 455.

33. Severin, An., Strinzel, M., Egger, M., Barros, T., Sokolov, A., Mouatt, J. et Muller, S. 2022. Arxiv,

34. Gadd, E. 2022. Outils d'évaluation des citations basés sur l'IA : bons, mauvais ou laids ? Le Bibliomagicien. https://thebibliomagician.wordpress.com/2020/07/23/ai-based-citation-evaluation-tools-good-bad-or-ugly/

35. Foltýnek, T., Meuschke, N. et Gipp, B. 2020. Détection académique du plagiat : une revue systématique de la littérature. Enquêtes informatiques ACM, vol. 52, n° 6, pp.

36. Quach, K. 2022. Les éditeurs utilisent l’IA pour détecter les mauvais scientifiques qui falsifient les données. Le registre. https://www.theregister.com/2022/09/12/academic_publishers_are_using_ai/

37. Van Dis, E., Bollen, J., Zuidema., van Rooji, R et Bockting, C. 2023. ChatGPT : cinq priorités de recherche. Nature, Vol. 614, p. 224-226.

38. Chawla, D. 2022. L’IA devrait-elle jouer un rôle dans l’évaluation de la qualité de la recherche ? Nature, https://doi.org/10.1038/d41586-022-03294-3

39. Cyranoski, D. 2019. L’intelligence artificielle sélectionne les évaluateurs de subventions en Chine. Nature, Vol. 569, p. 316-317.

40. Mike, T. 2022. La qualité des articles publiés dans des revues universitaires peut-elle être évaluée grâce à l'apprentissage automatique ? Études scientifiques quantitatives, Vol. 3, n° 1, p. 208-226.

41. Chomsky, N., Roberts, I. et Watumull, J. 2023. La fausse promesse de ChatGPT. Le New York Times. https://www.nytimes.com/2023/03/08/opinion/noam-chomsky-chatgpt-ai.html

42. Clarifier. 2022. Évaluation de la recherche : origines, évolution, résultats. Clarifier. https://clarivate.com/lp/research-assessment-origins-evolutions-outcomes/

43. Blauth, TF, Gstrein, OJ et Zwitter, A. 2022. Crime lié à l'intelligence artificielle : un aperçu de l'utilisation malveillante et des abus de l'IA. Accès IEEE, Vol. 10, pages 77110 à 77122.

44. Castelvecchi, D. 2019. Pionnier de l'IA : « Les dangers des abus sont bien réels ». Nature, est ce que je: https://doi.org/10.1038/d41586-019-00505-2

45. Jordan, K. 2022. Perceptions des universitaires sur l'impact et l'engagement de la recherche à travers les interactions sur les plateformes de médias sociaux. Apprentissage, médias et technologie, doi : 10.1080/17439884.2022.2065298

46. ​​Wouters, P., Zahedi, Z. et Costas, R. 2019. Paramètres des médias sociaux pour l'évaluation des nouvelles recherches. Glänzel, W., Moed, HF, Schmoch U., Thelwall, M. (éd.), Springer Handbook of Science and Technology Indicators. SpringerLink.

47. Rafols, I. et Stirling, A. 2020. Conception d'indicateurs pour une évaluation ouverte. Aperçus de l’évaluation de la recherche. ResearchGate, doi : 10.31235/osf.io/h2fxp

48. Rich, A., Xuereb, A., Wrobel, B., Kerr, J., Tietjen, K., Mendisu, B., Farjalla, V., Xu, J., Dominik, M., Wuite, G. ., Hod, O. et Baul, J. 2022. Retour aux sources. Halle, Allemagne, Global Young Academy.

49. Jong, L., Franssen, T. et Pinfield, S. 2021. Excellence dans l'écosystème de recherche : une revue de la littérature. Londres, Royaume-Uni, Research on Research Institute.

50. Hatch, A. et Curry, S. 2020. Culture de recherche : Changer la façon dont nous évaluons la recherche est difficile, mais pas impossible. eLife, Vol. 9, p. e58654.

51. PAI. 2022. Combattre les revues et conférences universitaires prédatrices. Trieste, Italie, IAP.

52. Hicks, D., Wouters, P., Waltman, L., de Rijcke, S. et Rafols, I. 2015. Bibliométrie : Le Manifeste de Leyde pour les métriques de recherche. Nature, Vol. 520, p. 429-431.

53. Publications. 2018. État mondial de l’examen par les pairs. Londres, Royaume-Uni, Clarivate. https://doi.org/10.14322

54. Kovanis, M., Porcher, R., Revaud, P. et Trinquart, L. 2016. Le fardeau mondial de l'évaluation par les pairs des revues dans la littérature biomédicale : fort déséquilibre dans l'entreprise collective. PLoS ONE, Vol. 11, n° 11, p. e0166387.

55. Forrester, B. 2023. Marre et épuisement professionnel : le « renoncement silencieux » frappe le monde universitaire. Nature, Vol. 615, p. 751-753.

56. Hatch, A. et Curry, S. 2020. Culture de la recherche : changer la façon dont nous évaluons la recherche est difficile, mais pas impossible. eLife, Vol. 9, p. e58654.

57. Moher, D., Bouter, L., Kleinert, S., Glasziou, P., Har Sham, M., Barbour, V., Coriat, AM, Foeger, N. et Dirnagi, U. 2020. The Hong Principes de Kong pour l'évaluation des chercheurs : favoriser l'intégrité de la recherche. PLoS Biologie, Vol. 18, n° 7, p. e3000737.

58. Wilsdon, J., Allen, L., Belfiore, E., Campbell, P., Curry, S., Hill, S., Jones, R., Kain, R. et Kerridge, S. 2015. La métrique Tide : Rapport de l'examen indépendant du rôle des mesures dans l'évaluation et la gestion de la recherche. est ce que je:10.13140/RG.2.1.4929.1363

59. Curry, S., Gadd, E. et Wilsdon, J. 2022. Exploiter la marée métrique : indicateurs, infrastructures et priorités pour l'évaluation de la recherche responsable au Royaume-Uni. Londres, Royaume-Uni, Research on Research Institute.

60. Éditorial Nature. 2022. Soutenez la vision audacieuse de l’Europe pour une évaluation responsable de la recherche. Nature, Vol. 607, p. 636.

61. Déclaration sur l'évaluation de la recherche (DORA). https://sfdora.org/about-dora/

62. Hicks, D., Wouters, P., Waltman, L., de Rijcke, S. et Rafols, I. 2015. Bibliométrie : Le Manifeste de Leyde pour les métriques de recherche. Nature, Vol. 520, p. 429-431.

63. Curry, S., Gadd, E. et Wilsdon, J. 2022. Exploiter la marée métrique : indicateurs, infrastructures et priorités pour l'évaluation de la recherche responsable au Royaume-Uni. Londres, Royaume-Uni, Research on Research Institute. https://rori.figshare.com/articles/report/Harnessing_the_Metric_Tide/21701624

64. DORA. Déclaration de San Francisco sur l'évaluation de la recherche. https://sfdora.org/read/

65. DORA. Outils pour faire progresser l’évaluation de la recherche. DORA. https://sfdora.org/project-tara/

66. DORA. Subventions d'engagement communautaire DORA : soutenir la réforme de l'évaluation académique https://sfdora.org/dora-community-engagement-grants-supporting-academic-assessment-reform/

67. Inormes. Cadre SCOPE pour l’évaluation de la recherche. https://inorms.net/scope-framework-for-research-evaluation/

68. Inormes. Le cadre SCOPE. https://inorms.net/scope-framework-for-research-evaluation/

69. Torfin, S. 2018. Recherche Qualité Plus. Centre de recherches pour le développement international. https://www.idrc.ca/fr/rqplus

70. Reid, C., Calia, C., Guerra, C. et Grant, L. 2019. Action éthique dans la recherche mondiale : une boîte à outils. Édimbourg, Écosse, Université d'Édimbourg. https://www.ethical-global-research.ed.ac.uk/

71. Valters, C. 2014. Théories du changement dans le développement international : communication, apprentissage ou responsabilité ? La Fondation Asie. https://www.alnap.org/system/files/content/resource/files/main/jsrp17-valters.pdf

72. Fraser, C., Nienaltowski, MH, Goff, KP, Firth, C., Sharman, B., Bright, M. et Dias, SM 2021. Évaluation de la recherche responsable. Conseil mondial de la recherche. https://globalresearchcouncil.org/news/responsible-research-assessment/

73. Le Conseil mondial de la recherche. Évaluation de la recherche responsable GRC. Youtube. https://www.youtube.com/watch?v=CnsqDYHGdDo

74. Curry, S., de Rijcke, S., Hatch, A., Dorsamy, P., van der Weijden, I. et Wilsdon, J. 2020. Le rôle changeant des bailleurs de fonds dans l'évaluation responsable de la recherche. Londres, Royaume-Uni, Research on Research Institute. https://doi.org/10.6084/m9.figshare.13227914.v1

75. Conseil mondial de la recherche. Groupe de travail responsable sur l'évaluation de la recherche. GRC. https://globalresearchcouncil.org/about/responsible-research-assessment-working-group/

76. Académie mondiale des jeunes. Excellence scientifique. GYA. https://globalyoungacademy.net/activities/scientific-excellence/

77. Adams, J., Beardsley, R., Bornmann, L., Grant, J., Szomszor, M. et Williams, K. 2022. Évaluation de la recherche : origines, évolution, résultats. Institut d'information scientifique. https://clarivate.com/ISI-Research-Assessment-Report-v5b-Spreads.pdf

78. DORA. Bibliothèque de ressources. https://sfdora.org/resource-library

79. Saenen, B., Hatch, A., Curry, S., Proudman, V. et Lakoduk, A. 2021. Réinventer l’évaluation des carrières universitaires : histoires d’innovation et de changement. DORA. https://eua.eu/downloads/publications/eua-dora-sparc_case%20study%20report.pdf

80. Coalition pour l'avancement de l'évaluation de la recherche (CoARA). https://coara.eu/

81. CoARA. 2022. Accord sur la réforme de l’évaluation de la recherche. https://coara.eu/app/uploads/2022/09/2022_07_19_rra_agreement_final.pdf

82. Éditorial Nature. 2022. Soutenez la vision audacieuse de l’Europe pour une évaluation responsable de la recherche. Nature, Vol. 607, p. 636.

83. Science ouverte et universelle. Accueil OPUS – Projet Science ouverte et universelle (OPUS). https://opusproject.eu/

84. Vergoulis, T. 2023. GraspOS va de l'avant vers une évaluation de la recherche plus responsable. OpenAIRE. https://www.openaire.eu/graspos-moving-forward-to-a-more-responsible-research-assessment

85. Conseil européen de la recherche. 2022. Le Conseil scientifique de l'ERC décide des modifications apportées aux formulaires et aux processus d'évaluation pour les appels de 2024. ERC. https://erc.europa.eu/news-events/news/erc-scientific-council-decides-changes-evaluation-forms-and-processes-2024-calls

86. Toutes les académies européennes. 2022. Déclaration d'ALLEA sur la réforme de l'évaluation de la recherche au sein des académies européennes. ALLÉA. https://allea.org/wp-content/uploads/2022/10/ALLEA-Statement-RRA-in-the-Academies.pdf

87. Eurodoc, MCAA, YAE, ICoRSA et GYA. 2022. Déclaration commune sur les conclusions du Conseil de l'UE sur l'évaluation de la recherche et la mise en œuvre de la science ouverte. Zenodo, est ce que je:10.5282/zenodo.7066807.

88. Overlaet, B. 2022. Une voie vers des carrières universitaires multidimensionnelles – Un cadre LERU pour l’évaluation des chercheurs. LERU, Louvain, Belgique. https://www.leru.org/files/Publications/LERU_PositionPaper_Framework-for-the-Assessment-of-Researchers.pdf

89. Société royale. CV pour les chercheurs. https://royalsociety.org/topics-policy/projects/research-culture/tools-for-support/resume-for-researchers/

90. Grove, J. 2021. Les CV narratifs racontent-ils la bonne histoire ? Times Higher Education (THE). https://www.timeshighereducation.com/approfondissement/do-narrative-cvs-tell-right-story

91. RICYT. Chercheurs par secteur d'emploi (ETP) 2011-2020. app.ricyt.org/ui/v3/comparative.html?indicator=INVESTEJCSEPER&start_year=2011&end_year=2020

92. CLACSO. 2020. Évaluation de la recherche scientifique. Vers une transformation de l'évaluation de la recherche scientifique en Amérique latine et dans les Caraïbes, série du Forum latino-américain pour l'évaluation de la recherche (FOLEC). CLACSO, Buenos Aires, Argentine. https://www.clacso.org/wp-content/uploads/2020/05/FOLEC-DIAGNOSTICO-INGLES.pdf

93. CLACSO. 2021. Vers une transformation des systèmes d'évaluation en Amérique latine et dans les Caraïbes, outils pour promouvoir de nouvelles politiques d'évaluation. Série du Forum latino-américain pour l'évaluation de la recherche (FOLEC). CLACSO, Buenos Aires, Argentine. https://www.clacso.org/wp-content/uploads/2022/02/Documento-HERRAMIENTA-2-ENG.pdf

94. Gras, N. 2022. Formes d'évaluation de la recherche orientées vers les problèmes de développement. Pratiques et perspectives des organisations nationales de science et technologie et des établissements d'enseignement supérieur d'Amérique latine et des Caraïbes. FOLEC. CLACSO, Buenos Aires, Argentine. 2022-07-27_Report Forms-of-research-assessment.pdf ENG.pdf (dspacedirect.org)

95. Le CLACSO est le Conseil des sciences sociales de la région et l’un des principaux défenseurs d’une science socialement pertinente et responsable. Le Forum latino-américain sur l'évaluation de la recherche (FOLEC) est un espace régional de débat et de partage de bonnes pratiques, et élabore des lignes directrices régionales pour l'évaluation de la recherche afin de soutenir ces principes. Tous deux assurent un leadership régional fort.

96. SGCI. Initiative des conseils subventionnaires scientifiques (SGCI) en Afrique subsaharienne. https://sgciafrica.org/

97. SGCI. Tijssen, R. et Kraemer-Mbula, E. 2017. Note d'orientation : Perspectives sur l'excellence en recherche dans les pays du Sud – évaluation, suivi et évaluation dans les contextes des pays en développement. SGCI. https://sgciafrica.org/wp-content/uploads/2022/03/Policy-Brief-Perspectives-on-research-excellence-in-the-Global-South_-Assessment-monitoring-and-evaluation-in-developing- contextes-pays.pdf

98. Tijssen, R. et Kraemer-Mbula, E. 2018. Excellence de la recherche en Afrique : politiques, perceptions et performances. SGCI. https://sgciafrica.org/research-excellence-in-africa-policies-perceptions-and-performance/

99. Tijssen, R. et Kraemer-Mbula, E. 2018. Excellence de la recherche en Afrique : politiques, perceptions et performances. Science et politique publique, Vol. 45 n° 3, p. 392-403. https://doi.org/10.1093/scipol/scx074

100. SGCI. Guide de bonnes pratiques sur la qualité des concours de recherche. https://sgciafrica.org/eng-good-practice-guideline-on-the-quality-of-research-competitions/

101. NRF. La NRF organise des réunions stratégiques pour faire progresser les partenariats de recherche en Afrique – National Research Foundation

102. Belcher, BM, Rasmussen, KE, Kemshaw, MR et Zornes, DA 2016. Définir et évaluer la qualité de la recherche dans un contexte transdisciplinaire, Research Evaluation, Vol. 25, pp : 1–17, https://doi.org/10.1093/reseval/rvv025

103. ARIN. 2020. Mesures de la science, de la technologie et de l’innovation (STI) – Africa Research & Impact Network (arin-africa.org)

104. McLean R., Ofir Z., Etherington A., Acevedo M. et Feinstein O. 2022. Research Quality Plus (RQ+) – Évaluer la recherche différemment. Ottawa, Centre de recherches pour le développement international. https://idl-bnc-idrc.dspacedirect.org/bitstream/handle/10625/60945/IDL-60945.pdf?sequence=2&isAllowed=y

105. Académie internationale de suivi et d'évaluation

106. DORA. Tableau de bord TARA. https://sfdora.org/tara-landing-page/

107. IARU, Association internationale des universités à forte intensité de recherche ; LERU, Ligue des universités européennes de recherche ; AAU, Association Africaine des Universités