El futur de l'avaluació de la recerca: una síntesi dels debats i desenvolupaments actuals

Un sistema de recerca dinàmic i inclusiu és de gran importància tant per a la ciència com per a la societat per avançar en el coneixement i la comprensió fonamentals i per abordar reptes globals cada cop més urgents. Però el sistema de recerca està sota pressió a causa de les expectatives creixents de múltiples actors (inclosos els finançadors, els governs i la indústria editorial), les tensions entre les dinàmiques de competència i la cooperació, un sistema de comunicació acadèmica en evolució, una indústria editorial i analítica de dades agressiva, de vegades. i recursos limitats. L'empresa investigadora ha de gestionar aquestes demandes i tensions alhora que manté la qualitat de la recerca, manté la integritat de la recerca, és inclusiva i diversa i salvaguarda tant la recerca bàsica com la aplicada.

Durant l'última dècada, aquestes pressions sobre, i la necessitat de resposta del sistema científic, han anat acompanyades de reflexions més crítiques sobre els sistemes d'avaluació de la recerca i mesura del rendiment. Tot i que les metodologies adequades i sensibles al context per avaluar la qualitat i l'impacte de la recerca són importants, s'han intensificat els debats sobre els efectes amplis, complexos i ambigus dels criteris i mètriques d'avaluació actuals sobre la qualitat i la cultura de la recerca, la qualitat de l'evidència que informa l'elaboració de polítiques, prioritats en recerca i finançament de la recerca, trajectòries individuals de carrera i benestar dels investigadors. En algunes parts del món, hi ha un reconeixement creixent que un conjunt reduït i simplista de mètriques i indicadors d'avaluació no capten de manera satisfactòria la qualitat, la utilitat, la integritat i la diversitat de la recerca. Les mètriques que s'utilitzen habitualment, sovint basades en revistes, no aconsegueixen captar dimensions addicionals importants de la investigació d'alta qualitat, com les que es troben en la mentoria, l'intercanvi de dades, la relació amb el públic, el foment de la propera generació d'estudiosos i la identificació i oportunitats als grups poc representats. A més de ser un abast massa reduït, també es considera que la qüestió de l'aplicació incorrecta de mètriques i indicadors distorsiona els incentius per a l'assoliment, perjudica algunes disciplines (inclosa la investigació interdisciplinària i transdisciplinària vital) i alimenta les pràctiques de publicació depredadores i poc ètiques.

Les campanyes per frenar la mala aplicació de les mètriques, ampliar els criteris de qualitat i transformar la cultura de la recerca de manera més sistemàtica a través de manifestos i declaracions, principis i reformes han posat l'escenari per a un debat global sobre la necessitat de reformar l'avaluació de la recerca. Aquestes veus demanen ara passar dels manifestos a l'acció. Això passa en el context de canvis transformadors en les maneres en què s'està duent a terme i comunicant la recerca. L'auge dels marcs de recerca oberts i de les xarxes socials, un canvi cap a la ciència transdisciplinària i orientada a la missió, el creixement de la revisió oberta per iguals i el potencial transformador de la intel·ligència artificial (IA) i l'aprenentatge automàtic requereix un nou pensament sobre com s'avaluen la recerca i els investigadors. .

En aquest context, el Global Young Academy (GYA), El Associació InterAcadèmia (IAP) i la Consell Internacional de la Ciència (ISC) van unir forces per fer balanç dels debats i desenvolupaments en l'avaluació de la recerca a tot el món, aprofitant un grup de científics i una sèrie de consultes regionals. Les institucions d'educació superior i els finançadors de la investigació estan desenvolupant i pilotant nous enfocaments d'algunes parts del món, i en aquest document s'inclouen diversos. En altres parts del món, aquests debats i accions són naixents o fins i tot absents. Amb els sistemes de recerca que evolucionen a diferents ritmes, hi ha un risc de divergència i fragmentació. Aquesta divergència pot comprometre l'homogeneïtat necessària per permetre la col·laboració en recerca i facilitar la mobilitat dels investigadors a través de diferents geografies, sectors i disciplines. No obstant això, una mida no pot cabre per a tots i cal fer esforços sensibles al context per reformar l'avaluació, reconeixent els reptes locals.

Amb un enfocament en la investigació del sector públic i l'avaluació de la recerca i els investigadors, aquest document de discussió és global en la seva perspectiva, i cobreix una agenda que normalment està dominada pels desenvolupaments a Europa i Amèrica del Nord: perspectives regionals i exemples de desenvolupament nacional i reforma institucional són destacat. La pertinença global i col·lectiva del GYA, IAP i ISC representa una àmplia secció transversal de l'ecosistema de recerca els diversos mandats del qual poden facilitar un canvi sistèmic genuí. Aquest document pretén servir d'estímul per al GYA, l'IAP i l'ISC, com a plataformes per a l'aprenentatge mutu, l'experimentació i la innovació, per treballar amb els seus membres, altres institucions científiques i col·lectius clau d'arreu del món, per iniciar i progressar converses i mobilitzar-se més inclusivament. i acció conjunta.

Les recomanacions per a la GYA, l'IAP i l'ISC i els seus membres (vegeu la secció 5) s'estructuren al voltant dels seus rols com a defensors, exemplars, innovadors, finançadors, editors, avaluadors i col·laboradors, amb terminis indicatius d'actuació. De manera més immediata, aquestes accions inclouen la creació d'espais per compartir lliçons i resultats d'iniciatives rellevants fins ara (per construir una comunitat de pràctica); a mitjà termini, reunir fòrums de múltiples parts interessades amb grups clau per redissenyar i implementar l'avaluació de la investigació de manera practicable, sensible al context i inclusiva; i, a més llarg termini, instigar estudis nous que contribueixin a pensar en el futur, sensibles als desenvolupaments ràpids en tecnologies d'IA, metodologies i reformes de revisió per iguals i mitjans de comunicació.

El Global Young Academy (GYA), Associació InterAcadèmia (IAP) i la Consell Internacional de la Ciència (ISC) es van reunir el 2021 per fer un balanç dels reptes, debats i desenvolupaments en l'avaluació/avaluació de la investigació a tot el món, a través de diferents cultures i sistemes de recerca, i per explorar maneres en què podrien participar i influir en la reimaginació de l'avaluació/avaluació de la investigació per al Segle XXI, d'una manera oberta i inclusiva.

Es va convocar un grup d'abast internacional (apèndix A) per estudiar el camp i assessorar les tres organitzacions sobre com podrien reforçar els esforços existents per reformar l'avaluació de la recerca. La base d'aquest treball era la premissa que (1) una iniciativa concertada dirigida per investigadors donaria a la comunitat investigadora mundial una veu més forta a l'hora de configurar el futur de l'avaluació de la recerca i (2) hi ha avantatges d'"avaluar amb l'avaluat"; d'aquesta manera, ajudant a traçar un camí cap a un canvi sistemàtic i sostingut en les cultures i pràctiques d'avaluació.

A finals de 2021, com a complement de la investigació documental, es va dur a terme una sèrie de consultes regionals amb experts identificats pel grup d'abast i els socis. El document de discussió és el resultat principal d'aquest treball. Té la intenció de servir com a prospecte per a converses exploratòries amb múltiples parts interessades, sobretot la comunitat de recerca global.

Les pràctiques d'avaluació de la investigació serveixen per a múltiples objectius i són realitzades per múltiples parts interessades. S'utilitzen per avaluar propostes de recerca per a decisions de finançament, treballs de recerca per a la seva publicació, investigadors per a la contractació o promoció i el rendiment de les institucions de recerca i les universitats. Aquest treball se centra principalment en l'avaluació dels investigadors i la recerca, i no cobreix l'avaluació o el rànquing institucional, tot i que totes aquestes àrees d'avaluació estan íntimament vinculades. Les pràctiques actuals es basen en gran mesura en mètriques quantitatives i en gran part basades en revistes, com ara Journal Impact Factor (JIF), nombre de publicacions, nombre de cites, índex h i puntuació d'influència de l'article (AIS). Altres mètriques inclouen objectius d'ingressos de subvencions, mesures d'entrada (com ara el finançament de la investigació o la mida de l'equip de recerca), el nombre de patents registrades i, més recentment, les mètriques de xarxes socials (abans "altmetrics"), com ara les comparticions o les descàrregues de les xarxes socials. En conjunt, aquestes mètriques influeixen profundament en les reputacions institucionals, de grups de recerca i individuals, les agendes de recerca individuals i col·laboratives, les trajectòries professionals i l'assignació de recursos.

Durant les últimes dues dècades, la inversió global en recerca i desenvolupament (R+D) s'ha triplicat, fins a uns 2 bilions de dòlars anuals. Només els últims anys han suposat el creixement més ràpid de la despesa en R+D des de mitjans de la dècada de 1980, al voltant d'un 19% (UNESCO, 2021) [1]. Aquesta inversió addicional en recerca comporta una cultura de responsabilitat que pressiona les institucions de recerca i les persones, i pot generar aberracions o incentius perversos com a resposta. També ha comportat més aspiracions: mantenir la qualitat i reduir el malbaratament, l'error i la ineficiència de la recerca; maximitzar la inclusió i la diversitat; optimitzar la recerca com a bé públic global; i promoure una beca més oberta i compromesa. Sense reforma, la qualitat de la investigació, la integritat, la diversitat i la utilitat estan amenaçades.

Les mètriques quantitatives poden formar una part important de l'avaluació de la recerca, en la transició a un sistema de recerca més obert, responsable i de cara al públic (La Royal Society, 2012) [2]. Però també són en part responsables d'alimentar la cultura de la recerca de "publicar o morir" que existeix a tot el món, amb efectes nocius sobre la qualitat dels resultats de la recerca, la integritat i la fiabilitat dels sistemes de recerca i la diversitat de les comunitats de recerca (p. ex. Haustein i Larivière, 2014) [3]. Això es deu al fet que les mètriques s'utilitzen com a indicadors de la qualitat de la investigació tant per les institucions, els responsables polítics com els finançadors de la investigació, però són una mesura dels resultats i no de la qualitat o l'impacte de la recerca per se. Com a tal, aquests actors fan molt per establir el context social i cultural en què es produeix la investigació, i els sistemes de recompensa i promoció del món acadèmic configuren les opcions dels científics en totes les etapes de la seva carrera (Macleod et al., 2014) [4].

"L'ús d'índexs bibliomètrics... com a mètriques de proxy per al rendiment dels investigadors és un índex d'avaluació convenient però profundament defectuós. La majoria se centren incansablement en l'assoliment individual, redueixen el suport a la recerca a través de l'interès d'una universitat per les mètriques d'alt impacte, ho fan pressionar per "marcar caselles" i complir, mentre que juguen un paper important en la distorsió del mercat de publicacions de revistes. Hi ha una necessitat urgent de reformes".

Opening the Record of Science (2021), el Consell Internacional de la Ciència

L'altra comunitat de parts interessades que té un gran poder i influència sobre la comunicació de recerca i la producció de coneixement és el sector editorial. Les mètriques basades en revistes s'han convertit en un poderós incentiu per publicar en revistes comercials i poden incentivar comportaments que poden tenir efectes secundaris greus. En lloc de jutjar els resultats de la investigació pels seus mèrits científics, és la qualitat percebuda de la revista en què es publica el que s'accepta habitualment com a prova de qualitat científica, impulsant un mercat editorial molt comercial basat en la reputació més que en la ciència. Els costos d'accés obert s'incorren en gran part a través dels càrrecs de processament de l'autor (APC): poden ser prohibitius, especialment en algunes parts del món, creant barreres a la publicació de recerca per als investigadors amb pocs recursos i possiblement arriscant la fractura de la comunitat científica internacional. Els riscos de dependre cada cop més dels proveïdors comercials i dels seus termes d'ús en totes les etapes del procés d'investigació creen un argument fort per a alternatives sense ànim de lucre. A més, com que els indicadors bibliomètrics han proporcionat la font dominant d'incentius a les universitats, han disminuït el valor del treball educatiu i d'altres formes de treball científic (com ara l'ensenyament i l'assessorament polític). Com que els sistemes d'avaluació de la recerca tendeixen a afavorir aquells que obtenen grans subvencions i publiquen en revistes amb un alt impacte, hi ha proves que suggereixen que els investigadors que ja han tingut èxit tenen més probabilitats de tornar a tenir èxit (l'"efecte Mateu", Bol et al., 2018) [5].

Quan la publicació acadèmica es converteix en un mitjà d'avaluació més que no pas de comunicació, això perjudica aquells que decideixen comunicar la seva investigació d'altres maneres significatives (Informe de l'ISC 2021) [6]. Això inclou resultats comuns (i possiblement la moneda principal) de la Global Young Academy (GYA), l'InterAcademy Partnership (IAP) i el International Science Council (ISC): informes, documents de treball, declaracions conjuntes, editorials d'opinió, notícies i seminaris web. . Algunes disciplines també es troben en desavantatge: per exemple, els investigadors en enginyeria i informàtica on la comunicació (generalment més ràpida) a través de conferències i les seves actes és important; i els d'humanitats i ciències socials que solen utilitzar monografies, llibres i revistes professionals.

Altres opten per publicar en revistes específiques de recerca o locals, o no poden permetre el luxe de publicar la seva investigació (per molt d'alta qualitat) en revistes d'accés obert amb factors d'impacte elevats (i concomitants APC elevats); aquest últim desfavoreix als països de baixos ingressos, especialment els investigadors d'inici de carrera (ECR). Aquests mateixos investigadors estan sotmesos a una intensa pressió per obtenir llocs acadèmics titulars i el seu comportament està fortament condicionat pels criteris quantitatius utilitzats per les agències de finançament de la recerca i les juntes institucionals de contractació i promoció. La temptació de pensar amb indicadors (Muller i de Rijcke, 2017) [7], i fins i tot "jugar" el sistema, és una realitat per a tots els investigadors de tot el món (p. ex. Ansede, 2023) [8].

Les manifestacions d'aquest joc inclouen investigadors (conscients o inadvertits) que utilitzen revistes i conferències depredadores per augmentar el seu nombre de publicacions. (IAP, 2022 [cinc]; Elliott et al., 2022 [10]), dedicant-se a l'autocitació i la falsificació de les revisions per iguals, el plagi, la inflació del factor d'impacte i el "tallat de salami" (particionant un gran estudi que es podria haver informat en un únic article de recerca en articles publicats més petits) (Collyer, 2019) [11]. Sota pressió, els investigadors poden tenir la temptació de recórrer a serveis depredadors amb l'únic propòsit d'aconseguir el seu doctorat, ser contractats o promocionats, o finançar els seus projectes de recerca (p. ex. Abad-García, 2018 [cinc]; Omobowale et al., 2014) [13]. Els sistemes acadèmics i de publicació acadèmics impulsats per mètriques impulsen incentius insidiosos: on publica un investigador és més important que el que publica.

L'impacte sobre la qualitat i la integritat de la investigació és molt preocupant. El nombre d'articles acadèmics retirats ha augmentat dràsticament en els darrers anys, a causa de la mala conducta de la investigació i la publicació i dels conjunts de dades deficients o fraudulents. Les revistes poden trigar mesos o anys a retractar-se d'investigacions poc fiables, moment en què potser ja s'hagin citat nombroses vegades i sigui de domini públic (Ordway, 2021) [14].

El predomini de l'avaluació de la investigació basada en mètriques és inequívoc i hi ha tendències divergents a nivell mundial pel que fa a la reforma de l'avaluació, que corre el risc de deixar enrere parts de la comunitat investigadora. En la seva anàlisi del panorama global de l'avaluació de la recerca (Curry et al., 2020 [15]; presentat), sembla que moltes institucions de recerca i finançament dels països/regions d'ingressos més alts comencen a incloure un conjunt més ampli d'indicadors, com ara mesures d'"impacte" qualitatives, mentre que la bibliometria segueix sent predominant a les institucions del "Sud global" [16]. ], a totes les disciplines. Sense una acció més inclusiva, es corre el risc d'haver una divergència dels sistemes nacionals d'avaluació, que podria introduir encara més biaixos sistèmics i possibles incompatibilitats en els sistemes de recerca, avaluació, finançament i publicació. Això, al seu torn, pot inhibir la col·laboració internacional en recerca i la mobilitat dels investigadors. A l'hora de crear barreres per a la col·laboració nord-sud, també pot inhibir l'enfortiment concomitant dels ecosistemes de recerca al Sud global: una avaluació sòlida de la investigació enforteix els ecosistemes de recerca i la confiança en ells, redueix la probabilitat de fugida de cervells i ajuda a establir un fort capital humà per a la sostenibilitat. desenvolupament. No obstant això, les versions universals del que constitueix un bon rendiment generen formes de comportament que no necessàriament afavoreixen l'excel·lència, l'equitat, la transparència i la inclusió. Mesurar els èxits dels acadèmics que han prosperat en entorns de suport i amb bons recursos on abunden les oportunitats, de la mateixa manera que els que han lluitat contra els reptes i han superat obstacles en entorns hostils i poc solidaris és qüestionable en el millor dels casos (GYA, 2022) [17]. Molts estudiosos senten una exclusió històrica i geogràfica de la comunitat investigadora, alimentada en gran part per la manera com són avaluats al llarg de la seva carrera professional. En excloure algunes formes d'investigació i no aprofitar una diversitat d'idees a nivell mundial, hi ha el risc que les pràctiques actuals d'avaluació de la investigació promoguin una cultura dominant/seguidora dels models dominants concebuts a Occident.

Els investigadors dels països de baixos ingressos i en les primeres etapes de la seva carrera necessiten veu per poder ajudar a donar forma a nous models d'avaluació de maneres sensibles al context que s'adaptin al seu propòsit i tinguin en compte els reptes que s'enfronten en el dia a dia. base diària. El GYA i el nombre creixent de Joves Acadèmies Nacionals donen als ECR aquesta veu i la Grup de treball de GYA sobre excel·lència científica [18] ofereix les seves opinions sobre la reforma de l'avaluació de la recerca (vegeu el text més avall).

Punts de vista de la comunitat d'investigadors d'inici de carrera

Els investigadors de carrera inicial (ECR) estan especialment preocupats per les pràctiques d'avaluació de la recerca perquè les seves perspectives de carrera i la recerca de la seva agenda de recerca depenen de manera crucial de com s'avaluïn. Això informa les pràctiques de finançament, contractació i promoció d'una manera que no sempre es percep com a justa i equitativa.

Tot i que és obvi que les decisions de finançament i de recursos humans afecten la composició de la força de treball dels investigadors, no sempre es reconeix que, a través del seu impacte en el finançament, l'avaluació de la recerca configura incentius perquè les institucions i els investigadors segueixin una determinada trajectòria de recerca, treball. en un camp determinat o unir-se a unes xarxes sobre d'altres. D'aquesta manera, l'avaluació de la recerca configura el desenvolupament de la ciència en si, i això és especialment cert en relació al seu impacte desproporcionat en les perspectives i expectatives dels ECR.

Tot i que la ciència és una empresa global, alguns estudiosos s'enfronten a barreres més elevades per entrar i relacionar-se amb la comunitat investigadora a causa d'on han nascut, la seva identitat o origen socioeconòmic. Es tracta d'una qüestió d'organització de la indústria científica i no d'avaluació de la recerca per se, però molts ECR consideren que els criteris d'avaluació no haurien de ser cecs a aquesta realitat de l'experiència dels investigadors, i no haurien d'imposar criteris uniformes i estandarditzats a les diferents situacions.

La investigació realitzada pel Scientific Excellence Working Group de la GYA (de proper informe) mostra que l'avaluació de la investigació pot estar impulsada més per la política de recerca d'un país que per debats culturals o científics. Centrant-se en els criteris de promoció a professorat titular (o equivalent) a l'àmbit acadèmic, l'informe mostra que les polítiques i institucions nacionals solen tenir documents específics que estableixen els seus criteris per a l'avaluació de la recerca. En lloc d'englobar un conjunt ampli i variat de criteris que es podrien utilitzar per formar una visió global d'un investigador, aquests documents tendeixen a centrar-se en una sola dimensió o prioritat. Per exemple, alguns documents se centren en l'avaluació de les activitats de servei d'un investigador (com ara l'ensenyament i la tutoria) o alguns en la producció acumulada d'un investigador (per exemple, en termes de nombre d'articles de revistes), però rarament ambdues coses.

Hi ha dues implicacions principals d'aquesta troballa. En primer lloc, l'avaluació de la investigació és jeràrquica i de dalt a baix. Això crea un risc, en la mesura que tant les mètriques com els mètodes qualitatius sovint ignoren la diversitat dels investigadors: tant en els seus antecedents com en els seus itineraris professionals i, igualment important, la diversitat en els seus mètodes i idees. En canvi, els ECR representats a la GYA creuen que seria important reconèixer la diversitat d'activitats que són necessàries per a l'empresa de recerca i dissenyar esquemes d'avaluació de la recerca que fomentin la diversitat i el pluralisme en lloc d'exigir la conformitat i l'homologació.

En segon lloc, les diferències entre disciplines són menys significatives que les diferències segons la situació econòmica dels països en què treballa un investigador. Els països amb ingressos més baixos semblen confiar en mètriques quantitatives i premiar la "productivitat", mentre que els països amb ingressos més alts estan cada cop més oberts a l'avaluació qualitativa de l'impacte. Si aquesta divergència es desenvolupa encara més, podria constituir un obstacle més per a la mobilitat internacional dels acadèmics, que és especialment important per als ECR.

En conclusió, l'informe del GYA subratlla que no hi ha una bala de plata: l'avaluació de la recerca s'ha d'orientar cap als objectius de l'avaluació i, en definitiva, els objectius d'una institució o la política de recerca d'un país. L'avaluació ha de permetre la diversitat de perfils i carreres d'investigador i adoptar un enfocament diferent en funció de la finalitat de l'avaluació. Com que la ciència és una conversa global i autocrítica, pot ser que no sempre sigui necessària una avaluació externa. De fet, sovint es debat sobre l'ús i el valor real dels rànquings odiosos (de persones, institucions, punts de venda o fins i tot països sencers).

Els reptes globals actuals, molts dels quals s'articulen en els Objectius de Desenvolupament Sostenible (ODS) de les Nacions Unides (ONU), requereixen una investigació transformadora, interdisciplinària i transdisciplinària, que requereix noves modalitats de realització i cooperació de recerca (ISC, 2021) [19]. La urgència d'una investigació inclusiva, participativa, transformadora i transdisciplinària no s'ajusta a com es recolza, s'avalua i es finança la investigació; perquè la recerca compleixi la seva promesa a la societat, necessita sistemes d'avaluació més oberts, inclusius i sensibles al context (Gluckman, 2022) [20]. El comportament integrat dels acadèmics, els finançadors i els editors pot dificultar el canvi, de manera que la inversió es pot dirigir potencialment lluny de les àrees de més necessitat.

El creixement de la recerca interdisciplinària i transdisciplinària i la ciència participativa o ciutadana són avenços importants i vitals per afrontar els reptes globals. A mesura que la investigació traspassa els límits disciplinaris i institucionals i implica un conjunt més ampli de parts interessades, inclosa la comunitat d'usuaris per dissenyar conjuntament preguntes de recerca urgents per a la societat, els criteris tradicionals d'avaluació de la recerca acadèmica són insuficients i fins i tot poden limitar el desenvolupament i l'ús de la investigació transdisciplinària.Belcher et al., 2021) [21]. Es necessiten principis i criteris més adequats per guiar la pràctica i l'avaluació de la investigació transdisciplinària: un primer exemple d'un marc d'avaluació de la qualitat es construeix al voltant dels principis de rellevància, credibilitat, legitimitat i utilitat (Belcher et al., 2016) [22].

Les maneres en què s'encarrega, es finança, es realitza i es comunica la investigació evolucionen al ritme i requereixen l'acceleració de la reforma de l'avaluació de la recerca. Inclouen els següents:

(1) La transició a la ciència oberta

El moviment de la ciència oberta requereix una reforma concomitant dels sistemes d'avaluació de la recerca per millorar l'obertura i la transparència. Moltes de les mètriques i indicadors utilitzats per mesurar el rendiment de la investigació són en si mateixes opacs i sovint es calculen a porta comercial tancada. Aquesta manca de transparència compromet l'autonomia de la comunitat investigadora: restringeix les opcions per avaluar, provar, verificar i millorar els indicadors de recerca (Wilsdon et al., 2015 [23]). L'avaluació responsable de la investigació s'està convertint en un aspecte fonamental dels moviments globals cap a la ciència oberta, com es mostra, per exemple, a la Recomanació sobre ciència oberta de l'Organització de les Nacions Unides per a l'Educació, la Ciència i la Cultura (UNESCO).UNESCO, 2021 [24]), que inclou el desenvolupament d'un conjunt d'eines de ciència oberta per als seus membres per ajudar-los a revisar i reformar les avaluacions de la seva carrera investigadora i els criteris d'avaluació [25].

(2) Evolució de la revisió per parells

El creixement de la revisió oberta per iguals, ja sigui la publicació d'informes de revisió per iguals i/o la identificació pública dels revisors, és un desenvolupament important per a l'avaluació de la recerca (Barroga, 2020 [cinc]; Woods et al., 2022 [27]). El creixement de la infraestructura de dades ha permès als editors generar identificadors d'objectes digitals (DOI) per als informes de revisió per parells, enllaçar informes de revisió per iguals amb identificadors individuals d'investigador obert i col·laborador (ORCID) i publicar articles com a preimpressió. El nombre de preprints va créixer significativament durant la pandèmia global de COVID i va exposar els reptes plantejats per avaluar la investigació en mode de resposta ràpida. No obstant això, les pràctiques obertes de revisió per iguals, ja siguin abans o després de la publicació, poden ajudar a alterar el control que tenen els editors comercials sobre els processos de comunicació de recerca i producció de coneixement, reduint el poder de la revista científica i les mètriques associades, com ara els JIF. Els registres oberts d'activitats de revisió per iguals també poden proporcionar una infraestructura per documentar i, amb el temps, generar un major valor en les activitats d'avaluació per iguals, que són un servei professional vital, sovint en gran mesura invisible i poc valorat en les avaluacions acadèmiques.Kaltenbrunner et al., 2022 [28]).

(3) L'aplicació de la intel·ligència artificial i l'aprenentatge automàtic

És probable que els avenços tecnològics en intel·ligència artificial (IA) i aprenentatge automàtic tinguin conseqüències profundes per a l'avaluació de la investigació, inclosos els processos de revisió per iguals que la donen suport (p. Holm et al., 2022 [cinc]; Proctor et al., 2020 [30]). La IA ja s'està utilitzant per racionalitzar i reforçar la revisió per iguals (Natura, 2015 [31]; Natura, 2022 [32]), prova la qualitat de la revisió per iguals (Severin et al., 2022 [33]), prova la qualitat de les cites (Gadd, 2020 [34]), detectar plagi (Foltýnek et al., 2020 [35]), captura els investigadors doctorant dades (Quach, 2022 [36]) i trobar revisors per iguals, que són cada cop més escassos perquè aquest treball no rep el crèdit que es mereix en l'avaluació dels investigadors. La "IA conversacional", com ara ChatGPT (Chat Generative Pre-Trained Transformer), té la capacitat de dissenyar experiments, escriure i completar manuscrits, dur a terme revisions per iguals i donar suport a decisions editorials per acceptar o rebutjar manuscrits (Natura, 2023 [37]). També hi ha potencial per a que la IA millori l'eficiència de la revisió per parells mitjançant l'ús d'algoritmes per alleujar la càrrega dels revisors per parells com a àrbitres dels resultats de la investigació (Natura, 2022 ). L'ús de la IA ja s'està provant a la Xina per trobar àrbitres (Natura, 2019 [39]).

Totes aquestes aplicacions d'IA poden reduir aquesta càrrega i permetre als experts experimentats centrar el seu judici en la qualitat de la investigació i avaluacions més complexes (Thelwall, 2022 [40]). Però també corren el risc de propagar biaixos perquè són tecnologies predictives que reforcen les dades existents que poden estar esbiaixades (per exemple, per gènere, nacionalitat, ètnia o edat): de fet, l'ús de la IA en si es podria beneficiar d'una comprensió més profunda del que constitueix la "qualitat". ' recerca (Chomsky et al., 2023 [cinc]; ISI, 2022 [42]).

De manera vital, però, totes les formes d'IA i aprenentatge automàtic estan obertes a l'abús (Blauth et al., 2022 [43]; Bengio, 2019 [44]). Les comunitats acadèmiques i d'investigació hauran de preparar-se i ser resilients per a això, treballant amb el govern, la indústria i el lideratge de la societat civil que governen aquest espai.

(4) L'auge de les xarxes socials

Les mesures quantitatives convencionals de l'impacte de la investigació no tenen en compte l'augment de la participació a les xarxes socials i els investigadors/acadèmics connectats a les xarxes socials (Jordan, 2022 [45]). Molts acadèmics utilitzen plataformes de xarxes socials per implicar comunitats, responsables polítics i públics durant tota la vida del seu projecte de recerca; per involucrar-se positivament amb, provar i informar la seva recerca, i aportar una diversitat d'idees i aportacions, en lloc de simplement publicar el resultat final com un fet consumat per a un públic receptor. Aquest compromís no és recollit per les formes convencionals d'avaluació de la recerca, però pot donar lloc a oportunitats d'influència i divulgació més àmplies. Les mètriques de les xarxes socials ('altmetrics') s'estan desenvolupant com a contribució a les mètriques responsables (Wouters et al., 2019 [4]) i incloure mencions a Twitter o Facebook i el nombre de seguidors a ResearchGate, per exemple. D'una banda, aquestes altemètriques poden ajudar a obrir, crear espai i ampliar l'avaluació (Rafols i Stirling, 2021 [47]), però d'altra banda –com altres indicadors– també es pot utilitzar de manera irresponsable i/o es pot veure que imposa una altra capa de mètriques en els sistemes d'avaluació.

Els reptes per a la reforma de l'avaluació de la recerca són múltiples. Aquí s'il·lustren alguns dels més significatius.

Qualsevol reforma que inclogui mesures més qualitatives ha de salvaguardar, alhora, la qualitat de la recerca bàsica i aplicada. Hi ha proves anecdòtiques que alguns científics poden oposar-se ells mateixos a la reforma, potser especialment els investigadors de carrera avançada que han prosperat en el sistema actual, perquè temen que s'arrisqui a alimentar una investigació mediocre, o que formes d'avaluació més qualitatives puguin afavorir la investigació aplicada sobre la bàsica. La reforma dels criteris d'avaluació de la investigació tendeix a emmarcar-se en els moviments cap a una investigació amb impacte social i orientada a la missió que apel·la al suport públic i polític d'una manera que potser no la investigació bàsica o del cel blau menys tangible. Alguns argumenten que es requereix una interpretació més matisada del "valor" de la investigació per recolzar la innovació, ja que el futur requereix una inversió contínua en investigació fonamental, impulsada per la curiositat i una apreciació més àmplia del paper crucial que juga en la capacitat de respondre als reptes globals (GYA, 2022 [48]).

La manca de coherència en el significat i l'ús de la terminologia de recerca, de manera més general, és una barrera per al canvi. El marc conceptual per a l'avaluació de la investigació no ha canviat substancialment al llarg del temps, ni tampoc el llenguatge que el sustenta: el sistema de recerca encara està encallat en velles dicotomies com ara ciència "bàsica" i "aplicada", i termes com "impacte", "qualitat". (equiparat de manera poc útil amb la productivitat) i l'"excel·lència" no es defineixen clarament de manera que s'evita el biaix geogràfic, disciplinari, de carrera i de gènere. (Jong et al., 2021 [49]): això pot ser especialment greu en els panells de presa de decisions sense diversitat (Hatch and Curry, 2020 )[50].

Igual que l'avaluació basada en mètriques, les formes d'avaluació més qualitatives també són imperfectes. Fer l'argument que els processos de revisió per parells i el judici d'experts són almenys tan importants com la bibliometria no és senzill. Poden estar esbiaixats a causa de la falta de claredat i transparència en el procés de revisió per iguals. Els comitès d'avaluació per parells, per exemple, han estat criticats com a mecanismes que preserven les formes establertes de poder i privilegi en permetre que les xarxes de "vells nois" i l'homofília (avaluadors que busquen persones com ells) persisteixin, alhora que són vulnerables a les dinàmiques de pensament grupal. Les mètriques quantitatives, encara que siguin imperfectes, es veuen en algunes parts del món com una defensa contra el nepotisme i el biaix. Arguments similars es poden aplicar a la revisió per iguals dels treballs de recerca, amb l'ús d'una avaluació més qualitativa que pot obrir la porta a altres formes de comportament discriminatori.

La manca de reconeixement professional i de formació per a la revisió per iguals en qualsevol forma crea desincentius per actuar com a revisor per iguals, reduint així la capacitat. A més, com que la demanda supera l'oferta, pot crear incentius per tal de reduir el rigor. Es requereix augmentar la transparència de la revisió per iguals (ja sigui totalment oberta, anònima o híbrida) i formar, fomentar i premiar les bones pràctiques de revisió entre iguals; igual que la investigació addicional sobre models per a la seva evolució a mesura que es diversifiquen els resultats de la investigació (IAP, 2022 [51]) i les tecnologies d'IA avancen.

Els debats sobre la reforma de l'avaluació de la recerca són complexos i no binaris. La informació qualitativa i quantitativa sovint s'ha combinat en contextos de revisió per iguals: declaracions com el Manifest de Leiden per a les mètriques de recerca (Hicks et al., 2015 [52]) demanen una "revisió per parells informada" en què el judici d'experts estigui recolzat, però no liderat per, indicadors quantitatius seleccionats i interpretats adequadament i per informació qualitativa. El debat sobre l'avaluació de la investigació no és una elecció binària "qualitativa versus quantitativa" d'eines d'avaluació, sinó com garantir la millor combinació de múltiples formes d'informació.

Finalment, qualsevol reforma també ha de ser convenient i practicable. El sistema de recerca ja està mostrant signes de col·lapsament sota ell mateix, ja que el volum de publicacions augmenta exponencialment i la càrrega de la revisió cau de manera desigual a tota l'empresa de recerca (p. ex. Publons, 2018 [cinc]; Kovanis et al., 2016 [cinc]; Natura, 2023 [55]). Les mètriques basades en revistes i l'índex h, juntament amb les nocions qualitatives de prestigi de l'editor i reputació institucional, poden proporcionar dreceres convenients per als avaluadors ocupats i presentar obstacles al canvi que s'han arrelat profundament en l'avaluació acadèmica (Hatch and Curry, 2020 [56]). Les mètriques quantitatives són aclamades en alguns països perquè proporcionen rutes relativament clares i inequívoques per al nomenament i la promoció. Al "Sud global", els factors d'impacte mitjans s'utilitzen habitualment per a la llista de candidats, i qualsevol alternativa ha de ser igual d'implementable i capaç d'aprofitar els recursos addicionals inevitablement necessaris per ampliar l'abast de l'avaluació. És probable que la conveniència d'utilitzar mètriques quantitatives senzilles en l'avaluació de la investigació sigui un obstacle important per al canvi, i la introducció de nous sistemes d'avaluació pot fins i tot crear més desigualtat global a causa de la manca de capacitat o competència en alguns països.

Durant l'última dècada, hi ha hagut una sèrie de manifestos i principis d'alt perfil sobre l'avaluació de la recerca per abordar aquests reptes, inclòs el Manifest de Leiden (elaborat per un grup d'experts internacionals), els Principis de Hong Kong (Moher et al., 2020 [57]) (desenvolupat a la 6a Conferència Mundial sobre Integritat de la Recerca el 2019) i La Marea Mètrica [58] i Aprofitant la marea mètrica [59] informes (desenvolupats en el context d'una revisió del marc de recerca i avaluació del Regne Unit, REF). Hi ha almenys 15 esforços diferents que insten les parts interessades clau, ja siguin responsables polítics, finançadors o directors d'institucions d'educació superior (IES) a minimitzar el dany potencial dels sistemes d'avaluació actuals. Totes aquestes iniciatives han arribat a un públic ampli i són progressistes en el seu enfocament en mètriques responsables com a requisit previ per millorar la cultura investigadora i aportar igualtat, diversitat, inclusió i pertinença a la comunitat investigadora. Però hi ha una preocupació creixent per part d'alguns arquitectes d'aquestes iniciatives que, tot i que són útils, disminueixen l'acció pràctica tangible: l'acte de ser signatari només és efectiu si se segueix amb una implementació pràctica (Natura, 2022 [60]).

Hi ha un suport creixent per a "avaluació o avaluació de la recerca responsable" i "mètriques responsables" (DORA, 2012 [cinc]; Hicks et al. 2015 [cinc]; Wilsdon et al., 2015) que s'allunyen de mètriques purament quantitatives a una varietat més àmplia de mesures per permetre als investigadors descriure l'impacte econòmic, social, cultural, ambiental i polític de la seva recerca; per tenir en compte els problemes que la comunitat investigadora valora: "dades per al bé" o "indicadors basats en valors" que aborden atributs més amplis (Curry et al., 2022 [63]). En els darrers anys, algunes IES i finançadors de la recerca s'han desenvolupat i pilotat enfocaments innovadors i progressius per a l'avaluació responsable de la recerca a regions i països d'arreu del món. Alguns es destaquen aquí.

De les iniciatives globals esmentades anteriorment, el 2013 de San FranciscoDeclaració sobre l'avaluació de la recerca' [64] (DORA) és potser la iniciativa global més activa. Ha catalogat els problemes causats per l'ús d'indicadors basats en revistes per avaluar el rendiment dels investigadors individuals i ofereix 18 recomanacions per millorar aquesta avaluació. DORA desaconsella categòricament l'ús de mètriques basades en revistes per avaluar la contribució d'un investigador o quan es busca contractar, promocionar o finançar. A mitjans d'abril de 2023, la declaració estava signada per 23,059 signants (institucions i particulars) de 160 països, compromesos amb la reforma. Amb un enfocament a navegar pels reptes intrínsecs i els biaixos innats de l'avaluació qualitativa, DORA està desenvolupant Eines per avançar en l'avaluació de la recerca (TARA) [65] per ajudar a posar en pràctica la declaració: aquestes eines inclouen un tauler per indexar i classificar polítiques i pràctiques innovadores en l'avaluació de la carrera i un conjunt d'eines de recursos per ajudar a desviar la composició del comitè i reconèixer diferents formes qualitatives d'impacte de la recerca.

A més, DORA està finançant deu projectes –a Argentina, Austràlia, Brasil, Colòmbia (2), Índia, Japó, Països Baixos, Uganda i Veneçuela– per provar diferents maneres de promoure la reforma de l'avaluació de la recerca en els seus contextos locals, així com recopilant exemples de bones pràctiques: per exemple, conscienciació, desenvolupament de noves polítiques o pràctiques, formació i orientació pràctica per als sol·licitants de feina (DORA [66]). La demanda de subvencions d'aquest tipus ha estat alta, més de 55 sol·licitants de 29 països, cosa que indica un reconeixement creixent de la necessitat de reforma.

Les associacions professionals de gestió de la recerca com la Xarxa Internacional de Societats de Gestió de la Recerca (INORMS) també han estat desenvolupant activament recursos per guiar el canvi organitzatiu, inclòs el Marc SCOPE Grup d'Avaluació de la Recerca | INORMS – El marc INORMS SCOPE per a l'avaluació de la recerca [67] que comença definint què es valora, qui s'està avaluant i per què (un pòster explicatiu útil aquí [68]).

El sector del desenvolupament internacional ha ofert noves perspectives sobre l'avaluació de la recerca, un bon exemple Research Quality Plus | IDRC – Centre de Recerca per al Desenvolupament Internacional [69], que mesura allò que és important per a les persones a l'extrem receptor de la investigació. L'eina Research Quality Plus (RQ+) reconeix que el mèrit científic és necessari però no suficient, reconeixent el paper crucial de la comunitat d'usuaris a l'hora de determinar si la investigació és rellevant i legítima. També reconeix que l'actualització i la influència de la investigació comencen durant el procés de recerca. Les aplicacions de recerca sovint són avaluades per panells altament interdisciplinaris, que també inclouen experts en desenvolupament de fora del món acadèmic (per exemple, un departament governamental o una organització no governamental (ONG)), professionals i representants del país: això reforça la importància de la comunitat d'usuaris/experts no subjectes. necessitat d'entendre la recerca i com es pot aplicar a la pràctica. La investigació en entorns complexos, de baixos ingressos o fràgils pot anar acompanyada d'un conjunt d'eines o marc d'ètica, dissenyat per informar i donar suport a les opcions ètiques en el cicle de vida de la recerca, des de l'inici fins a la difusió i l'impacte, p. Reid et al., 2019 [70]. Els enfocaments de la "teoria del canvi" s'utilitzen àmpliament en la investigació sobre desenvolupament internacional per part de donants, ONG i agències multilaterals, on els sol·licitants han d'articular vies d'impacte, amb el suport de marcs de seguiment, avaluació i aprenentatge, per exemple. Valters, 2014 [71]. La comunitat de recerca acadèmica pot aprendre de la comunitat de desenvolupament.

Reconeixent el paper dels finançadors en la configuració de les estratègies de les IES, el Avaluació responsable de la recerca del Global Research Council (GRC). (RRA) [72] ha estat incentivant els principals finançadors de recerca de tot el món perquè treballin per aconseguir les ambicions RRA en els seus propis contextos regionals i nacionals i per desenvolupar marcs d'avaluació efectius per avaluar l'impacte (vídeo explicatiu). aquí [73]). Encàrrec d'un document de treball sobre RRA (Curry et al., 2020 [74]), el GRC va demanar als seus membres que integressin els principis de la RRA i prenguessin accions concretes per complir-los, i que aprenguin els uns dels altres mitjançant la col·laboració i l'intercanvi de bones pràctiques. An grup de treball internacional [75] està proporcionant orientació i suport als membres del GRC, ajudant-los a la transició del moviment a l'acció.

En gran part gràcies als esforços de la GYA, els ECR també estan començant a mobilitzar-se al voltant d'aquesta agenda. El seu Grup de Treball sobre Excel·lència Científica [76] està treballant per identificar entorns de recerca que afavoreixin "alliberar la curiositat i la creativitat en la ciència i fomentar el desenvolupament del potencial humà mitjançant la diversitat i la inclusió". El seu treball demana que la comunitat ECR qüestioni les definicions d'"excel·lència" utilitzades per les seves organitzacions, s'impliqui en iniciatives per reformar l'avaluació de la recerca i s'incorpori al moviment de les Acadèmies Joves. També demana als organismes de finançament i contractació que impliquin els ECR en els debats d'avaluació de la recerca i reconeguin una diversitat més àmplia de contribucions i carreres en la recerca.

Tot i que algunes universitats i altres IES són signataris de DORA i/o s'uneixen al moviment europeu (que es descriu a continuació), no sembla que s'organitzin col·lectivament al voltant de l'avaluació de la recerca de la manera que ho són altres grups clau.

Els problemes creats per sistemes d'avaluació que són gairebé exclusivament quantitatius es veuen i diagnostiquen en gran part des d'una perspectiva del "Nord global", amb el "Sud global" en risc de posar-se al dia. Amb el risc d'una generalització excessiva, hi ha problemes sistèmics importants al "Nord global" al voltant de la manca de diversitat, equitat i inclusió que s'agreugen amb els sistemes d'avaluació. Al "Sud global", hi ha una manca de definició local i regional del que constitueix "qualitat" i "impacte", sistemes d'avaluació molt diferents (fins i tot entre els departaments de la mateixa universitat) i relativament poc en la manera de desafiar l'statu quo. A tot el món, els problemes deriven de l'èmfasi excessiu en els indicadors quantitatius, el vincle entre l'avaluació i l'assignació de recursos, el sistema de finançament altament competitiu i la pressió per publicar, i el menyspreu per altres dimensions menys quantificables de la recerca i la vida acadèmica.

La literatura revisada per parells sobre estudis comparatius de la reforma de l'avaluació de la recerca és escassa. Una rara excepció és una comparació de les intervencions d'avaluació de la investigació en sis geografies diferents (Austràlia, Canadà, Alemanya, Hong Kong, Nova Zelanda i Regne Unit), que observa que el rendiment indexat de les sis sembla millorar després de diversos tipus d'intervenció (almenys). utilitzant indicadors bibliomètrics convencionals) (ISI, 2022 [77]). DORA ofereix estudis de casos (en gran part institucionals) a la seva pàgina web (DORA [78]) i en un informe (DORA, 2021 [79]) dissenyat per inspirar altres a actuar, però aquests són exemples predominantment europeus.

Aquí, els autors proporcionen panoràmiques regionals i exemples nacionals d'experimentació i reforma per a una visió més detallada; no pretenen ser exhaustius ni exhaustius.

El Coalició de la UE per a la reforma de l'avaluació de la recerca [80], o CoARA, aprovada el juliol de 2022, és la iniciativa més gran de reforma de l'avaluació de la recerca al món. Quatre anys d'elaboració i desenvolupat per 350 organitzacions de 40 països (en gran part europeus), l'Associació Universitària Europea i Science Europe (una xarxa de finançadors i acadèmies de la ciència del continent), de concert amb la Comissió Europea, han desenvolupat un acord o conjunt de principis (a'viatge de reforma'), per a una avaluació de la recerca més inclusiva i responsable (CoARA, 2022 [81]). L'acord se centra en tres nivells d'avaluació: institucions, investigadors individuals i la pròpia recerca. Tot i que està governada per socis europeus, la coalició té l'ambició de convertir-se en global i tant DORA com el GYA ja en són signants. Els signants es comprometen a comprometre recursos per millorar l'avaluació de la investigació, desenvolupar nous criteris i eines per a l'avaluació, i sensibilitzar i oferir formació sobre l'avaluació de la recerca (p. ex., a revisors per parells). Aquest desenvolupament s'ha descrit com "el signe més esperançador fins ara de canvi real" (Natura, 2022 [82]).

La UE també està finançant algunes iniciatives noves i interessants dissenyades per donar suport a la reforma de l'avaluació de la recerca: en particular, Open and Universal Science (OPUS [83]) – per desenvolupar un "conjunt complet" d'indicadors a través de múltiples processos de recerca i resultats, i així incentivar els investigadors europeus a practicar la ciència oberta, i l'espai de dades d'avaluació de la ciència oberta. GraspOS [84] – Construir un espai de dades obert per donar suport a la reforma de polítiques per a l'avaluació de la recerca.

El Consell Europeu de Recerca (ERC), que dóna suport a la recerca de frontera en tots els camps (amb un pressupost de 16 milions d'euros per al període 2021-2027) ha signat CoARA i ha modificat els seus formularis i processos d'avaluació per incorporar descripcions més narratives, inclosa la comptabilització de menys itineraris professionals convencionals i "aportacions excepcionals" a la comunitat investigadora. Les propostes es jutjaran més pel seu mèrit que pels èxits passats del sol·licitant i continuaran sent avaluades per panells de revisió per parells formats per acadèmics destacats utilitzant l'únic criteri d'excel·lència científica (ERC, 2022 [85]).

També hi participen algunes acadèmies europees. La Junta de ALLEA [86], la Federació Europea d'Acadèmies de Ciències i Humanitats, que representa nou de les més de 50 acadèmies nacionals de 40 països europeus, ha recolzat el moviment CoARA. ALLEA s'ha compromès a establir un grup de treball dedicat per recollir, intercanviar i promoure bones pràctiques per admetre nous becaris de l'Acadèmia i contribuir a un "intercanvi cultural significatiu" de l'avaluació de la recerca, basat en principis de qualitat, integritat, diversitat i obertura. En el seu Comunicat del 2022 d'octubre , ALLEA demana a les acadèmies membres que facin el següent:

1. Reconèixer la diversitat de contribucions i trajectòries a la recerca d'acord amb les necessitats i la naturalesa de la recerca; en el cas dels becaris de l'Acadèmia, els procediments de selecció haurien de (1) tenir en compte l'equilibri de gènere i els reptes únics dels investigadors primerencs, (2) donar suport a la diversitat de cultures i disciplines, (3) valorar una varietat d'àrees de competència i talents, i (4) promoure la interdisciplinarietat i el multilingüisme.

2. Basar l'avaluació de la investigació principalment en l'avaluació qualitativa per a la qual la revisió per iguals és fonamental, amb el suport d'un ús responsable d'indicadors quantitatius; L'avaluació de l'excel·lència i l'impacte del treball dels becaris candidats s'ha de basar en una revisió qualitativa per parells que compleixi els principis fonamentals de rigor i transparència i tingui en compte la naturalesa específica de la disciplina científica.

3. Abandonar l'ús inadequat de mètriques basades en revistes i publicacions en l'avaluació de la recerca; en particular, això significa allunyar-se de l'ús de mètriques com el Journal Impact Factor (JIF), Article Influence Score (AIS) i l'índex h com a indicadors principals de qualitat i impacte.

Declaració d'Allea sobre la reforma de l'avaluació de la recerca a les acadèmies europees

En el seu resposta conjunta [87] a l'Acord de la UE i a la Coalició CoARA, la comunitat ECR del GYA també ha acollit aquest compromís i ofereix maneres d'implementar els seus principis. Aquests inclouen pràctiques que són inclusives i reflecteixen la diversitat d'especificitats nacionals i característiques de les disciplines, amb investigadors de totes les etapes de carrera reben formació, incentius i recompenses, amb la formació obligatòria sobre ciència oberta per als investigadors, el personal i els membres del comitè és vital.

Les universitats europees intensives en recerca també han recolzat la reforma de l'avaluació de la recerca com a via per a carreres de recerca "multidimensionals" (Overlaet, B., 2022 [88]). Han desenvolupat un marc comú per inspirar i donar suport a les universitats perquè reconeguin una diversitat de contribucions en recerca, educació i servei a la societat.

A nivell nacional, ara diversos països estan provant diferents models d'avaluació: per exemple, les agències nacionals de finançament Bèlgica, els Països Baixos, Suïssa i UK tots fan servir "currículums narratius". Els currículums narratius examinen de manera més holística el rendiment acadèmic: contribució a la generació de coneixement, al desenvolupament de les persones, a la comunitat de recerca més àmplia i a la societat en general (Royal Society [89]). Tot i que hi ha un suport cada vegada més gran per a aquest tipus de currículums, també hi ha una certa preocupació que obliguin els acadèmics a ser bons en tot i, per tant, arriscar-se a comprometre una gran experiència en la recerca d'un estatus polivalent (Grove, J., 2021 [90]).

En els quadres de text següents s'inclouen quatre exemples de sistemes nacionals de recerca que estan coordinant reformes nacionals en avaluacions acadèmiques orientades a la carrera professional.

Exemple nacional: el Regne Unit

El marc d'avaluació de la recerca del Regne Unit (REF) mesura l'impacte de la investigació a través de dues dimensions: "importància" (la diferència tangible que fa un projecte) i "abast" (l'abast quantificable en què ho fa) (UKRI). L'impacte aquí es defineix com "un efecte, un canvi o un benefici per a l'economia, la societat, la cultura, les polítiques o serveis públics, la salut, el medi ambient o la qualitat de vida, més enllà de l'acadèmia", però més enllà d'això és molt obert, disciplinari. variable i possiblement ambigu, per exemple, sense tenir en compte adequadament la participació pública.

El REF del Regne Unit s'està avaluant el 2022-2023 sota el Programa d'avaluació de la recerca futura per explorar possibles nous enfocaments per a l'avaluació del rendiment de la recerca en educació superior del Regne Unit, i inclou la comprensió de la pràctica internacional d'avaluació de la recerca. La propera iteració del REF possiblement tindrà en compte un conjunt més divers de resultats i potser fins i tot reduirà la importància que se'ls concedeix. El model actual atorga un 60% d'importància als resultats, un 25% a l'impacte de la recerca i un 15% a la cultura/entorn de la investigació. Si aquests estiguessin ponderats de manera més equitativa, el REF tindria un aspecte molt diferent, amb més importància a la cultura de recerca, la integritat de la recerca i el treball en equip (Grove, 2020).

Exemple nacional: Finlàndia

El 2020, la Federació de Societats Aprenentes de Finlàndia va coordinar un grup de treball de finançadors de recerca, universitats i sindicats que va publicar la declaració. Bones pràctiques en l'avaluació de la recerca. Aquest estableix una guia per seguir un procés responsable d'avaluació dels acadèmics individuals, incloent cinc principis generals d'avaluació: transparència, integritat, equitat, competència i diversitat. Les Bones Pràctiques en l'Avaluació de la Recerca requereixen que la integritat de la recerca, l'educació i la mentoria, i el servei científic (per exemple, la revisió per iguals) siguin millor reconeguts en l'avaluació de les contribucions acadèmiques de les persones. La declaració considera que les avaluacions no es tracta simplement de produir judicis sumatius: també anima els avaluadors a compartir comentaris amb les persones avaluades per facilitar la retroalimentació i l'aprenentatge.

Les organitzacions que duen a terme la recerca i les organitzacions de finançament de la recerca s'han compromès a implementar Bones Pràctiques en l'Avaluació de la Recerca i a generar les seves pròpies variacions locals sobre la guia, i s'està desenvolupant un model de currículum de cartera nacional d'investigadors. Good Practice in Research Assessment es compromet a revisions i perfeccionaments periòdics.

Exemple nacional: Països Baixos

Als Països Baixos, el programa nacional de reconeixement i recompenses va començar el 2019, amb la publicació de la declaració de posició Espai per al talent de tothom. Aquesta col·laboració nacional entre la Reial Acadèmia d'Arts i Ciències dels Països Baixos (KNAW, membre de l'IAP i de l'ISC), els finançadors de la investigació, les universitats i els centres mèdics estableix que s'ha de produir una modernització a tot el sistema de les cultures d'avaluació de la recerca. En fer-ho, estableix cinc ambicions de canvi en els procediments d'avaluació: major diversitat de trajectòries professionals, reconeixement del rendiment individual i d'equip, priorització de la qualitat del treball per sobre dels indicadors quantitatius, ciència oberta i lideratge acadèmic.

Des del 2019, les universitats holandeses s'han mogut per promulgar les seves pròpies traduccions locals de la declaració de visió nacional. Simultàniament, les agències de finançament han iniciat més formats de "currículum narratiu" i han deixat de sol·licitar informació bibliomètrica, citant la DORA de San Francisco com a inspiració. El Consell de Recerca Holandès s'ha traslladat recentment a un CV "basat en evidències". on es pot utilitzar alguna informació quantitativa. El KNAW també va desenvolupar el seu pla triennal implementar internament l'agenda de reconeixements i recompenses. S'ha designat un gestor i un equip de programa a temps complet per facilitar el programa de reforma de Reconeixement i recompenses, i cada any se celebra un "Festival de reconeixement i recompenses" entre els principals actors de la reforma per donar suport a l'aprenentatge de tota la comunitat.

Finalment, finançat per una subvenció de participació comunitària de DORA, el Iniciativa Jove Científic en Transició per a estudiants de doctorat, amb seu a Utrecht, ha desenvolupat una nova guia d'avaluació per a doctorats, en un esforç per canviar la cultura investigadora.

Exemple nacional: Noruega

El 2021, Noruega, Universitats Noruega i el Consell de Recerca de Noruega van publicar NOR-CAM: una caixa d'eines per al reconeixement i les recompenses en les avaluacions acadèmiques. NOR-CAM proporciona un marc matricial per millorar la transparència i ampliar l'avaluació de la recerca i els investigadors lluny d'indicadors bibliomètrics estrets. NOR-CAM són les sigles de Norwegian Career Assessment Matrix i es va adaptar d'un 2017 reportar de la Comissió Europea que va presentar la matriu d'avaluació de la carrera científica oberta. Igual que el seu predecessor europeu, NOR-CAM també planteja maneres d'integrar millor les pràctiques de ciència oberta a les avaluacions. La matriu té com a objectiu guiar els avaluadors i candidats a llocs acadèmics, sol·licituds de finançament de recerca i avaluadors nacionals que avaluen la investigació i l'educació noruegues. També pretén actuar com a guia general per al desenvolupament de la carrera individual.

La matriu inclou sis àrees de competència principals: resultats de la recerca, procés de recerca, competències pedagògiques, impacte i innovació, lideratge i altres competències. A continuació, la matriu ofereix suggeriments per permetre el reconeixement de la planificació i l'avaluació de la carrera al voltant de cadascun dels criteris: exemples de resultats i habilitats, mitjans de documentació i demanades per a la reflexió sobre cada criteri. No s'espera que els candidats tinguin el mateix rendiment en tots els criteris.

NOR-CAM va ser creat per un grup de treball de grups d'interès d'organitzacions que realitzen investigació i finançament, coordinat per Universitats de Noruega, és a dir, en principi compta amb l'adhesió de membres de totes les universitats noruegues. Posteriorment s'han dut a terme tallers amb universitats noruegues per desenvolupar conjuntament maneres d'integrar NOR-CAM en els procediments d'avaluació de nomenaments i promocions, i s'està desenvolupant un sistema de currículum "automàtic" per recuperar dades de múltiples fonts nacionals i internacionals per reduir l'administració administrativa. càrrega. Els coordinadors dels tres esquemes de reforma a nivell nacional esmentats s'han reunit periòdicament per intercanviar les seves experiències i aprenentatge compartit.

Amèrica Llatina i el Carib (ALC) contrasta de moltes maneres amb altres parts del món. Aquí, la ciència es considera un bé públic global i els seus sistemes de recerca i publicació acadèmica i la seva infraestructura són de propietat pública (finançada) i no comercials: però aquestes fortaleses i tradicions regionals encara no es reflecteixen en els sistemes d'avaluació. Les parts interessades clau que poden provocar el canvi són els consells nacionals de recerca, els ministeris de ciència i les principals universitats de recerca; el paper de les IES és vital, atès que més del 60% dels investigadors es troben a les universitats (RiCyT, 2020 [91]). Hi ha la possibilitat d'alinear els sistemes d'avaluació més de prop amb els ODS i amb els moviments de ciència oberta i ciència ciutadana, que tenen una tradició florida a la regió.

Actualment, hi ha una gran fragmentació dels sistemes d'avaluació de la recerca a nivell nacional, local i institucional, posant la recerca en competència amb altres funcions, com ara la docència, l'extensió i la coproducció. Els sistemes d'avaluació de la recerca i de premis als investigadors a ALC afavoreixen generalment una noció d'excel·lència ancorada en metodologies del 'Nord Global', basada exclusivament en el factor d'impacte de revistes i rànquings universitaris (CLACSO, 2020 [92]). El reconeixement de les diferents formes de producció i comunicació de coneixement i la multiplicitat de carreres acadèmiques (p. ex. docència, formació i tutoria, ciència ciutadana i comunicació pública de la ciència) estan en gran part absents en les pràctiques d'avaluació de la recerca. Això és especialment problemàtic per als investigadors en ciències socials i humanitats, on les monografies i les llengües locals s'utilitzen àmpliament (CLACSO, 2021 [93]). Les revistes i indicadors regionals es devaluen o no es reconeixen en aquests processos d'avaluació. Tot això s'agreuja amb els sistemes d'informació febles i la feble interoperabilitat de les infraestructures (especialment de propietat comunitària), poc finançades perquè els escassos fons es dirigeixen als pagaments d'APC per a revistes d'accés obert.

No obstant això, algunes universitats de la regió estan començant a implementar pràctiques d'avaluació que despleguen una combinació de metodologies qualitatives i quantitatives, especialment en l'avaluació d'investigadors i la recerca orientada a missions (Gras, 2022 [94]). La transició a esquemes d'avaluació de la recerca més exhaustius requerirà el co-disseny de criteris més qualitatius; l'ús responsable de les dades quantitatives i l'enfortiment dels processos de revisió per iguals; canvis incrementals que harmonitzin i coordinen polítiques i metodologies cap a principis compartits sobre avaluació responsable de la recerca i ciència oberta; noves metodologies i dades per a una millor avaluació de la ciència inter/transdisciplinària, els problemes ambientals i locals; infraestructures compartides, interoperables, sostenibles i federades que donen suport a la bibliodiversitat i el multilingüisme; i dissenys participatius de baix a dalt que amplien la participació dels ciutadans i els moviments socials i la inclusió de grups de recerca poc representats.

Per abordar aquests reptes, la regió ha adoptat un conjunt de principis i directrius per a l'avaluació de la recerca. El Declaració de principis per a l'avaluació de la recerca CLACSO-FOLEC [95], aprovat el juny de 2022, es proposa garantir i protegir la qualitat i la ciència socialment rellevant, i adoptar els principis de DORA i la ciència oberta, la diversitat de resultats de recerca i carreres de recerca, el valor de les revistes regionals i els serveis d'indexació, i d'interdisciplinarietat, llengua local i coneixements autòctons. Fins ara, té més de 220 adherents i ja hi ha tendències positives en l'avaluació responsable de la recerca i exemples de reforma. Alguns exemples nacionals es proporcionen als quadres de text següents.

Exemple nacional: Colòmbia

Finançat per un DORA Community Engagement Award, les associacions colombianes d'universitats, editorials universitàries, gestors de recerca i una xarxa de gestió de ciència i tecnologia, entre d'altres, han estat treballant conjuntament sobre les oportunitats i els reptes de la mètrica responsable a Colòmbia. A través d'una sèrie de tallers i consultes, fins i tot amb organitzacions internacionals com a referents, han desenvolupat una rúbrica per ajudar les institucions colombianes a dissenyar els seus propis REF. Aquesta rúbrica s'esforça per tenir en compte els reptes identificats a nivell local, que -per a les IES- inclouen la manca de coneixement sobre les alternatives d'avaluació de la recerca, la naturalesa de l'ecosistema nacional d'avaluació de la recerca i la resistència al canvi. A lloc web dedicat s'ha desenvolupat, juntament amb infografies per ajudar els investigadors, i la difusió i l'aprenentatge es continua compartint arreu del país.

Més informació: El projecte de mètriques responsables colombiàs: cap a un instrument metodològic i institucional colombià per a l'avaluació de la recerca | DORA (sfdora.org)

Exemple nacional: Argentina

Un interessant intent de reforma al Consell Nacional d'Investigació Científica i Tècnica (Consejo Nacional de Investigaciones Científicas y Técnicas – CONICET) ha estat la creació d'una resolució especial per a les ciències socials i humanes que posa al mateix nivell les revistes indexades en el circuit mainstream amb les revistes indexades en bases regionals com ara SCIEL, Redalyc or Latindex-Catàleg. El reglament es troba actualment en revisió, per aclarir algunes ambigüitats en la seva implementació i ampliar els seus criteris. Al seu torn, l'any 2022, el Consell d'Administració del CONICET es va adherir a la DORA de San Francisco, reconeixent públicament el seu compromís per millorar la recerca reforçant l'avaluació i la millora contínua dels seus processos.

El Agència Nacional per al Foment de la Recerca, el Desenvolupament Tecnològic i la Innovació (Agencia Nacional de Promoción de la Investigación, el Desarrollo Tecnológico y la Innovación – AGENCIA I+D+i), sota el Ministeri de Ciència, Tecnologia i Innovació, és el principal finançador de recerca del país per la diversitat i l'abast de les seves convocatòries altament competitives. En l'actualitat, AGÈNCIA està implementant un programa reforçar els processos d'avaluació de la recerca en els seus principals fons financers. Les millores actuals inclouen la remuneració dels revisors per iguals per estimular el seu compromís amb aquests processos, l'incentiu a l'accés obert ja que els resultats del projecte s'han de destinar al domini públic mitjançant publicacions o documents de circulació oberta (d'acord amb les obligacions de 'Repositoris digitals institucionals d'accés obert' Llei Nacional 26.899) i la incorporació de les dimensions d'equitat i inclusió a través de gènere, grups generacionals infrarepresentats i/o mecanismes d'equalització d'enfortiment institucional en els processos d'avaluació de la recerca. No obstant això, en diversos comitès disciplinaris, els antecedents curriculars dels principals investigadors responsables de les propostes encara són avaluats pels seus companys amb l'ús d'indicadors d'impacte de citacions.

Finalment, la Facultat de Psicologia de la Universitat Nacional de la Plata, finançada per una Beca de Participació Comunitària DORA, va acollir un esdeveniment virtual el setembre de 2022 sobre l'avaluació en psicologia i ciències socials que va atreure més de 640 (en gran part estudiants de grau) de 12 països, demostrant l'interès dels joves del continent. L'acte ha contribuït a donar forma al pla de gestió quadriennal de la facultat i informarà d'un llibre sobre la reforma de l'avaluació acadèmica en el context castellanoparlant.

Exemple nacional: Brasil

L'avaluació de la investigació és debatuda al Brasil entre les institucions de recerca i els investigadors, si no els governs estatals i federals. Tanmateix, malgrat el nombre més elevat de signants institucionals de DORA al món, els exemples de reforma de l'avaluació de la recerca són sorprenentment pocs. Després d'una enquesta als signants de DORA al país, consultes institucionals i un esdeveniment públic, finançat per una subvenció de participació comunitària de DORA, un orientar s'ha preparat perquè els líders universitaris exploren pràctiques d'avaluació responsable.

La guia se centra en tres accions principals: (1) la sensibilització de l'avaluació responsable en totes les seves formes; (2) formació i desenvolupament de capacitats dels avaluadors i dels avaluats; i (3) implementació i avaluació. Els propers passos són construir una xarxa de professionals (o deu oficines d'intel·ligència universitàries) per modificar les pràctiques d'avaluació i pilotar models sensibles al context i, en última instància, desenvolupar un full de ruta per a les institucions brasileres que vulguin provocar el canvi.

Projecte Métricas (2022). Reptes institucionals i perspectives per a l'avaluació responsable a l'educació superior brasilera: Resum de conclusions de l'associació Projeto Métricas DORA. Universitat de São Paulo, Brasil.

Hi ha un canvi constant d'allunyament dels indicadors purament quantitatius a Amèrica del Nord, accelerat per l'agenda de la ciència oberta. La ciència oberta i la revisió oberta ajuden a fer que les pràctiques d'avaluació siguin més transparents, oferint una oportunitat per a l'autoreflexió i aflorar problemes, per exemple, l'autocitació i l'amiguisme en els panells de contractació, promoció i revisió per iguals, així com biaixos innats de gènere i altres. Es mantenen debats sobre la necessitat de desenvolupar indicadors més intel·ligents i mètodes d'avaluació mixts, amb potencial per a un model d'avaluació híbrid i convergent que serveixi a la ciència bàsica (avenç del coneixement) i la ciència aplicada (impacte social).

També es reconeix que les universitats necessiten espai acadèmic i llibertat per desprendre's de les eines que utilitzen actualment per a l'avaluació, sense cap "desavantatge del primer motor", i que la comunitat d'usuaris hauria de formar part del procés d'avaluació per ajudar a mesurar la usabilitat de coneixement, la seva incorporació i impacte. Però també hi ha una resistència contingent al canvi (una "ceguesa deliberada") des de la part superior i inferior de l'ecosistema d'investigació: els que es beneficien de l'statu quo i els que hi han entrat recentment. Molt poques universitats nord-americanes han signat DORA i un nou projecte DORA està intentant entendre per què és així (TARE). No obstant això, tant al Canadà com als EUA hi ha alguns exemples interessants d'iniciatives nacionals i institucionals dissenyades per provocar un canvi sistèmic (vegeu els quadres de text següents).

Exemple nacional: EUA

Als EUA, la National Science Foundation és una veu líder per al canvi a través del seu Avançar l'impacte de la recerca a la societat programa i acompanyament conjunt d'eines d'impacte més ampli per a investigadors i avaluadors. L'equitat, la diversitat i la inclusió, inclosa la participació de les comunitats indígenes i tradicionalment marginades, són motors clau. Membre de l'IAP i de l'ISC, les Acadèmies Nacionals de Ciències dels EUA també estan buscant estimular una reforma àmplia, proporcionant una plataforma per a l'intercanvi d'informació i l'aprenentatge sobre la reforma del currículum tradicional d'investigador (NAS Strategic Council, 2022). Neix del treball de les acadèmies nord-americanes, el Iniciativa de lideratge en educació superior per a una beca oberta és una cohort de més de 60 col·legis i universitats compromeses amb l'acció col·lectiva per avançar en les beques obertes, inclòs el replantejament de l'avaluació de la recerca per premiar l'obertura i la transparència.

L'Institut Nacional de Salut, per exemple, va dissenyar un nou bioesbós (Ciencv) per al personal en les sol·licituds de subvenció per minimitzar el biaix sistèmic i la càrrega d'informació i, al mateix temps, estar més basat en els impactes.

Exemple nacional: Canadà

Al Canadà, hi ha múltiples converses sobre la reforma de l'avaluació de la recerca, impulsada per DORA; els tres consells federals de recerca en són signants. El Consell de Ciències Naturals i Enginyeria té criteris redefinits per a la qualitat de la recerca, prescindint de la bibliometria, les citacions i l'índex h, d'acord amb els principis DORA: les mètriques de qualitat ara inclouen una bona gestió de dades de recerca i accés a les dades, equitat, diversitat i inclusió i responsabilitats formatives. És probable que els altres dos consells de recerca segueixin el mateix.

Els investigadors canadencs tendeixen a centrar-se en la "mobilització del coneixement", un esforç intencionat per avançar en l'impacte social de la investigació, mitjançant la coproducció amb comunitats d'usuaris (ISI, 2022). Research Impact Canada és una xarxa de més de 20 universitats que té com a objectiu construir la capacitat institucional mitjançant l'alfabetització d'impacte, o la capacitat d'"identificar objectius i indicadors d'impacte adequats, avaluar i optimitzar de manera crítica les vies d'impacte i reflexionar sobre les habilitats necessàries per adaptar els enfocaments entre contextos" per tal de maximitzar l'impacte de la recerca per al bé públic.

Val la pena assenyalar que molt poques universitats canadenques han signat DORA. És probable que el principal motivador de qualsevol canvi sigui l'adopció de beques indígenes: això s'ha convertit en un imperatiu moral al Canadà.

Els sistemes d'incentius i recompenses de recerca a l'Àfrica tendeixen a reflectir normes i convencions "internacionals", principalment occidentals. Les institucions africanes s'esforcen per seguir-les quan desenvolupen el seu enfocament de la "qualitat" i l'"excel·lència" en la recerca, però no sempre són adequats per al coneixement i les necessitats locals. La "qualitat", l'"excel·lència" i l'"impacte" de la investigació no estan ben definits al continent, i alguns investigadors no estan acostumats a una cultura d'"impacte en la recerca".

Els sistemes d'avaluació a l'Àfrica acostumen a no tenir en compte la recerca en benefici de la societat, l'ensenyament, la creació de capacitats, l'administració i la gestió de la recerca. Els models de publicació no són sensibles al context, ja que els APC creen barreres a la producció de recerca africana. La reforma dels sistemes d'avaluació de la recerca podria ajudar a corregir les asimetries en la contribució que la recerca africana pot fer als reptes de la societat, així com millorar l'accés als recursos per ajudar la comunitat de recerca africana a fer-ho. Trencar les barreres a la cooperació intersectorial i interdisciplinària és imprescindible per permetre que una diversitat de punts de vista i sistemes de coneixement prosperin i ajudin a interpretar el que constitueix la qualitat de la recerca per a Àfrica. En qualsevol reforma s'han de tenir en compte els mecanismes que integren les visions del món local, indígena i "convencional" sobre l'avaluació de la qualitat i l'excel·lència de la recerca.

S'estan construint associacions sòlides al voltant de RRA al continent. Finançat per un consorci internacional d'agències de desenvolupament, el Iniciativa de consells de subvencions de ciència (SGCI) [96], amb la participació de 17 països africans, va realitzar un estudi sobre l'excel·lència de la recerca a Àfrica, analitzant les agències de finançament de la ciència i l'avaluació dels investigadors des d'una perspectiva del Sud global (Tijssen i Kraemer-Mbula, 2017 [97], [98]). Va explorar el tema de l'excel·lència en recerca a l'Àfrica subsahariana i la necessitat d'un enfocament que ampliï la noció d'excel·lència més enllà de les publicacions (Tijssen i Kraemer-Mbula, 2018 [99]); elaborar un document de directrius, que s'està actualitzant, sobre bones pràctiques en la implementació de concursos de recerca (SGCI [100]). Al Fòrum Mundial de la Ciència l'any 2022, sota els auspicis de la SGCI i el GRC, Sud-àfrica Fundació Nacional de Recerca (NRF) i el Departament de Ciència i Innovació van reunir socis internacionals i locals per discutir el paper de les agències de finançament en l'avenç de la RRA i per compartir experiències, avançar en bones pràctiques i avaluar el progrés en la creació de capacitat i la col·laboració (NRF, 2022 [101]).

El Xarxa d'evidència africana [102], una xarxa panafricana i intersectorial de més de 3,000 professionals ha realitzat alguns treballs sobre l'avaluació de la investigació transdisciplinària (Xarxa d'evidència africana [103]), però encara no està clar fins a quin punt això s'ha incorporat als sistemes d'avaluació nacionals i regionals. El Xarxa d'Investigació i Impactes d'Àfrica [103] ha estat treballant en un quadre de comandament que inclou una col·lecció d'indicadors per avaluar la qualitat de l'avaluació de la ciència, la tecnologia i la innovació (CTI) a Àfrica, que espera convertir-se en una eina de presa de decisions basada en web per guiar les decisions d'inversió en CTI. .

A nivell nacional, han començat els canvis incrementals; es donen alguns exemples als quadres de text següents. Altres països on les agències de finançament de la investigació prenen el lideratge inclouen Tanzània (COSTECH), Moçambic (FNI) i Burkina Faso (FONRID). La iniciativa RRA del GRC està demostrant ser una plataforma important per al canvi al continent, com ho està aprenent del sector del desenvolupament internacional, sobretot, el IDRC. Marc d'avaluació de la qualitat de la investigació Plus (RQ+). [104], amb la distinció que ja s'ha aplicat, estudiat i millorat. La base a l'Àfrica Acadèmia Internacional d'Avaluació [105] també pot oferir una oportunitat interessant.

Exemple nacional: Costa d'Ivori

Al cor de Costa d'Ivori Programa Appui Stratégique à la Recherche Scientifique (PASRES) (Programa de Suport Estratègic a la Recerca Científica) és la creença que l'excel·lència en la recerca ha de transcendir el nombre de publicacions de recerca i incloure la dimensió de la "captació de la recerca". Adaptant-se al context nacional, el procés d'avaluació de la recerca es basa en criteris relacionats amb la rellevància científica i social, la implicació dels socis, la formació dels estudiants, la mobilització del coneixement i la viabilitat. Els panells d'avaluació inclouen experts científics (per jutjar la qualitat de la recerca realitzada), el sector privat (per jutjar l'enriquiment econòmic) i altres institucions (per mesurar el potencial cultural i social de la recerca).

PASRES ha establert dues revistes locals (una de ciències socials i lingüística i l'altra de medi ambient i biodiversitat) i en aquestes fa càrrec de la totalitat del cost de la seva publicació. Finalment, PASRES finança activitats de creació de capacitats i conferències temàtiques per permetre als investigadors presentar la seva recerca al sector privat ia la societat civil.

Més informació: Ouattara, A. i Sangaré, Y. 2020. Suport a la recerca a Costa d'Ivori: processos de selecció i avaluació de projectes. E. Kraemer-Mbula, R. Tijssen, ML Wallace, R. McLean (Eds.), African Minds, pàg. 138–146

PASSES || Program d'Appui Stratégique Recherche Scientifique (csrs.ch)

Exemple nacional: Sud-àfrica

L'avaluació de la recerca a Sud-àfrica (SA) se centra principalment en la bibliometria. Des de 1986, quan el Departament d'Educació Superior (DHET) va introduir una política de pagament de subvencions a les universitats per a publicacions de recerca publicades en revistes d'índexs acreditats, la producció de publicacions de recerca universitàries va créixer simultàniament amb el valor Rand concedit per publicació. En un esforç per assegurar el finançament de la investigació i avançar en les seves carreres, els investigadors de SA van publicar tants articles com van poder, creant conseqüències perverses i no desitjades.

L'Acadèmia de Ciències de Sud-àfrica (ASSAf) va encarregar un informe sobre publicacions acadèmiques al país (2005-2014) i va trobar indicis de pràctiques editorials qüestionables i publicacions depredadores (ASSAf, 2019). Mitjançant un sistema matisat de categorització, es va considerar que una xifra estimada del 3.4% del total d'articles durant els darrers deu anys era depredadora, i les xifres van augmentar més a partir del 2011. Les revistes considerades depredadores es van incloure al DHET "acceptable per al finançament" Es va trobar que hi participaven la llista i acadèmics de totes les universitats SA (Mouton i Valentine, 2017).

L'informe ASSAf va fer recomanacions a nivell sistèmic, institucional i individual i les contramesures consegüents del DHET, NRF i algunes universitats sembla haver frenat les pràctiques depredadores a SA amb la incidència de publicacions depredadores per part d'acadèmics de SA (en revistes acreditades per DHET) que va assolir el màxim el 2014- 2015 i posteriorment en descens. També hi va haver preocupació entre els investigadors que les polítiques de DHET a SA desaconsellaven la col·laboració i no van reconèixer la contribució de les persones dins dels grans equips de recerca, la qual cosa va requerir una revisió dels esquemes d'avaluació del rendiment/avaluació de la recerca. L'ús del sistema d'unitats de publicació es reconeix ara com un indicador deficient per a l'avaluació de la qualitat i la productivitat de la recerca i per a la selecció i promoció dels acadèmics.

Més informació:

Acadèmia de Ciències de Sud-àfrica (ASSAf). 2019. Dotze anys: segon informe de l'ASSAF sobre publicacions de recerca a i des de Sud-àfrica. Pretòria, ASSaf.

Mouton, J. i Valentine, A. 2017. L'extensió dels articles d'autor sud-africans en revistes depredadores. South African Journal of Science, vol. 113, núm. 7/8, pàgs. 1–9.

Mouton, J. et al. 2019. La qualitat de les publicacions de recerca de Sud-àfrica. Stellenbosch.

2019_assaf_collaborative_research_report.pdf

Exemple nacional: Nigèria

Les universitats de Nigèria avaluen els investigadors en tres àrees principals: ensenyament, productivitat de la recerca i serveis comunitaris. D'aquests, la productivitat de la investigació està més ponderada, amb un èmfasi en els articles de recerca publicats revisats per parells i tenint en compte el nombre i els rols dels autors (primera autoria i/o autoria corresponent) en aquestes publicacions. En un esforç per ser més competitius a nivell mundial, la majoria de les universitats donen més importància a les revistes indexades per International Scientific Indexing o SCOPUS, per posar més èmfasi en la qualitat i la col·laboració internacional; i utilitzar el percentatge d'articles d'aquestes revistes com a criteri de promoció.

Una conseqüència lamentable d'això és que molts investigadors, especialment els d'humanitats, no tenen el finançament adequat i/o la capacitat per publicar en aquestes revistes. En canvi, publiquen més ressenyes que articles de recerca, o se senten obligats a incloure col·legues sèniors influents com a coautors, en virtut de la seva contribució financera més que intel·lectual. Augmenta el plagi, així com l'edició depredadora. Tanmateix, el rànquing global global de les universitats nigerianes ha augmentat, satisfent així el govern i les agències de finançament, i sent vist com un èxit. Nigèria no està sola en aquest sentit.

L'Acadèmia de Ciències de Nigèria ha restablert la seva pròpia revista revisada per parells com a revista emblemàtica en la qual els acadèmics poden publicar (actualment de manera gratuïta) i ser ben valorats per les seves institucions.

Els sistemes d'avaluació altament competitius i basats en mètriques quantitatives dominen la regió, i els països anglòfons solen configurar marcs d'avaluació i altres països segueixen el seu exemple. A Austràlia, per exemple, hi ha un sistema de finançament competitiu basat en bibliometria i rànquings universitaris: "fins i tot els ODS s'estan convertint en indicadors de rendiment". Hi ha reptes similars a Malàisia i Tailàndia, i és probable que els segueixin altres països de l'ASEAN. Una excepció important és la Xina, on el govern està jugant un paper important en la creació de grans canvis sistèmics i que podria tenir implicacions profundes a nivell mundial (vegeu el quadre de text).

De manera encoratjadora, hi ha una creixent consciència i preocupació entre la comunitat investigadora de la regió sobre els límits dels actuals sistemes d'avaluació de la recerca i la seva amenaça per a la integritat de la recerca. Tot i que les ECR, incloses les National Young Academies i la xarxa de joves científics de l'ASEAN, juntament amb els moviments de base, s'estan implicant cada cop més en aquest tema, tenen dificultats per ser escoltades. El govern i les comunitats de finançament, inclòs el lideratge universitari, estan en gran part absents del debat: donen importància a les mètriques quantitatives però no n'aprecien les implicacions per a la recerca. De fet, els consultats informen que s'estan afegint més criteris quantitatius, en la mesura que les institucions i els investigadors comencen a jugar amb el sistema, alimentant la mala conducta en la recerca.

Però hi ha oportunitats importants de canvi, com s'exemplifica als quadres de text següents.

Exemple nacional: Xina

Ara és el país més productiu de recerca del món (Tollefson, 2018; Statista, 2019), i el segon pel que fa a la inversió en recerca (OCDE, 2020), el que passa a la Xina té el potencial d'afectar un canvi sistèmic real. Una nova política d'àmbit estatal té com a objectiu restaurar "l'esperit científic, la qualitat de la innovació i la contribució del servei" de la recerca i "promoure el retorn de les universitats als seus objectius acadèmics originals" (MOST, 2020). Els indicadors Web of Science ja no seran un factor predominant a l'hora de prendre decisions d'avaluació o de finançament, ni tampoc el nombre de publicacions i JIF. Es fomentaran les publicacions en revistes xineses d'alta qualitat i es recolzarà el seu desenvolupament. En els panells d'avaluació s'estan buscant "publicacions representatives" (entre 5 i 10 treballs escollits en lloc de llistes exhaustives), juntament amb criteris que avaluen la contribució que ha fet la investigació per resoldre qüestions científiques importants, aportar nous coneixements científics o introduir innovacions i avenços genuïns. de, un camp concret.

En desenvolupar un sistema d'avaluació de la qualitat i l'excel·lència de la investigació més adaptat a les seves pròpies necessitats, l'agència de finançament més gran de la investigació bàsica de la Xina, la Fundació Nacional de Ciències Naturals de la Xina (NSFC), ha dut a terme reformes sistemàtiques des del 2018 per reflectir els canvis en la ciència: el canvi global. paisatges científics, la importància de la transdisciplinarietat, la combinació de recerca aplicada i bàsica i la interacció entre recerca i innovació (Manfred Horvat, 2018), passant de la bibliometria a un sistema que reforça la rellevància local de la recerca a la Xina (Zhang i Sivertsen, 2020). Ha millorat el seu sistema de revisió per iguals per a l'avaluació de propostes per adaptar-se millor a la recerca disruptiva impulsada per la curiositat, els problemes candents a les fronteres de la recerca, la ciència excel·lent aplicada a les demandes econòmiques i socials i la investigació transdisciplinària que s'ocupa de grans reptes. El 2021, el 85% de les propostes es van presentar i revisar utilitzant aquestes categories. Recentment, el novembre de 2022, es va anunciar un pla pilot de reforma de dos anys per a l'avaluació del talent en ciència i tecnologia, en què participen vuit ministeris, dotze instituts de recerca, nou universitats i sis governs locals. El seu objectiu serà explorar indicadors i mètodes d'avaluació dels talents científics i tecnològics que intervenen en diferents parts del sistema d'innovació.

Exemple subregional: Austràlia i Nova Zelanda

Tant Austràlia com Nova Zelanda es troben actualment en moments importants. A Austràlia, les revisions concurrents en curs de l'Australian Research Council, l'Excel·lència en Recerca a Austràlia i les negociacions d'accés obert d'or presenten de manera acumulada una finestra d'oportunitat (Ross, 2022).

Després de la consulta pública sobre el futur del finançament de la ciència, Nova Zelanda està desenvolupant un nou programa sistèmic per al futur del seu sistema nacional de recerca i innovació. Tant Austràlia com Nova Zelanda han contribuït al desenvolupament d'un sistema de mètriques per als seus grups de recerca autòctons (Principis CARE).

Exemple nacional: Índia

El Centre d'Investigació de Polítiques del Departament de Ciència i Tecnologia (DST-CPR) ha dut a terme estudis recents sobre l'avaluació de la investigació i la seva reforma a l'Índia, liderant tallers amb les parts interessades clau (agències de finançament nacionals, institucions de recerca i acadèmies), entrevistes i enquestes. S'ha trobat que, mentre que les universitats i moltes institucions d'importància política nacional (com l'agricultura) se centren gairebé exclusivament en mètriques quantitatives, algunes agències de finançament i institucions com els Indian Institutes of Technology també han estat adoptant mesures més qualitatives. Aquest enfocament més qualitatiu a les institucions de primer nivell ja està servint per desviar més fons cap a la investigació sobre prioritats nacionals, tot i que és massa aviat per dir si està tenint algun efecte quantificable en la qualitat i l'impacte de la recerca.

El punt de referència principal per a l'avaluació és la revisió per parells basada en l'opinió del comitè d'experts, però només després de la selecció inicial de les sol·licituds basada totalment en mètriques quantitatives. També hi ha reptes fonamentals amb aquests comitès: la manca de diversitat i comprensió de les pràctiques de ciència oberta, poca consideració dels impactes socials de la recerca i poca capacitat i biaix. Aquests problemes, i les metodologies per a l'avaluació en general, són poc entesos i hi ha una escassetat de pautes i literatura sobre el tema.

No obstant això, hi ha una consciència creixent de la necessitat de reformar l'avaluació de la recerca. Finançat per una beca de participació de la comunitat DORA, l'Indian National Young Academy of Sciences es va associar amb l'Institut Indi de Ciències (IISc) i DST-CPR per explorar maneres en què es pot millorar l'avaluació de la investigació; les seves deliberacions s'han compartit amb les parts interessades clau amb un amb l'objectiu d'estimular una conversa nacional sobre la necessitat de reformar i, finalment, canviar la cultura de recerca de l'Índia perquè la seva recerca sigui més innovadora i/o rellevant per a la societat. DST-CPR preveu desenvolupar un marc per a l'excel·lència en recerca que es podria integrar al seu marc nacional de classificació institucional.

Més informació:

Battacharjee, S. 2022. La manera com l'Índia avalua la seva recerca fent la seva feina? – La Ciència del Filferro

DORA_IdeasForAction.pdf (dstcpriisc.org).

Suchiradipta, B. i Koley, M. 2022. Avaluació de la recerca a l'Índia: què hauria de quedar-se, què podria ser millor? DST-CPR, IISc.

Exemple nacional: Japó

Els protocols d'avaluació de la recerca estan molt transferits al Japó: si bé hi ha "Directrius nacionals per a l'avaluació de l'R+D", emeses pel Consell de Ciència, Tecnologia i Innovació de l'Oficina del Gabinet, el Ministeri d'Educació, Cultura, Esports, Ciència i Tecnologia (MEXT) i altres els ministeris també han desenvolupat les seves pròpies directrius. A més, les universitats i els instituts de recerca disposen dels seus propis sistemes d'avaluació de la recerca per a la recerca i els investigadors, que, com en moltes parts del món, s'han vinculat al rendiment institucional i a l'assignació pressupostària.

Hi ha hagut una creixent preocupació sobre la dependència excessiva de l'avaluació quantitativa. En resposta, el Consell Científic del Japó s'ha preparat una recomanació sobre el futur de l'avaluació de la recerca al Japó (2022) demanant menys èmfasi en les mesures quantitatives i més qualitatives, més reconeixement de la diversitat de la recerca i la responsabilitat en l'avaluació de la recerca i el seguiment de les tendències internacionals en la reforma de les pràctiques d'avaluació de la recerca. En última instància, els interessos i la promoció de la recerca haurien d'estar al centre de l'avaluació de la recerca i s'haurien de fer tots els esforços per evitar el cansament, la desmotivació i la pressió excessiva sobre els investigadors.

Una enquesta de MEXT sobre indicadors d'avaluació va trobar que el JIF és un dels molts indicadors i, com a tal, no ha tingut un impacte fort en la investigació japonesa, tot i que això depèn de la disciplina: per exemple, l'ús de JIF és més elevat a les ciències mèdiques. i les activitats de recerca menys tradicionals, com ara les dades obertes, tenen menys probabilitats de ser avaluades.

Més informació: RECOMANACIÓ - Cap a l'avaluació de la recerca per a l'avenç de la ciència: reptes i perspectives per a l'avaluació de la recerca desitjable (scj.go.jp)

En conclusió, hi ha un impuls creixent per a la reforma de l'avaluació de la recerca en algunes regions, països i institucions. Els exemples que s'il·lustren aquí inclouen reformes a escala nacional, la creació de consorcis o coalicions d'institucions afins que busquen el canvi, l'orientació/direcció de sectors específics i intervencions per fer front a incentius i comportaments perversos.

Aquesta no és encara una conversa global coherent i inclusiva, ni les pràctiques i els coneixements necessàriament es comparteixen obertament. Alguns membres de GYA, IAP i ISC ja són proactius en aquest espai i es podrien trobar oportunitats útils per ajudar-los a compartir el seu aprenentatge i bones pràctiques entre ells i amb la majoria de membres. El llançament de l'Observatori Global de l'Avaluació de la Recerca Responsable (AGORRA) per part de l'Institut de Recerca en Recerca (RoRI) més tard el 2023 proporcionarà una plataforma addicional per compartir l'aprenentatge, per a l'anàlisi comparativa dels sistemes de reforma nacionals i internacionals i per accelerar els dos intercanvi i prova de bones idees entre aquests sistemes.

Aquest document ha exposat els principals motors, oportunitats i reptes per a la reforma de l'avaluació de la recerca i ha recopilat exemples il·lustratius de canvis que s'estan produint a nivell global, regional, nacional i institucional. El propòsit d'això és mobilitzar el GYA, l'IAP i l'ISC i els seus respectius membres, com a components importants de l'ecosistema de recerca global.

A partir de l'última dècada de literatura científica i treball de defensa, hi ha cinc conclusions principals.

1. L'imperatiu de repensar la manera com s'avaluen els individus, les institucions i els resultats de la recerca és clar i urgent. Mantenir la integritat i la qualitat de la investigació, maximitzar la ciència diversa, inclusiva i no discriminatòria i optimitzar la ciència per al bé públic global són els principals motors, situats en el context d'un món que canvia ràpidament.

2. La manera com s'encarrega, es finança, s'ofereix i es comunica la investigació està evolucionant al ritme. Els avenços cap a la ciència transdisciplinària i orientada a la missió, els marcs de ciència oberta, els models evolutius de revisió per iguals, l'ús de la intel·ligència artificial i l'aprenentatge automàtic i el ràpid augment de les xarxes socials estan canviant les maneres tradicionals de fer i comunicar investigació, i requereixen un nou pensament sobre els sistemes d'avaluació de la recerca. i les mètriques i els processos de revisió per iguals que la sustenten. Es necessiten més investigacions i urgents per garantir el futur d'aquests sistemes.

3. Hi ha un imperatiu per a sistemes d'avaluació de la recerca més equilibrats amb indicadors tant quantitatius com qualitatius que valoren múltiples formes de resultats, processos i activitats de la recerca. No obstant això, afirmar que els processos de revisió qualitativa per iguals són almenys tan importants com la bibliometria no és senzill i es complica encara més perquè diferents parts del món es troben en diferents etapes en el desenvolupament dels seus sistemes d'avaluació: en alguns, els debats sobre la reforma de l'avaluació de la recerca estan força avançats, en altres són naixents o absents.

4. Es requereix una iniciativa concertada i genuïnament global i inclusiva per mobilitzar les comunitats de parts interessades clau per desenvolupar i implementar maneres coherents d'avaluar i finançar la investigació; aprendre els uns dels altres i d'altres sectors (sobretot els finançadors de la recerca i les agències de desenvolupament). L'acció col·lectiva i inclusiva cap al canvi transformador haurà de reconèixer la interconnexió en lloc de la internacionalització o la universalització, és a dir, ser sensible al context, conscient dels diferents reptes als quals s'enfronten les diferents parts del món i de la rica heterogeneïtat de l'ecosistema de recerca, alhora que garanteix homogeneïtat per permetre sistemes de recerca i finançament compatibles i mobilitat dels investigadors, per minimitzar la divergència i la fragmentació. Una conversa parcial i exclusiva corre el risc de influir i perjudicar encara més aquells que històricament han estat exclosos.

5. El canvi és necessari a tots els nivells – global, regional, nacional i institucional – perquè les mètriques passen en cascada a través de tot l'ecosistema de recerca i tots aquests nivells estan interconnectats. Totes les parts interessades han de fer el seu paper com a socis i no com a adversaris, inclosos els finançadors, les universitats, les associacions d'universitats i instituts de recerca, les organitzacions intergovernamentals (OIG), els governs i les xarxes governamentals, les acadèmies, els responsables de la política científica, els gestors de recerca i innovació i els investigadors individuals. Els membres de GYA, IAP i ISC, col·lectivament, cobreixen gran part d'aquest ric paisatge (Figura 1, apèndix C).

Figura 1: Mapa de les parts interessades en relació amb la pertinença a GYA, IAP i ISC (Feu clic per veure)

El poder de convocatòria d'organitzacions com GYA, IAP i l'ISC pot ajudar a reunir una diversitat de punts de vista i experiències a gran part de l'ecosistema de recerca: experimentant amb iniciatives existents i noves, aprenent-hi i construint-ne. De manera crítica, poden connectar amb les parts interessades clau per instigar el canvi (governs, finançadors de la investigació i universitats i moviments globals vitals com DORA) per ajudar a mobilitzar una arquitectura d'actors. Col·lectivament, poden servir com a:

● defensors: conscienciar sobre els debats, desenvolupaments i reformes de l'avaluació de la investigació en reconeixement que els seus membres actuen com a (i) mentors i supervisors de col·legues joves, (ii) líders d'IES, (iii) membres del consell d'òrgans de govern de publicacions i finançament i ( iv) assessors dels responsables polítics;

● innovadors: explorant diferents enfocaments per valorar la investigació bàsica i aplicada de manera inclusiva i innovadora;

● exemplars: canviant la seva pròpia cultura institucional, actualitzant els seus membres, premis, pràctiques de publicació i conferències, i liderant amb l'exemple;

● avaluadors: aprofitar el paper dels membres tant a nivell institucional com individual que tenen com a missió avaluar investigadors, investigadors i institucions, i aquells que tenen funcions editorials, editorials i de revisió per parells;

● finançadors: a partir de les agències de finançament representades a l'ISC, en particular, i dels membres que gestionen i distribueixen grans subvencions nacionals i internacionals;

● col·laboradors – donant suport a campanyes ja establertes per a la reforma, com ara DORA, el CoARA de la UE i el compromís de ciència oberta de la UNESCO.

Els autors d'aquest article animen el GYA, l'IAP i l'ISC, i organitzacions com ells, a participar de les maneres següents:

ACCIÓ 1: Compartir aprenentatges i bones pràctiques

Aquest article destaca exemples d'intervencions i innovacions d'arreu del món. És vital un espai per compartir experiències i construir una "coalició de voluntaris" forta i inclusiva.

1.1: Oferir una plataforma per als membres que ja són proactius en aquest espai per compartir el seu aprenentatge i construir connexions estratègiques, especialment a nivell nacional. Utilitzeu aquests exemples per ajudar a emplenar El tauler de control de DORA [106] d'aprenentatge i bones pràctiques.

1.2: Estudiar i mapejar els desenvolupaments dirigits pels membres en la reforma de l'avaluació de la recerca per identificar enfocaments institucionals, nacionals i regionals, i per trobar i compartir bones pràctiques. Convoqueu aquells que ja han liderat/han participat en grans iniciatives nacionals i internacionals per fomentar la defensa i l'aprenentatge entre els membres.

ACCIÓ 2: Donar exemple

La pertinença a GYA, IAP i ISC cobreix moltes parts de l'ecosistema d'investigació, i cadascuna pot tenir un paper important a l'hora de donar forma a l'èxit com a científic.

2.1: Transició cap a metodologies d'avaluació de la recerca més progressives a l'ampli dels membres. Dirigiu amb l'exemple i ajudeu a canviar la cultura de l'avaluació de la investigació mitjançant les seves pròpies filosofies i pràctiques de pertinença, tot aprofitant l'aprenentatge de DORA i el GRC. Les acadèmies, com a organitzacions tradicionalment d'elit, tenen un paper particular a jugar aquí: se'ls hauria d'encoratjar a ampliar els seus propis criteris d'elecció i selecció per reflectir una comprensió més àmplia i plural de la qualitat i l'impacte de la recerca, per tal de reflectir aquest pluralisme (i amb més inclusió i diversitat) en els seus membres.

2.2: Estimular la cooperació i el lideratge regionals. Encoratjar les xarxes regionals de membres de la GYA i les acadèmies nacionals de joves, les xarxes d'acadèmies regionals de l'IAP i els punts focals regionals de l'ISC a considerar la possibilitat d'emular el consell de la Junta d'ALLEA iniciativa, adaptats als seus propis contextos.

ACCIÓ 3: Establir associacions estratègiques amb grups clau.

Els tres actors principals responsables d'impulsar la reforma de l'avaluació de la recerca són els governs, els finançadors de la recerca i les universitats. El GYA, l'IAP i l'ISC poden ajudar la comunitat investigadora als seus esforços per reformar i superar les desconnexions que existeixen actualment.

3.1: Col·laborar amb el lideratge del GRC per explorar maneres de treballar junts, bàsicament per estimular els membres i els seus respectius representants nacionals del GRC a explorar com les seves comunitats de recerca poden implicar-se.

3.2: Col·laborar amb xarxes globals i regionals d'universitats, com l'Associació Internacional d'Universitats (IAU), per desenvolupar noves eines de formació per a la comunitat investigadora; utilitzar el lideratge de l'IES dins dels membres col·lectius del GYA, IAP i ISC com a defensors.

3.3: Connecteu les institucions membres dels països amb subvencions DORA (Argentina, Austràlia, Brasil, Colòmbia, Índia, Japó, Països Baixos, Uganda i Veneçuela) amb responsables de subvencions DORA per compartir idees i, potencialment, ampliar aquestes iniciatives locals.

3.4: Establir relacions amb les principals agències de desenvolupament internacional que ja estan desplegant estratègies innovadores i impactants per a l'avaluació de la recerca als països d'ingressos baixos i mitjans i als països menys desenvolupats.

3.5: Col·laborar amb la UNESCO per ajudar a configurar els compromisos nacionals d'avaluació de la recerca en virtut del seu Recomanacions sobre ciència oberta.

ACCIÓ 4: Proporcionar lideratge intel·lectual sobre el futur de l'avaluació de la recerca.

És imprescindible centrar-se en reptes específics i urgents per a la reforma de l'avaluació de la recerca. La GYA, l'IAP i l'ISC, i les xarxes internacionals com elles, poden aprofitar els seus respectius poders de convocatòria, el pes intel·lectual i la influència dels seus membres i les connexions amb els grups principals.

4.1: Convocar conjuntament amb els col·lectius principals una sèrie de fòrums de discussió de múltiples parts interessades o "Laboratoris de transformació" per repensar i implementar la reforma de l'avaluació de la investigació: implicar els líders de les IES i les seves xarxes globals (per exemple, IAU i IARU) i regionals (per exemple, LERU i AAU [107] ]), finançadors de recerca (inclosos representants nacionals de GRC), agències de desenvolupament internacional i editorials líders, entre d'altres. Recaptar recursos nous o desplegar els existents per finançar aquest treball (vegeu l'Annex D per a algunes idees preliminars).

4.2: Desenvolupar un estudi nou sobre un aspecte important del desenvolupament futur de l'avaluació de la investigació, com ara (1) l'impacte dels avenços tecnològics en l'avaluació de la recerca i la revisió per iguals (incloent-hi l'ús i l'abús), i com aquests podrien evolucionar en el futur i ( 2) reformar el sistema d'avaluació entre iguals de manera més àmplia (en termes de transparència, obertura, capacitat, reconeixement i formació). Ambdues qüestions són integrals per a la fiabilitat del coneixement i la fiabilitat de la ciència.

En el cor de tots aquests esforços haurien d'estar tres coses fonamentals:

• Ampliar els criteris d'avaluació per a la recerca científica i els investigadors més enllà de les mètriques acadèmiques tradicionals per incloure múltiples formes de producció i funció de la recerca, inclosos els criteris quantitatius que poden mesurar l'impacte social de la recerca.

• Encoratjar els líders de les IES i els finançadors de la recerca a adoptar i fomentar aquests nous criteris d'avaluació com a mesures de qualitat i valor de la recerca.

• Treballar amb aquests líders en noves formes de sensibilització i formació per a les futures generacions d'investigadors per dotar-les de les habilitats necessàries per comunicar-se i relacionar-se de manera eficaç amb els responsables polítics, els públics i altres grups clau; i fomentar la diversitat i la inclusió en l'empresa de recerca.

Els autors d'aquest article conclouen que xarxes com la GYA, l'IAP i l'ISC, juntament amb altres col·lectius clau i donant-hi suport, poden ajudar a construir una iniciativa global coherent, participativa i per mobilitzar comunitats de recerca, universitats i altres IES al voltant d'aquesta agenda, i tenir en compte com posar en funcionament noves maneres d'avaluar i finançar la investigació per fer-la més eficient, justa, inclusiva i impactant.

descarregar

Aquest document va ser escrit pels membres del grup d'abast GYA-IAP-ISC, que va treballar de manera intermitent entre maig de 2021 i febrer de 2023 (més detalls a l'apèndix A):

• Sarah de Rijcke (presidenta, Països Baixos)

• Clemencia Cosentino (EUA)

• Robin Crewe (Sud-àfrica)

• Carlo D'Ippoliti (Itàlia)

• Shaheen Motala-Timol (Maurici)

• Noorsaadah Binti A Rahman (Malàisia)

• Laura Rovelli (Argentina)

• David Vaux (Austràlia)

• Yao Yupeng (Xina)

El grup de treball agraeix a Tracey Elliott (consultor sènior ISC) la seva coordinació i treball de redacció. Gràcies també a Alex Rushforth (Centre d'Estudis de Ciència i Tecnologia (CWTS), Universitat de Leiden, Països Baixos) i Sarah Moore (ISC) per aportacions i suport addicionals.

El grup de treball també agraeix a tots aquells que van ser consultats en l'elaboració d'aquest document (apèndix B), que van dedicar el seu temps i van compartir les seves perspectives sobre l'avaluació de la recerca als seus països i regions respectius, i als revisors nomenats pel GYA, IAP i ISC:

• Karina Batthyány, directora executiva, Consell Llatinoamericà de Ciències Socials (CLACSO) (Uruguai)

• Richard Catlow, professor de recerca, University College London (Regne Unit)

• Sibel Eker, professora adjunta, Radbound University (Països Baixos)

• Encieh Erfani, investigador científic, Centre Internacional de Física Teòrica (Iran, Itàlia)

• Motoko Kotani, vicepresidenta executiva de Riken (Japó)

• Pradeep Kumar, professor i investigador sènior, Universitat de Witwatersrand (Sud-àfrica)

• Boon Han Lim, professor associat, Universitat de Tinku Abdul Rahman (UTAR) (Malàisia)

• Priscilla Kolibea Mante, professora titular de la Universitat de Ciència i Tecnologia Kwame Nkrumah (KNUST) (Ghana)

• Alma Hernández-Mondragón, presidenta, Associació Mexicana per a l'Avançament de la Ciència (AMEXAC) (Mèxic)

• Khatijah Mohamad Yusoff, professora sènior, Universitat de Putra Malàisia (UPM) (Malàisia)

1. UNESCO. 2021. Informe científic de la UNESCO: La carrera contra el temps per un desenvolupament més intel·ligent (Capítol 1). UNESCO. https://unesdoc.unesco.org/ark:/48223/pf0000377250

2. La Royal Society. (2012). La ciència com a empresa oberta. Centre de Política Científica de la Royal Society. https://royalsociety.org/~/media/policy/projects/sape/2012-06-20-saoe.pdf

3. Haustein, S. i Larivière, V. 2014. L'ús de la bibliometria per a l'avaluació de la recerca: possibilitats, limitacions i efectes adversos. I. Welpe, J. Wollersheim, S. Ringelhan, M. Osterloh (eds.), Incentives and Performance, Cham, Springer, pàg. 121–139.

4. Macleod, M., Michie, S., Roberts, I., Dirnagi, U., Chalmers, I., Ioadnnidis, J., Al-Shahi Salman, R., Chan., AW i Glasziou, P. 2014 Recerca biomèdica: augmentar el valor, reduir els residus. The Lancet, vol. 383, núm. 9912, pàgines 101–104.

5. Bol, T., de Vaan, M. i van de Rijt, A. 2018. The Matthew effect in science funding. Actes de l'Acadèmia Nacional de Ciències dels Estats Units d'Amèrica, vol. 115, núm. 19, pàgines 4887–4890.

6. Consell Internacional de la Ciència. 2021. Obertura del registre de la ciència: fer que les publicacions acadèmiques funcionin per a la ciència a l'era digital. París, França, ISC. https://doi.org/10.24948/2021.01

7. Müller, R. i de Ricke, S. 2017. Pensar amb indicadors. Explorant els impactes epistèmics dels indicadors de rendiment acadèmic a les ciències de la vida. Avaluació de la recerca, vol. 26, núm. 3, pàgs. 157–168.

8. Ansede, M. 2023. Un dels científics més citats del món, Rafael Luque, suspès sense sou durant 13 anys. El País. https://english.elpais.com/science-tech/2023-04-02/one-of-the-worlds-most-cited-scientists-rafael-luque-suspended-without-pay-for-13-years. html

9. IAP. 2022. Combating Predatory Revistes i conferències acadèmiques. Trieste, Itàlia, IAP. https://www.interacademies.org/publication/predatory-practices-report-English

10. Elliott, T., Fazeen, B., Asrat, A., Cetto, AM., Eriksson, S., Looi, LM i Negra, D. 2022. Percepcions sobre la prevalença i l'impacte de les revistes i conferències acadèmiques depredadores: una enquesta global d'investigadors. Learned Publishing, vol. 3, núm. 4, pàgs. 516–528.

11. Collyer, TA 2019. "Tallar el salami" ajuda a les carreres, però perjudica la ciència. Comportament humà de la natura, vol. 3, pàgines 1005–1006.

12. Abad-García, MF 2019. Plagi i revistes depredadores: una amenaça per a la integritat científica. Anales De Pediatría (Edició en anglès), Vol. 90, núm. 1, pàgines 57.e1–57.e8.

13. Omobowale, AO, Akanle, O., Adeniran, AI i Adegboyega, K. 2013. Beca perifèrica i el context de la publicació de pagament estranger a Nigèria. Sociologia actual, vol. 62, núm. 5, pàgs. 666–684.

14. Ordway, D.-M. 2021. Les revistes acadèmiques, els periodistes perpetuen la desinformació en el maneig de les retractes de recerca. El recurs del periodista. https://journalistsresource.org/home/retraction-research-fake-peer-review/

15. Curry, S., de Rijcke, S., Hatch, A., Pillay, D., van der Weijden, I. i Wilsdon, J. 2020. The Changing Role of Funders in Responsible Research Assessment: Progress, Obstacles and el camí per endavant. Londres, Regne Unit, Research on Research Institute.

16. El Nord global fa referència generalment a les economies industrialitzades o desenvolupades, tal com les defineixen les Nacions Unides (2021), mentre que el Sud global es refereix a les economies recentment industrialitzades o en procés d'industrialització o en desenvolupament, i que sovint són actuals. o antics subjectes del colonialisme.

17. Col·laboració InterAcadèmia. Sessió 12: Guanyar d'una major inclusió: relació entre diversitat i cultura acadèmica. IAP. https://www.interacademies.org/page/session-12-winning-greater-inclusion-relation-between-diversity-and-academic-culture

18. Global Young Academy. Grup de Treball d'Excel·lència Científica. Berlín, Alemanya, GYA. https://globalyoungacademy.net/activities/scientific-excellence/

19. ISC. 2021. Unleashing Science: Delivering Missions for Sustainability. París, França, ISC. doi: 10.24948/2021.04

20. ISC. 2022. Un extracte del discurs de Peter Gluckman al Simposi Endless Frontier. París, França. ISC. https://council.science/current/blog/an-extract-from-peter-gluckmans-speech-to-the-endless-frontier-symposium/

21. Belcher, B., Clau, R., Davel, R., Jones, S. i Pinto, D. 2021. A tool for transdisciplinary research planning and evaluation. Insights d'integració i implementació. https://i2insights.org/2021/09/02/transdisciplinary-research-evaluation/

22. Belcher, BM, Rasmussen, KE, Kemshaw, MR i Zornes, DA 2016. Definir i avaluar la qualitat de la recerca en un context transdisciplinari. Avaluació de la recerca, vol. 25, núm. 1, pàgs. 1–17.

23. Wilsdon, J. et al. 2015. The Metric Tide: Informe de l'Independent Review of the Role of Metrics in Research Assessment and Management. HEFCE.

24. UNESCO. Recomanació de la UNESCO sobre ciència oberta. París, França, UNESCO. https://unesdoc.unesco.org/ark:/48223/pf0000379949

25. Una font de la UNESCO va revelar que aquest treball està actualment en suspens perquè el debat només està dominat per uns pocs i no necessàriament ressona amb molts: un diàleg extens ha de precedir l'elaboració de recomanacions.

26. Barroga, E. 2020. Innovative strategies for peer review. Journal of Korean Medical Science, vol. 35, núm. 20, pàg. e138.

27. Woods, HB, et al. 2022. Innovacions en la revisió per parells en la publicació acadèmica: un meta-resum. SocArXiv, doi: 10.31235/osf.io/qaksd

28. Kaltenbrunner, W., Pinfield, S., Waltman, L., Woods, HB i Brumberg, J. 2022. Innovating peer review, reconfiguring scholarly communication: An analytical overview of peer review innovation activities. SocArXiv, doi: 10.31235/osf.io/8hdxu

29. Holm, J., Waltman, L., Newman-Griffis, D. i Wilsdon, J. 2022. Good Practice in the Use of Machine Learning & AI by Research Funding Organizations: Insights from a Workshop Series. Londres, Regne Unit, Research on Research Institute. https://doi.org/10.6084/m9.figshare.21710015.v1

30. Procter, R., Glover, B. i Jones, E. 2020. Research 4.0 Research in the Age of Automation. Londres, Regne Unit, DEMOS.

31. Baker, M. 2015. El programari intel·ligent detecta errors estadístics en articles de psicologia. Nature, https://doi.org/10.1038/nature.2015.18657

32. Van Noorden, R. 2022. Els investigadors que utilitzen la IA per analitzar la revisió per iguals. Natura 609, 455.

33. Severin, An., Strinzel, M., Egger, M., Barros, T., Sokolov, A., Mouatt, J. i Muller, S. 2022. Arxiv,

34. Gadd, E. 2022. Eines d'avaluació de citacions basades en IA: bones, dolentes o lletjos? El Bibliòleg. https://thebibliomagician.wordpress.com/2020/07/23/ai-based-citation-evaluation-tools-good-bad-or-ugly/

35. Foltýnek, T., Meuschke, N. i Gipp, B. 2020. Detecció de plagi acadèmic: una revisió sistemàtica de la literatura. ACM Computing Surveys, vol. 52, núm. 6, pàgs. 1–42.

36. Quach, K. 2022. Els editors utilitzen la intel·ligència artificial per capturar científics dolents que estan doctorant dades. El Registre. https://www.theregister.com/2022/09/12/academic_publishers_are_using_ai/

37. Van Dis, E., Bollen, J., Zuidema., van Rooji, R i Bockting, C. 2023. ChatGPT: five priorities for research. Natura, vol. 614, pàgines 224–226.

38. Chawla, D. 2022. La IA hauria de tenir un paper en l'avaluació de la qualitat de la recerca? Natura, https://doi.org/10.1038/d41586-022-03294-3

39. Cyranoski, D. 2019. La intel·ligència artificial està seleccionant revisors de subvencions a la Xina. Natura, vol. 569, pàgs. 316–317.

40. Mike, T. 2022. Es pot avaluar la qualitat dels articles de revistes acadèmiques publicats amb l'aprenentatge automàtic? Estudis de ciència quantitativa, vol. 3, núm. 1, pàgs. 208–226.

41. Chomsky, N., Roberts, I. i Watumull, J. 2023. La falsa promesa de ChatGPT. The New York Times. https://www.nytimes.com/2023/03/08/opinion/noam-chomsky-chatgpt-ai.html

42. Clarivat. 2022. Avaluació de la recerca: orígens, evolució, resultats. Clarivar. https://clarivate.com/lp/research-assessment-origins-evolutions-outcomes/

43. Blauth, TF, Gstrein, OJ i Zwitter, A. 2022. Artificial intelligence crime: an overview of malicious use and abuse of AI. Accés IEEE, vol. 10, pàgines 77110–77122.

44. Castelvecchi, D. 2019. Pioner en IA: "Els perills dels abusos són molt reals". Nature, doi: https://doi.org/10.1038/d41586-019-00505-2

45. Jordan, K. 2022. Percepcions dels acadèmics sobre l'impacte i el compromís de la investigació mitjançant les interaccions a les plataformes de xarxes socials. Aprenentatge, mitjans i tecnologia, doi: 10.1080/17439884.2022.2065298

46. ​​Wouters, P., Zahedi, Z. i Costas, R. 2019. Social media metrics for new research evaluation. Glänzel, W., Moed, HF, Schmoch U., Thelwall, M. (eds.), Springer Handbook of Science and Technology Indicators. SpringerLink.

47. Rafols, I. i Stirling, A. 2020. Dissenyar indicadors per a l'obertura de l'avaluació. Insights de l'avaluació de la investigació. ResearchGate, doi: 10.31235/osf.io/h2fxp

48. Rich, A., Xuereb, A., Wrobel, B., Kerr, J., Tietjen, K., Mendisu, B., Farjalla, V., Xu, J., Dominik, M., Wuite, G. ., Hod, O. i Baul, J. 2022. Back to Basics. Halle, Alemanya, Global Young Academy.

49. Jong, L., Franssen, T. i Pinfield, S. 2021. Excel·lència en l'ecosistema de recerca: una revisió de la literatura. Londres, Regne Unit, Research on Research Institute.

50. Hatch, A. i Curry, S. 2020. Research Culture: Canviar com avaluem la investigació és difícil, però no impossible. eLife, vol. 9, pàg. e58654.

51. IAP. 2022. Combating Predatory Revistes i conferències acadèmiques. Trieste, Itàlia, IAP.

52. Hicks, D., Wouters, P., Waltman, L., de Rijcke, S. i Rafols, I. 2015. Bibliometrics: The Leiden Manifesto for research metrics. Natura, vol. 520, pàgines 429–431.

53. Publons. 2018. Global State of Peer Review. Londres, Regne Unit, Clarivate. https://doi.org/10.14322

54. Kovanis, M., Porcher, R., Revaud, P. i Trinquart, L. 2016. La càrrega global de la revisió per parells de revistes a la literatura biomèdica: fort desequilibri en l'empresa col·lectiva. PLoS ONE, Vol. 11, núm. 11, pàg. e0166387.

55. Forrester, B. 2023. Fart i cremat: 'quiet quitting' arriba al món acadèmic. Natura, vol. 615, pàgs. 751–753.

56. Hatch, A. i Curry, S. 2020. Cultura de la recerca: canviar la manera d'avaluar la investigació és difícil, però no impossible. eLife, vol. 9, pàg. e58654.

57. Moher, D., Bouter, L., Kleinert, S., Glasziou, P., Har Sham, M., Barbour, V., Coriat, AM, Foeger, N. i Dirnagi, U. 2020. The Hong Principis de Kong per a l'avaluació dels investigadors: foment de la integritat de la recerca. PLoS Biology, vol. 18, núm. 7, pàg. e3000737.

58. Wilsdon, J., Allen, L., Belfiore, E., Campbell, P., Curry, S., Hill, S., Jones, R., Kain, R. i Kerridge, S. 2015. The Metric Tide: Informe de l'Independent Review of the Role of Metrics in Research Assessment and Management. doi:10.13140/RG.2.1.4929.1363

59. Curry, S., Gadd, E. i Wilsdon, J. 2022. Harnessing the Metric Tide: Indicators, Infrastructures & Priorities for UK Responsible Research Assessment. Londres, Regne Unit, Research on Research Institute.

60. Editorial Natura. 2022. Donar suport a la visió atrevida d'Europa per a una avaluació responsable de la recerca. Natura, vol. 607, pàg. 636.

61. Declaració sobre l'avaluació de la recerca (DORA). https://sfdora.org/about-dora/

62. Hicks, D., Wouters, P., Waltman, L., de Rijcke, S. i Rafols, I. 2015. Bibliometrics: The Leiden Manifesto for research metrics. Natura, vol. 520, pàgines 429–431.

63. Curry, S., Gadd, E. i Wilsdon, J. 2022. Harnessing the Metric Tide: Indicators, Infrastructures & Priorities for UK Responsible Research Assessment. Londres, Regne Unit, Research on Research Institute. https://rori.figshare.com/articles/report/Harnessing_the_Metric_Tide/21701624

64. DORA. Declaració de San Francisco sobre l'avaluació de la recerca. https://sfdora.org/read/

65. DORA. Eines per avançar en l'avaluació de la recerca. DORA. https://sfdora.org/project-tara/

66. DORA. Subvencions de participació de la comunitat DORA: suport a la reforma de l'avaluació acadèmica https://sfdora.org/dora-community-engagement-grants-supporting-academic-assessment-reform/

67. Inorms. SCOPE Marc per a l'avaluació de la recerca. https://inorms.net/scope-framework-for-research-evaluation/

68. Inorms. El marc SCOPE. https://inorms.net/scope-framework-for-research-evaluation/

69. Torfin, S. 2018. Research Quality Plus. Centre de Recerca per al Desenvolupament Internacional. https://www.idrc.ca/en/rqplus

70. Reid, C., Calia, C., Guerra, C. i Grant, L. 2019. Ethical Action in Global Research: A Toolkit. Edimburg, Escòcia, Universitat d'Edimburg. https://www.ethical-global-research.ed.ac.uk/

71. Valters, C. 2014. Theories of Change in International Development: Communication, Learning, or Accountability? La Fundació Àsia. https://www.alnap.org/system/files/content/resource/files/main/jsrp17-valters.pdf

72. Fraser, C., Nienaltowski, MH, Goff, KP, Firth, C., Sharman, B., Bright, M. i Dias, SM 2021. Avaluació de la recerca responsable. Consell Global de Recerca. https://globalresearchcouncil.org/news/responsible-research-assessment/

73. El Global Research Council. GRC Avaluació responsable de la recerca. YouTube. https://www.youtube.com/watch?v=CnsqDYHGdDo

74. Curry, S., de Rijcke, S., Hatch, A., Dorsamy, P., van der Weijden, I. i Wilsdon, J. 2020. The Changing Role of Funders in Responsible Research Assessment. Londres, Regne Unit, Research on Research Institute. https://doi.org/10.6084/m9.figshare.13227914.v1

75. Global Research Council. Grup de treball d'avaluació responsable de la recerca. GRC. https://globalresearchcouncil.org/about/responsible-research-assessment-working-group/

76. Global Young Academy. Excel·lència científica. GYA. https://globalyoungacademy.net/activities/scientific-excellence/

77. Adams, J., Beardsley, R., Bornmann, L., Grant, J., Szomszor, M. i Williams, K. 2022. Avaluació de la investigació: orígens, evolució, resultats. Institut d'Informació Científica. https://clarivate.com/ISI-Research-Assessment-Report-v5b-Spreads.pdf

78. DORA. Biblioteca de recursos. https://sfdora.org/resource-library

79. Saenen, B., Hatch, A., Curry, S., Proudman, V. i Lakoduk, A. 2021. Reimagining Academic Career Assessment: Stories of Innovation and Change. DORA. https://eua.eu/downloads/publications/eua-dora-sparc_case%20study%20report.pdf

80. Coalition for Advancing Research Assessment (CoARA). https://coara.eu/

81. CoARA. 2022. Acord per a la reforma de l'avaluació de la recerca. https://coara.eu/app/uploads/2022/09/2022_07_19_rra_agreement_final.pdf

82. Editorial Natura. 2022. Donar suport a la visió atrevida d'Europa per a una avaluació responsable de la recerca. Natura, vol. 607, pàg. 636.

83. Ciència oberta i universal. Inici OPUS – Projecte de ciència oberta i universal (OPUS). https://opusproject.eu/

84. Vergoulis, T. 2023. GraspOS Moving Forward to a More Responsible Research Assessment. OpenAIRE. https://www.openaire.eu/graspos-moving-forward-to-a-more-responsible-research-assessment

85. Consell Europeu de Recerca. 2022. El Consell Científic de l'ERC decideix els canvis en els formularis i processos d'avaluació de les convocatòries 2024. ERC. https://erc.europa.eu/news-events/news/erc-scientific-council-decides-changes-evaluation-forms-and-processes-2024-calls

86. Totes les acadèmies europees. 2022. Declaració de l'ALLEA sobre la reforma de l'avaluació de la recerca a les acadèmies europees. ALLEA. https://allea.org/wp-content/uploads/2022/10/ALLEA-Statement-RRA-in-the-Academies.pdf

87. Eurodoc, MCAA, YAE, ICoRSA i GYA. 2022. Declaració conjunta sobre les conclusions del Consell de la UE sobre l'avaluació de la recerca i la implementació de la ciència oberta. Zenodo, doi: 10.5282/zenodo.7066807.

88. Overlaet, B. 2022. A Pathway to Multidimensional Academic Careers – A LERU Framework for the Assessment of Researchers. LERU, Lovaina, Bèlgica. https://www.leru.org/files/Publications/LERU_PositionPaper_Framework-for-the-Assessment-of-Researchers.pdf

89. Royal Society. Currículum per a investigadors. https://royalsociety.org/topics-policy/projects/research-culture/tools-for-support/resume-for-researchers/

90. Grove, J. 2021. Els currículums narratius expliquen la història correcta? Times Higher Education (THE). https://www.timeshighereducation.com/depth/do-narrative-cvs-tell-right-story

91. RICYT. Investigadors per sector d'ocupació (FTE) 2011-2020. app.ricyt.org/ui/v3/comparative.html?indicator=INVESTEJCSEPER&start_year=2011&end_year=2020

92. CLACSO. 2020. Avaluació de l'avaluació de la recerca científica. Cap a una transformació de l'avaluació de la recerca científica a Amèrica Llatina i el Carib Sèrie del Fòrum Llatinoamericà per a l'Avaluació de la Recerca (FOLEC). CLACSO, Buenos Aires, Argentina. https://www.clacso.org/wp-content/uploads/2020/05/FOLEC-DIAGNOSTICO-INGLES.pdf

93. CLACSO. 2021. Cap a una transformació dels sistemes d'avaluació a Amèrica Llatina i el Carib, Eines per impulsar noves polítiques d'avaluació. Sèrie del Fòrum Llatinoamericà per a l'Avaluació de la Recerca (FOLEC). CLACSO, Buenos Aires, Argentina. https://www.clacso.org/wp-content/uploads/2022/02/Documento-HERRAMIENTA-2-ENG.pdf

94. Gras, N. 2022. Forms of Research Assessment Oriented At Development Problems. Pràctiques i perspectives de les organitzacions nacionals de ciència i tecnologia i institucions d'educació superior a Amèrica Llatina i el Carib. FOLEC. CLACSO, Buenos Aires, Argentina. 2022-07-27_Report Forms-of-research-assessment.pdf CAT.pdf (dspacedirect.org)

95. CLACSO és el Consell de Ciències Socials de la regió i un destacat defensor de la ciència socialment rellevant i responsable. El Fòrum Llatinoamericà d'Avaluació de la Recerca (FOLEC) és un espai regional de debat i intercanvi de bones pràctiques, i està desenvolupant directrius regionals per a l'avaluació de la recerca per donar suport a aquests principis. Tots dos proporcionen un fort lideratge regional.

96. SGCI. Science Granting Councils Initiative (SGCI) a l'Àfrica subsahariana. https://sgciafrica.org/

97. SGCI. Tijssen, R. i Kraemer-Mbula, E. 2017. Policy brief: Perspectives on research excellence in the Global South – assessment, monitoring and evaluation in development country contexts. SGCI. https://sgciafrica.org/wp-content/uploads/2022/03/Policy-Brief-Perspectives-on-research-excellence-in-the-Global-South_-Assessment-monitoring-and-evaluation-in-developing- country-contexts.pdf

98. Tijssen, R. i Kraemer-Mbula, E. 2018. Research excellence in Africa: Policies, perceptions, and performance. SGCI. https://sgciafrica.org/research-excellence-in-africa-policies-perceptions-and-performance/

99. Tijssen, R. i Kraemer-Mbula, E. 2018. Research excellence in Africa: Policies, perceptions, and performance. Ciència i polítiques públiques, vol. 45 núm. 3, pàgs. 392–403. https://doi.org/10.1093/scipol/scx074

100. SGCI. Directriu de bones pràctiques sobre la qualitat dels concursos de recerca. https://sgciafrica.org/eng-good-practice-guideline-on-the-quality-of-research-competitions/

101. NRF. El NRF acull reunions estratègiques per avançar en les associacions de recerca a l'Àfrica - National Research Foundation

102. Belcher, BM, Rasmussen, KE, Kemshaw, MR i Zornes, DA 2016. Defining and assessing research quality in a transdisciplinary context, Research Evaluation, vol. 25, pp: 1–17, https://doi.org/10.1093/reseval/rvv025

103. ARIN. 2020. Mètrica de Ciència, Tecnologia i Innovació (STI) - Xarxa d'Investigació i Impacte d'Àfrica (arin-africa.org)

104. McLean R., Ofir Z., Etherington A., Acevedo M. i Feinstein O. 2022. Research Quality Plus (RQ+) - Evaluating Research Differently. Ottawa, Centre de Recerca per al Desenvolupament Internacional. https://idl-bnc-idrc.dspacedirect.org/bitstream/handle/10625/60945/IDL-60945.pdf?sequence=2&isAllowed=y

105. Acadèmia Internacional de Seguiment i Avaluació

106. DORA. Tauler de control de TARA. https://sfdora.org/tara-landing-page/

107. IARU, Associació Internacional d'Universitats de Recerca Intensiva; LERU, Lliga d'Universitats Europees de Recerca; AAU, Associació Africana d'Universitats