El futuro de la evaluación de la investigación: una síntesis de los debates y desarrollos actuales

Un sistema de investigación dinámico e inclusivo es profundamente importante para que tanto la ciencia como la sociedad avancen en el conocimiento y la comprensión fundamentales y aborden desafíos globales cada vez más urgentes. Pero el sistema de investigación está bajo presión debido a las crecientes expectativas de múltiples actores (incluidos los financiadores, los gobiernos y la industria editorial), las tensiones entre las dinámicas de competencia y cooperación, un sistema de comunicación académica en evolución, una industria editorial y de análisis de datos agresiva (a veces) y recursos limitados. La empresa de investigación debe gestionar estas demandas y tensiones manteniendo al mismo tiempo la calidad de la investigación, defendiendo su integridad, siendo inclusiva y diversa y salvaguardando tanto la investigación básica como la aplicada.

Durante la última década, estas presiones y la necesidad de una capacidad de respuesta del sistema científico han ido acompañadas de reflexiones más críticas sobre los sistemas de evaluación de la investigación y medición del desempeño. Si bien son importantes las metodologías apropiadas y sensibles al contexto para evaluar la calidad y el impacto de la investigación, se han intensificado los debates sobre los efectos amplios, complejos y ambiguos de los actuales criterios y métricas de evaluación sobre la calidad y la cultura de la investigación, la calidad de la evidencia que informa la formulación de políticas, prioridades en investigación y financiación de la investigación, trayectorias profesionales individuales y bienestar de los investigadores. En algunas partes del mundo, se reconoce cada vez más que un conjunto estrecho y simplista de métricas e indicadores de evaluación no captura satisfactoriamente la calidad, utilidad, integridad y diversidad de la investigación. Las métricas utilizadas habitualmente (a menudo basadas en revistas) no logran captar dimensiones adicionales importantes de la investigación de alta calidad, como las que se encuentran en la tutoría, el intercambio de datos, la interacción con el público, la formación de la próxima generación de académicos y la identificación y brindar oportunidades a grupos subrepresentados. Además de tener un alcance demasiado limitado, también se considera que la cuestión de la mala aplicación de métricas e indicadores distorsiona los incentivos para el logro, perjudica a algunas disciplinas (incluida la vital investigación interdisciplinaria y transdisciplinaria) y alimenta prácticas de publicación predatorias y poco éticas.

Las campañas para frenar la mala aplicación de métricas, ampliar los criterios de calidad y transformar la cultura de la investigación de manera más sistemática a través de manifiestos y declaraciones, principios y reformas han sentado las bases para un debate global sobre la necesidad de reformar la evaluación de la investigación. Estas voces ahora piden pasar de los manifiestos a la acción. Esto está sucediendo en el contexto de cambios transformadores en las formas en que se realizan y comunican las investigaciones. El auge de los marcos de investigación abiertos y de las redes sociales, un cambio hacia una ciencia transdisciplinaria y orientada a una misión, el crecimiento de la revisión abierta por pares y el potencial transformador de la inteligencia artificial (IA) y el aprendizaje automático requieren una nueva forma de pensar sobre cómo se evalúan la investigación y los investigadores. .

En este contexto, el Academia Global de Jóvenes (GYA), la Asociación InterAcademia (IAP) y del Consejo Científico Internacional (ISC) unieron fuerzas para hacer un balance de los debates y avances en la evaluación de la investigación en todo el mundo, basándose en un grupo de científicos de exploración y una serie de consultas regionales. Instituciones de educación superior y financiadores de investigaciones están desarrollando y poniendo a prueba nuevos enfoques en algunas partes del mundo, y en este documento se incluyen varios de ellos. En otras partes del mundo, estos debates y acciones son incipientes o incluso inexistentes. Dado que los sistemas de investigación evolucionan a diferentes ritmos, existe el riesgo de divergencia y fragmentación. Tal divergencia puede comprometer la homogeneidad necesaria para permitir la colaboración en la investigación y facilitar la movilidad de los investigadores entre diferentes geografías, sectores y disciplinas. Sin embargo, no hay una solución única que sirva para todos y es necesario realizar esfuerzos sensibles al contexto para reformar la evaluación, reconociendo los desafíos locales.

Centrándose en la investigación del sector público y la evaluación de la investigación y los investigadores, este documento de debate tiene una perspectiva global y cubre una agenda que normalmente está dominada por los acontecimientos en Europa y América del Norte: las perspectivas regionales y los ejemplos de desarrollo nacional y reforma institucional son resaltado. La membresía global y colectiva de GYA, IAP e ISC representa una amplia muestra representativa del ecosistema de investigación cuyos diversos mandatos pueden facilitar un cambio sistémico genuino. Este documento pretende servir como estímulo para que GYA, IAP e ISC, como plataformas para el aprendizaje mutuo, la experimentación y la innovación, trabajen con sus miembros, otras instituciones científicas y grupos clave en todo el mundo, para iniciar y avanzar en conversaciones y movilizar iniciativas más inclusivas. y acción conjunta.

Las recomendaciones para GYA, IAP e ISC y sus miembros (ver sección 5) se estructuran en torno a sus roles como defensores, ejemplos, innovadores, financiadores, editores, evaluadores y colaboradores, con plazos indicativos para la acción. De manera más inmediata, estas acciones incluyen la creación de espacios para compartir lecciones y resultados de iniciativas relevantes hasta la fecha (para construir una comunidad de práctica); en el mediano plazo, convocar foros de múltiples partes interesadas con grupos clave para rediseñar e implementar la evaluación de la investigación de manera practicable, sensible al contexto e inclusiva; y, a largo plazo, incentivar estudios novedosos que contribuyan al pensamiento del futuro, sensibles a los rápidos avances en las tecnologías de inteligencia artificial, las metodologías y reformas de revisión por pares y los medios de comunicación.

El Academia Global de Jóvenes (GYA), Asociación InterAcademia (IAP) y del Consejo Científico Internacional (ISC) se reunieron en 2021 para hacer un balance de los desafíos, debates y desarrollos en la evaluación/evaluación de la investigación en todo el mundo, en diversas culturas y sistemas de investigación, y para explorar formas en las que podrían participar e influir en la reimaginación de la evaluación/evaluación de la investigación para el futuro. siglo XXI, de forma abierta e inclusiva.

Se convocó a un grupo de exploración internacional (Apéndice A) para estudiar el campo y asesorar a las tres organizaciones sobre cómo podrían fortalecer los esfuerzos existentes para reformar la evaluación de la investigación. Un elemento central de este trabajo fue la premisa de que (1) una iniciativa concertada y dirigida por investigadores daría a la comunidad investigadora global una voz más fuerte en la configuración del futuro de la evaluación de la investigación y (2) hay beneficios al 'evaluar con los evaluados'; ayudando así a trazar un camino hacia un cambio sistémico y sostenido en las culturas y prácticas de evaluación.

Como complemento a la investigación documental, a finales de 2021 se llevó a cabo una serie de consultas regionales con expertos identificados por el grupo de análisis y los socios. El documento de debate es el resultado principal de este trabajo. Su objetivo es servir como prospecto para conversaciones exploratorias con múltiples partes interesadas, entre ellas la propia comunidad investigadora global.

Las prácticas de evaluación de la investigación sirven a múltiples objetivos y son realizadas por múltiples partes interesadas. Se utilizan para evaluar propuestas de investigación para decisiones de financiación, trabajos de investigación para publicación, investigadores para contratación o promoción y el desempeño de instituciones de investigación y universidades. Este artículo se centra predominantemente en la evaluación de los investigadores y la investigación, y no cubre la evaluación o clasificación institucional, aunque todas estas áreas de evaluación están inextricablemente vinculadas. Las prácticas actuales dependen en gran medida de métricas cuantitativas y en gran medida basadas en revistas, como el factor de impacto de la revista (JIF), el número de publicaciones, el número de citas, el índice h y la puntuación de influencia del artículo (AIS). Otras métricas incluyen objetivos de ingresos de subvenciones, medidas de aportes (como financiación de la investigación o tamaño del equipo de investigación), número de patentes registradas y, más recientemente, métricas de redes sociales (anteriormente 'altmetrics'), como acciones o descargas en redes sociales. Juntas, estas métricas influyen profundamente en la reputación institucional, de grupos de investigación e individuales, en las agendas de investigación individuales y colaborativas, en las trayectorias profesionales y en la asignación de recursos.

En las últimas dos décadas, la inversión mundial en investigación y desarrollo (I+D) se ha triplicado, hasta alcanzar alrededor de 2 billones de dólares al año. Solo en los últimos años se ha producido el crecimiento más rápido del gasto en I+D desde mediados de la década de 1980, alrededor del 19% (UNESCO, 2021) [1]. Esta inversión adicional en investigación trae consigo una cultura de rendición de cuentas que ejerce presión sobre las instituciones y los individuos de investigación y, como respuesta, puede generar aberraciones o incentivos perversos. También ha conducido a mayores aspiraciones: mantener la calidad y reducir el desperdicio, el error y la ineficiencia de la investigación; maximizar la inclusión y la diversidad; optimizar la investigación como bien público global; y promover una erudición más abierta y comprometida. Sin reformas, la calidad, la integridad, la diversidad y la utilidad de la investigación están amenazadas.

Las métricas cuantitativas pueden formar una parte importante de la evaluación de la investigación, en la transición hacia un sistema de investigación más abierto, responsable y de cara al público (La Sociedad Real, 2012) [2]. Pero también son en parte responsables de alimentar la cultura de investigación de "publicar o perecer" que existe en todo el mundo, con efectos nocivos para la calidad de los resultados de la investigación, la integridad y confiabilidad de los sistemas de investigación y la diversidad de las comunidades de investigación (por ejemplo, Haustein y Larivière, 2014) [3]. Esto se debe a que las instituciones, los formuladores de políticas y los financiadores de la investigación utilizan las métricas como indicadores de la calidad de la investigación, pero son una medida de los resultados y no de la calidad o el impacto de la investigación per se. Como tales, estos actores contribuyen en gran medida a establecer el contexto social y cultural en el que se produce la investigación, y los sistemas de recompensa y promoción del mundo académico moldean las elecciones de los científicos en todas las etapas de su carrera (Macleod y otros, 2014) [ocho].

“El uso de índices bibliométricos… como métricas indirectas para el desempeño de los investigadores es un índice de evaluación conveniente pero profundamente defectuoso. La mayoría se centra implacablemente en los logros individuales, reduce el apoyo a la investigación a través del interés de la universidad en métricas de alto impacto, presiona a todos para que "marquen casillas" y se ajusten, al tiempo que desempeñan un papel importante en la distorsión del mercado de publicación de revistas. Hay una necesidad urgente de reforma”.

Abriendo el Registro de la Ciencia (2021), el Consejo Científico Internacional

La otra comunidad de partes interesadas que tiene un enorme poder e influencia sobre la comunicación de la investigación y la producción de conocimientos es el sector editorial. Las métricas basadas en revistas se han convertido en un poderoso incentivo para publicar en revistas comerciales y pueden incentivar comportamientos que pueden tener efectos secundarios graves. En lugar de juzgar los resultados de la investigación por sus méritos científicos, es la calidad percibida de la revista en la que se publica lo que habitualmente se acepta como evidencia de calidad científica, impulsando un mercado editorial altamente comercial basado en la reputación más que en la ciencia. Los costos del acceso abierto provienen en gran medida de los cargos por procesamiento de autores (APC): estos pueden ser prohibitivamente altos, particularmente en algunas partes del mundo, creando barreras a la publicación de investigaciones para investigadores de escasos recursos y potencialmente poniendo en riesgo la fractura de la comunidad científica internacional. Los riesgos de volverse cada vez más dependientes de los proveedores comerciales y sus condiciones de uso en todas las etapas del proceso de investigación crean argumentos sólidos a favor de alternativas sin fines de lucro. Además, como los indicadores bibliométricos han proporcionado la fuente dominante de incentivos en las universidades, han disminuido el valor de la educación y otras formas de trabajo científico (como la enseñanza y el asesoramiento sobre políticas). Dado que los sistemas de evaluación de la investigación tienden a favorecer a quienes obtienen grandes subvenciones y publican en revistas con altos factores de impacto, hay pruebas que sugieren que los investigadores que ya han tenido éxito tienen más probabilidades de volver a triunfar (el "efecto Matthew", Bol et al., 2018) [ocho].

Cuando la publicación académica se convierte en un medio de evaluación en lugar de comunicación, esto pone en desventaja a quienes eligen comunicar su investigación de otras maneras significativas (Informe 2021 del ISC) [6]. Esto incluye productos comunes (y posiblemente la moneda principal) de la Global Young Academy (GYA), la InterAcademy Partnership (IAP) y el Consejo Científico Internacional (ISC): informes, documentos de trabajo, declaraciones conjuntas, editoriales de opinión, noticias y seminarios web. . Algunas disciplinas también están en desventaja: por ejemplo, los investigadores en ingeniería e informática, donde la comunicación (generalmente más rápida) a través de conferencias y sus actas es importante; y aquellos en humanidades y ciencias sociales que suelen utilizar monografías, libros y revistas profesionales.

Otros optan por publicar en revistas locales o de investigación específica, o no pueden permitirse el lujo de publicar su investigación (por muy alta que sea su calidad) en revistas de acceso abierto con altos factores de impacto (y altos APC concomitantes); esto último perjudica a quienes viven en países de bajos ingresos, especialmente a los investigadores que inician su carrera (ECR). Estos mismos investigadores están bajo intensa presión para obtener puestos académicos permanentes y su comportamiento está fuertemente condicionado por los criterios cuantitativos utilizados por las agencias de financiación de la investigación y las juntas institucionales de contratación y promoción. La tentación de pensar con indicadores (Müller y de Rijcke, 2017) [7], e incluso 'jugar' con el sistema, es una realidad para todos los investigadores en todo el mundo (por ejemplo, Ansede, 2023) [ocho].

Las manifestaciones de este juego incluyen que los investigadores (a sabiendas o sin darse cuenta) utilicen revistas y conferencias depredadoras para aumentar el número de publicaciones. (PIA, 2022 [9] Elliott et al., 2022 [10]), permitiéndose la autocitación y la falsificación de reseñas de pares, el plagio, la inflación del factor de impacto y el 'salami-slicing' (dividir un estudio grande que podría haberse reportado en un solo artículo de investigación en artículos publicados más pequeños) (Collier, 2019) [11]. Bajo presión, los investigadores pueden verse tentados a recurrir a servicios predatorios con el único propósito de obtener sus doctorados, ser contratados o ascendidos, o financiar sus proyectos de investigación (por ejemplo, Abad-García, 2018 [12] Omobowale y otros, 2014) [13]. La academia y los sistemas de publicación académica basados ​​en métricas generan incentivos insidiosos: dónde publica un investigador es más importante que lo que publica.

El impacto en la calidad y la integridad de la investigación es enormemente preocupante. El número de artículos académicos retractados ha aumentado dramáticamente en los últimos años, debido a malas prácticas en la investigación y publicación y a conjuntos de datos deficientes o fraudulentos. Las revistas pueden tardar meses o años en retractarse de investigaciones poco fiables, momento en el que es posible que ya hayan sido citadas numerosas veces y sean de dominio público (Ordway, 2021) [ocho].

El predominio de la evaluación de la investigación basada en métricas es inequívoco y existen tendencias divergentes a nivel mundial en lo que respecta a la reforma de la evaluación, lo que corre el riesgo de dejar atrás a partes de la comunidad investigadora. En su análisis del panorama global de la evaluación de la investigación (Curry y otros, 2020 [15]; presentado), parece que muchas instituciones de investigación y financiación en países/regiones de mayores ingresos están empezando a incluir un conjunto más amplio de indicadores, como medidas cualitativas de "impacto", mientras que la bibliometría sigue siendo predominante en instituciones del "Sur Global" [16 ], en todas las disciplinas. Sin una acción más inclusiva, se corre el riesgo de que se produzca una divergencia entre los sistemas nacionales de evaluación, lo que podría introducir aún más sesgos sistémicos y posibles incompatibilidades en los sistemas de investigación, evaluación, financiación y publicación. Esto, a su vez, puede inhibir la colaboración internacional en investigación y la movilidad de los investigadores. Al crear barreras a la colaboración Norte-Sur, también puede inhibir el fortalecimiento concomitante de los ecosistemas de investigación en el Sur Global: una evaluación sólida de la investigación fortalece los ecosistemas de investigación y la confianza en ellos, reduce la probabilidad de fuga de cerebros y ayuda a establecer un capital humano sólido para la sostenibilidad. desarrollo. Sin embargo, las versiones únicas de lo que constituye un buen desempeño generan formas de comportamiento que no necesariamente conducen a la excelencia, la equidad, la transparencia y la inclusión. Medir los logros de los académicos que han prosperado en ambientes de apoyo y con buenos recursos donde abundan las oportunidades, de la misma manera que aquellos que han luchado contra desafíos y superado obstáculos en ambientes hostiles y sin apoyo es, en el mejor de los casos, cuestionable (GYA, 2022) [17]. Muchos académicos sienten una exclusión histórica y geográfica de la comunidad de investigación, alimentada en gran parte por la forma en que se les evalúa a lo largo de sus carreras. Al excluir algunas formas de investigación y no aprovechar una diversidad de ideas a nivel global, existe el riesgo de que las prácticas actuales de evaluación de la investigación promuevan una cultura dominante/seguidora de modelos dominantes concebidos en Occidente.

Los investigadores de países de bajos ingresos y en las primeras etapas de su carrera necesitan una voz para poder ayudar a dar forma a nuevos modelos de evaluación de manera sensible al contexto, que sean adecuados para su propósito y tengan en cuenta los desafíos que enfrentan en el día a día. día. La GYA y un número cada vez mayor de Academias Nacionales Jóvenes dan a las ECR esta voz, y la Grupo de trabajo de GYA sobre excelencia científica [18] ofrece sus puntos de vista sobre la reforma de la evaluación de la investigación (ver texto a continuación).

Opiniones de la comunidad de investigadores que inician su carrera

Los investigadores que inician su carrera (ECR) están especialmente preocupados por las prácticas de evaluación de la investigación porque sus perspectivas profesionales y la consecución de su agenda de investigación dependen crucialmente de cómo son evaluados. Esto influye en las prácticas de financiación, contratación y promoción de formas que no siempre se perciben como justas y equitativas.

Si bien es obvio que las decisiones sobre financiación y recursos humanos afectan la composición de la fuerza laboral de los investigadores, no siempre se reconoce que, a través de su impacto en la financiación, la evaluación de la investigación genera incentivos para que las instituciones y los investigadores sigan una determinada trayectoria de investigación, trabajo en un determinado campo o unirse a unas redes en lugar de otras. De esta manera, la evaluación de la investigación da forma al desarrollo de la ciencia misma, y ​​esto es especialmente cierto en relación con su impacto desproporcionado en las perspectivas y expectativas de las ECR.

Aunque la ciencia es una empresa global, algunos académicos enfrentan mayores barreras para ingresar e involucrarse en la comunidad de investigación debido a su lugar de nacimiento, su identidad o su entorno socioeconómico. Se trata de una cuestión de organización de la industria científica y no de evaluación de la investigación per se, pero muchas ECR consideran que los criterios de evaluación no deberían ignorar esta realidad de la experiencia de los investigadores y no deberían imponer criterios uniformes y estandarizados para diferentes situaciones.

La investigación realizada por el Grupo de Trabajo de Excelencia Científica del GYA (próximo informe) muestra que la evaluación de la investigación podría estar impulsada más por la política de investigación de un país que por debates culturales o científicos. Centrándose en los criterios de promoción a una cátedra titular (o equivalente) en el mundo académico, el informe muestra que las políticas e instituciones nacionales tienden a tener documentos específicos que establecen sus criterios para la evaluación de la investigación. En lugar de abarcar un conjunto amplio y variado de criterios que podrían usarse para formar una visión integral de un investigador, estos documentos tienden a centrarse en una sola dimensión o prioridad. Por ejemplo, algunos documentos se centran en la evaluación de las actividades de servicio de un investigador (como la enseñanza y la tutoría) o otros en la producción acumulada de un investigador (por ejemplo, en términos de número de artículos de revistas), pero rara vez ambas cosas.

Hay dos implicaciones principales de este hallazgo. Primero, esa evaluación de la investigación es jerárquica y de arriba hacia abajo. Esto crea un riesgo, en la medida en que tanto las métricas como los métodos cualitativos a menudo ignoran la diversidad de los investigadores: tanto en sus antecedentes como en sus trayectorias profesionales y, igualmente importante, en sus métodos e ideas. En contraste, las ECR representadas en el GYA sienten que sería importante reconocer la diversidad de actividades que son necesarias para la empresa de investigación y diseñar esquemas de evaluación de la investigación que fomenten la diversidad y el pluralismo en lugar de exigir conformidad y homologación.

En segundo lugar, las diferencias entre disciplinas son menos significativas que las diferencias según la situación económica de los países en los que trabaja un investigador. Los países de ingresos más bajos parecen depender de métricas cuantitativas y recompensar la "productividad", mientras que los países de ingresos más altos están cada vez más abiertos a la evaluación cualitativa del impacto. Si esta divergencia se profundiza, podría constituir un obstáculo adicional para la movilidad internacional de los académicos, lo cual es especialmente importante para las ECR.

En conclusión, el informe GYA enfatiza que no existe una solución milagrosa: la evaluación de la investigación debe orientarse hacia los objetivos de la evaluación y, en última instancia, hacia las metas de una institución o la política de investigación de un país. La evaluación debe tener en cuenta la diversidad de perfiles y carreras de los investigadores, y adoptar un enfoque diferente en función del propósito de la evaluación. Al ser la ciencia una conversación global y autocrítica, una evaluación externa puede no siempre ser necesaria. De hecho, a menudo se debate el uso y el valor real de clasificaciones odiosas (de personas, instituciones, medios o incluso países enteros).

Los desafíos globales actuales, muchos de los cuales están articulados en los Objetivos de Desarrollo Sostenible (ODS) de las Naciones Unidas (ONU), requieren una investigación transformadora, interdisciplinaria y transdisciplinaria, que a su vez requiere nuevas modalidades de ejecución y cooperación de la investigación (CEI, 2021) [19]. La urgencia de una investigación inclusiva, participativa, transformadora y transdisciplinaria no se corresponde con la forma en que se apoya, evalúa y financia la investigación: para que la investigación cumpla su promesa a la sociedad, necesita sistemas de evaluación más abiertos, inclusivos y sensibles al contexto (Gluckman, 2022) [20]. El comportamiento arraigado de académicos, financiadores y editores puede dificultar el cambio, de modo que la inversión pueda potencialmente desviarse de las áreas de mayor necesidad.

El crecimiento de la investigación interdisciplinaria y transdisciplinaria y de la ciencia participativa o ciudadana son avances importantes y vitales para abordar los desafíos globales. A medida que la investigación traspasa fronteras disciplinarias e institucionales e involucra a un conjunto más amplio de partes interesadas –incluida la comunidad de usuarios para codiseñar preguntas de investigación urgentes para la sociedad– los criterios tradicionales de evaluación de la investigación académica son insuficientes y pueden incluso limitar el desarrollo y uso de la investigación transdisciplinaria (Belcher et al., 2021) [21]. Se necesitan principios y criterios más apropiados para guiar la práctica y la evaluación de la investigación transdisciplinaria: un ejemplo temprano de un marco de evaluación de la calidad se construye en torno a principios de relevancia, credibilidad, legitimidad y utilidad (Belcher et al., 2016) [ocho].

Las formas en que se encarga, financia, realiza y comunica la investigación están evolucionando a buen ritmo y requieren la aceleración de la reforma de la evaluación de la investigación. Incluyen lo siguiente:

(1) La transición a la ciencia abierta

El movimiento de ciencia abierta requiere una reforma concomitante de los sistemas de evaluación de la investigación para mejorar la apertura y la transparencia. Muchas de las métricas e indicadores utilizados para medir el desempeño de la investigación son en sí mismas opacas y con frecuencia se calculan a puertas comerciales cerradas. Esta falta de transparencia compromete la autonomía de la comunidad investigadora: restringe las opciones para evaluar, probar, verificar y mejorar los indicadores de investigación (Wilsdon y otros, 2015 [23]). La evaluación responsable de la investigación se está convirtiendo en un aspecto central de los movimientos globales hacia la ciencia abierta, como lo demuestra, por ejemplo, la Recomendación de la Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura (UNESCO) sobre la ciencia abierta (UNESCO, 2021 [24]), que incluye el desarrollo de un kit de herramientas de ciencia abierta para sus miembros para ayudarlos a revisar y reformar las evaluaciones y los criterios de evaluación de sus carreras de investigación [25].

(2) Avances en la revisión por pares

El crecimiento de la revisión por pares abierta (ya sea la publicación de informes de revisión por pares y/o la identificación pública de los revisores) es un avance importante para la evaluación de la investigación (Barroga, 2020 [26] Woods et al., 2022 [27]). El crecimiento de la infraestructura de datos ha permitido a los editores generar identificadores de objetos digitales (DOI) para informes de revisión por pares, vincular informes de revisión por pares a ID de investigador abierto y colaborador (ORCID) individuales y publicar artículos como preimpresiones. El número de preimpresiones creció significativamente durante la pandemia mundial de COVID y expuso los desafíos que plantea la evaluación de la investigación en modo de respuesta rápida. Sin embargo, las prácticas abiertas de revisión por pares (ya sea antes o después de la publicación) pueden ayudar a alterar el control que tienen los editores comerciales sobre la comunicación de la investigación y los procesos de producción de conocimiento, reduciendo el poder de la revista científica y las métricas asociadas, como los JIF. Los registros abiertos de las actividades de revisión por pares también pueden proporcionar infraestructura para documentar (y con el tiempo generar un mayor valor) las actividades de revisión por pares, que son un servicio profesional vital a menudo en gran medida invisible y subestimado dentro de las evaluaciones académicas (Kaltenbrunner y otros, 2022 [28]).

(3) La aplicación de la inteligencia artificial y el aprendizaje automático.

Es probable que los avances tecnológicos en inteligencia artificial (IA) y aprendizaje automático tengan profundas consecuencias para la evaluación de la investigación, incluidos los procesos de revisión por pares que la respaldan (por ejemplo, Holm y otros, 2022 [29] Proctor y otros, 2020 [30]). La IA ya se está utilizando para agilizar y fortalecer la revisión por pares (Naturaleza, 2015 [31]; Naturaleza, 2022 [32]), probar la calidad de la revisión por pares (Severin y otros, 2022 [33]), probar la calidad de las citas (Gadd, 2020 [34]), detectar plagio (Foltýnek y otros, 2020 [35]), descubren a los investigadores manipulando datos (Quach, 2022 [36]) y encontrar revisores pares, que son cada vez más escasos porque este trabajo no recibe el crédito que merece en la evaluación de los investigadores. La 'IA conversacional', como ChatGPT (Chat Generative Pre-Trained Transformer), tiene la capacidad de diseñar experimentos, escribir y completar manuscritos, realizar revisiones por pares y respaldar decisiones editoriales para aceptar o rechazar manuscritos (Naturaleza, 2023 [37]). También existe la posibilidad de que la IA mejore la eficiencia de la revisión por pares mediante el uso de algoritmos para aliviar la carga de los revisores como árbitros de los resultados de la investigación (Naturaleza, 2022 ). El uso de la IA ya se está probando en China para encontrar árbitros (Naturaleza, 2019 [39]).

Todas estas aplicaciones de IA pueden reducir esta carga y permitir que expertos experimentados centren su juicio en la calidad de la investigación y evaluaciones más complejas (Thelwall, 2022 [40]). Pero también corren el riesgo de propagar sesgos porque son tecnologías predictivas que refuerzan los datos existentes que pueden estar sesgados (por ejemplo, por género, nacionalidad, etnia o edad): de hecho, el uso de la IA en sí podría beneficiarse de una comprensión más profunda de lo que constituye "calidad". ' investigación (Chomsky y otros, 2023 [41] ISI, 2022 [42]).

Sin embargo, es fundamental que todas las formas de IA y aprendizaje automático estén abiertas al abuso (Blauth y otros, 2022 [43]; Bengio, 2019 [44]). Las comunidades académicas y de investigación necesitarán desarrollar preparación y resiliencia ante esto, trabajando con los líderes del gobierno, la industria y la sociedad civil que gobiernan este espacio.

(4) El auge de las redes sociales

Las medidas cuantitativas convencionales del impacto de la investigación no tienen en cuenta el aumento de la participación en las redes sociales y de los investigadores/académicos en redes sociales (Jordan, 2022 [45]). Muchos académicos utilizan plataformas de redes sociales para involucrar a las comunidades, los formuladores de políticas y el público durante la duración de su proyecto de investigación; involucrarse positivamente, probar e informar su investigación, y aportar una diversidad de ideas y aportes, en lugar de simplemente publicar el resultado final como un hecho consumado para una audiencia receptora. Este compromiso no se recoge en las formas convencionales de evaluación de la investigación, pero puede generar mayores oportunidades de influencia y extensión. Las métricas de redes sociales ('altmetrics') se están desarrollando como contribución a las métricas responsables (Wouters y otros, 2019 [4]) e incluir menciones en Twitter o Facebook y el número de seguidores en ResearchGate, por ejemplo. Por un lado, estas altmétricas pueden ayudar a abrirse, crear espacio y ampliar la evaluación (Ráfols y Stirling, 2021 [47]) pero, por otro lado, al igual que otros indicadores, también pueden usarse de manera irresponsable y/o verse como que imponen otra capa de métricas en los sistemas de evaluación.

Los desafíos a la reforma de la evaluación de la investigación son múltiples. A continuación se ilustran algunos de los más importantes.

Cualquier reforma que incluya medidas más cualitativas debe –al mismo tiempo– salvaguardar la calidad de la investigación básica y aplicada. Hay evidencia anecdótica de que algunos científicos pueden oponerse a la reforma, tal vez especialmente los investigadores de carrera avanzada que han prosperado en el sistema actual, porque temen que se corra el riesgo de alimentar investigaciones mediocres, o que formas más cualitativas de evaluación puedan favorecer la investigación aplicada sobre la básica. La reforma de los criterios de evaluación de la investigación tiende a enmarcarse en movimientos hacia una investigación orientada a una misión y con impacto social que atraiga el apoyo público y político de una manera que la investigación básica o de cielo azul, menos tangible, tal vez no lo haga. Algunos argumentan que se requiere una interpretación más matizada del "valor" de la investigación para sustentar la innovación, ya que el futuro requiere una inversión continua en investigación fundamental impulsada por la curiosidad y una apreciación más amplia del papel crucial que desempeña en la capacidad de responder a los desafíos globales (GYA, 2022 [48]).

La falta de coherencia en el significado y el uso de la terminología de investigación, en términos más generales, es una barrera al cambio. El marco conceptual para la evaluación de la investigación no ha cambiado sustancialmente con el tiempo, ni tampoco el lenguaje que lo sustenta: el sistema de investigación todavía está estancado en viejas dicotomías como ciencia "básica" y "aplicada", y términos como "impacto", "calidad" (inútilmente equiparado con productividad) y "excelencia" no están claramente definidos de una manera que evite sesgos geográficos, disciplinarios, de etapa profesional y de género. (Jong et al., 2021 [49]): esto puede ser particularmente grave en paneles de toma de decisiones que carecen de diversidad (Escotilla y curry, 2020 ) [50].

Al igual que la evaluación basada en métricas, las formas de evaluación más cualitativas también son imperfectas. Argumentar que los procesos de revisión por pares y el juicio de expertos son al menos tan importantes como la bibliometría no es sencillo. Pueden estar sesgados debido a la falta de claridad y transparencia en el proceso de revisión por pares. Los comités de revisión por pares, por ejemplo, han sido criticados como mecanismos que preservan formas establecidas de poder y privilegio al permitir que persistan las "redes de viejos" y la homofilia (evaluadores que buscan a personas como ellos), al mismo tiempo que son vulnerables a la dinámica del pensamiento grupal. Las métricas cuantitativas, por imperfectas que sean, se consideran en algunas partes del mundo una defensa contra el nepotismo y los prejuicios. Se pueden aplicar argumentos similares a la revisión por pares de trabajos de investigación, y el uso de evaluaciones más cualitativas podría abrir la puerta a otras formas de comportamiento discriminatorio.

La falta de reconocimiento profesional y capacitación para la revisión por pares en cualquier forma crea desincentivos para actuar como revisor por pares, reduciendo así la capacidad. Además, cuando la demanda supera la oferta, se pueden crear incentivos para tomar atajos y reducir el rigor. Es necesario aumentar la transparencia de la revisión por pares (ya sea completamente abierta, anónima o híbrida) y capacitar, fomentar y recompensar las buenas prácticas de revisión por pares; al igual que más investigaciones sobre modelos para su evolución a medida que se diversifican los resultados de la investigación (PAI, 2022 [51]) y las tecnologías de IA avanzan.

Los debates sobre la reforma de la evaluación de la investigación son complejos y no binarios. La información cualitativa y cuantitativa a menudo se ha combinado en contextos de revisión por pares: declaraciones como el Manifiesto de Leiden para las Métricas de Investigación (Hicks y otros, 2015 [52]) exigen una 'revisión por pares informada' en la que el juicio de expertos esté respaldado, pero no dirigido por, indicadores cuantitativos adecuadamente seleccionados e interpretados y por información cualitativa. El debate sobre la evaluación de la investigación no es una elección binaria de herramientas de evaluación 'cualitativa versus cuantitativa', sino cómo garantizar la mejor combinación de múltiples formas de información.

Por último, cualquier reforma también debe ser conveniente y practicable. El sistema de investigación ya está mostrando signos de colapso, a medida que el volumen de publicaciones aumenta exponencialmente y la carga de revisión cae de manera desigual en toda la empresa de investigación (por ejemplo, Publones, 2018 [53] Kovanis y otros, 2016 [54] Naturaleza, 2023 [55]). Las métricas basadas en revistas y el índice h, junto con nociones cualitativas de prestigio editorial y reputación institucional, pueden proporcionar atajos convenientes para evaluadores ocupados y presentar obstáculos al cambio que se han arraigado profundamente en la evaluación académica (Escotilla y curry, 2020 [56]). En algunos países, las métricas cuantitativas son aclamadas por proporcionar rutas relativamente claras e inequívocas para el nombramiento y la promoción. En el 'Sur Global', los factores de impacto promedio se utilizan rutinariamente para preseleccionar a los solicitantes, y cualquier alternativa debe ser igualmente implementable y capaz de aprovechar los recursos adicionales inevitablemente necesarios para ampliar el alcance de la evaluación. Es probable que la conveniencia de utilizar métricas cuantitativas simples en la evaluación de la investigación sea un obstáculo importante para el cambio, y la introducción de nuevos sistemas de evaluación puede incluso crear más inequidad global debido a la falta de capacidad o competencia en algunos países.

Durante la última década, ha habido una serie de manifiestos y principios de alto perfil sobre evaluación de la investigación para abordar estos desafíos, incluido el Manifiesto de Leiden (desarrollado por un grupo de expertos internacionales), los Principios de Hong Kong (Moher et al., 2020 [57]) (desarrollado en la 6.a Conferencia Mundial sobre Integridad de la Investigación en 2019) y La marea métrica [58] y Aprovechar la marea métrica [59] informes (desarrollados en el contexto de una revisión del marco de investigación y evaluación del Reino Unido, REF). Hay al menos 15 esfuerzos distintos que instan a las partes interesadas clave (ya sean formuladores de políticas, financiadores o directores de instituciones de educación superior (IES)) a minimizar el daño potencial de los sistemas de evaluación actuales. Todas estas iniciativas han llegado a una amplia audiencia y son progresistas en su enfoque en métricas responsables como requisito previo para mejorar la cultura de investigación y traer igualdad, diversidad, inclusión y pertenencia a la comunidad de investigación. Pero algunos arquitectos de estas iniciativas están cada vez más preocupados por el hecho de que, si bien son útiles, restan valor a una acción práctica tangible: el acto de ser signatario sólo es eficaz si va seguido de una implementación práctica (Naturaleza, 2022 [60]).

Hay un apoyo cada vez mayor a la "valoración o evaluación responsable de la investigación" y a las "métricas responsables" (DORA, 2012 [61] Hicks et al. 2015 [62] Wilsdon y otros, 2015) que se alejan de métricas puramente cuantitativas hacia una variedad más amplia de medidas que permitan a los investigadores describir el impacto económico, social, cultural, ambiental y político de su investigación; dar cuenta de las cuestiones que la comunidad de investigación valora: 'datos para el bien' o 'indicadores basados ​​en valores' que abordan atributos más amplios (Curry y otros, 2022 [63]). En los últimos años, algunas IES y financiadores de investigación en regiones y países de todo el mundo han desarrollado y puesto a prueba enfoques innovadores y progresistas para la evaluación responsable de la investigación. Algunos se destacan aquí.

De las iniciativas globales mencionadas anteriormente, la de San Francisco de 2013Declaración sobre Evaluación de la Investigación' [64] (DORA) es quizás la iniciativa global más activa. Ha catalogado los problemas causados ​​por el uso de indicadores basados ​​en revistas para evaluar el desempeño de investigadores individuales y proporciona 18 recomendaciones para mejorar dicha evaluación. DORA desaconseja categóricamente el uso de métricas basadas en revistas para evaluar la contribución de un investigador o cuando se busca contratar, promover o financiar. A mediados de abril de 2023, la declaración había sido firmada por 23,059 signatarios (instituciones e individuos) en 160 países, comprometiéndose a realizar reformas. Centrándose en afrontar los desafíos intrínsecos y los sesgos innatos de la evaluación cualitativa, DORA está desarrollando Herramientas para avanzar en la evaluación de la investigación (TARA) [65] para ayudar a poner la declaración en práctica: estas herramientas incluyen un panel para indexar y clasificar políticas y prácticas innovadoras en la evaluación de carreras y un conjunto de herramientas de recursos para ayudar a eliminar el sesgo en la composición del comité y reconocer diferentes formas cualitativas de impacto de la investigación.

Además, DORA está financiando diez proyectos –en Argentina, Australia, Brasil, Colombia (2), India, Japón, Países Bajos, Uganda y Venezuela– para probar diferentes formas de promover la reforma en la evaluación de la investigación en sus contextos locales, así como recopilación de ejemplos de buenas prácticas: por ejemplo, sensibilización, desarrollo de nuevas políticas o prácticas, formación y orientación práctica para solicitantes de empleo (DORA [66]). La demanda de subvenciones de este tipo ha sido alta (más de 55 solicitantes de 29 países), lo que indica un reconocimiento cada vez mayor de la necesidad de reformas.

Las asociaciones profesionales de gestión de la investigación, como la Red Internacional de Sociedades de Gestión de la Investigación (INORMS), también han estado desarrollando activamente recursos para guiar el cambio organizacional, incluida la Grupo de Evaluación de la Investigación Marco SCOPE | INORMS – El marco INORMS SCOPE para la evaluación de la investigación [67] que comienza por definir qué se valora, quién se evalúa y por qué (un útil cartel explicativo esta página [68]).

El sector del desarrollo internacional ha ofrecido nuevas perspectivas sobre la evaluación de la investigación, siendo un excelente ejemplo Calidad de la investigación Plus | IDRC – Centro Internacional de Investigaciones para el Desarrollo [69], que mide lo que les importa a las personas que reciben la investigación. La herramienta Research Quality Plus (RQ+) reconoce que el mérito científico es necesario pero no suficiente, reconociendo el papel crucial de la comunidad de usuarios a la hora de determinar si la investigación es relevante y legítima. También reconoce que la actualización y la influencia de la investigación comienzan durante el proceso de investigación. Las aplicaciones de investigación a menudo son evaluadas por paneles altamente interdisciplinarios, que también incluyen expertos en desarrollo de fuera del mundo académico (por ejemplo, un departamento gubernamental u organización no gubernamental (ONG)), profesionales y representantes nacionales: esto refuerza la importancia de la comunidad de usuarios/expertos no especializados en la materia. necesidad de comprender la investigación y cómo se puede aplicar en la práctica. La investigación en entornos complejos, de bajos ingresos o frágiles puede ir acompañada de un conjunto de herramientas o marco de ética, diseñado para informar y apoyar decisiones éticas en el ciclo de vida de la investigación, desde el inicio hasta la difusión y el impacto, por ejemplo Reid et al., 2019 [70]. Los enfoques de la 'Teoría del Cambio' son ampliamente utilizados en la investigación sobre desarrollo internacional por parte de donantes, ONG y agencias multilaterales, donde los solicitantes deben articular vías para generar impacto, respaldadas por marcos de seguimiento, evaluación y aprendizaje, por ejemplo Valters, 2014 [71]. La comunidad de investigación académica puede potencialmente aprender de la comunidad de desarrollo.

Reconociendo el papel de los financiadores en la configuración de las estrategias de las IES, la Evaluación de la investigación responsable del Global Research Council (GRC) (RRA) [72] ha estado incentivando a los principales financiadores de investigación de todo el mundo a trabajar hacia las ambiciones de RRA en sus propios contextos regionales y nacionales y a desarrollar marcos de evaluación eficaces para valorar el impacto (vídeo explicativo). esta página [73]). Encargar un documento de trabajo sobre la RRA (Curry y otros, 2020 [74]), el GRC pidió a sus miembros incorporar los principios de la RRA y tomar medidas concretas para cumplirlos, y aprender unos de otros a través de la colaboración y el intercambio de buenas prácticas. Un grupo de trabajo internacional [75] brinda orientación y apoyo a los miembros del GRC, ayudándolos en la transición del movimiento a la acción.

En gran parte gracias a los esfuerzos del GYA, las ECR también están comenzando a movilizarse en torno a esta agenda. Es Grupo de Trabajo sobre Excelencia Científica [76] está trabajando para identificar entornos de investigación propicios para "desatar la curiosidad y la creatividad en la ciencia y fomentar el desarrollo del potencial humano a través de la diversidad y la inclusión". Su trabajo exige que la comunidad ECR cuestione las definiciones de "excelencia" utilizadas por sus organizaciones, se involucre en iniciativas para reformar la evaluación de la investigación y se una al movimiento de Academias Jóvenes. También pide a los organismos de financiación y contratación que involucren a los ECR en los debates sobre evaluación de la investigación y reconozcan una diversidad más amplia de contribuciones y carreras en la investigación.

Aunque algunas universidades y otras IES son signatarias de DORA y/o se han unido al movimiento europeo (que se describe más adelante), no parecen organizarse colectivamente en torno a la evaluación de la investigación como lo hacen otros grupos clave.

Los problemas creados por sistemas de evaluación que son casi exclusivamente cuantitativos se ven y diagnostican en gran medida desde una perspectiva del "Norte Global", con el "Sur Global" en riesgo de ponerse al día. A riesgo de una generalización excesiva, existen importantes problemas sistémicos en el 'Norte Global' en torno a la falta de diversidad, equidad e inclusión que se ven exacerbados por los sistemas de evaluación. En el "Sur Global", hay una falta de definición local y regional de lo que constituye "calidad" e "impacto", sistemas de evaluación muy variados (incluso entre departamentos de la misma universidad) y relativamente pocos desafíos para el status quo. En todo el mundo, los problemas se derivan del énfasis excesivo en los indicadores cuantitativos, el vínculo entre evaluación y asignación de recursos, el sistema de financiación altamente competitivo y la presión para publicar, y el desprecio por otras dimensiones menos cuantificables de la investigación y la vida académica.

La literatura revisada por pares sobre estudios comparativos de la reforma de la evaluación de la investigación es escasa. Una rara excepción es una comparación de intervenciones de evaluación de investigaciones en seis geografías diferentes (Australia, Canadá, Alemania, Hong Kong, Nueva Zelanda y Reino Unido), que observa que el desempeño indexado de las seis parece mejorar después de múltiples tipos de intervención (al menos utilizando indicadores bibliométricos convencionales) (ISI, 2022 [77]). DORA proporciona estudios de casos (en gran parte institucionales) en su página web (DORA [78]) y en un informe (DORA, 2021 [79]) diseñados para inspirar a otros a actuar, pero estos son ejemplos predominantemente europeos.

Aquí, los autores brindan resúmenes regionales y ejemplos nacionales de experimentación y reforma para una mayor comprensión; estos no pretenden ser exhaustivos ni exhaustivos.

El Coalición de la UE para reformar la evaluación de la investigación [80], o CoARA, aprobada en julio de 2022, es la iniciativa más grande del mundo sobre reforma de la evaluación de la investigación. Tras cuatro años de preparación y desarrollado por 350 organizaciones en 40 países (en su mayoría europeos), la Asociación Universitaria Europea y Science Europe (una red de academias y financiadores científicos del continente), en concierto con la Comisión Europea, han desarrollado un acuerdo o conjunto de principios (un 'viaje de reforma'), para una evaluación de la investigación más inclusiva y responsable (COARA, 2022 [81]). El acuerdo se centra en tres niveles de evaluación: instituciones, investigadores individuales y la propia investigación. Si bien está gobernada por socios europeos, la coalición tiene ambiciones de volverse global y tanto DORA como GYA ya son signatarios. Los signatarios se comprometen a comprometer recursos para mejorar la evaluación de la investigación, desarrollar nuevos criterios y herramientas de evaluación, y crear conciencia y brindar capacitación sobre la evaluación de la investigación (por ejemplo, a revisores pares). Este hecho ha sido descrito como "el signo más esperanzador hasta ahora de un cambio real" (Naturaleza, 2022 [82]).

La UE también está financiando algunas iniciativas nuevas e interesantes diseñadas para apoyar la reforma de la evaluación de la investigación: en particular, Ciencia Abierta y Universal (OPUS [83]) – para desarrollar un 'conjunto completo' de indicadores a través de múltiples procesos y resultados de investigación, y así incentivar a los investigadores europeos a practicar la ciencia abierta – y el espacio de datos de evaluación de la ciencia abierta Agarra OS [84] – construir un espacio de datos abierto para apoyar la reforma de políticas para la evaluación de la investigación.

El Consejo Europeo de Investigación (ERC), que apoya la investigación de vanguardia en todos los campos (con un presupuesto de 16 mil millones de euros para 2021-2027) ha firmado CoARA y ha modificado sus formularios y procesos de evaluación para incorporar descripciones más narrativas, incluida la contabilidad de menos trayectorias profesionales convencionales y 'contribuciones excepcionales' a la comunidad investigadora. Las propuestas se juzgarán más por sus méritos que por los logros pasados ​​del solicitante y seguirán siendo evaluadas por paneles de revisión por pares compuestos por destacados académicos utilizando el único criterio de excelencia científica (CEI, 2022 [85]).

Algunas academias europeas también participan. La Junta de ALEA [86], la Federación Europea de Academias de Ciencias y Humanidades, que representa a nueve de las más de 50 academias nacionales en 40 países europeos, ha respaldado el movimiento CoARA. ALLEA se ha comprometido a establecer un grupo de trabajo dedicado a recopilar, intercambiar y promover buenas prácticas para admitir nuevos becarios de la Academia y contribuir a un "intercambio cultural significativo" de evaluación de investigaciones, basado en principios de calidad, integridad, diversidad y apertura. En su Declaración de octubre de 2022 , ALLEA pide a las academias miembros que hagan lo siguiente:

1. Reconocer la diversidad de contribuciones y carreras en la investigación de acuerdo con las necesidades y la naturaleza de la investigación; en el caso de los becarios de la Academia, los procedimientos de selección deben (1) tener en cuenta el equilibrio de género y los desafíos únicos de los investigadores que inician su carrera, (2) apoyar la diversidad de culturas y disciplinas, (3) valorar una variedad de áreas de competencia y talentos, y (4) promover la interdisciplinariedad y el multilingüismo.

2. Basar la evaluación de la investigación principalmente en una evaluación cualitativa para la cual la revisión por pares es fundamental, respaldada por el uso responsable de indicadores cuantitativos; La evaluación de la excelencia y el impacto del trabajo de los candidatos a becarios debe basarse en una revisión cualitativa por pares que cumpla con los principios fundamentales de rigor y transparencia y tenga en cuenta la naturaleza específica de la disciplina científica.

3. Abandonar el uso inapropiado de métricas basadas en revistas y publicaciones en la evaluación de la investigación; en particular, esto significa dejar de utilizar métricas como el factor de impacto de la revista (JIF), la puntuación de influencia del artículo (AIS) y el índice h como indicadores dominantes de la calidad y el impacto.

Declaración de Allea sobre la reforma de la evaluación de la investigación en las academias europeas

En su respuesta conjunta [87] al Acuerdo de la UE y la Coalición CoARA, la comunidad ECR en el GYA también ha acogido con satisfacción este compromiso y ofrece formas de implementar sus principios. Estas incluyen prácticas que son inclusivas y reflejan la diversidad de especificidades nacionales y características de las disciplinas, en las que los investigadores de todas las etapas de su carrera reciben capacitación, incentivos y recompensas, siendo vital la capacitación obligatoria en ciencia abierta para los investigadores, el personal y los miembros del comité.

Las universidades europeas que hacen un uso intensivo de la investigación también han respaldado la reforma de la evaluación de la investigación como vía para carreras de investigación "multidimensionales" (Overlaet, B., 2022 [88]). Han desarrollado un marco común para inspirar y apoyar a las universidades a reconocer una diversidad de contribuciones en investigación, educación y servicio a la sociedad.

A nivel nacional, varios países están poniendo a prueba diferentes modelos de evaluación: por ejemplo, las agencias de financiación nacionales en Bélgica, Países Bajos, Suiza y UK Todos utilizan 'CV narrativos'. Los CV narrativos miran de manera más integral el logro académico: contribución a la generación de conocimiento, al desarrollo de los individuos, a la comunidad investigadora en general y a la sociedad en general (Real Sociedad [89]). Si bien existe un apoyo cada vez mayor para este tipo de CV, también existe cierta preocupación de que obliguen a los académicos a ser buenos en todo y, por lo tanto, corren el riesgo de comprometer una profunda experiencia en la búsqueda de un estatus polivalente (Grove, J., 2021 [90]).

En los siguientes cuadros de texto se incluyen cuatro ejemplos de sistemas nacionales de investigación que están coordinando reformas a nivel nacional en evaluaciones académicas orientadas a la carrera.

Ejemplo nacional: el Reino Unido

El Marco de Evaluación de la Investigación del Reino Unido (REF) mide el impacto de la investigación a través de dos dimensiones: 'importancia' (la diferencia tangible que hace un proyecto) y 'alcance' (la medida cuantificable en la que lo hace) (Reino Unido). El impacto aquí se define como "un efecto, cambio o beneficio para la economía, la sociedad, la cultura, las políticas o servicios públicos, la salud, el medio ambiente o la calidad de vida, más allá de la academia", pero más allá de esto es muy abierto, disciplinario. variable y posiblemente ambigua, al no tener en cuenta adecuadamente la participación pública, por ejemplo.

El REF del Reino Unido se está evaluando en 2022-2023 bajo el Programa de evaluación de investigaciones futuras explorar posibles nuevos enfoques para la evaluación del desempeño de la investigación en educación superior del Reino Unido, e incluye la comprensión de la práctica internacional de evaluación de la investigación. La próxima versión del REF posiblemente dé cuenta de un conjunto más diverso de productos y tal vez incluso reduzca la importancia que se les atribuye. El modelo actual concede un 60% de importancia a los resultados, un 25% al ​​impacto de la investigación y un 15% a la cultura/medio ambiente de la investigación. Si estos tuvieran una ponderación más uniforme, entonces el REF sería muy diferente, concediendo más importancia a la cultura de la investigación, la integridad de la investigación y el trabajo en equipo (Arboleda, 2020).

Ejemplo nacional: Finlandia

En 2020, la Federación de Sociedades Cultas de Finlandia coordinó un grupo de trabajo de financiadores de investigación, universidades y sindicatos que publicaron la declaración. Buenas prácticas en la evaluación de la investigación. Este establece una guía para seguir un proceso responsable de evaluación de académicos individuales, incluyendo cinco principios generales de evaluación: transparencia, integridad, equidad, competencia y diversidad. Las buenas prácticas en la evaluación de la investigación exigen que la integridad de la investigación, la educación y la tutoría, y el servicio científico (por ejemplo, revisión por pares) sean mejor reconocidos al evaluar las contribuciones académicas de los individuos. La declaración considera que las evaluaciones no consisten simplemente en producir juicios sumativos: también alienta a los evaluadores a compartir comentarios con las personas que están siendo evaluadas para facilitar la retroalimentación y el aprendizaje.

Las organizaciones que realizan investigaciones y las organizaciones que financian la investigación se han comprometido a implementar buenas prácticas en la evaluación de la investigación y a generar sus propias variaciones locales de la orientación, y se está desarrollando un modelo de CV de cartera de investigadores nacionales. Las Buenas Prácticas en la Evaluación de la Investigación se comprometen a realizar revisiones y mejoras periódicas.

Ejemplo nacional: Países Bajos

En los Países Bajos, el programa nacional de Reconocimiento y Recompensas comenzó en 2019, con la publicación de la declaración de posición. Espacio para el talento de todos. Esta colaboración a nivel nacional entre la Real Academia de Artes y Ciencias de los Países Bajos (KNAW, miembro de IAP e ISC), financiadores de investigación, universidades y centros médicos establece que es necesario modernizar todo el sistema de las culturas de evaluación de la investigación. Al hacerlo, establece cinco ambiciones para el cambio en los procedimientos de evaluación: mayor diversidad de trayectorias profesionales, reconocimiento del desempeño individual y de equipo, priorización de la calidad del trabajo sobre los indicadores cuantitativos, ciencia abierta y liderazgo académico.

Desde 2019, las universidades holandesas han adoptado medidas para promulgar sus propias traducciones locales de la declaración de visión nacional. Al mismo tiempo, las agencias de financiación han iniciado formatos más de 'CV narrativos' y han dejado de solicitar información bibliométrica, citando a San Francisco DORA como inspiración. El Consejo Holandés de Investigación se ha trasladado muy recientemente a una CV 'basado en evidencia' en el que se puede utilizar alguna información cuantitativa. El KNAW también desarrolló su propio plan de tres años implementar la agenda de Reconocimientos y Recompensas internamente. Se ha designado un director de programa y un equipo de tiempo completo para facilitar el programa de reforma de Reconocimiento y Recompensas, y anualmente se celebra un 'Festival de Reconocimiento y Recompensas' entre las principales partes interesadas en la reforma para apoyar el aprendizaje en toda la comunidad.

Finalmente, financiado por una subvención de Participación Comunitaria de DORA, el Iniciativa Jóvenes Científicos en Transición para estudiantes de doctorado, con sede en Utrecht, ha desarrollado una nueva guía de evaluación para doctores, en un esfuerzo por cambiar la cultura de la investigación.

Ejemplo nacional: Noruega

En 2021, Noruega, las universidades de Noruega y el Consejo Noruego de Investigación publicaron NOR-CAM – Una caja de herramientas para el reconocimiento y recompensa en evaluaciones académicas. NOR-CAM proporciona un marco matricial para mejorar la transparencia y ampliar la evaluación de la investigación y los investigadores más allá de los estrechos indicadores basados ​​en bibliometría. NOR-CAM significa Matriz de Evaluación de Carreras de Noruega y fue adaptada de una encuesta de 2017. reporte por la Comisión Europea que presentó la Open Science Career Assessment Matrix. Al igual que su predecesor europeo, NOR-CAM también propone formas de integrar mejor las prácticas de ciencia abierta en las evaluaciones. La matriz tiene como objetivo guiar a los evaluadores y candidatos para puestos académicos, solicitudes de financiación de investigaciones y evaluadores nacionales que evalúan la investigación y la educación noruegas. También pretende actuar como una guía general para el desarrollo profesional individual.

La matriz incluye seis áreas principales de competencia: resultados de la investigación, proceso de investigación, competencias pedagógicas, impacto e innovación, liderazgo y otras competencias. Luego, la matriz proporciona sugerencias para permitir la planificación de la carrera y el reconocimiento de la evaluación en torno a cada uno de los criterios: ejemplos de resultados y habilidades, medios de documentación e indicaciones para la reflexión sobre cada criterio. No se espera que los candidatos se desempeñen por igual en todos los criterios.

NOR-CAM fue creado por un grupo de trabajo de partes interesadas de organizaciones que realizan y financian investigaciones, coordinado por Universities Noruega, lo que significa que en principio cuenta con la participación de miembros de todas las universidades noruegas. Posteriormente se han celebrado talleres en los que participaron universidades noruegas para desarrollar conjuntamente formas de integrar NOR-CAM en los procedimientos de evaluación de nombramientos y ascensos, y se está desarrollando un sistema de CV "automático" para recuperar datos de múltiples fuentes nacionales e internacionales para reducir los gastos administrativos. carga. Los coordinadores de los tres planes de reforma a nivel nacional antes mencionados se han reunido periódicamente para intercambiar experiencias y compartir aprendizajes.

América Latina y el Caribe (ALC) contrastan en muchos aspectos con otras partes del mundo. Aquí, la ciencia se considera un bien público global y sus sistemas e infraestructura de investigación y publicación académica son de propiedad pública (financiados) y no comerciales, pero estas fortalezas y tradiciones regionales aún no se reflejan en los sistemas de evaluación. Las partes interesadas clave que pueden lograr cambios son los consejos nacionales de investigación, los ministerios de ciencia y las principales universidades de investigación; el papel de las IES es vital, dado que más del 60% de los investigadores están ubicados en universidades (RiCyT, 2020 [91]). Existe el potencial de alinear más estrechamente los sistemas de evaluación con los ODS y con los movimientos de ciencia abierta y ciencia ciudadana, que tienen una floreciente tradición en la región.

Actualmente, existe una alta fragmentación de los sistemas de evaluación de la investigación a nivel nacional, local e institucional, lo que pone a la investigación en competencia con otras funciones, como la docencia, la extensión y la coproducción. Los sistemas de evaluación de investigaciones y premios a investigadores en ALC generalmente favorecen una noción de excelencia anclada en metodologías del 'Norte Global', basadas exclusivamente en el factor de impacto de revistas y rankings universitarios (CLACSO, 2020 [92]). El reconocimiento de diferentes formas de producción y comunicación de conocimiento y la multiplicidad de carreras académicas (por ejemplo, enseñanza, capacitación y tutoría, ciencia ciudadana y comunicación pública de la ciencia) están en gran medida ausentes en las prácticas de evaluación de la investigación. Esto es especialmente problemático para los investigadores de ciencias sociales y humanidades, donde se utilizan ampliamente monografías y idiomas locales (CLACSO, 2021 [93]). Las revistas e indicadores regionales son devaluados o no reconocidos en dichos procesos de evaluación. Todo esto se ve exacerbado por sistemas de información débiles y una interoperabilidad deficiente de las infraestructuras (especialmente de propiedad comunitaria), insuficientemente financiadas porque los escasos fondos se destinan a pagos de APC por revistas de acceso abierto.

Sin embargo, algunas universidades de la región están comenzando a implementar prácticas de evaluación que despliegan una combinación de metodologías cualitativas y cuantitativas, especialmente en la evaluación de investigadores y en investigaciones orientadas a misiones (Gras, 2022 [94]). La transición hacia esquemas de evaluación de la investigación más integrales requerirá el codiseño de criterios más cualitativos; el uso responsable de datos cuantitativos y el fortalecimiento de los procesos de revisión por pares; cambios incrementales que armonicen y coordinen políticas y metodologías hacia principios compartidos sobre evaluación responsable de la investigación y ciencia abierta; nuevas metodologías y datos para evaluar mejor las cuestiones científicas, ambientales y locales inter/transdisciplinarias; infraestructuras federadas, sostenibles, interoperables y compartidas que apoyen la bibliodiversidad y el multilingüismo; y diseños participativos y ascendentes que amplíen la participación de los ciudadanos y los movimientos sociales y la inclusión de grupos de investigación subrepresentados.

Para abordar estos desafíos, la región ha adoptado un conjunto de principios y directrices para la evaluación de la investigación. El CLACSO-FOLEC Declaración de Principios para la Evaluación de la Investigación [95], aprobado en junio de 2022, se propone garantizar y proteger la ciencia de calidad y socialmente relevante, y adoptar los principios de DORA y la ciencia abierta, la diversidad de resultados de investigación y carreras de investigación, el valor de las revistas regionales y los servicios de indexación, y de interdisciplinariedad, lengua local y conocimientos indígenas. Hasta la fecha, cuenta con más de 220 adherentes y ya existen tendencias positivas en la evaluación responsable de la investigación y ejemplos de reforma. En los siguientes cuadros de texto se proporcionan algunos ejemplos nacionales.

Ejemplo nacional: Colombia

Financiado por un Premio DORA de Participación Comunitaria, las Asociaciones Colombianas de Universidades, Editores Universitarios, Gerentes de Investigación y una red de gestión de ciencia y tecnología, entre otros, han estado trabajando juntos en las oportunidades y desafíos de las métricas responsables en Colombia. A través de una serie de talleres y consultas, incluso con organizaciones internacionales como referentes, han desarrollado una rúbrica para ayudar a las instituciones colombianas a diseñar sus propios REF. Esta rúbrica intenta dar cuenta de los desafíos identificados a nivel local, que – para las IES – incluyen la falta de conocimiento sobre las alternativas de evaluación de la investigación, la naturaleza del ecosistema nacional de evaluación de la investigación y la resistencia al cambio. A sitio web dedicado Se ha desarrollado junto con infografías para ayudar a los investigadores, y se continúa compartiendo la difusión y el aprendizaje en todo el país.

Más información: El proyecto colombiano de métricas responsables: hacia un instrumento metodológico institucional colombiano para la evaluación de la investigación | DORA (sfdora.org)

Ejemplo nacional: Argentina

Un interesante intento de reforma en el Consejo Nacional de Investigaciones Científicas y Técnicas (Consejo Nacional de Investigaciones Científicas y Técnicas – CONICET) ha sido la creación de una resolución especial para las ciencias sociales y humanas que equipara a las revistas indexadas en el circuito convencional con las revistas indexadas en bases regionales como SciELO, Redalyc or Latindex-Catálogo. El reglamento se encuentra actualmente en revisión para aclarar algunas ambigüedades en su implementación y ampliar sus criterios. A su vez, en 2022, el Directorio del CONICET adhirió al DORA de San Francisco, reconociendo públicamente su compromiso de mejorar la investigación fortaleciendo la evaluación y mejora continua de sus procesos.

El Agencia Nacional para el Fomento de la Investigación, el Desarrollo Tecnológico y la Innovación (Agencia Nacional de Promoción de la Investigación, el Desarrollo Tecnológico y la Innovavión – AGENCIA I+D+i), bajo el Ministerio de Ciencia, Tecnología e Innovación., es el principal financiador de investigación del país debido a la diversidad y alcance de sus convocatorias altamente competitivas. Actualmente AGENCIA está implementando un programa cultural, social y deportivo. fortalecer los procesos de evaluación de la investigación en sus principales fondos financieros. Las mejoras actuales incluyen la remuneración de los pares revisores para estimular su compromiso con estos procesos, el incentivo al acceso abierto ya que los resultados del proyecto deben destinarse al dominio público a través de publicaciones o documentos de circulación abierta (de acuerdo con las obligaciones de 'Repositorios digitales institucionales de acceso abierto'Ley Nacional 26.899) y la incorporación de dimensiones de equidad e inclusividad a través de género, grupos generacionales subrepresentados y/o mecanismos igualadores de fortalecimiento institucional en los procesos de evaluación de investigaciones. Sin embargo, en varios comités disciplinarios, los antecedentes curriculares de los principales investigadores responsables de las propuestas todavía son evaluados por sus pares mediante el uso de indicadores de impacto de citas.

Finalmente, financiado por una Beca de Participación Comunitaria DORA, la Facultad de Psicología de la Universidad Nacional de la Plata organizó una evento virtual en septiembre de 2022 sobre evaluación en psicología y ciencias sociales que atrajo a más de 640 (en su mayoría estudiantes universitarios) de 12 países, lo que demuestra el interés de los jóvenes del continente. El evento ha ayudado a dar forma al plan de gestión de cuatro años de la facultad y servirá de base para un libro sobre la reforma de la evaluación académica en el contexto de habla hispana.

Ejemplo nacional: Brasil

La evaluación de la investigación es objeto de acalorados debates en Brasil entre las instituciones de investigación y los investigadores, si no entre los gobiernos estatales y federales. Sin embargo, a pesar del mayor número de signatarios institucionales de DORA en el mundo, los ejemplos de reforma de la evaluación de la investigación son sorprendentemente pocos. Luego de una encuesta de los signatarios de DORA en los países, consultas institucionales y un evento público, financiado por una Subvención de Participación Comunitaria de DORA, un guía ha sido preparado para que los líderes universitarios exploren prácticas de evaluación responsables.

La guía se centra en tres acciones principales: (1) crear conciencia sobre la evaluación responsable en todas sus formas; (2) capacitación y desarrollo de capacidades de los evaluadores y de los evaluados; y (3) implementación y evaluación. Los próximos pasos son construir una red de profesionales –o diez oficinas de inteligencia universitaria– para efectuar cambios en las prácticas de evaluación y poner a prueba modelos sensibles al contexto y, en última instancia, desarrollar una hoja de ruta para las instituciones brasileñas que deseen lograr cambios.

Proyecto Métricas (2022). Desafíos institucionales y perspectivas para la evaluación responsable en la educación superior brasileña: resumen de hallazgos de la asociación Projeto Métricas DORA. Universidad de São Paulo, Brasil.

En América del Norte se está produciendo un alejamiento de los indicadores puramente cuantitativos, acelerado por la agenda de ciencia abierta. La ciencia abierta y la revisión abierta están ayudando a que las prácticas de evaluación sean más transparentes, brindando una oportunidad para la autorreflexión y sacando a la superficie problemas, por ejemplo, autocitas y amiguismo en la contratación, promoción y paneles de revisión por pares, así como sesgos innatos de género y otros. Continúan los debates sobre la necesidad de desarrollar indicadores más inteligentes y métodos mixtos de evaluación, con potencial para un modelo de evaluación híbrido y convergente que sirva a la ciencia básica (avance del conocimiento) y a la ciencia aplicada (impacto social).

También se reconoce que las universidades necesitan espacio académico y libertad para desconectarse de las herramientas que utilizan actualmente para la evaluación, sin ninguna "desventaja de ser los primeros", y que la comunidad de usuarios debe ser parte del proceso de evaluación para ayudar a medir la usabilidad de conocimiento, su adopción e impacto. Pero también existe una resistencia contingente al cambio (una “ceguera deliberada”) desde arriba y desde abajo del ecosistema de investigación: desde aquellos que se benefician del status quo hasta aquellos que han entrado recientemente en él. Muy pocas universidades estadounidenses han firmado con DORA y un nuevo proyecto DORA intenta comprender por qué es así (TARA). Sin embargo, tanto en Canadá como en Estados Unidos hay algunos ejemplos interesantes de iniciativas nacionales e institucionales diseñadas para lograr un cambio sistémico (ver los siguientes cuadros de texto).

Ejemplo nacional: EE.UU.

En Estados Unidos, la Fundación Nacional para la Ciencia es una voz líder a favor del cambio a través de su Impulsar el impacto de la investigación en la sociedad programa y acompañamiento kit de herramientas de impacto más amplio para investigadores y evaluadores. La equidad, la diversidad y la inclusión, incluida la participación de las comunidades indígenas y tradicionalmente marginadas, son factores clave. Como miembro de IAP e ISC, las Academias Nacionales de Ciencias de EE. UU. también buscan estimular una reforma amplia, proporcionando una plataforma para el intercambio de información y el aprendizaje sobre la reforma del CV tradicional de los investigadores (Consejo Estratégico de la NAS, 2022). Nacido del trabajo de las academias estadounidenses, el Iniciativa de liderazgo en educación superior para becas abiertas es un grupo de más de 60 colegios y universidades comprometidos con la acción colectiva para promover la erudición abierta, incluido el replanteamiento de la evaluación de la investigación para recompensar la apertura y la transparencia.

El Instituto Nacional de Salud, por ejemplo, diseñó un nuevo bioboceto (Ciencia ficción) para el personal en las solicitudes de subvenciones para minimizar el sesgo sistémico y la carga de presentación de informes y, al mismo tiempo, estar más impulsado por los impactos.

Ejemplo nacional: Canadá

En Canadá, hay múltiples conversaciones sobre la reforma de la evaluación de la investigación, impulsada por DORA; los tres consejos federales de investigación son signatarios. El Consejo de Ciencias Naturales e Ingeniería ha Criterios redefinidos para la calidad de la investigación., prescindiendo de la bibliometría, las citas y el índice h, en línea con los principios de DORA: las métricas de calidad ahora incluyen una buena gestión de los datos de investigación y del acceso a los datos, la equidad, la diversidad y la inclusión, y responsabilidades de capacitación. Es probable que los otros dos consejos de investigación hagan lo mismo.

Los investigadores canadienses tienden a centrarse en la "movilización del conocimiento", un esfuerzo intencional para promover el impacto social de la investigación, a través de la coproducción con comunidades de usuarios (ISI, 2022). Impacto de la investigación en Canadá es una red de más de 20 universidades que tiene como objetivo desarrollar capacidad institucional a través de la alfabetización sobre impacto, o la capacidad de 'identificar objetivos e indicadores de impacto apropiados, evaluar críticamente y optimizar las vías de impacto y reflexionar sobre las habilidades necesarias para adaptar enfoques en todos los contextos' con el fin de maximizar el impacto de la investigación para el bien público.

Vale la pena señalar que muy pocas universidades canadienses han firmado DORA. Es probable que el principal motivador de cualquier cambio sea la adopción de la erudición indígena: esto se ha convertido en un imperativo moral en Canadá.

Los sistemas de incentivos y recompensas para la investigación en África tienden a reflejar normas y convenciones "internacionales", principalmente occidentales. Las instituciones africanas se esfuerzan por seguirlos cuando desarrollan su enfoque de "calidad" y "excelencia" en la investigación, pero no siempre son apropiados para el conocimiento y las necesidades locales. La "calidad", la "excelencia" y el "impacto" de la investigación no están bien definidos en el continente, y algunos investigadores no están acostumbrados a una cultura de "impacto de la investigación".

Los sistemas de evaluación en África tienden a no tener en cuenta la investigación para beneficio social, la enseñanza, el desarrollo de capacidades, la administración y gestión de la investigación. Los modelos de publicación no son sensibles al contexto, y los APC crean barreras a la producción de investigación africana. La reforma de los sistemas de evaluación de la investigación podría ayudar a corregir las asimetrías en la contribución que la investigación africana puede hacer a los desafíos sociales, así como mejorar el acceso a los recursos para ayudar a la comunidad investigadora africana a lograrlo. Derribar las barreras a la cooperación intersectorial e interdisciplinaria es imperativo para permitir que prosperen una diversidad de puntos de vista y sistemas de conocimiento y ayuden a interpretar lo que constituye la calidad de la investigación para África. Cualquier reforma debe considerar mecanismos que integren visiones del mundo local, indígena y 'convencional' sobre la evaluación de la calidad y la excelencia de la investigación.

Se están construyendo alianzas sólidas en torno a la RRA en el continente. Financiado por un consorcio internacional de agencias de desarrollo, el Iniciativa de Consejos de Subvención de Ciencias (SGCI) [96], en el que participaron 17 países africanos, llevó a cabo un estudio sobre la excelencia en la investigación en África, analizando las agencias de financiación de la ciencia y la evaluación de los investigadores desde una perspectiva del Sur Global (Tijssen y Kraemer-Mbula, 2017 [97], [98]). Exploró la cuestión de la excelencia en la investigación en el África subsahariana y la necesidad de un enfoque que amplíe la noción de excelencia más allá de las publicaciones (Tijssen y Kraemer-Mbula, 2018 [99]); Elaborar un documento de directrices, actualmente en proceso de actualización, sobre buenas prácticas en la implementación de concursos de investigación (SGCI [100]). En el Foro Mundial de la Ciencia de 2022, bajo los auspicios del SGCI y el GRC, Sudáfrica Fundación Nacional de Investigación (NRF) y el Departamento de Ciencia e Innovación convocaron a socios internacionales y locales para discutir el papel de las agencias de financiación en el avance de la ERR, y compartir experiencias, promover buenas prácticas y evaluar el progreso en el desarrollo de capacidades y la colaboración (NRF, 2022 [101]).

El Red africana de evidencia [102], una red intersectorial panafricana de más de 3,000 profesionales ha realizado algunos trabajos sobre la evaluación de la investigación transdisciplinaria (Red africana de evidencia [103]), pero aún no está claro hasta qué punto esto se ha integrado en los sistemas de evaluación nacionales y regionales. El Red de Investigación e Impactos de África [103] ha estado trabajando en un cuadro de mando que comprende una colección de indicadores para evaluar la calidad de la evaluación de la ciencia, la tecnología y la innovación (CTI) en África, que espera convertir en una herramienta de toma de decisiones basada en la web para guiar las decisiones de inversión en CTI. .

A nivel nacional, han comenzado cambios incrementales; en los siguientes cuadros de texto se dan algunos ejemplos. Otros países donde las agencias de financiación de la investigación están tomando la iniciativa son Tanzania (COSTECH), Mozambique (FNI) y Burkina Faso (FONRID). La iniciativa RRA del GRC está demostrando ser una plataforma importante para el cambio en el continente, al igual que el aprendizaje del sector de desarrollo internacional, en particular, del IDRC. Marco de evaluación de la calidad de la investigación Plus (RQ+) [104], con la distinción de que ya ha sido aplicado, estudiado y mejorado. Los basados ​​en África Academia Internacional de Evaluación [105] también puede ofrecer una oportunidad interesante.

Ejemplo nacional: Costa de Marfil

En el corazón de Costa de Marfil Programa Appui Stratégique à la Recherche Scientifique (PASRES) (Programa de Apoyo Estratégico a la Investigación Científica) es la creencia de que la excelencia en la investigación debe trascender el número de publicaciones de investigación e incluir la dimensión de "adopción de la investigación". Adaptándose al contexto nacional, el proceso de evaluación de la investigación se basa en criterios relacionados con la relevancia científica y social, la participación de los socios, la formación de los estudiantes, la movilización del conocimiento y la viabilidad. Los paneles de evaluación incluyen expertos científicos (para juzgar la calidad de la investigación realizada), el sector privado (para juzgar el enriquecimiento económico) y otras instituciones (para medir el potencial cultural y social de la investigación).

PASRES ha creado dos revistas locales (una de ciencias sociales y lingüística y otra de medio ambiente y biodiversidad) y cubre todos los costos de publicación en ellas. Finalmente, PASRES financia actividades de desarrollo de capacidades y conferencias temáticas para permitir que los investigadores presenten sus investigaciones al sector privado y a la sociedad civil.

Más información: Ouattara, A. y Sangaré, Y. 2020. Apoyo a la investigación en Costa de Marfil: procesos de selección y evaluación de proyectos. E. Kraemer-Mbula, R. Tijssen, ML Wallace, R. McLean (Eds.), African Minds, págs. 138-146

PASES || Programme d'Appui Stratégique Recherche Scientifique (csrs.ch)

Ejemplo nacional: Sudáfrica

La evaluación de la investigación en Sudáfrica (SA) se centra predominantemente en la bibliometría. Desde 1986, cuando el Departamento de Educación Superior (DHET) introdujo una política de pago de subsidios a las universidades por publicaciones de investigación publicadas en revistas de índices acreditados, la producción de publicaciones de investigación universitarias creció al mismo tiempo que el valor en rands otorgado por publicación. En un esfuerzo por asegurar financiación para la investigación y avanzar en sus carreras, los investigadores de Sudáfrica publicaron tantos artículos tan rápido como pudieron, generando consecuencias perversas e involuntarias.

La Academia de Ciencias de Sudáfrica (ASSAf) encargó un informe sobre las publicaciones académicas en el país (2005-2014) y encontró indicios de prácticas editoriales cuestionables y publicaciones predatorias (ASSAf, 2019). Utilizando un sistema matizado de categorización, una cifra estimada del 3.4% del total de artículos de los últimos diez años fueron considerados depredadores, y las cifras aumentaron más pronunciadamente a partir de 2011. Las revistas consideradas depredadoras se incluyeron en el DHET como "aceptables para financiación". Se encontró que la lista y académicos de todas las universidades de Sudáfrica estaban involucrados (Mouton y Valentine, 2017).

El informe de ASSAF hizo recomendaciones a nivel sistémico, institucional e individual y las consiguientes contramedidas por parte de DHET, NRF y algunas universidades parecen haber frenado las prácticas predatorias en Sudáfrica, con la incidencia de publicaciones predatorias por parte de académicos de Sudáfrica (en revistas acreditadas por DHET) que alcanzó su punto máximo en 2014. 2015 y posteriormente disminuyendo. También hubo preocupación entre los investigadores de que las políticas de DHET en Sudáfrica desalentaban la colaboración y no reconocían la contribución de los individuos dentro de grandes equipos de investigación, lo que requería una revisión de los esquemas de evaluación del desempeño/evaluación de la investigación. Actualmente se reconoce que el uso del sistema de unidades de publicación es un indicador deficiente para la evaluación de la calidad y la productividad de la investigación y para la selección y promoción de los académicos.

Más información:

Academia de Ciencias de Sudáfrica (ASSAf). 2019. Doce años: Segundo informe de ASSAF sobre publicaciones de investigación en y desde Sudáfrica. Pretoria, ASSAF.

Mouton, J. y Valentine, A. 2017. El alcance de los artículos de autores sudafricanos en revistas depredadoras. Revista Sudafricana de Ciencias, vol. 113, núm. 7/8, págs. 1 a 9.

Mouton, J. y col. 2019. La calidad de las publicaciones de investigación de Sudáfrica. Stellenbosch.

2019_assaf_collaborative_research_report.pdf

Ejemplo nacional: Nigeria

Las universidades de Nigeria evalúan a los investigadores en tres áreas principales: enseñanza, productividad de la investigación y servicios comunitarios. De estos, la productividad de la investigación tiene mayor peso, con énfasis en los artículos de investigación publicados revisados ​​por pares y teniendo en cuenta el número y las funciones de los autores (primera autoría y/o autoría correspondiente) en estas publicaciones. En un esfuerzo por ser más competitivas a nivel global, la mayoría de las universidades asignan más importancia a las revistas indexadas por International Scientific Indexing o SCOPUS, para poner más énfasis en la calidad y la colaboración internacional; y utilizar el porcentaje de artículos en estas revistas como criterio de promoción.

Una consecuencia desafortunada de esto es que muchos investigadores, especialmente aquellos en humanidades, carecen de financiación adecuada y/o de capacidad para publicar en estas revistas. En cambio, publican más artículos de revisión que de investigación, o se sienten obligados a incluir a colegas influyentes y de alto nivel como coautores, en virtud de su contribución financiera más que intelectual. El plagio aumenta, al igual que las publicaciones predatorias. Sin embargo, la clasificación global general de las universidades nigerianas ha aumentado, satisfaciendo así al gobierno y a las agencias de financiación, y siendo considerada un éxito. Nigeria no está sola en este sentido.

La Academia de Ciencias de Nigeria ha restablecido su propia revista revisada por pares como una revista emblemática en la que los académicos pueden publicar (actualmente de forma gratuita) y recibir altas calificaciones de sus instituciones.

Los sistemas de evaluación altamente competitivos y basados ​​en métricas cuantitativas dominan la región; los países anglófonos suelen dar forma a los marcos de evaluación y otros países siguen su ejemplo. En Australia, por ejemplo, existe un sistema de financiación competitivo basado en bibliometría y rankings universitarios: "incluso los ODS se están convirtiendo en indicadores de desempeño". Existen desafíos similares en Malasia y Tailandia, y es probable que otros países de la ASEAN los sigan. Una excepción importante es China, donde el gobierno está desempeñando un papel importante en la creación de un cambio sistémico importante y que podría tener profundas implicaciones a nivel mundial (ver cuadro de texto).

Es alentador que exista una creciente conciencia y preocupación entre la comunidad investigadora de la región sobre los límites de los actuales sistemas de evaluación de la investigación y su amenaza a la integridad de la investigación. Aunque las ECR, incluidas las Academias Nacionales de Jóvenes y la red de Jóvenes Científicos de la ASEAN, junto con los movimientos de base, se involucran cada vez más en esta cuestión, luchan por ser escuchadas. El gobierno y las comunidades financieras, incluidos los líderes universitarios, están en gran medida ausentes del debate: otorgan importancia a las métricas cuantitativas pero no aprecian las implicaciones para la investigación. De hecho, los consultados informan que se están agregando más criterios cuantitativos, hasta el punto de que las instituciones y los investigadores están comenzando a jugar con el sistema, alimentando la mala conducta en la investigación.

Pero existen importantes oportunidades de cambio, como se ejemplifica en los siguientes cuadros de texto.

Ejemplo nacional: China

Ahora es el país más productivo en investigación del mundo (Tollefson, 2018; Statista, 2019), y el segundo en términos de inversión en investigación (OCDE, 2020), lo que sucede en China tiene el potencial de provocar un cambio sistémico real. Una nueva política estatal pretende restaurar "el espíritu científico, la calidad de la innovación y la contribución de servicios" de la investigación y "promover el regreso de las universidades a sus objetivos académicos originales" (LA MAYORÍA, 2020). Los indicadores de Web of Science ya no serán un factor predominante en las decisiones de evaluación o financiación, ni tampoco lo será el número de publicaciones y JIF. Se alentarán las publicaciones en revistas chinas de alta calidad y se apoyará su desarrollo. En los paneles de evaluación se buscan 'publicaciones representativas' (entre 5 y 10 artículos seleccionados en lugar de listas exhaustivas), junto con criterios que evalúen la contribución que la investigación ha hecho para resolver cuestiones científicas importantes, proporcionando nuevos conocimientos científicos o introduciendo innovaciones y avances genuinos. de un campo particular.

Al desarrollar un sistema de evaluación de la calidad y la excelencia de la investigación más acorde con sus propias necesidades, la mayor agencia de financiación de la investigación básica de China, la Fundación Nacional de Ciencias Naturales de China (NSFC), ha llevado a cabo reformas sistemáticas desde 2018 para reflejar los cambios en la ciencia: el cambio global paisajes científicos, la importancia de la transdisciplinariedad, la combinación de investigación básica y aplicada y la interacción entre investigación e innovación (Manfred Horvat, 2018), alejándose de la bibliometría hacia un sistema que fortalece la relevancia local de la investigación en China (Zhang y Sivertsen, 2020). Ha mejorado su sistema de revisión por pares para la evaluación de propuestas para adaptarlo mejor a la investigación disruptiva impulsada por la curiosidad, los problemas candentes en las fronteras de la investigación, la ciencia excelente aplicada a las demandas económicas y sociales y la investigación transdisciplinaria que aborda grandes desafíos. En 2021, el 85% de las propuestas se presentaron y revisaron utilizando estas categorías. Recientemente, en noviembre de 2022, se anunció un plan piloto de reforma de dos años para la evaluación del talento científico y tecnológico, en el que participan ocho ministerios, doce institutos de investigación, nueve universidades y seis gobiernos locales. Su objetivo será explorar indicadores y métodos de evaluación de talentos científicos y tecnológicos involucrados en diferentes partes del sistema de innovación.

Ejemplo subregional: Australia y Nueva Zelanda

Tanto Australia como Nueva Zelanda se encuentran actualmente en coyunturas importantes. En Australia, las revisiones simultáneas en curso del Consejo Australiano de Investigación, las negociaciones sobre Excelencia en Investigación en Australia y Acceso Abierto Gold presentan acumulativamente una ventana de oportunidad (rosa, 2022).

Tras una consulta pública sobre el futuro de la financiación de la ciencia, Nueva Zelanda está desarrollando un nuevo programa sistémico para el futuro de su sistema nacional de investigación e innovación. Tanto Australia como Nueva Zelanda han contribuido al desarrollo de un sistema de métricas para sus grupos de investigación indígenas (Principios CARE).

Ejemplo nacional: India

El Centro de Investigación de Políticas (DST-CPR) del Departamento de Ciencia y Tecnología ha realizado estudios recientes sobre la evaluación de la investigación y su reforma en la India, dirigiendo talleres con partes interesadas clave (agencias nacionales de financiación, instituciones de investigación y academias), entrevistas y encuestas. Se ha descubierto que, si bien las universidades y muchas instituciones de importancia para las políticas nacionales (como la agricultura) se centran casi exclusivamente en métricas cuantitativas, algunas agencias e instituciones de financiación, como los Institutos Indios de Tecnología, también han estado adoptando medidas más cualitativas. Este enfoque más cualitativo en instituciones de primer nivel ya está sirviendo para desviar más fondos hacia la investigación sobre prioridades nacionales, aunque es demasiado pronto para decir si está teniendo algún efecto cuantificable en la calidad y el impacto de la investigación.

El principal punto de referencia para la evaluación es la revisión por pares basada en la opinión de un comité de expertos, pero sólo después de una evaluación inicial de las solicitudes basada exclusivamente en métricas cuantitativas. También existen desafíos fundamentales con estos comités: la falta de diversidad y comprensión de las prácticas científicas abiertas, poca consideración de los impactos sociales de la investigación y escasa capacidad y sesgo. Estos problemas, y las metodologías de evaluación en general, no se comprenden bien y hay escasez de directrices y literatura sobre el tema.

Sin embargo, existe una conciencia cada vez mayor de la necesidad de reformar la evaluación de la investigación. Financiada por una subvención de participación comunitaria de DORA, la Academia Nacional Joven de Ciencias de la India se asoció con el Instituto Indio de Ciencias (IISc) y DST-CPR para explorar formas en las que se puede mejorar la evaluación de la investigación; sus deliberaciones se han compartido con partes interesadas clave con un con miras a estimular una conversación nacional sobre la necesidad de reformar y, en última instancia, cambiar la cultura de investigación de la India para que su investigación sea más innovadora y/o socialmente relevante. DST-CPR prevé desarrollar un marco para la excelencia en la investigación que podría integrarse en su Marco de Clasificación Institucional Nacional.

Más información:

Battacharjee, S. 2022. ¿La forma en que India evalúa su investigación hace su trabajo? – La ciencia del alambre

DORA_IdeasForAction.pdf (dstcpriisc.org).

Suchiradipta, B. y Koley, M. 2022. Evaluación de la investigación en la India: ¿Qué debería quedarse y qué podría ser mejor? DST-RCP, IISc.

Ejemplo nacional: Japón

Los protocolos de evaluación de la investigación están altamente descentralizados en Japón: si bien existen 'Directrices Nacionales para la Evaluación de la I+D', emitidas por el Consejo de Ciencia, Tecnología e Innovación de la Oficina del Gabinete, el Ministerio de Educación, Cultura, Deportes, Ciencia y Tecnología (MEXT) y otros Los ministerios también han desarrollado sus propias directrices. Además de esto, las universidades y los institutos de investigación cuentan con sus propios sistemas de evaluación de la investigación para la investigación y los investigadores, que –como en muchas partes del mundo– se han vinculado al desempeño institucional y la asignación presupuestaria.

Ha habido una creciente preocupación por la excesiva dependencia de la evaluación cuantitativa. En respuesta, el Consejo Científico de Japón ha preparado una recomendación sobre el futuro de la evaluación de la investigación en Japón (2022) pidiendo menos énfasis en medidas cuantitativas y más cualitativas, más reconocimiento de la diversidad de la investigación y la responsabilidad en la evaluación de la investigación y el seguimiento de las tendencias internacionales en la reforma de las prácticas de evaluación de la investigación. En última instancia, los intereses y la promoción de la investigación deben estar en el centro de la evaluación de la investigación y se deben hacer todos los esfuerzos posibles para evitar la fatiga, la desmotivación y la presión excesiva sobre los investigadores.

Una encuesta realizada por MEXT sobre indicadores de evaluación encontró que el JIF es uno de muchos indicadores y, como tal, no ha tenido un fuerte impacto en la investigación japonesa, aunque esto depende de la disciplina: por ejemplo, el uso de JIF es mayor en las ciencias médicas. y es menos probable que se evalúen las actividades de investigación menos tradicionales, como los datos abiertos.

Más información: RECOMENDACIÓN – Hacia la evaluación de la investigación para el avance de la ciencia: desafíos y perspectivas para una evaluación de la investigación deseable (scj.go.jp)

En conclusión, existe un impulso creciente para la reforma de la evaluación de la investigación en algunas regiones, países e instituciones. Los ejemplos ilustrados aquí incluyen reformas a nivel nacional, la creación de consorcios o coaliciones de instituciones con ideas afines que buscan cambios, la focalización/dirección de sectores específicos e intervenciones para abordar incentivos y comportamientos perversos.

Esta todavía no es una conversación global coherente e inclusiva, ni las prácticas y los conocimientos necesariamente se comparten abiertamente. Algunos miembros de GYA, IAP e ISC ya son proactivos en este espacio y sería útil encontrar oportunidades para ayudarlos a compartir su aprendizaje y buenas prácticas entre sí y con el resto de miembros. El lanzamiento del Observatorio Global de Evaluación de la Investigación Responsable (AGORRA) por parte del Instituto de Investigación sobre Investigación (RoRI) a finales de 2023 proporcionará una plataforma adicional para compartir aprendizajes, para el análisis comparativo de los sistemas de reforma nacionales e internacionales y para acelerar los dos- intercambio y prueba de buenas ideas entre estos sistemas.

Este documento ha establecido los principales impulsores, oportunidades y desafíos para la reforma de la evaluación de la investigación y ha recopilado ejemplos ilustrativos de cambios que se están produciendo a nivel global, regional, nacional e institucional. El propósito de esto es movilizar a GYA, IAP e ISC y sus respectivos miembros, como grupos importantes del ecosistema de investigación global.

Sobre la base de la literatura científica y el trabajo de promoción de la última década, existen cinco conclusiones principales.

1. El imperativo de repensar la forma en que se evalúan las personas, las instituciones y los resultados de la investigación es claro y urgente. Mantener la integridad y la calidad de la investigación, maximizar la ciencia diversa, inclusiva y no discriminatoria y optimizar la ciencia para el bien público global son factores importantes, en el contexto de un mundo que cambia rápidamente.

2. La forma en que se encarga, financia, realiza y comunica la investigación está evolucionando a buen ritmo. Los avances hacia una ciencia transdisciplinaria y orientada a una misión, los marcos científicos abiertos, la evolución de los modelos de revisión por pares, el uso de la IA y el aprendizaje automático y el rápido aumento de las redes sociales están cambiando las formas tradicionales de hacer y comunicar la investigación, lo que requiere nuevas ideas sobre los sistemas de evaluación de la investigación. y las métricas y los procesos de revisión por pares que lo sustentan. Se necesita más investigación, y urgente, para preparar estos sistemas para el futuro.

3. Es imperativo contar con sistemas de evaluación de la investigación más equilibrados, con indicadores tanto cuantitativos como cualitativos que valoren múltiples formas de resultados, procesos y actividades de investigación. Sin embargo, afirmar que los procesos de revisión cualitativa por pares son al menos tan importantes como la bibliometría no es sencillo y se complica aún más porque las diferentes partes del mundo se encuentran en diferentes etapas en el desarrollo de sus sistemas de evaluación: en algunas, los debates sobre la reforma de la evaluación de la investigación están bastante avanzados, en otros son incipientes o están ausentes.

4. Se requiere una iniciativa concertada, genuinamente global e inclusiva para movilizar a las comunidades de partes interesadas clave para desarrollar e implementar formas coherentes de evaluar y financiar la investigación; aprender unos de otros y de otros sectores (en particular, los financiadores de la investigación y las agencias de desarrollo). La acción colectiva e inclusiva hacia un cambio transformador deberá reconocer la interconexión en lugar de la internacionalización o la universalización, es decir, ser sensible al contexto, consciente de los diferentes desafíos que enfrentan las diferentes partes del mundo y la rica heterogeneidad del ecosistema de investigación, al tiempo que se garantiza suficiente homogeneidad para permitir sistemas compatibles de investigación y financiación y movilidad de los investigadores, para minimizar la divergencia y la fragmentación. Una conversación parcial y exclusiva corre el riesgo de sesgar y desfavorecer aún más a quienes históricamente han sido excluidos.

5. Se requiere cambio en todos los niveles (mundial, regional, nacional e institucional) porque las métricas se extienden en cascada a través de todo el ecosistema de investigación y todos estos niveles están interconectados. Todas las partes interesadas deben desempeñar su papel como socios, no como adversarios, incluidos los financiadores, las universidades, las asociaciones de universidades e institutos de investigación, las organizaciones intergubernamentales (OIG), los gobiernos y las redes gubernamentales, las academias, los responsables de las políticas científicas, los gestores de investigación e innovación y los investigadores individuales. Los miembros de GYA, IAP e ISC, en conjunto, cubren una gran parte de este rico paisaje (Figura 1, Apéndice C).

Figura 1: Mapa de partes interesadas en relación con la membresía de GYA, IAP e ISC (Haga clic para ver)

El poder de convocatoria de organizaciones como GYA, IAP e ISC puede ayudar a reunir una diversidad de puntos de vista y experiencias en gran parte del ecosistema de investigación: experimentar, aprender y aprovechar iniciativas nuevas y existentes. Fundamentalmente, pueden conectarse con las partes interesadas clave para instigar el cambio (gobiernos, financiadores de investigación y universidades, y movimientos globales vitales como DORA) para ayudar a movilizar una arquitectura de actores. En conjunto, pueden servir como:

● defensores: crear conciencia sobre los debates, desarrollos y reformas de la evaluación de la investigación en reconocimiento de que sus miembros sirven como (i) mentores y supervisores de colegas jóvenes, (ii) líderes de IES, (iii) miembros de la junta directiva de los órganos de gobierno de financiación y publicación y ( iv) asesores de los responsables de la formulación de políticas;

● innovadores: explorar diferentes enfoques para valorar la investigación básica y aplicada de manera inclusiva e innovadora;

● ejemplares – cambiar su propia cultura institucional – renovar su membresía, premios, prácticas de publicación y conferencias, y liderar con el ejemplo;

● evaluadores – capitalizando el papel de los miembros tanto a nivel institucional como individual cuya tarea es evaluar a los investigadores, las investigaciones y las instituciones, y aquellos que tienen funciones editoriales, editoriales y de revisión por pares;

● financiadores: recurriendo a las agencias de financiación representadas en ISC, en particular, y a los miembros que gestionan y distribuyen grandes subvenciones nacionales e internacionales;

● colaboradores – apoyando campañas de reforma ya establecidas, por ejemplo, DORA, CoARA de la UE y el compromiso de ciencia abierta de la UNESCO.

Los autores de este artículo alientan a GYA, IAP e ISC, y a organizaciones como ellas, a participar de las siguientes maneras:

ACCIÓN 1: Compartir aprendizajes y buenas prácticas

Este artículo destaca ejemplos de intervenciones e innovaciones de todo el mundo. Es vital contar con un espacio para compartir experiencias y construir una “coalición de dispuestos” fuerte e inclusiva.

1.1: Proporcionar una plataforma para que los miembros que ya son proactivos en este espacio compartan su aprendizaje y establezcan conexiones estratégicas, especialmente a nivel nacional. Utilice estos ejemplos para ayudar a completar Panel de control de DORA [106] de aprendizaje y buenas prácticas.

1.2: Examinar y mapear los avances liderados por los miembros en la reforma de la evaluación de la investigación para identificar enfoques institucionales, nacionales y regionales, y para encontrar y compartir buenas prácticas. Convocar a quienes ya han liderado o participado en importantes iniciativas nacionales e internacionales para generar promoción y aprendizaje entre todos los miembros.

ACCIÓN 2: Predicar con el ejemplo

La membresía de GYA, IAP e ISC cubre muchas partes del ecosistema de investigación, y cada una puede desempeñar un papel importante en la configuración del éxito como científico.

2.1: Transición a metodologías de evaluación de la investigación más progresistas entre todos los miembros. Liderar con el ejemplo y ayudar a cambiar la cultura de la evaluación de la investigación a través de sus propias filosofías y prácticas de membresía, mientras aprovechan el aprendizaje de DORA y el GRC. Las academias, como organizaciones tradicionalmente de élite, tienen un papel particular que desempeñar aquí: se les debe alentar a ampliar sus propios criterios de elección y selección para reflejar una comprensión más amplia y plural de la calidad y el impacto de la investigación, a fin de reflejar este pluralismo (y con (más inclusión y diversidad) entre sus miembros.

2.2: Estimular la cooperación y el liderazgo regional. Alentar a las redes regionales de miembros de GYA y Academias Jóvenes Nacionales, a las redes de academias regionales de IAP y a los Puntos Focales Regionales del ISC a considerar emular las recomendaciones de la Junta de ALLEA. iniciativa, adaptados a sus propios contextos.

ACCIÓN 3: Construir asociaciones estratégicas con grupos clave.

Los tres actores principales responsables de impulsar la reforma de la evaluación de la investigación son los gobiernos, los financiadores de la investigación y las universidades. El GYA, el IAP y el ISC pueden ayudar a que la comunidad investigadora participe en sus esfuerzos por reformar y salvar las desconexiones que existen actualmente.

3.1: Colaborar con los líderes del GRC para explorar formas de trabajar juntos, esencialmente para estimular a los miembros y a sus respectivos representantes nacionales del GRC a explorar cómo sus comunidades de investigación pueden involucrarse.

3.2: Colaborar con redes globales y regionales de universidades, como la Asociación Internacional de Universidades (IAU), para desarrollar nuevas herramientas de capacitación para la comunidad investigadora; utilizar el liderazgo de las IES dentro de la membresía colectiva de GYA, IAP e ISC como defensores.

3.3: Conectar a las instituciones miembros en los países que reciben subvenciones de DORA (Argentina, Australia, Brasil, Colombia, India, Japón, Países Bajos, Uganda y Venezuela) con los líderes de subvenciones de DORA para compartir ideas y potencialmente ampliar estas iniciativas locales.

3.4: Establecer relaciones con agencias de desarrollo internacionales líderes que ya están implementando estrategias innovadoras e impactantes para la evaluación de la investigación en países de ingresos bajos y medianos y países menos desarrollados.

3.5: Trabajar con la UNESCO para ayudar a dar forma a los compromisos nacionales de evaluación de la investigación en el marco de su Recomendación sobre ciencia abierta.

ACCIÓN 4: Proporcionar liderazgo intelectual sobre el futuro de la evaluación de la investigación.

Es imperativo centrarse en los desafíos específicos y urgentes para la reforma de la evaluación de la investigación. El GYA, el IAP y el ISC, y redes internacionales como ellas, pueden aprovechar sus respectivos poderes de convocatoria, el peso intelectual y la influencia de sus miembros y sus conexiones con grupos de interés clave.

4.1: Convocar conjuntamente con grupos clave una serie de foros de discusión de múltiples partes interesadas o 'Laboratorios de Transformación' para repensar e implementar la reforma de la evaluación de la investigación; involucrar a los líderes de las IES y sus redes globales (por ejemplo, IAU e IARU) y regionales (por ejemplo, LERU y AAU [107 ]), financiadores de investigaciones (incluidos representantes nacionales del GRC), agencias de desarrollo internacional y editoriales líderes, entre otros. Recaudar recursos nuevos o implementar recursos existentes para financiar este trabajo (ver Apéndice D para algunas ideas preliminares).

4.2: Desarrollar un estudio novedoso sobre un aspecto importante del desarrollo futuro de la evaluación de la investigación, como (1) el impacto de los avances tecnológicos en la evaluación de la investigación y la revisión por pares (incluido tanto el uso como el abuso), y cómo estos podrían evolucionar en el futuro y ( 2) reformar el sistema de revisión por pares de manera más amplia (en términos de transparencia, apertura, capacidad, reconocimiento y capacitación). Ambas cuestiones son parte integral de la confiabilidad del conocimiento y la confiabilidad de la ciencia.

En el centro de todos estos esfuerzos deberían estar tres cosas fundamentales:

• Ampliar los criterios de evaluación para la investigación científica y los investigadores más allá de las métricas académicas tradicionales para incluir múltiples formas de resultados y funciones de la investigación, incluidos criterios cuantitativos que puedan medir el impacto social de la investigación.

• Alentar a los líderes de las IES y a los financiadores de la investigación a adoptar y fomentar estos nuevos criterios de evaluación como medidas de la calidad y el valor de la investigación.

• Trabajar con estos líderes en nuevas formas de sensibilización y capacitación para futuras generaciones de investigadores a fin de dotarlos de las habilidades necesarias para comunicarse e interactuar efectivamente con los responsables de la formulación de políticas, el público y otros grupos clave; y fomentar la diversidad y la inclusión en la empresa de investigación.

Los autores de este artículo concluyen que redes como GYA, IAP e ISC, junto con otros grupos clave y apoyándolos, pueden ayudar a construir una iniciativa global, coherente y participativa para movilizar comunidades de investigación, universidades y otras IES en torno a esta agenda, y considerar cómo poner en práctica nuevas formas de evaluar y financiar la investigación para hacerla más eficiente, justa, inclusiva y con impacto.

Descargar

Este artículo fue escrito por los miembros del Grupo de Alcance de GYA-IAP-ISC, que trabajó de forma intermitente entre mayo de 2021 y febrero de 2023 (más detalles en el Apéndice A):

• Sarah de Rijcke (Presidenta, Países Bajos)

• Clemencia Cosentino (Estados Unidos)

• Robin Crewe (Sudáfrica)

• Carlo D'Ippoliti (Italia)

• Shaheen Motala-Timol (Mauricio)

• Noorsaadah Binti A Rahman (Malasia)

• Laura Rovelli (Argentina)

• David Vaux (Australia)

• Yao Yupeng (China)

El Grupo de Trabajo agradece a Tracey Elliott (Consultora Senior de ISC) por su trabajo de coordinación y redacción. También agradecemos a Alex Rushforth (Centro de Estudios de Ciencia y Tecnología (CWTS), Universidad de Leiden, Países Bajos) y Sarah Moore (ISC) por sus aportes y apoyo adicionales.

El Grupo de Trabajo también agradece a todos aquellos que fueron consultados en la preparación de este documento (Apéndice B), quienes brindaron su tiempo y compartieron sus perspectivas sobre la evaluación de la investigación en sus respectivos países y regiones, y a los revisores designados por el GYA. IAP e ISC:

• Karina Batthyány, Directora Ejecutiva, Consejo Latinoamericano de Ciencias Sociales (CLACSO) (Uruguay)

• Richard Catlow, profesor de investigación, University College London (Reino Unido)

• Sibel Eker, profesora adjunta, Universidad Radbound (Países Bajos)

• Encieh Erfani, investigadora científica, Centro Internacional de Física Teórica (Irán, Italia)

• Motoko Kotani, vicepresidente ejecutivo, Riken (Japón)

• Pradeep Kumar, profesor e investigador principal, Universidad de Witwatersrand (Sudáfrica)

• Boon Han Lim, profesor asociado, Universidad de Tinku Abdul Rahman (UTAR) (Malasia)

• Priscilla Kolibea Mante, profesora titular, Universidad de Ciencia y Tecnología Kwame Nkrumah (KNUST) (Ghana)

• Alma Hernández-Mondragón, Presidenta, Asociación Mexicana para el Avance de la Ciencia (AMEXAC) (México)

• Khatijah Mohamad Yusoff, profesora titular, Universidad de Putra Malasia (UPM) (Malasia)

1. UNESCO. 2021. Informe científico de la UNESCO: La carrera contra el tiempo para un desarrollo más inteligente (Capítulo 1). UNESCO. https://unesdoc.unesco.org/ark:/48223/pf0000377250

2. La Real Sociedad. (2012). La ciencia como empresa abierta. El Centro de Política Científica de la Royal Society. https://royalsociety.org/~/media/policy/projects/sape/2012-06-20-saoe.pdf

3. Haustein, S. y Larivière, V. 2014. El uso de la bibliometría para evaluar la investigación: posibilidades, limitaciones y efectos adversos. I. Welpe, J. Wollersheim, S. Ringelhan, M. Osterloh (eds.), Incentivos y desempeño, Cham, Springer, págs.

4. Macleod, M., Michie, S., Roberts, I., Dirnagi, U., Chalmers, I., Ioadnnidis, J., Al-Shahi Salman, R., Chan., AW y Glasziou, P. 2014 Investigación biomédica: aumentar el valor, reducir el desperdicio. The Lancet, vol. 383, núm. 9912, págs. 101 a 104.

5. Bol, T., de Vaan, M. y van de Rijt, A. 2018. El efecto Matthew en la financiación de la ciencia. Actas de la Academia Nacional de Ciencias de los Estados Unidos de América, vol. 115, núm. 19, págs. 4887–4890.

6. Consejo Científico Internacional. 2021. Abriendo el registro de la ciencia: hacer que las publicaciones académicas funcionen para la ciencia en la era digital. París, Francia, ISC. https://doi.org/10.24948/2021.01

7. Müller, R. y de Ricke, S. 2017. Pensar con indicadores. Explorando los impactos epistémicos de los indicadores de rendimiento académico en las ciencias de la vida. Evaluación de la investigación, vol. 26, núm. 3, págs. 157-168.

8. Ansede, M. 2023. Uno de los científicos más citados del mundo, Rafael Luque, suspendido sin goce de sueldo durante 13 años. El País. https://english.elpais.com/science-tech/2023-04-02/uno-de-los-científicos-mas-citados-del-mundo-rafael-luque-suspendido-sin-pago-por-13-años. HTML

9. PAI. 2022. Lucha contra las revistas y conferencias académicas depredadoras. Trieste, Italia, IAP. https://www.interacademies.org/publication/predatory-practices-report-English

10. Elliott, T., Fazeen, B., Asrat, A., Cetto, AM., Eriksson, S., Looi, LM y Negra, D. 2022. Percepciones sobre la prevalencia y el impacto de las revistas y conferencias académicas depredadoras: una encuesta global de investigadores. Publicaciones aprendidas, vol. 3, núm. 4, págs. 516–528.

11. Collyer, TA 2019. 'Rebanar salami' ayuda a las carreras pero perjudica a la ciencia. Naturaleza, comportamiento humano, vol. 3, págs. 1005-1006.

12. Abad-García, MF 2019. Plagio y revistas depredadoras: una amenaza a la integridad científica. Anales De Pediatría (Edición Inglesa), Vol. 90, núm. 1, págs. 57.e1–57.e8.

13. Omobowale, AO, Akanle, O., Adeniran, AI y Adegboyega, K. 2013. Becas periféricas y el contexto de las publicaciones extranjeras pagadas en Nigeria. Sociología actual, vol. 62, núm. 5, págs. 666–684.

14. Ordway, D.-M. 2021. Revistas académicas y periodistas perpetúan la información errónea al manejar las retractaciones de investigaciones. El recurso del periodista. https://journalistsresource.org/home/retraction-research-fake-peer-review/

15. Curry, S., de Rijcke, S., Hatch, A., Pillay, D., van der Weijden, I. y Wilsdon, J. 2020. El papel cambiante de los financiadores en la evaluación de la investigación responsable: progreso, obstáculos y el camino a seguir. Londres, Reino Unido, Instituto de Investigación sobre Investigación.

16. El Norte Global generalmente se refiere a economías industrializadas o desarrolladas, según la definición de las Naciones Unidas (2021), mientras que el Sur Global, se refiere a economías recientemente industrializadas o que están en proceso de industrialización o en desarrollo, y que frecuentemente están vigentes. o antiguos súbditos del colonialismo.

17. Asociación InterAcademia. Sesión 12: Ganar desde una mayor inclusión: relación entre diversidad y cultura académica. PAI. https://www.interacademies.org/page/session-12-winning-greater-inclusion-relation-between-diversity-and-academic-culture

18. Academia Global de Jóvenes. Grupo de Trabajo de Excelencia Científica. Berlín, Alemania, GYA. https://globalyoungacademy.net/activities/scientific-excellence/

19. CEI. 2021. Liberando la ciencia: cumpliendo misiones para la sostenibilidad. París, Francia, ISC. doi: 10.24948/2021.04

20. CEI. 2022. Un extracto del discurso de Peter Gluckman en el Simposio Endless Frontier. París, Francia. ISC. https://council.science/current/blog/an-extract-from-peter-gluckmans-speech-to-the-endless-frontier-symposium/

21. Belcher, B., Clau, R., Davel, R., Jones, S. y Pinto, D. 2021. Una herramienta para la planificación y evaluación de la investigación transdisciplinaria. Perspectivas de integración e implementación. https://i2insights.org/2021/09/02/transdisciplinary-research-evaluación/

22. Belcher, BM, Rasmussen, KE, Kemshaw, MR y Zornes, DA 2016. Definición y evaluación de la calidad de la investigación en un contexto transdisciplinario. Evaluación de la investigación, vol. 25, núm. 1, págs. 1-17.

23. Wilsdon, J. y otros. 2015. The Metric Tide: Informe de la revisión independiente del papel de las métricas en la evaluación y gestión de la investigación. HEFCE.

24. UNESCO. Recomendación de la UNESCO sobre ciencia abierta. París, Francia, UNESCO. https://unesdoc.unesco.org/ark:/48223/pf0000379949

25. Una fuente de la UNESCO reveló que este trabajo está actualmente en suspenso porque el debate está dominado sólo por unos pocos y no necesariamente resuena en muchos: un diálogo amplio debe preceder al desarrollo de recomendaciones.

26. Barroga, E. 2020. Estrategias innovadoras para la revisión por pares. Revista de ciencia médica coreana, vol. 35, núm. 20, págs. e138.

27. Woods, HB, et al. 2022. Innovaciones en la revisión por pares en publicaciones académicas: un metaresumen. SocArXiv, doi: 10.31235/osf.io/qaksd

28. Kaltenbrunner, W., Pinfield, S., Waltman, L., Woods, HB y Brumberg, J. 2022. Innovando la revisión por pares, reconfigurando la comunicación académica: una descripción analítica de las actividades de innovación en curso de revisión por pares. SocArXiv, doi: 10.31235/osf.io/8hdxu

29. Holm, J., Waltman, L., Newman-Griffis, D. y Wilsdon, J. 2022. Buenas prácticas en el uso del aprendizaje automático y la inteligencia artificial por parte de organizaciones que financian la investigación: conocimientos de una serie de talleres. Londres, Reino Unido, Instituto de Investigación sobre Investigación. https://doi.org/10.6084/m9.figshare.21710015.v1

30. Procter, R., Glover, B. y Jones, E. 2020. Investigación 4.0 Investigación en la era de la automatización. Londres, Reino Unido, DEMOS.

31. Baker, M. 2015. El software inteligente detecta errores estadísticos en artículos de psicología. Naturaleza, https://doi.org/10.1038/nature.2015.18657

32. Van Noorden, R. 2022. Los investigadores utilizan la IA para analizar la revisión por pares. Naturaleza 609, 455.

33. Severin, An., Strinzel, M., Egger, M., Barros, T., Sokolov, A., Mouatt, J. y Muller, S. 2022. Arxiv,

34. Gadd, E. 2022. Herramientas de evaluación de citas basadas en inteligencia artificial: ¿buenas, malas o feas? El Bibliomago. https://thebibliomagician.wordpress.com/2020/07/23/ai-based-citation-evaluation-tools-good-bad-or-ugly/

35. Foltýnek, T., Meuschke, N. y Gipp, B. 2020. Detección de plagio académico: una revisión sistemática de la literatura. Encuestas sobre informática ACM, vol. 52, núm. 6, págs. 1–42.

36. Quach, K. 2022. Los editores utilizan la inteligencia artificial para detectar malos científicos manipulando datos. El registro. https://www.theregister.com/2022/09/12/academic_publishers_are_using_ai/

37. Van Dis, E., Bollen, J., Zuidema., van Rooji, R y Bockting, C. 2023. ChatGPT: cinco prioridades para la investigación. Naturaleza, vol. 614, págs. 224-226.

38. Chawla, D. 2022. ¿Debería la IA desempeñar un papel en la evaluación de la calidad de la investigación? Naturaleza, https://doi.org/10.1038/d41586-022-03294-3

39. Cyranoski, D. 2019. La inteligencia artificial está seleccionando revisores de subvenciones en China. Naturaleza, vol. 569, págs. 316–317.

40. Mike, T. 2022. ¿Se puede evaluar la calidad de los artículos publicados en revistas académicas con aprendizaje automático? Estudios de ciencias cuantitativas, vol. 3, núm. 1, págs. 208–226.

41. Chomsky, N., Roberts, I. y Watumull, J. 2023. La falsa promesa de ChatGPT. Los New York Times. https://www.nytimes.com/2023/03/08/opinion/noam-chomsky-chatgpt-ai.html

42. Aclarar. 2022. Evaluación de la investigación: orígenes, evolución, resultados. Aclarar. https://clarivate.com/lp/research-assessment-origins-evolutions-outcomes/

43. Blauth, TF, Gstrein, OJ y Zwitter, A. 2022. Delitos de inteligencia artificial: una visión general del uso malicioso y el abuso de la IA. Acceso IEEE, vol. 10, págs. 77110–77122.

44. Castelvecchi, D. 2019. Pionero de la IA: 'Los peligros del abuso son muy reales'. Naturaleza, doi: https://doi.org/10.1038/d41586-019-00505-2

45. Jordan, K. 2022. Percepciones de los académicos sobre el impacto y el compromiso de la investigación a través de interacciones en plataformas de redes sociales. Aprendizaje, Medios y Tecnología, doi: 10.1080/17439884.2022.2065298

46. ​​Wouters, P., Zahedi, Z. y Costas, R. 2019. Métricas de redes sociales para la evaluación de nuevas investigaciones. Glänzel, W., Moed, HF, Schmoch U., Thelwall, M. (eds.), Springer Handbook of Science and Technology Indicators. Enlace Springer.

47. Rafols, I. y Stirling, A. 2020. Diseño de indicadores para la evaluación de apertura. Perspectivas de la evaluación de la investigación. Puerta de investigación, doi: 10.31235/osf.io/h2fxp

48. Rich, A., Xuereb, A., Wrobel, B., Kerr, J., Tietjen, K., Mendisu, B., Farjalla, V., Xu, J., Dominik, M., Wuite, G. ., Hod, O. y Baul, J. 2022. Regreso a lo básico. Halle, Alemania, Global Young Academy.

49. Jong, L., Franssen, T. y Pinfield, S. 2021. Excelencia en el ecosistema de investigación: una revisión de la literatura. Londres, Reino Unido, Instituto de Investigación sobre Investigación.

50. Hatch, A. y Curry, S. 2020. Cultura de investigación: cambiar la forma en que evaluamos la investigación es difícil, pero no imposible. eLife, vol. 9, pág. e58654.

51. PAI. 2022. Lucha contra las revistas y conferencias académicas depredadoras. Trieste, Italia, IAP.

52. Hicks, D., Wouters, P., Waltman, L., de Rijcke, S. y Rafols, I. 2015. Bibliometría: El Manifiesto de Leiden para las métricas de investigación. Naturaleza, vol. 520, págs. 429–431.

53. Publones. 2018. Estado global de la revisión por pares. Londres, Reino Unido, Clarivate. https://doi.org/10.14322

54. Kovanis, M., Porcher, R., Revaud, P. y Trinquart, L. 2016. La carga global de la revisión por pares de revistas en la literatura biomédica: fuerte desequilibrio en la empresa colectiva. MÁS UNO, vol. 11, núm. 11, pág. e0166387.

55. Forrester, B. 2023. Harto y agotado: el 'dejar de fumar silenciosamente' llega al mundo académico. Naturaleza, vol. 615, págs. 751–753.

56. Hatch, A. y Curry, S. 2020. Cultura de investigación: cambiar la forma en que evaluamos la investigación es difícil, pero no imposible. eLife, vol. 9, pág. e58654.

57. Moher, D., Bouter, L., Kleinert, S., Glasziou, P., Har Sham, M., Barbour, V., Coriat, AM, Foeger, N. y Dirnagi, U. 2020. The Hong Principios de Kong para evaluar a los investigadores: fomentar la integridad de la investigación. Biología PLoS, vol. 18, núm. 7, pág. e3000737.

58. Wilsdon, J., Allen, L., Belfiore, E., Campbell, P., Curry, S., Hill, S., Jones, R., Kain, R. y Kerridge, S. 2015. La métrica Tide: Informe de la revisión independiente del papel de las métricas en la evaluación y gestión de la investigación. doi:10.13140/RG.2.1.4929.1363

59. Curry, S., Gadd, E. y Wilsdon, J. 2022. Aprovechar la marea métrica: indicadores, infraestructuras y prioridades para la evaluación de la investigación responsable en el Reino Unido. Londres, Reino Unido, Instituto de Investigación sobre Investigación.

60. Editorial Naturaleza. 2022. Apoyar la visión audaz de Europa para la evaluación responsable de la investigación. Naturaleza, vol. 607, pág. 636.

61. Declaración sobre Evaluación de la Investigación (DORA). https://sfdora.org/about-dora/

62. Hicks, D., Wouters, P., Waltman, L., de Rijcke, S. y Rafols, I. 2015. Bibliometría: El Manifiesto de Leiden para las métricas de investigación. Naturaleza, vol. 520, págs. 429–431.

63. Curry, S., Gadd, E. y Wilsdon, J. 2022. Aprovechar la marea métrica: indicadores, infraestructuras y prioridades para la evaluación de la investigación responsable en el Reino Unido. Londres, Reino Unido, Instituto de Investigación sobre Investigación. https://rori.figshare.com/articles/report/Harnessing_the_Metric_Tide/21701624

64. DORA. Declaración de San Francisco sobre Evaluación de la Investigación. https://sfdora.org/read/

65. DORA. Herramientas para avanzar en la evaluación de la investigación. DORA. https://sfdora.org/project-tara/

66. DORA. Subvenciones DORA para la participación comunitaria: apoyo a la reforma de la evaluación académica https://sfdora.org/dora-community-engagement-grants-supporting-academic-assessment-reform/

67. Informaciones. Marco SCOPE para la evaluación de la investigación. https://inorms.net/scope-framework-for-research-evaluación/

68. Informaciones. El marco ALCANCE. https://inorms.net/scope-framework-for-research-evaluación/

69. Torfin, S. 2018. Calidad de la investigación Plus. Centro Internacional de Investigaciones para el Desarrollo. https://www.idrc.ca/en/rqplus

70. Reid, C., Calia, C., Guerra, C. y Grant, L. 2019. Acción ética en la investigación global: un conjunto de herramientas. Edimburgo, Escocia, Universidad de Edimburgo. https://www.ethical-global-research.ed.ac.uk/

71. Valters, C. 2014. Teorías del cambio en el desarrollo internacional: ¿comunicación, aprendizaje o rendición de cuentas? La Fundación Asia. https://www.alnap.org/system/files/content/resource/files/main/jsrp17-valters.pdf

72. Fraser, C., Nienaltowski, MH, Goff, KP, Firth, C., Sharman, B., Bright, M. y Dias, SM 2021. Evaluación de la investigación responsable. Consejo de Investigación Global. https://globalresearchcouncil.org/news/responsible-research-assessment/

73. El Consejo de Investigación Global. Evaluación de la Investigación Responsable del GRC. YouTube. https://www.youtube.com/watch?v=CnsqDYHGdDo

74. Curry, S., de Rijcke, S., Hatch, A., Dorsamy, P., van der Weijden, I. y Wilsdon, J. 2020. El papel cambiante de los financiadores en la evaluación de la investigación responsable. Londres, Reino Unido, Instituto de Investigación sobre Investigación. https://doi.org/10.6084/m9.figshare.13227914.v1

75. Consejo de Investigación Global. Grupo de Trabajo de Evaluación de la Investigación Responsable. GRC. https://globalresearchcouncil.org/about/responsible-research-assessment-working-group/

76. Academia Global de Jóvenes. Excelencia científica. GYA. https://globalyoungacademy.net/activities/scientific-excellence/

77. Adams, J., Beardsley, R., Bornmann, L., Grant, J., Szomszor, M. y Williams, K. 2022. Evaluación de la investigación: orígenes, evolución, resultados. Instituto de Información Científica. https://clarivate.com/ISI-Research-Assessment-Report-v5b-Spreads.pdf

78. DORA. Biblioteca de recursos. https://sfdora.org/resource-library

79. Saenen, B., Hatch, A., Curry, S., Proudman, V. y Lakoduk, A. 2021. Reimaginando la evaluación de la carrera académica: historias de innovación y cambio. DORA. https://eua.eu/downloads/publications/eua-dora-sparc_case%20study%20report.pdf

80. Coalición para el Avance de la Evaluación de la Investigación (CoARA). https://coara.eu/

81. COARA. 2022. Acuerdo sobre la Reforma de la Evaluación de la Investigación. https://coara.eu/app/uploads/2022/09/2022_07_19_rra_agreement_final.pdf

82. Editorial Naturaleza. 2022. Apoyar la visión audaz de Europa para la evaluación responsable de la investigación. Naturaleza, vol. 607, pág. 636.

83. Ciencia Abierta y Universal. OPUS Home – Proyecto Ciencia Abierta y Universal (OPUS). https://opusproject.eu/

84. Vergoulis, T. 2023. GraspOS avanza hacia una evaluación de investigación más responsable. AbiertoAIRE. https://www.openaire.eu/graspos-moving-forward-to-a-more-responsible-research-assessment

85. Consejo Europeo de Investigación. 2022. El Consejo Científico del ERC decide cambios en los formularios y procesos de evaluación para las convocatorias de 2024. ERC. https://erc.europa.eu/news-events/news/erc-scientific-council-decides-changes-evaluacion-forms-and-processes-2024-calls

86. Todas las Academias Europeas. 2022. Declaración de ALLEA sobre la reforma de la evaluación de la investigación en las academias europeas. ALEA. https://allea.org/wp-content/uploads/2022/10/ALLEA-Statement-RRA-in-the-Academies.pdf

87. Eurodoc, MCAA, YAE, ICoRSA y GYA. 2022. Declaración conjunta sobre las conclusiones del Consejo de la UE sobre evaluación de la investigación y la implementación de la ciencia abierta. Zenodo, doi: 10.5282/zenodo.7066807.

88. Overlaet, B. 2022. Un camino hacia carreras académicas multidimensionales: un marco LERU para la evaluación de investigadores. LERU, Lovaina, Bélgica. https://www.leru.org/files/Publications/LERU_PositionPaper_Framework-for-the-Assessment-of-Researchers.pdf

89. Sociedad de la Realeza. Currículum vitae para investigadores. https://royalsociety.org/topics-policy/projects/research-culture/tools-for-support/resume-for-researchers/

90. Grove, J. 2021. ¿Los CV narrativos cuentan la historia correcta? Times Higher Education (EL). https://www.timeshighereducation.com/ Depth/do-narrative-cvs-tell-right-story

91. RICYT. Investigadores por sector laboral (ETC) 2011-2020. app.ricyt.org/ui/v3/comparative.html?indicator=INVESTEJCSEPER&start_year=2011&end_year=2020

92. CLACSO. 2020. Evaluación de la Evaluación de la Investigación Científica. Serie Hacia una Transformación de la Evaluación de la Investigación Científica en América Latina y el Caribe del Foro Latinoamericano para la Evaluación de la Investigación (FOLEC). CLACSO, Buenos Aires, Argentina. https://www.clacso.org/wp-content/uploads/2020/05/FOLEC-DIAGNOSTICO-INGLES.pdf

93. CLACSO. 2021. Hacia una transformación de los sistemas de evaluación en América Latina y el Caribe, Herramientas para impulsar nuevas políticas de evaluación. Serie del Foro Latinoamericano para la Evaluación de la Investigación (FOLEC). CLACSO, Buenos Aires, Argentina. https://www.clacso.org/wp-content/uploads/2022/02/Documento-HERRAMIENTA-2-ENG.pdf

94. Gras, N. 2022. Formas de evaluación de la investigación orientadas a problemas de desarrollo. Prácticas y perspectivas desde organizaciones nacionales de ciencia y tecnología e instituciones de educación superior en América Latina y el Caribe. FOLEC. CLACSO, Buenos Aires, Argentina. 2022-07-27_Report Forms-of-research-assessment.pdf ENG.pdf (dspacedirect.org)

95. CLACSO es el Consejo de Ciencias Sociales de la región y uno de los principales defensores de la ciencia socialmente relevante y responsable. El Foro Latinoamericano sobre Evaluación de la Investigación (FOLEC) es un espacio regional para el debate y el intercambio de buenas prácticas, y está desarrollando directrices regionales para la evaluación de la investigación para respaldar estos principios. Ambos proporcionan un fuerte liderazgo regional.

96. SGCI. Iniciativa de Consejos de Subvención de Ciencias (SGCI) en África Subsahariana. https://sgciafrica.org/

97. SGCI. Tijssen, R. y Kraemer-Mbula, E. 2017. Informe de políticas: Perspectivas sobre la excelencia en la investigación en el Sur Global: evaluación, seguimiento y evaluación en contextos de países en desarrollo. SGCI. https://sgciafrica.org/wp-content/uploads/2022/03/Policy-Brief-Perspectives-on-research-excellence-in-the-Global-South_-Assessment-monitoring-and-evaluación-en-desarrollo- contextos-país.pdf

98. Tijssen, R. y Kraemer-Mbula, E. 2018. Excelencia en investigación en África: políticas, percepciones y desempeño. SGCI. https://sgciafrica.org/research-excellence-in-africa-policies-perceptions-and-performance/

99. Tijssen, R. y Kraemer-Mbula, E. 2018. Excelencia en investigación en África: políticas, percepciones y desempeño. Ciencia y políticas públicas, vol. 45 N° 3, págs. 392–403. https://doi.org/10.1093/scipol/scx074

100. SGCI. Guía de buenas prácticas en materia de calidad de los concursos de investigación. https://sgciafrica.org/eng-good-practice-guideline-on-the-quality-of-research-competitions/

101. NRF. La NRF organiza reuniones estratégicas para promover asociaciones de investigación en África – Fundación Nacional de Investigación

102. Belcher, BM, Rasmussen, KE, Kemshaw, MR y Zornes, DA 2016. Definición y evaluación de la calidad de la investigación en un contexto transdisciplinario, Evaluación de la investigación, vol. 25, págs: 1 a 17, https://doi.org/10.1093/reseval/rvv025

103. ARÍN. 2020. Métricas de ciencia, tecnología e innovación (CTI) - Red Africana de Investigación e Impacto (arin-africa.org)

104. McLean R., Ofir Z., Etherington A., Acevedo M. y Feinstein O. 2022. Research Quality Plus (RQ+): Evaluación de la investigación de manera diferente. Ottawa, Centro Internacional de Investigaciones para el Desarrollo. https://idl-bnc-idrc.dspacedirect.org/bitstream/handle/10625/60945/IDL-60945.pdf?sequence=2&isAllowed=y

105. Academia Internacional de Seguimiento y Evaluación

106. DORA. Panel de control TARA. https://sfdora.org/tara-landing-page/

107. IARU, Asociación Internacional de Universidades Intensivas en Investigación; LERU, Liga de Universidades Europeas de Investigación; AAU, Asociación Africana de Universidades