O futuro da avaliação de pesquisa: uma síntese dos debates e desenvolvimentos atuais

Um sistema de investigação dinâmico e inclusivo é profundamente importante para que a ciência e a sociedade promovam o conhecimento e a compreensão fundamentais e para enfrentar desafios globais cada vez mais urgentes. Mas o sistema de investigação está sob pressão devido às expectativas crescentes de múltiplos intervenientes (incluindo financiadores, governos e a indústria editorial), às tensões entre a dinâmica da concorrência e da cooperação, a um sistema de comunicação académica em evolução, a uma indústria editorial e de análise de dados agressiva – por vezes – e recursos limitados. A empresa de investigação deve gerir estas exigências e tensões, mantendo ao mesmo tempo a qualidade da investigação, defendendo a integridade da investigação, sendo inclusiva e diversificada e salvaguardando tanto a investigação básica como a aplicada.

Ao longo da última década, estas pressões e a necessidade de capacidade de resposta do sistema científico foram acompanhadas por reflexões mais críticas sobre os sistemas de avaliação da investigação e medição do desempenho. Embora sejam importantes metodologias apropriadas e sensíveis ao contexto para avaliar a qualidade e o impacto da investigação, intensificaram-se os debates sobre os efeitos abrangentes, complexos e ambíguos dos actuais critérios e métricas de avaliação sobre a qualidade e cultura da investigação, a qualidade das evidências que informam a elaboração de políticas, prioridades na investigação e no financiamento da investigação, trajetórias profissionais individuais e bem-estar dos investigadores. Em algumas partes do mundo, há um reconhecimento crescente de que um conjunto restrito e simplista de métricas e indicadores avaliativos não capta satisfatoriamente a qualidade, a utilidade, a integridade e a diversidade da investigação. As métricas utilizadas rotineiramente – muitas vezes baseadas em periódicos – não conseguem captar dimensões adicionais importantes de investigação de alta qualidade, tais como as encontradas na orientação, na partilha de dados, no envolvimento com públicos, na promoção da próxima geração de académicos e na identificação e criação de oportunidades a grupos sub-representados. Além de ter um âmbito demasiado restrito, a questão da má aplicação de métricas e indicadores também é vista como distorcendo os incentivos à realização, prejudicando algumas disciplinas (incluindo investigação interdisciplinar e transdisciplinar vital) e alimentando práticas de publicação predatórias e antiéticas.

As campanhas para limitar a má aplicação de métricas, alargar os critérios de qualidade e transformar a cultura da investigação de forma mais sistemática através de manifestos e declarações, princípios e reformas prepararam o terreno para um debate global sobre a necessidade de reformar a avaliação da investigação. Estas vozes apelam agora a uma passagem dos manifestos à acção. Isto está a acontecer no contexto de mudanças transformacionais nas formas como a investigação é realizada e comunicada. A ascensão de estruturas de investigação abertas e dos meios de comunicação social, uma mudança para uma ciência transdisciplinar e orientada para missões, o crescimento da revisão aberta por pares e o potencial transformador da inteligência artificial (IA) e da aprendizagem automática exigem uma nova reflexão sobre a forma como a investigação e os investigadores são avaliados .

Contra este pano de fundo, o Academia Jovem Global (GYA), Parceria InterAcademy (IAP) e os votos de Conselho Internacional de Ciência (ISC) uniram forças para fazer um balanço dos debates e desenvolvimentos na avaliação da investigação em todo o mundo, recorrendo a um grupo de cientistas e a uma série de consultas regionais. Novas abordagens estão a ser desenvolvidas e testadas por instituições de ensino superior e financiadores de investigação em algumas partes do mundo, e várias estão incluídas neste documento. Noutras partes do mundo, estes debates e ações são incipientes ou mesmo ausentes. Com os sistemas de investigação a evoluir a ritmos diferentes, existe o risco de divergência e fragmentação. Essa divergência pode comprometer a homogeneidade necessária para permitir a colaboração na investigação e facilitar a mobilidade dos investigadores em diferentes geografias, sectores e disciplinas. No entanto, um tamanho único não pode servir para todos e há necessidade de esforços sensíveis ao contexto para reformar a avaliação, reconhecendo os desafios locais.

Com foco na investigação do sector público e na avaliação de investigadores e investigadores, este documento de discussão é global na sua perspectiva, abrangendo uma agenda que é tipicamente dominada pelos desenvolvimentos na Europa e na América do Norte: perspectivas regionais e exemplos de desenvolvimento nacional e reforma institucional são destacado. A adesão global e colectiva do GYA, IAP e ISC representa uma ampla secção transversal do ecossistema de investigação cujos diversos mandatos podem facilitar uma mudança sistémica genuína. Este artigo procura servir de estímulo para que o GYA, o IAP e o ISC – como plataformas de aprendizagem mútua, experimentação e inovação – trabalhem com os seus membros, outras instituições científicas e constituintes chave em todo o mundo, para iniciar e progredir em conversações e mobilizar mais inclusivos e ação conjunta.

As recomendações para a GYA, IAP e ISC e os seus membros (ver secção 5) estão estruturadas em torno dos seus papéis como defensores, exemplares, inovadores, financiadores, editores, avaliadores e colaboradores, com prazos indicativos para a ação. Mais imediatamente, estas ações incluem a criação de espaço para a partilha de lições e resultados de iniciativas relevantes até à data (para construir uma comunidade de prática); a médio prazo, convocar fóruns multissetoriais com os principais constituintes para redesenhar e implementar a avaliação da investigação de formas viáveis, sensíveis ao contexto e inclusivas; e, a longo prazo, instigar novos estudos que contribuam para a reflexão sobre o futuro, sensíveis aos rápidos desenvolvimentos nas tecnologias de IA, nas metodologias e reformas de revisão pelos pares e nos meios de comunicação.

A Academia Jovem Global (GYA), Parceria InterAcademy (IAP) e os votos de Conselho Internacional de Ciência (ISC) reuniram-se em 2021 para fazer um balanço dos desafios, debates e desenvolvimentos na avaliação/avaliação da investigação em todo o mundo, em diversas culturas e sistemas de investigação, e para explorar formas pelas quais podem participar e influenciar a reimaginação da avaliação/avaliação da investigação para o Século XXI, de forma aberta e inclusiva.

Um grupo internacional de definição do âmbito (Apêndice A) foi convocado para fazer um levantamento do terreno e aconselhar as três organizações sobre como poderiam reforçar os esforços existentes para reformar a avaliação da investigação. No centro deste trabalho estava a premissa de que (1) uma iniciativa concertada e liderada por investigadores daria à comunidade global de investigação uma voz mais forte na definição do futuro da avaliação da investigação e (2) há benefícios em “avaliar com os avaliados”; ajudando assim a traçar um caminho para uma mudança sistémica e sustentada nas culturas e práticas de avaliação.

Complementando a pesquisa documental, uma série de consultas regionais com especialistas identificados pelo grupo de definição de escopo e parceiros foi realizada no final de 2021. O documento de discussão é o principal resultado deste trabalho. Pretende servir como um prospecto para conversas exploratórias com múltiplas partes interessadas, nomeadamente a própria comunidade global de investigação.

As práticas de avaliação de pesquisa atendem a múltiplos objetivos e são conduzidas por diversas partes interessadas. São utilizados para avaliar propostas de investigação para decisões de financiamento, trabalhos de investigação para publicação, investigadores para recrutamento ou promoção e o desempenho de instituições de investigação e universidades. Este artigo centra-se predominantemente na avaliação de investigadores e de investigação, e não cobre a avaliação ou classificação institucional, embora todas estas áreas de avaliação estejam indissociavelmente ligadas. As práticas atuais dependem fortemente de métricas quantitativas e em grande parte baseadas em periódicos, como Fator de Impacto do Jornal (JIF), número de publicações, número de citações, índice h e Pontuação de Influência do Artigo (AIS). Outras métricas incluem metas de receitas de subvenções, medidas de insumos (como financiamento de pesquisa ou tamanho da equipe de pesquisa), número de patentes registradas e, mais recentemente, métricas de mídia social (anteriormente “altmétricas”), como compartilhamentos ou downloads em mídias sociais. Juntas, essas métricas influenciam profundamente as reputações institucionais, de grupos de pesquisa e individuais, as agendas de pesquisa individuais e colaborativas, as trajetórias de carreira e a alocação de recursos.

Nas últimas duas décadas, o investimento global em investigação e desenvolvimento (I&D) triplicou – para cerca de 2 biliões de dólares por ano. Só os últimos anos trouxeram o crescimento mais rápido nas despesas de I&D desde meados da década de 1980, um aumento de cerca de 19% (UNESCO, 2021) [1]. Este investimento adicional na investigação traz consigo uma cultura de responsabilização que exerce pressão sobre as instituições e os indivíduos de investigação e pode gerar aberrações ou incentivos perversos em resposta. Também conduziu a maiores aspirações: manter a qualidade e reduzir o desperdício, os erros e a ineficiência da investigação; maximizar a inclusão e a diversidade; otimizar a investigação como um bem público global; e promover bolsas de estudo mais abertas e engajadas. Sem reforma, a qualidade, a integridade, a diversidade e a utilidade da investigação ficam ameaçadas.

As métricas quantitativas podem constituir uma parte importante da avaliação da investigação, na transição para um sistema de investigação mais aberto, responsável e voltado para o público (A Sociedade Real, 2012) [2]. Mas também são parcialmente responsáveis ​​por alimentar a cultura de investigação do tipo “publicar ou perecer” que existe em todo o mundo, com efeitos nefastos na qualidade dos resultados da investigação, na integridade e fiabilidade dos sistemas de investigação e na diversidade das comunidades de investigação (por exemplo, Haustein e Larivière, 2014) [3]. Isto acontece porque as métricas são utilizadas como indicadores da qualidade da investigação tanto pelas instituições, como pelos decisores políticos e pelos financiadores da investigação, mas são uma medida dos resultados e não da qualidade ou do impacto da investigação em si. Como tal, estes actores contribuem muito para definir o contexto social e cultural em que a investigação ocorre, e os sistemas de recompensa e promoção da academia moldam as escolhas dos cientistas em todas as fases da sua carreira (Macleod et al., 2014) [4].

“O uso de índices bibliométricos… como métricas proxy para o desempenho dos pesquisadores é um índice de avaliação conveniente, mas profundamente falho. A maioria coloca um foco incansável na realização individual, reduz o apoio à investigação através do interesse de uma universidade em métricas de alto impacto, pressiona todos para “marcar caixas” e conformar-se, ao mesmo tempo que desempenham um papel importante na distorção do mercado de publicação de revistas. Há uma necessidade urgente de reforma.”

Abrindo o Registro da Ciência (2021), o Conselho Científico Internacional

A outra comunidade de partes interessadas que detém enorme poder e influência sobre a comunicação da investigação e a produção de conhecimento é o sector editorial. As métricas baseadas em periódicos tornaram-se um incentivo poderoso para publicar em periódicos comerciais e podem incentivar comportamentos que podem ter efeitos colaterais graves. Em vez de julgar os resultados da investigação pelos seus méritos científicos, é a qualidade percebida da revista em que é publicada que é rotineiramente aceite como prova de qualidade científica, impulsionando um mercado editorial altamente comercial baseado na reputação e não na ciência. Os custos de acesso aberto são em grande parte incorridos através de taxas de processamento de autores (APCs): estas podem ser proibitivamente elevadas, especialmente em algumas partes do mundo, criando barreiras à publicação de investigação para investigadores com poucos recursos e potencialmente arriscando a fractura da comunidade científica internacional. Os riscos de se tornar cada vez mais dependente de fornecedores comerciais e dos seus termos de utilização em todas as fases do processo de investigação criam um forte argumento para alternativas sem fins lucrativos. Além disso, como os indicadores bibliométricos constituíram a fonte dominante de incentivos nas universidades, diminuíram o valor do trabalho educativo e de outras formas de trabalho científico (como o ensino e o aconselhamento político). Com os sistemas de avaliação da investigação a tenderem a favorecer aqueles que obtêm grandes financiamentos e publicam em revistas com factores de impacto elevados, há evidências que sugerem que os investigadores que já tiveram sucesso têm mais probabilidades de ter sucesso novamente (o “efeito Mateus”, Bol et al., 2018) [5].

Quando a publicação académica se torna um meio de avaliação em vez de comunicação, isso prejudica aqueles que optam por comunicar a sua investigação de outras formas significativas (Relatório de 2021 do ISC) [6]. Isto inclui resultados comuns (e provavelmente a moeda principal) da Global Young Academy (GYA), da Parceria InterAcademy (IAP) e do Conselho Científico Internacional (ISC): relatórios, documentos de trabalho, declarações conjuntas, editoriais de opinião, notícias e webinars . Algumas disciplinas também estão em desvantagem: por exemplo, investigadores em engenharia e ciências da computação, onde a comunicação (geralmente mais rápida) através de conferências e seus procedimentos é importante; e aqueles em ciências humanas e sociais que normalmente usam monografias, livros e revistas profissionais.

Outros optam por publicar em revistas locais ou específicas para investigação, ou não têm condições financeiras para publicar a sua investigação (ainda que de alta qualidade) em revistas de acesso aberto com elevados factores de impacto (e APCs concomitantes elevados); estes últimos prejudicam os que vivem em países de baixo rendimento, especialmente os investigadores em início de carreira (ECR). Esses mesmos pesquisadores sofrem intensa pressão por cargos acadêmicos permanentes e seu comportamento é fortemente condicionado pelos critérios quantitativos utilizados pelas agências de fomento à pesquisa e pelos conselhos institucionais de contratação e promoção. A tentação de pensar com indicadores (Muller e de Rijcke, 2017) [7], e até mesmo 'jogar' o sistema, é uma realidade para todos os pesquisadores em todo o mundo (por exemplo, Ansede, 2023) [8].

As manifestações deste jogo incluem investigadores (consciente ou inadvertidamente) que utilizam revistas e conferências predatórias para aumentar o seu número de publicações. (IAP, 2022 [9]; Elliott et al., 2022 [10]), entregando-se à autocitação e à falsificação de revisões por pares, ao plágio, à inflação do fator de impacto e ao “fatiamento do salame” (dividindo um grande estudo que poderia ter sido relatado em um único artigo de pesquisa em artigos publicados menores) (Collyer, 2019) [11]. Sob pressão, os investigadores podem ser tentados a recorrer a serviços predatórios com o único objectivo de obterem o seu doutoramento, serem contratados ou promovidos, ou terem os seus projectos de investigação financiados (por exemplo, Abad-García, 2018 [12]; Omobowale et al., 2014) [13]. Os sistemas académicos e de publicação académicos orientados por métricas geram incentivos insidiosos: onde um investigador publica é mais importante do que aquilo que publica.

O impacto na qualidade e integridade da investigação é extremamente preocupante. O número de artigos acadêmicos retratados aumentou dramaticamente nos últimos anos, devido à má conduta de pesquisa e publicação e a conjuntos de dados inadequados ou fraudulentos. Os periódicos podem levar meses ou anos para retratar pesquisas não confiáveis, e nesse momento elas já podem ter sido citadas inúmeras vezes e estar em domínio público (Ordway, 2021) [14].

A predominância da avaliação da investigação baseada em métricas é inequívoca e existem tendências divergentes a nível mundial no que diz respeito à reforma da avaliação, o que corre o risco de deixar para trás partes da comunidade de investigação. Na sua análise do panorama global da avaliação da investigação (Curry et al., 2020 [15]; apresentados), parece que muitas instituições de pesquisa e financiamento em países/regiões de renda mais alta estão começando a incluir um conjunto mais amplo de indicadores, como medidas qualitativas de “impacto”, enquanto a bibliometria continua predominante em instituições do “Sul Global” [16 ], em todas as disciplinas. Sem uma acção mais inclusiva, corre-se o risco de haver uma divergência nos sistemas de avaliação nacionais, introduzindo potencialmente ainda mais preconceitos sistémicos e potenciais incompatibilidades nos sistemas de investigação, avaliação, financiamento e publicação. Isto, por sua vez, pode inibir a colaboração internacional em investigação e a mobilidade dos investigadores. Ao criar barreiras à colaboração Norte-Sul, pode também inibir o fortalecimento concomitante dos ecossistemas de investigação no Sul Global – uma avaliação robusta da investigação fortalece os ecossistemas de investigação e a confiança neles, reduz a probabilidade de fuga de cérebros e ajuda a estabelecer um forte capital humano para a sustentabilidade. desenvolvimento. No entanto, versões únicas do que constitui um bom desempenho geram formas de comportamento que não conduzem necessariamente à excelência, à justiça, à transparência e à inclusão. Medir as conquistas de acadêmicos que prosperaram em ambientes de apoio e com bons recursos, onde as oportunidades abundam, da mesma forma que aqueles que enfrentaram desafios e superaram obstáculos em ambientes hostis e sem apoio é, na melhor das hipóteses, questionável (GYA, 2022) [17]. Muitos académicos sentem-se excluídos histórico e geográfico da comunidade de investigação, alimentado em grande parte pela forma como são avaliados ao longo das suas carreiras. Ao excluir algumas formas de investigação e ao não aproveitar uma diversidade de ideias a nível global, existe o risco de que as actuais práticas de avaliação da investigação promovam uma cultura dominante/seguidora de modelos dominantes concebidos pelo Ocidente.

Os investigadores em países de baixo rendimento e em fases iniciais da sua carreira precisam de uma voz para que possam ajudar a moldar novos modelos de avaliação de forma sensível ao contexto, que sejam adequados à finalidade e que tenham em conta os desafios que enfrentam no dia-a-dia. dia. A GYA e o número crescente de Academias Nacionais de Jovens dão esta voz aos ECR, e o Grupo de Trabalho sobre Excelência Científica da GYA [18] apresenta os seus pontos de vista sobre a reforma da avaliação da investigação (ver texto abaixo).

Opiniões da comunidade de pesquisadores em início de carreira

Os investigadores em início de carreira (ECRs) estão especialmente preocupados com as práticas de avaliação da investigação porque as suas perspectivas de carreira e a prossecução da sua agenda de investigação dependem crucialmente da forma como são avaliados. Isto informa as práticas de financiamento, contratação e promoção de formas que nem sempre são percebidas como justas e equitativas.

Embora seja óbvio que as decisões de financiamento e de recursos humanos afectam a composição da força de trabalho dos investigadores, nem sempre se reconhece que, através do seu impacto no financiamento, a avaliação da investigação molda incentivos para que instituições e investigadores sigam uma determinada trajectória de investigação, trabalho em um determinado campo ou ingressar em algumas redes em detrimento de outras. Desta forma, a avaliação da investigação molda o desenvolvimento da própria ciência, e isto é especialmente verdade em relação ao seu impacto desproporcional nas perspectivas e expectativas dos ECRs.

Embora a ciência seja um empreendimento global, alguns académicos enfrentam barreiras mais elevadas para entrar e interagir com a comunidade de investigação devido ao local onde nasceram, à sua identidade ou origem socioeconómica. Esta é uma questão de organização da indústria científica e não de avaliação da investigação em si, mas muitos ECR consideram que os critérios de avaliação não devem ser cegos a esta realidade da experiência dos investigadores e não devem impor critérios uniformes e padronizados para diferentes situações.

A investigação conduzida pelo Grupo de Trabalho de Excelência Científica da GYA (próximo relatório) mostra que a avaliação da investigação pode ser impulsionada mais pela política de investigação de um país do que por debates culturais ou científicos. Centrando-se nos critérios de promoção à cátedra plena (ou equivalente) no meio académico, o relatório mostra que as políticas e instituições nacionais tendem a ter documentos específicos que estabelecem os seus critérios de avaliação da investigação. Em vez de abranger um conjunto amplo e variado de critérios que poderiam ser usados ​​para formar uma visão abrangente de um investigador, estes documentos tendem a concentrar-se numa única dimensão ou prioridade. Por exemplo, alguns documentos centram-se na avaliação das atividades de serviço de um investigador (tais como ensino e orientação) ou outros na produção acumulada de um investigador (por exemplo, em termos de número de artigos de revistas) – mas raramente ambos.

Existem duas implicações principais desta descoberta. Primeiro, essa avaliação da pesquisa é hierárquica e de cima para baixo. Isto cria um risco, na medida em que tanto as métricas como os métodos qualitativos ignoram frequentemente a diversidade dos investigadores: tanto nos seus antecedentes como nos seus percursos profissionais, e – igualmente importante – a diversidade nos seus métodos e ideias. Em contraste, os ECR representados na GYA consideram que seria importante reconhecer a diversidade de actividades que são necessárias para o empreendimento de investigação e conceber esquemas de avaliação de investigação que promovam a diversidade e o pluralismo em vez de exigirem conformidade e homologação.

Em segundo lugar, as diferenças entre disciplinas são menos significativas do que as diferenças de acordo com o estatuto económico dos países em que um investigador trabalha. Os países de rendimento mais baixo parecem confiar em métricas quantitativas e recompensar a “produtividade”, enquanto os países de rendimento mais elevado estão cada vez mais abertos à avaliação qualitativa do impacto. Caso esta divergência se desenvolva ainda mais, poderá constituir um obstáculo adicional à mobilidade internacional dos académicos – o que é especialmente importante para os ECR.

Em conclusão, o relatório da GYA sublinha que não existe solução mágica: a avaliação da investigação deve ser orientada para os objectivos da avaliação e, em última análise, para os objectivos de uma instituição ou da política de investigação de um país. A avaliação deve permitir a diversidade de perfis e carreiras de investigadores, e adotar um enfoque diferente dependendo do objetivo da avaliação. Sendo a ciência uma conversa global e autocrítica, uma avaliação externa nem sempre será necessária. Na verdade, a utilização e o valor real de classificações invejosas (de pessoas, instituições, meios de comunicação ou mesmo de países inteiros) são frequentemente debatidos.

Os desafios globais de hoje, muitos dos quais estão articulados nos Objectivos de Desenvolvimento Sustentável (ODS) das Nações Unidas (ONU), exigem investigação transformadora, interdisciplinar e transdisciplinar, o que por si só exige novas modalidades de entrega e cooperação de investigação (CEI, 2021) [19]. A urgência de uma investigação inclusiva, participativa, transformadora e transdisciplinar não é correspondida pela forma como a investigação é apoiada, avaliada e financiada – para que a investigação cumpra a sua promessa à sociedade, necessita de sistemas de avaliação mais abertos, inclusivos e sensíveis ao contexto (Gluckman, 2022) [20]. O comportamento incorporado de académicos, financiadores e editores pode dificultar a mudança, de modo que o investimento pode potencialmente ser desviado das áreas de maior necessidade.

O crescimento da investigação interdisciplinar e transdisciplinar e da ciência participativa ou cidadã são desenvolvimentos importantes e vitais para enfrentar os desafios globais. À medida que a investigação ultrapassa as fronteiras disciplinares e institucionais e envolve um conjunto mais vasto de partes interessadas – incluindo a comunidade de utilizadores para conceber em conjunto questões de investigação urgentes para a sociedade – os critérios tradicionais de avaliação da investigação académica são insuficientes e podem até restringir o desenvolvimento e a utilização da investigação transdisciplinar (Belcher et al., 2021) [21]. São necessários princípios e critérios mais apropriados para orientar a prática e a avaliação da investigação transdisciplinar: um exemplo inicial de um quadro de avaliação da qualidade é construído em torno de princípios de relevância, credibilidade, legitimidade e utilidade (Belcher et al., 2016) [22].

As formas como a investigação é encomendada, financiada, conduzida e comunicada estão a evoluir rapidamente e exigem a aceleração da reforma da avaliação da investigação. Eles incluem o seguinte:

(1) A transição para a ciência aberta

O movimento da ciência aberta exige uma reforma concomitante dos sistemas de avaliação da investigação para melhorar a abertura e a transparência. Muitas das métricas e indicadores utilizados para medir o desempenho da investigação são, eles próprios, opacos e frequentemente calculados à porta comercial fechada. Esta falta de transparência compromete a autonomia da comunidade de investigação – restringe as opções para avaliar, testar, verificar e melhorar os indicadores de investigação (Wilsdon et al., 2015 [23]). A avaliação responsável da investigação está a tornar-se um aspecto central dos movimentos globais em direcção à ciência aberta, como testemunhado, por exemplo, na Recomendação da Organização das Nações Unidas para a Educação, a Ciência e a Cultura (UNESCO) sobre Ciência Aberta (UNESCO, 2021 [24]) – que inclui o desenvolvimento de um Kit de Ferramentas de Ciência Aberta para seus membros, para ajudá-los a revisar e reformar suas avaliações e critérios de avaliação de carreira de pesquisa [25].

(2) Desenvolvimentos na revisão por pares

O crescimento da revisão por pares aberta – seja a publicação de relatórios de revisão por pares e/ou a identificação pública de revisores – é um desenvolvimento importante para a avaliação da investigação (Barraga, 2020 [26]; Woods et al., 2022 [27]). O crescimento da infraestrutura de dados permitiu que os editores gerassem Identificadores de Objetos Digitais (DOIs) para relatórios de revisão por pares, vinculassem relatórios de revisão por pares a IDs Abertos de Pesquisadores e Colaboradores (ORCIDs) individuais e publicassem artigos como pré-impressões. O número de preprints cresceu significativamente durante a pandemia global de COVID e expôs os desafios colocados na avaliação da investigação em modo de resposta rápida. No entanto, as práticas abertas de revisão por pares – seja pré ou pós-publicação – podem ajudar a perturbar o controlo que os editores comerciais têm sobre a comunicação da investigação e os processos de produção de conhecimento, reduzindo o poder da revista científica e das métricas associadas, como os JIFs. Os registos abertos das atividades de revisão por pares também podem fornecer infraestrutura para documentar – e, com o tempo, gerar maior valor em – atividades de revisão por pares, que são um serviço profissional vital, muitas vezes invisível e subestimado nas avaliações académicas (Kaltenbrunner et al., 2022 [28]).

(3) A aplicação de inteligência artificial e aprendizado de máquina

Os avanços tecnológicos na inteligência artificial (IA) e na aprendizagem automática provavelmente terão consequências profundas para a avaliação da investigação, incluindo os processos de revisão pelos pares que a apoiam (por exemplo, Holm et al., 2022 [29]; Proctor et al., 2020 [30]). A IA já está sendo usada para agilizar e fortalecer a revisão por pares (Natureza, 2015 [31]; Natureza, 2022 [32]), testar a qualidade da revisão por pares (Severin et al., 2022 [33]), testar a qualidade das citações (Gad, 2020 [34]), detectar plágio (Foltýnek et al., 2020 [35]), pegue pesquisadores adulterando dados (Quach, 2022 [36]) e encontrar revisores por pares, que são cada vez mais escassos porque este trabalho não recebe o crédito que merece na avaliação dos investigadores. 'IA conversacional', como ChatGPT (Chat Generative Pre-Trained Transformer), tem a capacidade de projetar experimentos, escrever e completar manuscritos, conduzir revisão por pares e apoiar decisões editoriais para aceitar ou rejeitar manuscritos (Natureza, 2023 [37]). Há também potencial para a IA melhorar a eficiência da revisão por pares, utilizando algoritmos para aliviar o fardo dos revisores por pares como árbitros dos resultados da investigação (Natureza, 2022 ). O uso de IA já está sendo testado na China para encontrar árbitros (Natureza, 2019 [39]).

Todas estas aplicações de IA podem reduzir esta carga e permitir que especialistas experientes concentrem o seu julgamento na qualidade da investigação e em avaliações mais complexas (Telwall, 2022 [40]). Mas também correm o risco de propagar preconceitos porque são tecnologias preditivas que reforçam dados existentes que podem ser tendenciosos (por exemplo, por género, nacionalidade, etnia ou idade): na verdade, a própria utilização da IA ​​poderia beneficiar de uma compreensão mais profunda do que constitui “qualidade ' pesquisar (Chomsky et al., 2023 [41]; ISI, 2022 [42]).

Vitalmente, no entanto, todas as formas de IA e aprendizado de máquina estão abertas a abusos (Blauth et al., 2022 [43]; Bengio, 2019 [44]). As comunidades académicas e de investigação terão de desenvolver a preparação e a resiliência para esta situação, trabalhando com os líderes do governo, da indústria e da sociedade civil que governam este espaço.

(4) A ascensão das mídias sociais

As medidas quantitativas convencionais do impacto da investigação não conseguem ter em conta o aumento do envolvimento nos meios de comunicação social e dos investigadores/académicos em redes sociais (Jordan, 2022 [45]). Muitos académicos utilizam plataformas de redes sociais para envolver comunidades, decisores políticos e públicos ao longo da vida do seu projeto de investigação; envolver-se positivamente, testar e informar as suas pesquisas e trazer uma diversidade de ideias e contributos, em vez de simplesmente publicar o resultado final como um facto consumado para um público destinatário. Este envolvimento não é captado pelas formas convencionais de avaliação da investigação, mas pode levar a oportunidades de influência e divulgação mais amplas. As métricas de mídia social ('altmetrics') estão sendo desenvolvidas como uma contribuição para métricas responsáveis ​​(Wouters et al., 2019 [4]) e incluem menções no Twitter ou Facebook e o número de seguidores no ResearchGate, por exemplo. Por um lado, estas altmetrias podem ajudar a abrir, criar espaço e ampliar a avaliação (Rafols e Stirling, 2021 [47]), mas por outro lado – tal como outros indicadores – também podem ser utilizados de forma irresponsável e/ou ser vistos como impondo outra camada de métricas nos sistemas de avaliação.

Os desafios à reforma da avaliação da investigação são múltiplos. Alguns dos mais significativos são ilustrados aqui.

Qualquer reforma que inclua medidas mais qualitativas deve – ao mesmo tempo – salvaguardar a qualidade da investigação básica e aplicada. Há evidências anedóticas de que alguns cientistas podem eles próprios opor-se à reforma, talvez especialmente investigadores de carreira avançada que prosperaram no sistema actual, porque temem que isso corra o risco de alimentar investigação medíocre, ou que formas de avaliação mais qualitativas possam favorecer a investigação aplicada em detrimento da investigação básica. A reforma dos critérios de avaliação da investigação tende a ser enquadrada em torno de movimentos no sentido de uma investigação orientada para a missão e com impacto social, que apela ao apoio público e político de uma forma que a investigação básica ou de céu azul menos tangível não consegue. Alguns argumentam que é necessária uma interpretação mais matizada do “valor” da investigação para sustentar a inovação, uma vez que o futuro exige um investimento contínuo em investigação fundamental, motivada pela curiosidade, e uma apreciação mais ampla do papel crucial que esta desempenha na capacidade de responder aos desafios globais (GYA, 2022 [48]).

A falta de consistência no significado e na utilização da terminologia de investigação, de um modo mais geral, é uma barreira à mudança. O quadro conceptual para a avaliação da investigação não mudou substancialmente ao longo do tempo, nem a linguagem que o suporta: o sistema de investigação ainda está preso a velhas dicotomias, como ciência “básica” e “aplicada”, e termos como “impacto”, “qualidade” (inutilmente equiparado à produtividade) e “excelência” não são claramente definidos de uma forma que evite preconceitos geográficos, disciplinares, de estágio profissional e de gênero (Jong et al., 2021 [49]): isto pode ser particularmente grave em painéis de tomada de decisão sem diversidade (Hatch e Curry, 2020 ) [50].

Tal como a avaliação baseada em métricas, formas de avaliação mais qualitativas também são imperfeitas. Argumentar que os processos de revisão por pares e o julgamento de especialistas são pelo menos tão importantes quanto a bibliometria não é simples. Podem ser tendenciosos devido à falta de clareza e transparência no processo de revisão pelos pares. Os comités de avaliação por pares, por exemplo, têm sido criticados como mecanismos que preservam formas estabelecidas de poder e privilégio, permitindo a persistência de redes de “velhos rapazes” e da homofilia (avaliadores que procuram pessoas como eles), ao mesmo tempo que são vulneráveis ​​à dinâmica do pensamento de grupo. As métricas quantitativas, embora imperfeitas, são vistas em algumas partes do mundo como uma defesa contra o nepotismo e o preconceito. Argumentos semelhantes podem ser aplicados à revisão por pares de artigos de investigação, com a utilização de uma avaliação mais qualitativa abrindo potencialmente a porta a outras formas de comportamento discriminatório.

A falta de reconhecimento profissional e de formação para qualquer forma de revisão por pares cria desincentivos para servir como revisores por pares, reduzindo assim a capacidade. Além disso, à medida que a procura excede a oferta, pode criar incentivos para poupar custos e reduzir o rigor. É necessário aumentar a transparência da avaliação pelos pares (seja totalmente aberta, anonimizada ou híbrida) e a formação, promover e recompensar as boas práticas de revisão pelos pares; assim como mais pesquisas sobre modelos para sua evolução à medida que os resultados da pesquisa se diversificam (IAP, 2022 [51]) e as tecnologias de IA avançam.

Os debates sobre a reforma da avaliação da investigação são complexos e não binários. Informações qualitativas e quantitativas têm sido frequentemente combinadas em contextos de revisão por pares: declarações como o Manifesto de Leiden para Métricas de Pesquisa (Hicks et al., 2015 [52]) apelam a uma “avaliação informada pelos pares”, na qual o parecer de peritos é apoiado – mas não liderado por – indicadores quantitativos adequadamente seleccionados e interpretados e por informação qualitativa. O debate sobre a avaliação da investigação não é uma escolha binária “qualitativa versus quantitativa” de ferramentas de avaliação, mas sim como garantir a melhor combinação de múltiplas formas de informação.

Finalmente, qualquer reforma também deve ser conveniente e praticável. O sistema de investigação já mostra sinais de colapso, à medida que o volume de publicações aumenta exponencialmente e o fardo da revisão recai de forma desigual em toda a empresa de investigação (por exemplo, Publicações, 2018 [53]; Kovanis et al., 2016 [54]; Natureza, 2023 [55]). As métricas baseadas em periódicos e o índice h, juntamente com noções qualitativas de prestígio do editor e reputação institucional, podem fornecer atalhos convenientes para avaliadores ocupados e apresentar obstáculos à mudança que se tornaram profundamente enraizados na avaliação acadêmica (Hatch e Curry, 2020 [56]). As métricas quantitativas são aclamadas em alguns países por fornecerem rotas relativamente claras e inequívocas para nomeação e promoção. No “Sul Global”, os factores de impacto médios são habitualmente utilizados para seleccionar os candidatos, e qualquer alternativa deve ser igualmente implementável e capaz de aproveitar os recursos adicionais inevitavelmente necessários para alargar o âmbito da avaliação. A conveniência de utilizar métricas quantitativas simples na avaliação da investigação será provavelmente um grande obstáculo à mudança, e a introdução de novos sistemas de avaliação pode até criar mais desigualdade global devido à falta de capacidade ou competência em alguns países.

Ao longo da última década, houve uma série de manifestos e princípios de alto perfil sobre avaliação de investigação para enfrentar estes desafios, incluindo o Manifesto de Leiden (desenvolvido por um grupo de especialistas internacionais), os Princípios de Hong Kong (Moher et al., 2020 [57]) (desenvolvido na 6ª Conferência Mundial sobre Integridade em Pesquisa em 2019) e A maré métrica [58] e Aproveitando a maré métrica [59] relatórios (desenvolvidos no contexto de uma revisão do quadro de investigação e avaliação do Reino Unido, REF). Existem pelo menos 15 esforços distintos que instam as principais partes interessadas – sejam decisores políticos, financiadores ou dirigentes de instituições de ensino superior (IES) – a minimizar os danos potenciais dos actuais sistemas de avaliação. Todas estas iniciativas alcançaram um público vasto e são progressivas no seu foco em métricas responsáveis ​​como um pré-requisito para melhorar a cultura de investigação e trazer igualdade, diversidade, inclusão e pertença à comunidade de investigação. Mas há uma preocupação crescente por parte de alguns arquitectos destas iniciativas de que, embora úteis, elas prejudicam a acção prática tangível: o acto de ser signatário só é eficaz se for acompanhado de uma implementação prática (Natureza, 2022 [60]).

Há um apoio crescente à “avaliação ou avaliação de investigação responsável” e às “métricas responsáveis” (DORA, 2012 [61]; Hicks et al. 2015 [62]; Wilsdon et al., 2015) que se afastam de métricas puramente quantitativas para uma variedade mais ampla de medidas que permitem aos investigadores descrever o impacto económico, social, cultural, ambiental e político da sua investigação; para dar conta de questões que a comunidade de pesquisa valoriza: 'dados para o bem' ou 'indicadores orientados por valor' que abordam atributos mais amplos (Curry et al., 2022 [63]). Nos últimos anos, abordagens inovadoras e progressivas à avaliação responsável da investigação foram desenvolvidas e testadas por algumas IES e financiadores de investigação em regiões e países de todo o mundo. Alguns são destacados aqui.

Das iniciativas globais mencionadas acima, o San Francisco '2013 'Declaração sobre Avaliação de Pesquisa' [64] (DORA) é talvez a iniciativa global mais ativa. Catalogou problemas causados ​​pela utilização de indicadores baseados em periódicos para avaliar o desempenho de pesquisadores individuais e fornece 18 recomendações para melhorar essa avaliação. A DORA desencoraja categoricamente o uso de métricas baseadas em periódicos para avaliar a contribuição de um pesquisador ou quando se pretende contratar, promover ou financiar. Em meados de Abril de 2023, a declaração foi assinada por 23,059 signatários (instituições e indivíduos) em 160 países, comprometendo-se com a reforma. Com foco em enfrentar os desafios intrínsecos e os preconceitos inatos da avaliação qualitativa, a DORA está desenvolvendo Ferramentas para Avaliação Avançada de Pesquisa (TARA) [65] para ajudar a colocar a declaração em prática: estas ferramentas incluem um painel para indexar e classificar políticas e práticas inovadoras na avaliação de carreira e um conjunto de ferramentas de recursos para ajudar a desviar a composição do comité e a reconhecer diferentes formas qualitativas de impacto da investigação.

Além disso, a DORA está a financiar dez projectos – na Argentina, Austrália, Brasil, Colômbia (2), Índia, Japão, Países Baixos, Uganda e Venezuela – para testar diferentes formas de promover reformas na avaliação da investigação nos seus contextos locais, bem como compilando exemplos de boas práticas: por exemplo, sensibilização, desenvolvimento de novas políticas ou práticas, formação e orientação prática para candidatos a empregos (DORA [66]). A procura de subvenções deste tipo tem sido elevada – mais de 55 candidatos de 29 países – indicando um reconhecimento crescente da necessidade de reforma.

Associações profissionais de gestão de investigação, como a Rede Internacional de Sociedades de Gestão de Investigação (INORMS), também têm desenvolvido activamente recursos para orientar a mudança organizacional, incluindo a Grupo de avaliação de pesquisa da estrutura SCOPE | INORMS – A estrutura INORMS SCOPE para avaliação de pesquisa [67] que começa por definir o que é valorizado, quem está a ser avaliado e porquê (um cartaz explicativo útil SUA PARTICIPAÇÃO FAZ A DIFERENÇA [68]).

O sector do desenvolvimento internacional ofereceu novas perspectivas sobre a avaliação da investigação, sendo um excelente exemplo Qualidade de Pesquisa Plus | IDRC – Centro Internacional de Pesquisa para o Desenvolvimento [69], que mede o que é importante para as pessoas que recebem a pesquisa. A ferramenta Research Quality Plus (RQ+) reconhece que o mérito científico é necessário mas não suficiente, reconhecendo o papel crucial da comunidade de utilizadores na determinação se a investigação é relevante e legítima. Também reconhece que a atualização e a influência da pesquisa começam durante o processo de pesquisa. As candidaturas de investigação são frequentemente avaliadas por painéis altamente interdisciplinares, incluindo também peritos em desenvolvimento de fora do meio académico (por exemplo, um departamento governamental ou uma organização não governamental (ONG)), profissionais e representantes nacionais: isto reforça a importância da comunidade de utilizadores/especialistas não-disciplinares necessidade de compreender a pesquisa e como ela pode ser aplicada na prática. A investigação em ambientes complexos, de baixos rendimentos ou frágeis pode ser acompanhada por um conjunto de ferramentas ou enquadramento ético, concebido para informar e apoiar escolhas éticas no ciclo de vida da investigação, desde o início até à disseminação e impacto, por exemplo Reid et al., 2019 [70]. As abordagens da “Teoria da Mudança” são amplamente utilizadas na investigação sobre desenvolvimento internacional por doadores, ONG e agências multilaterais, onde os candidatos devem articular caminhos para o impacto, apoiados por quadros de monitorização, avaliação e aprendizagem, por exemplo Valters, 2014 [71]. A comunidade de investigação académica pode potencialmente aprender com a comunidade de desenvolvimento.

Reconhecendo o papel dos financiadores na definição das estratégias das IES, o Avaliação de Pesquisa Responsável do Global Research Council (GRC) (RRA) [72] tem incentivado os principais financiadores de investigação em todo o mundo a trabalhar em prol das ambições da RRA nos seus próprios contextos regionais e nacionais e a desenvolver quadros de avaliação eficazes para avaliar o impacto (vídeo explicativo SUA PARTICIPAÇÃO FAZ A DIFERENÇA [73]). Encomendando um documento de trabalho sobre RRA (Curry et al., 2020 [74]), o GRC apelou aos seus membros para incorporarem os princípios da RRA e tomarem medidas concretas para os cumprir, e para aprenderem uns com os outros através da colaboração e partilha de boas práticas. Um grupo de trabalho internacional [75] está fornecendo orientação e apoio aos membros do GRC, ajudando-os na transição do movimento para a ação.

Em grande parte através dos esforços da GYA, os ECR também estão a começar a mobilizar-se em torno desta agenda. Isso é Grupo de Trabalho sobre Excelência Científica [76] está a trabalhar para identificar ambientes de investigação que conduzam a «desencadear a curiosidade e a criatividade na ciência e a promover o desenvolvimento do potencial humano através da diversidade e da inclusão». O seu trabalho apela à comunidade ECR para desafiar as definições de “excelência” utilizadas pelas suas organizações, para se envolver em iniciativas para reformar a avaliação da investigação e para se juntar ao movimento das Jovens Academias. Também apela aos organismos de financiamento e contratação para que envolvam os ECR nos debates de avaliação da investigação e reconheçam uma diversidade mais ampla de contribuições e carreiras na investigação.

Embora algumas universidades e outras IES sejam signatárias da DORA e/ou adiram ao movimento europeu (descrito abaixo), não parecem estar a organizar-se colectivamente em torno da avaliação da investigação da mesma forma que outros grupos-chave o fazem.

Os problemas criados por sistemas de avaliação que são quase exclusivamente quantitativos são largamente vistos e diagnosticados a partir de uma perspectiva do “Norte Global”, com o “Sul Global” em risco de tentar recuperar o atraso. Correndo o risco de generalização excessiva, existem grandes questões sistémicas no “Norte Global” em torno da falta de diversidade, equidade e inclusão que são exacerbadas pelos sistemas de avaliação. No “Sul Global”, há uma falta de definição local e regional do que constitui “qualidade” e “impacto”, sistemas de avaliação muito variados (mesmo entre departamentos da mesma universidade) e relativamente poucos desafios para o status quo. Em todo o mundo, os problemas decorrem da ênfase excessiva nos indicadores quantitativos, da ligação entre a avaliação e a atribuição de recursos, do sistema de financiamento altamente competitivo e da pressão para publicar, e do desrespeito por outras dimensões menos quantificáveis ​​da investigação e da vida académica.

A literatura revisada por pares sobre estudos comparativos da reforma da avaliação da pesquisa é escassa. Uma rara exceção é uma comparação de intervenções de avaliação de investigação em seis regiões geográficas diferentes (Austrália, Canadá, Alemanha, Hong Kong, Nova Zelândia e Reino Unido), que observa que o desempenho indexado de todas as seis parece melhorar após vários tipos de intervenção (pelo menos usando indicadores bibliométricos convencionais) (ISI, 2022 [77]). A DORA disponibiliza estudos de caso (em grande parte institucionais) na sua página web (DORA [78]) e em um relatório (DORA, 2021 [79]) concebidos para inspirar outros a agir, mas estes são exemplos predominantemente europeus.

Aqui, os autores fornecem visões gerais regionais e exemplos nacionais de experimentação e reforma para uma visão mais aprofundada – estes não pretendem ser abrangentes ou exaustivos.

A Avaliação da Coligação Europeia para a Reforma da Investigação [80], ou CoARA, aprovado em julho de 2022, é a maior iniciativa de reforma da avaliação da investigação no mundo. Quatro anos em construção e desenvolvidos por 350 organizações em 40 países (em grande parte europeus), a European University Association e a Science Europe (uma rede de financiadores e academias científicas do continente), em conjunto com a Comissão Europeia, desenvolveram um acordo ou definiram de princípios (um 'jornada de reforma'), para uma avaliação de investigação mais inclusiva e responsável (CoARA, 2022 [81]). O acordo centra-se em três níveis de avaliação: instituições, investigadores individuais e a própria investigação. Embora governada por parceiros europeus, a coligação tem ambições de se tornar global e tanto a DORA como a GYA já são signatárias. Os signatários comprometem-se a comprometer recursos para melhorar a avaliação da investigação, desenvolver novos critérios e ferramentas de avaliação e sensibilizar e ministrar formação sobre avaliação da investigação (por exemplo, aos revisores pares). Este desenvolvimento foi descrito como “o sinal mais esperançoso de uma mudança real” (Natureza, 2022 [82]).

A UE também está a financiar algumas iniciativas novas e interessantes concebidas para apoiar a reforma da avaliação da investigação: nomeadamente, Ciência Aberta e Universal (OPUS [83]) – desenvolver um «conjunto abrangente» de indicadores para múltiplos processos e resultados de investigação e, assim, incentivar os investigadores europeus a praticar a ciência aberta – e o espaço de dados de avaliação da ciência aberta GraspOS [84] – construir um espaço de dados aberto para apoiar a reforma política para avaliação da investigação.

O Conselho Europeu de Investigação (ERC), que apoia a investigação de fronteira em todos os domínios (com um orçamento de 16 mil milhões de euros para 2021-2027) assinou o CoARA e alterou os seus formulários e processos de avaliação para incluir descrições mais narrativas, incluindo a contabilização de menos carreiras convencionais e “contribuições excepcionais” para a comunidade científica. As propostas serão julgadas mais pelo seu mérito do que pelas realizações anteriores do candidato e continuarão a ser avaliadas por painéis de revisão por pares compostos por académicos de renome, utilizando o único critério de excelência científica (CEI, 2022 [85]).

Algumas academias europeias também estão envolvidas. O Conselho de ALLEA [86], a Federação Europeia de Academias de Ciências e Humanidades, representando nove das mais de 50 academias nacionais em 40 países europeus, endossou o movimento CoARA. A ALLEA comprometeu-se a estabelecer um grupo de trabalho dedicado para recolher, trocar e promover boas práticas para a admissão de novos bolseiros da Academia e para contribuir para um “intercâmbio cultural significativo” de avaliação de investigação, com base em princípios de qualidade, integridade, diversidade e abertura. Em seu Declaração de outubro de 2022 , a ALLEA apela às academias membros para que façam o seguinte:

1. Reconhecer a diversidade de contribuições e carreiras na investigação de acordo com as necessidades e a natureza da investigação; no caso dos bolsistas da Academia, os procedimentos de seleção devem (1) levar em consideração o equilíbrio de gênero e os desafios únicos dos pesquisadores em início de carreira, (2) apoiar a diversidade de culturas e disciplinas, (3) valorizar uma variedade de áreas de competência e talentos, e (4) promover a interdisciplinaridade e o multilinguismo.

2. Basear a avaliação da investigação principalmente na avaliação qualitativa, para a qual a revisão pelos pares é central, apoiada pela utilização responsável de indicadores quantitativos; a avaliação da excelência e do impacto do trabalho dos candidatos a bolseiros deverá basear-se numa avaliação qualitativa pelos pares que cumpra os princípios fundamentais de rigor e transparência e tenha em consideração a natureza específica da disciplina científica.

3. Abandonar o uso inadequado de métricas baseadas em periódicos e publicações na avaliação de pesquisas; em particular, isso significa deixar de usar métricas como o Fator de Impacto do Jornal (JIF), a Pontuação de Influência do Artigo (AIS) e o índice h como representantes dominantes de qualidade e impacto.

Declaração de Allea sobre a reforma da avaliação da investigação nas academias europeias

Na sua resposta conjunta [87] ao Acordo da UE e à Coligação CoARA, a comunidade ECR na GYA também saudou este compromisso e oferece formas de implementar os seus princípios. Estas incluem práticas que são inclusivas e refletem a diversidade das especificidades nacionais e das características das disciplinas, com investigadores de todas as fases da carreira a receber formação, incentivos e recompensas, sendo vital a formação obrigatória em ciência aberta para investigadores, funcionários e membros do comité.

As universidades de investigação intensiva na Europa também apoiaram a reforma da avaliação da investigação como um caminho para carreiras de investigação “multidimensionais” (Overlaet, B., 2022 [88]). Desenvolveram um quadro comum para inspirar e apoiar as universidades no reconhecimento de uma diversidade de contribuições na investigação, educação e serviços à sociedade.

A nível nacional, vários países estão agora a testar diferentes modelos de avaliação: por exemplo, agências nacionais de financiamento em Bélgica, Países Baixos, Suíça e UK todos usam 'currículos narrativos'. Os currículos narrativos olham de forma mais holística para o desempenho acadêmico: contribuição para a geração de conhecimento, para o desenvolvimento dos indivíduos, para a comunidade de pesquisa mais ampla e para a sociedade em geral (Royal Society [89]). Embora haja um apoio cada vez maior a estes tipos de currículos, há também alguma preocupação de que eles forçam os acadêmicos a serem bons em tudo e, portanto, correm o risco de comprometer o conhecimento profundo na busca de um status versátil (Grove, J., 2021 [90]).

Quatro exemplos de sistemas nacionais de investigação que estão a coordenar reformas nacionais em avaliações académicas orientadas para a carreira estão incluídos nas caixas de texto seguintes.

Exemplo nacional: Reino Unido

O Quadro de Avaliação de Investigação do Reino Unido (REF) mede o impacto da investigação através de duas dimensões: “significância” (a diferença tangível que um projecto faz) e “alcance” (a medida quantificável em que o faz) (UKRI). O impacto aqui é definido como “um efeito, uma mudança ou um benefício para a economia, a sociedade, a cultura, as políticas ou serviços públicos, a saúde, o ambiente ou a qualidade de vida, para além do meio académico”, mas, para além disso, é muito aberto, disciplinarmente variável e possivelmente ambígua, não tendo em conta adequadamente o envolvimento público, por exemplo.

O REF do Reino Unido está sendo avaliado em 2022–2023 sob o Programa de avaliação de pesquisas futuras explorar possíveis novas abordagens para a avaliação do desempenho da pesquisa no ensino superior do Reino Unido e inclui a compreensão da prática internacional de avaliação de pesquisa. A próxima iteração do REF possivelmente terá em conta um conjunto mais diversificado de resultados e talvez até reduza a importância que lhes é atribuída. O modelo actual atribui 60% de importância aos resultados, 25% ao impacto da investigação e 15% à cultura/ambiente da investigação. Se estes fossem ponderados de forma mais uniforme, então o REF teria um aspecto muito diferente, com maior importância atribuída à cultura de investigação, à integridade da investigação e ao trabalho em equipa (bosque, 2020).

Exemplo nacional: Finlândia

Em 2020, a Federação das Sociedades Científicas da Finlândia coordenou um grupo de trabalho de financiadores de investigação, universidades e sindicatos que publicaram a declaração Boas Práticas em Avaliação de Pesquisa. Este estabelece orientações para seguir um processo responsável de avaliação de académicos individuais, incluindo cinco princípios gerais de avaliação: transparência, integridade, justiça, competência e diversidade. As Boas Práticas na Avaliação da Investigação apelam à integridade da investigação, à educação e orientação, e ao serviço científico (por exemplo, revisão por pares) para serem melhor reconhecidos na avaliação das contribuições académicas dos indivíduos. A declaração vê as avaliações não apenas como uma forma de produzir julgamentos somativos: também incentiva os avaliadores a partilharem feedback com os indivíduos que estão a ser avaliados para facilitar o feedback e a aprendizagem.

As organizações que realizam investigação e as organizações que financiam a investigação comprometeram-se a implementar Boas Práticas na Avaliação da Investigação e a gerar as suas próprias variações locais nas orientações, e está a ser desenvolvido um modelo nacional de currículo de carteira de investigadores. As Boas Práticas em Avaliação de Pesquisa comprometem-se com revisões e refinamentos regulares.

Exemplo nacional: Holanda

Nos Países Baixos, o programa nacional de reconhecimento e recompensas começou em 2019, com a publicação da declaração de posição Espaço para o talento de todos. Esta colaboração nacional entre a Academia Real Holandesa de Artes e Ciências (KNAW – membro do IAP e do ISC), financiadores de investigação, universidades e centros médicos afirma que é necessária uma modernização de todo o sistema das culturas de avaliação da investigação. Ao fazê-lo, estabelece cinco ambições para a mudança nos procedimentos de avaliação: maior diversidade de percursos profissionais, reconhecimento do desempenho individual e da equipa, priorização da qualidade do trabalho em detrimento de indicadores quantitativos, ciência aberta e liderança académica.

Desde 2019, as universidades holandesas adotaram as suas próprias traduções locais da declaração de visão nacional. Simultaneamente, as agências de financiamento iniciaram formatos mais “currículos narrativos” e deixaram de solicitar informações bibliométricas, citando o San Francisco DORA como inspiração. O Conselho de Investigação Holandês mudou muito recentemente para um CV 'baseado em evidências' em que algumas informações quantitativas podem ser usadas. O KNAW também desenvolveu seu próprio plano de três anos implementar internamente a agenda de Reconhecimentos e Recompensas. Um gestor de programa a tempo inteiro e uma equipa foram nomeados para facilitar o programa de reforma de Reconhecimento e Recompensas, e um “Festival de Reconhecimento e Recompensas” é realizado anualmente entre os principais intervenientes na reforma para apoiar a aprendizagem em toda a comunidade.

Finalmente, financiado por uma doação DORA Community Engagement, o Iniciativa Jovem Cientista em Transição para estudantes de doutoramento, com sede em Utrecht, desenvolveu um novo guia de avaliação para doutoramentos, num esforço para mudar a cultura da investigação.

Exemplo nacional: Noruega

Em 2021, a Noruega, a Universities Norway e o Norwegian Research Council publicaram NOR-CAM – Uma caixa de ferramentas para reconhecimento e recompensas em avaliações acadêmicas. O NOR-CAM fornece uma estrutura matricial para melhorar a transparência e ampliar a avaliação de pesquisas e pesquisadores, afastando-se de indicadores restritos com base em bibliometria. NOR-CAM significa Matriz Norueguesa de Avaliação de Carreira e foi adaptado de um relatório de 2017 Denunciar pela Comissão Europeia que apresentou a Matriz de Avaliação de Carreiras em Ciência Aberta. Tal como o seu antecessor europeu, o NOR-CAM também propõe formas de integrar melhor as práticas de ciência aberta nas avaliações. A matriz visa orientar avaliadores e candidatos a cargos acadêmicos, pedidos de financiamento de pesquisa e avaliadores nacionais que avaliam a pesquisa e a educação norueguesas. Pretende também servir como um guia geral para o desenvolvimento de carreira individual.

A matriz inclui seis áreas principais de competência: resultados de investigação, processo de investigação, competências pedagógicas, impacto e inovação, liderança e outras competências. A matriz fornece então sugestões para permitir o planeamento de carreira e o reconhecimento da avaliação em torno de cada um dos critérios – exemplos de resultados e competências, meios de documentação e estímulos à reflexão sobre cada critério. Não se espera que os candidatos tenham desempenho igual em todos os critérios.

O NOR-CAM foi criado por um grupo de trabalho de partes interessadas de organizações de investigação e financiamento, coordenado pela Universities Norway, o que significa que, em princípio, tem a adesão de membros de todas as universidades norueguesas. Posteriormente, foram realizados workshops envolvendo universidades norueguesas para co-desenvolver formas de integração do NOR-CAM nos procedimentos de avaliação de nomeações e promoções, e um sistema de CV 'automático' está sendo desenvolvido para recuperar dados de múltiplas fontes nacionais e internacionais e está em desenvolvimento para reduzir custos administrativos. fardo. Os coordenadores dos três programas de reforma a nível nacional acima mencionados reuniram-se regularmente para trocar experiências e partilhar aprendizagem.

A América Latina e o Caribe (ALC) contrastam de muitas maneiras com outras partes do mundo. Aqui, a ciência é considerada um bem público global e os seus sistemas e infraestruturas de investigação e publicação académica são de propriedade pública (financiados) e não comerciais: mas estes pontos fortes e tradições regionais ainda não estão refletidos nos sistemas de avaliação. As principais partes interessadas que podem efetuar a mudança são os conselhos nacionais de investigação, os ministérios da ciência e as principais universidades de investigação – o papel das IES é vital, dado que mais de 60% dos investigadores estão localizados em universidades (RiCyT, 2020 [91]). Existe potencial para alinhar mais estreitamente os sistemas de avaliação com os ODS e com os movimentos de ciência aberta e de ciência cidadã, que têm uma tradição florescente na região.

Atualmente, existe uma elevada fragmentação dos sistemas de avaliação da investigação a nível nacional, local e institucional, colocando a investigação em concorrência com outras funções, como o ensino, a extensão e a coprodução. Os sistemas de avaliação de pesquisas e de premiação de pesquisadores na ALC geralmente favorecem uma noção de excelência ancorada em metodologias do 'Norte Global', baseadas exclusivamente no fator de impacto de periódicos e rankings universitários (CLASSO, 2020 [92]). O reconhecimento de diferentes formas de produção e comunicação de conhecimento e a multiplicidade de carreiras académicas (por exemplo, ensino, formação e orientação, ciência cidadã e comunicação pública da ciência) estão largamente ausentes nas práticas de avaliação da investigação. Isto é especialmente problemático para investigadores em ciências sociais e humanas, onde monografias e línguas locais são amplamente utilizadas (CLASSO, 2021 [93]). Os periódicos e indicadores regionais são desvalorizados ou não reconhecidos nesses processos de avaliação. Tudo isto é agravado pelos fracos sistemas de informação e pela fraca interoperabilidade das infra-estruturas (especialmente de propriedade comunitária), subfinanciadas porque os escassos fundos são direccionados para pagamentos da APC para revistas de acesso aberto.

No entanto, algumas universidades da região estão a começar a implementar práticas de avaliação que utilizam uma combinação de metodologias qualitativas e quantitativas, especialmente na avaliação de investigadores e na investigação orientada para missões (Gras, 2022 [94]). A transição para regimes de avaliação da investigação mais abrangentes exigirá a concepção conjunta de critérios mais qualitativos; a utilização responsável de dados quantitativos e o reforço dos processos de avaliação pelos pares; mudanças incrementais que harmonizem e coordenem políticas e metodologias em direção a princípios partilhados sobre avaliação responsável da investigação e ciência aberta; novas metodologias e dados para uma melhor avaliação inter/transdisciplinar das questões científicas, ambientais e locais; infra-estruturas partilhadas, interoperáveis, sustentáveis ​​e federadas que apoiam a bibliodiversidade e o multilinguismo; e projetos participativos, de baixo para cima, que ampliam a participação dos cidadãos e dos movimentos sociais e a inclusão de grupos de pesquisa sub-representados.

Para enfrentar estes desafios, a região adoptou um conjunto de princípios e directrizes para a avaliação da investigação. O Declaração de Princípios CLACSO-FOLEC para Avaliação de Pesquisa [95], aprovado em junho de 2022, visa garantir e proteger a ciência de qualidade e socialmente relevante, e abraçar os princípios da DORA e da ciência aberta, a diversidade de resultados de pesquisa e carreiras de pesquisa, o valor de periódicos regionais e serviços de indexação, e da interdisciplinaridade, da língua local e do conhecimento indígena. Até à data, tem mais de 220 adeptos e já existem tendências positivas na avaliação de investigação responsável e exemplos de reforma. Alguns exemplos nacionais são fornecidos nas caixas de texto seguintes.

Exemplo nacional: Colômbia

Financiadas pelo Prêmio DORA de Engajamento Comunitário, as Associações Colombianas de Universidades, Editores Universitários, Gerentes de Pesquisa e uma rede de gestão de ciência e tecnologia, entre outros, têm trabalhado juntas nas oportunidades e desafios das métricas responsáveis ​​na Colômbia. Através de uma série de workshops e consultas, inclusive com organizações internacionais como referência, desenvolveram uma rubrica para ajudar as instituições colombianas a conceberem os seus próprios REFs. Esta rubrica procura dar conta dos desafios identificados a nível local, que – para as IES – incluem a falta de conhecimento sobre alternativas de avaliação da investigação, a natureza do ecossistema nacional de avaliação da investigação e a resistência à mudança. A Web site dedicado foi desenvolvido, juntamente com infográficos para auxiliar os pesquisadores, e a divulgação e o aprendizado continuam a ser compartilhados em todo o país.

Mais informação: O projeto colombiano de métricas responsáveis: rumo a um instrumento institucional e metodológico colombiano para avaliação de pesquisas | DORA (sfdora.org)

Exemplo nacional: Argentina

Uma tentativa interessante de reforma no Conselho Nacional de Pesquisa Científica e Técnica (Consejo Nacional de Investigaciones Científicas y Técnicas – CONICET) foi a criação de uma resolução especial para as ciências sociais e humanas que coloca os periódicos indexados no circuito mainstream no mesmo nível dos periódicos indexados em bases regionais como SciELO, redalyc or Latindex-Catálogo. O regulamento está atualmente em revisão, para esclarecer algumas ambiguidades na sua implementação e ampliar os seus critérios. Por sua vez, em 2022, a Diretoria do CONICET aderiu à DORA São Francisco, reconhecendo publicamente seu compromisso com o aprimoramento da pesquisa, fortalecendo a avaliação e a melhoria contínua de seus processos.

A Agência Nacional de Promoção da Investigação, Desenvolvimento Tecnológico e Inovação (Agencia Nacional de Promoción de la Investigación, el Desarrollo Tecnológico y la Innovavión – AGENCIA I+D+i), sob a Ministério da Ciência, Tecnologia e Inovação, é o principal financiador de pesquisas do país devido à diversidade e abrangência de suas chamadas altamente competitivas. Atualmente, a AGÊNCIA está implementando um programa reforçar os processos de avaliação da investigação nos seus principais fundos financeiros. As melhorias actuais incluem a remuneração dos revisores pares para estimular o seu compromisso com estes processos, o incentivo ao acesso aberto, uma vez que os resultados dos projectos devem ser destinados ao domínio público através de publicações ou documentos de circulação aberta (de acordo com as obrigações de 'Repositórios Digitais Institucionais de Acesso Aberto'Lei Nacional 26.899) e a incorporação de dimensões de equidade e inclusão por meio de gênero, grupos geracionais sub-representados e/ou mecanismos equalizadores de fortalecimento institucional nos processos de avaliação de pesquisas. No entanto, em diversas comissões disciplinares, a formação curricular dos principais investigadores responsáveis ​​pelas propostas ainda é avaliada pelos seus pares com a utilização de indicadores de impacto de citações.

Finalmente, financiada por uma Bolsa de Engajamento Comunitário DORA, a Faculdade de Psicologia da Universidade Nacional de la Plata organizou um evento virtual em Setembro de 2022, sobre avaliação em psicologia e ciências sociais, que atraiu mais de 640 (na sua maioria estudantes universitários) de 12 países, demonstrando o interesse dos jovens do continente. O evento ajudou a moldar o plano de gestão quadrienal da faculdade e servirá de base para um livro sobre a reforma da avaliação acadêmica no contexto de língua espanhola.

Exemplo nacional: Brasil

A avaliação da pesquisa é calorosamente debatida no Brasil entre instituições de pesquisa e pesquisadores, se não entre governos estaduais e federais. No entanto, apesar do maior número de signatários institucionais da DORA no mundo, os exemplos de reforma da avaliação da investigação são surpreendentemente poucos. Após um inquérito aos signatários da DORA no país, consultas institucionais e um evento público, financiado por uma Subvenção de Envolvimento Comunitário da DORA, um guia foi preparado para que os líderes universitários explorem práticas de avaliação responsáveis.

O guia centra-se em três ações principais: (1) sensibilização para a avaliação responsável em todas as suas formas; (2) treinamento e capacitação dos avaliadores e dos avaliados; e (3) implementação e avaliação. Os próximos passos são construir uma rede de profissionais – ou dez escritórios de inteligência universitários – para efetuar mudanças nas práticas de avaliação e testar modelos sensíveis ao contexto e, em última análise, desenvolver um roteiro para instituições brasileiras que desejam promover mudanças.

Projeto Métricas (2022). Desafios institucionais e perspectivas para avaliação responsável no Ensino Superior Brasileiro: Resumo das conclusões da parceria Projeto Métricas DORA. Universidade de São Paulo, Brasil.

Há um afastamento contínuo dos indicadores puramente quantitativos na América do Norte, acelerado pela agenda da ciência aberta. A ciência aberta e a revisão aberta estão a ajudar a tornar as práticas de avaliação mais transparentes, proporcionando uma oportunidade para a autorreflexão e para trazer à tona problemas, por exemplo, autocitação e clientelismo na contratação, promoção e painéis de revisão por pares, bem como preconceitos inatos de género e outros preconceitos. Estão em curso debates sobre a necessidade de desenvolver indicadores mais inteligentes e inteligentes e métodos mistos de avaliação, com potencial para um modelo de avaliação híbrido e convergente que sirva a ciência básica (avanço do conhecimento) e a ciência aplicada (impacto social).

Há também um reconhecimento de que as universidades necessitam de espaço académico e de liberdade para se libertarem das ferramentas que utilizam atualmente para avaliação, sem qualquer «desvantagem de ser o pioneiro», e que a comunidade de utilizadores deve fazer parte do processo de avaliação para ajudar a medir a usabilidade dos conhecimento, sua absorção e impacto. Mas existe também uma resistência contingente à mudança (uma “cegueira intencional”) por parte de cima e de baixo do ecossistema de investigação – por parte daqueles que beneficiam do status quo e daqueles que nele aderiram recentemente. Muito poucas universidades dos EUA assinaram a DORA e um novo projecto DORA está a tentar compreender porque é que isto acontece (TARA). No entanto, tanto no Canadá como nos EUA existem alguns exemplos interessantes de iniciativas nacionais e institucionais concebidas para provocar mudanças sistémicas (ver as caixas de texto seguintes).

Exemplo nacional: EUA

Nos EUA, a National Science Foundation é uma voz líder para a mudança através da sua Avançando o impacto da pesquisa na sociedade programa e acompanhamento kit de ferramentas de impactos mais amplo para pesquisadores e avaliadores. A equidade, a diversidade e a inclusão, incluindo o envolvimento das comunidades indígenas e tradicionalmente marginalizadas, são os principais impulsionadores. Membro do IAP e do ISC, as Academias Nacionais de Ciências dos EUA também procuram estimular uma reforma ampla, fornecendo uma plataforma para troca de informações e aprendizagem sobre a reforma do currículo tradicional de pesquisador (Conselho Estratégico NAS, 2022). Nascido do trabalho das academias dos EUA, o Iniciativa de Liderança no Ensino Superior para Bolsas Abertas é um grupo de mais de 60 faculdades e universidades comprometidas com ações coletivas para promover o ensino aberto, incluindo repensar a avaliação da pesquisa para recompensar a abertura e a transparência.

O Instituto Nacional de Saúde, por exemplo, desenhou um novo bioesboço (ciênciacv) para o pessoal envolvido em pedidos de subvenção, a fim de minimizar os preconceitos sistémicos e a carga de comunicação e, ao mesmo tempo, ser mais orientado para os impactos.

Exemplo nacional: Canadá

No Canadá, há múltiplas conversas sobre a reforma da avaliação da investigação, impulsionada pela DORA; todos os três conselhos federais de pesquisa são signatários. O Conselho de Ciências Naturais e Engenharia critérios redefinidos para a qualidade da pesquisa, dispensando a bibliometria, as citações e o índice h, em linha com os princípios DORA: as métricas de qualidade incluem agora bons dados de investigação e gestão de acesso a dados, equidade, diversidade e inclusão, e responsabilidades de formação. Os outros dois conselhos de pesquisa provavelmente seguirão o exemplo.

Os investigadores canadianos tendem a concentrar-se na “mobilização do conhecimento”, um esforço intencional para promover o impacto social da investigação, através da coprodução com comunidades de utilizadores (ISI, 2022). Impacto da pesquisa no Canadá é uma rede de mais de 20 universidades que visa construir capacidade institucional através da alfabetização de impacto, ou a capacidade de 'identificar metas e indicadores de impacto apropriados, avaliar criticamente e otimizar caminhos de impacto, e refletir sobre as habilidades necessárias para adaptar abordagens em todos os contextos', a fim de maximizar o impacto da investigação para o bem público.

Vale a pena notar que muito poucas universidades canadenses assinaram a DORA. O principal motivador para qualquer mudança provavelmente será a adoção de estudos indígenas: isso se tornou um imperativo moral no Canadá.

Os sistemas de incentivos e recompensas à investigação em África tendem a reflectir normas e convenções “internacionais”, principalmente ocidentais. As instituições africanas esforçam-se por segui-las ao desenvolverem a sua abordagem à “qualidade” e “excelência” na investigação, mas nem sempre são adequadas ao conhecimento e às necessidades locais. A “qualidade”, a “excelência” e o “impacto” da investigação não estão bem definidos no continente e alguns investigadores não estão habituados a uma cultura de “impacto da investigação”.

Os sistemas de avaliação em África tendem a não ter em conta a investigação para benefício social, o ensino, o desenvolvimento de capacidades, a administração e gestão da investigação. Os modelos de publicação não são sensíveis ao contexto, e as APC criam barreiras à produção de investigação africana. A reforma dos sistemas de avaliação da investigação poderia ajudar a corrigir assimetrias na contribuição que a investigação africana pode dar aos desafios sociais, bem como melhorar o acesso a recursos para ajudar a comunidade de investigação africana a fazer isso. Eliminar as barreiras à cooperação intersectorial e interdisciplinar é imperativo para permitir que uma diversidade de pontos de vista e sistemas de conhecimento prosperem e ajudar a interpretar o que constitui a qualidade da investigação em África. Os mecanismos que integram visões de mundo locais, indígenas e “convencionais” sobre a avaliação da qualidade e excelência da investigação precisam de ser considerados em qualquer reforma.

Parcerias fortes estão a ser construídas em torno da RRA no continente. Financiado por um consórcio internacional de agências de desenvolvimento, o Iniciativa de Conselhos de Concessões Científicas (SGCI) [96], envolvendo 17 países africanos, realizou um estudo sobre a excelência da investigação em África, analisando as agências de financiamento científico e a avaliação dos investigadores a partir de uma perspectiva do Sul Global (Tijssen e Kraemer-Mbula, 2017 [97], [98]). Explorou a questão da excelência da investigação na África Subsariana e a necessidade de uma abordagem que expanda a noção de excelência para além das publicações (Tijssen e Kraemer-Mbula, 2018 [99]); elaboração de um documento orientador, em fase de atualização, sobre boas práticas na implementação de concursos de investigação (SGCI [100]). No Fórum Mundial de Ciência em 2022, sob os auspícios do SGCI e do GRC, a África do Sul Fundação Nacional de Pesquisa (NRF) e o Departamento de Ciência e Inovação reuniram parceiros internacionais e locais para discutir o papel das agências de financiamento no avanço da RRA e para partilhar experiências, promover boas práticas e avaliar o progresso na capacitação e colaboração (NRF, 2022 [101]).

A Rede Africana de Evidências [102], uma rede pan-africana e intersetorial de mais de 3,000 profissionais conduziu alguns trabalhos sobre avaliação de pesquisa transdisciplinar (Rede Africana de Evidências [103]), mas ainda não está claro até que ponto isto foi incorporado nos sistemas de avaliação nacionais e regionais. O Rede Africana de Pesquisa e Impactos [103] tem trabalhado num scorecard que compreende uma coleção de indicadores para avaliar a qualidade da avaliação da ciência, tecnologia e inovação (CTI) em África, que espera desenvolver numa ferramenta de tomada de decisão baseada na web para orientar as decisões de investimento em CTI. .

A nível nacional, começaram mudanças incrementais – alguns exemplos são dados nas caixas de texto seguintes. Outros países onde as agências de financiamento da investigação estão a assumir a liderança incluem a Tanzânia (COSTECH), Moçambique (FNI) e Burkina Faso (FONRID). A iniciativa RRA do GRC está a revelar-se uma importante plataforma para a mudança no continente, tal como o está a aprender com o sector de desenvolvimento internacional, mais notavelmente, com o IDRC Estrutura de avaliação do Research Quality Plus (RQ+) [104], com a distinção de já ter sido aplicado, estudado e aprimorado. A base africana Academia Internacional de Avaliação [105] também pode fornecer uma oportunidade interessante.

Exemplo nacional: Costa do Marfim

No coração da Costa do Marfim Programa Appui Stratégique à la Recherche Scientifique (PASRES) (Programa de Apoio Estratégico à Investigação Científica) é a crença de que a excelência na investigação deve transcender o número de publicações de investigação e incluir a dimensão de “absorção da investigação”. Adaptando-se ao contexto nacional, o processo de avaliação da investigação baseia-se em critérios relacionados com a relevância científica e social, o envolvimento de parceiros, a formação de estudantes, a mobilização de conhecimento e a viabilidade. Os painéis de avaliação envolvem especialistas científicos (para avaliar a qualidade da investigação realizada), o sector privado (para avaliar o enriquecimento económico) e outras instituições (para medir o potencial cultural e social da investigação).

A PASRES criou duas revistas locais (uma para ciências sociais e linguística e outra para ambiente e biodiversidade) e suporta todos os custos de publicação nestas. Finalmente, o PASRES financia atividades de capacitação e conferências temáticas para permitir que os investigadores apresentem a sua investigação ao setor privado e à sociedade civil.

Mais informações: Ouattara, A. e Sangaré, Y. 2020. Apoio à investigação na Costa do Marfim: processos de seleção e avaliação de projetos. E. Kraemer-Mbula, R. Tijssen, ML Wallace, R. McLean (Eds.), African Minds, pp.

PASRES || Programa de Appui Stratégique Recherche Scientifique (csrs.ch)

Exemplo nacional: África do Sul

A avaliação da investigação na África do Sul (SA) centra-se predominantemente na bibliometria. Desde 1986, quando o Departamento de Ensino Superior (DHET) introduziu uma política de pagamento de subsídios às universidades para publicações de investigação publicadas em revistas de índices acreditados, a produção de publicações de investigação universitária cresceu concomitantemente com o valor Rand atribuído por publicação. Num esforço para garantir o financiamento da investigação e progredir nas suas carreiras, os investigadores da África do Sul publicaram o maior número de artigos o mais rapidamente possível, criando consequências perversas e involuntárias.

A Academia de Ciências da África do Sul (ASSAf) encomendou um relatório sobre a publicação académica no país (2005–2014) e encontrou indícios de práticas editoriais questionáveis ​​e de publicação predatória (ASSAf, 2019). Usando um sistema diferenciado de categorização, um número estimado de 3.4% do total de artigos nos últimos dez anos foram considerados predatórios, com os números aumentando mais acentuadamente a partir de 2011. Os periódicos considerados predatórios foram incluídos no DHET 'aceitáveis ​​para financiamento'. constatou-se que a lista e académicos de todas as universidades da África do Sul estavam envolvidos (Mouton e Valentine, 2017).

O relatório da ASSAf fez recomendações a nível sistémico, institucional e individual e as contramedidas subsequentes do DHET, da NRF e de algumas universidades parecem ter restringido as práticas predatórias na África do Sul, com a incidência de publicações predatórias por académicos da África do Sul (em revistas acreditadas pelo DHET) com um pico em 2014. 2015 e posteriormente diminuindo. Houve também preocupações entre os investigadores de que as políticas de DHET na África do Sul desencorajavam a colaboração e não reconheciam a contribuição dos indivíduos dentro de grandes equipas de investigação, exigindo uma revisão dos esquemas de avaliação de desempenho/avaliação da investigação. A utilização do sistema de unidades de publicação é agora reconhecida como um indicador fraco para a avaliação da qualidade e produtividade da investigação e para a selecção e promoção de académicos.

Mais informação:

Academia de Ciências da África do Sul (ASSAf). 2019. Doze anos: Segundo Relatório ASSAf sobre Publicação de Pesquisa na e da África do Sul. Pretória, ASSAf.

Mouton, J. e Valentine, A. 2017. A extensão dos artigos de autoria sul-africana em revistas predatórias. Jornal Sul-Africano de Ciência, Vol. 113, nº 7/8, pp.

Mouton, J. et al. 2019. A qualidade das publicações de investigação da África do Sul. Stellenbosch.

2019_assaf_collaborative_research_report.pdf

Exemplo nacional: Nigéria

As universidades na Nigéria avaliam investigadores em três áreas principais: ensino, produtividade da investigação e serviços comunitários. Destes, a produtividade da investigação tem maior peso, com ênfase em artigos de investigação publicados com revisão por pares e tendo em consideração o número e funções dos autores (primeira autoria e/ou autoria correspondente) nestas publicações. Num esforço para se tornarem mais competitivas globalmente, a maioria das universidades atribui mais importância às revistas indexadas pelo International Scientific Indexing ou SCOPUS, para colocar mais ênfase na qualidade e na colaboração internacional; e utilizar o percentual de artigos nessas revistas como critério de promoção.

Uma consequência infeliz disto é que muitos investigadores, especialmente os das ciências humanas, carecem de financiamento e/ou capacidade adequados para publicar nestas revistas. Em vez disso, publicam mais artigos de revisão do que de investigação, ou sentem-se obrigados a incluir colegas influentes e seniores como coautores, em virtude da sua contribuição financeira e não intelectual. O plágio aumenta, assim como a publicação predatória. No entanto, a classificação global global das universidades nigerianas aumentou, satisfazendo assim o governo e as agências de financiamento, e sendo vistas como um sucesso. A Nigéria não está sozinha neste aspecto.

A Academia Nigeriana de Ciências restabeleceu a sua própria revista com revisão por pares como uma revista emblemática na qual os académicos podem publicar (atualmente gratuitamente) e serem altamente avaliados pelas suas instituições.

Sistemas de avaliação altamente competitivos e baseados em métricas quantitativas dominam a região, com os países anglófonos normalmente a moldarem quadros de avaliação e outros países a seguirem o exemplo. Na Austrália, por exemplo, existe um sistema de financiamento competitivo baseado em bibliometria e classificações universitárias: “até os ODS estão a ser transformados em indicadores de desempenho”. Existem desafios semelhantes na Malásia e na Tailândia, e é provável que outros países da ASEAN o sigam. Uma exceção importante é a China, onde o governo desempenha um papel significativo na criação de grandes mudanças sistémicas e que poderá ter implicações profundas a nível mundial (ver caixa de texto).

É encorajador que haja uma crescente consciencialização e preocupação entre a comunidade científica da região sobre os limites dos actuais sistemas de avaliação da investigação e a sua ameaça à integridade da investigação. Embora os ECRs, incluindo as Academias Nacionais de Jovens e a rede de Jovens Cientistas da ASEAN, juntamente com os movimentos de base, estejam cada vez mais envolvidos nesta questão, estão a lutar para serem ouvidos. O governo e as comunidades financiadoras, incluindo os líderes universitários, estão em grande parte ausentes do debate: atribuem importância às métricas quantitativas, mas não apreciam as implicações para a investigação. Na verdade, os consultados relatam que estão a ser acrescentados mais critérios quantitativos, na medida em que as instituições e os investigadores começam a manipular o sistema, alimentando a má conduta na investigação.

Mas existem oportunidades significativas de mudança, conforme exemplificado nas caixas de texto seguintes.

Exemplo nacional: China

Atualmente o país mais produtivo em pesquisa do mundo (Tollefson, 2018; Statista, 2019), e o segundo em termos de investimento em investigação (OCDE, 2020), o que acontece na China tem o potencial de provocar uma verdadeira mudança sistémica. Uma nova política a nível estatal visa restaurar “o espírito científico, a qualidade da inovação e a contribuição dos serviços” da investigação e “promover o regresso das universidades aos seus objectivos académicos originais” (MAIS, 2020). Os indicadores da Web of Science não serão mais um fator predominante nas decisões de avaliação ou financiamento, nem o número de publicações e JIFs. As publicações em revistas chinesas de alta qualidade serão incentivadas e o seu desenvolvimento apoiado. 'Publicações representativas' - 5 a 10 artigos escolhidos em vez de listas exaustivas - estão sendo procuradas em painéis de avaliação, juntamente com critérios que avaliam a contribuição da pesquisa para a resolução de questões científicas importantes, fornecendo novos conhecimentos científicos ou introduzindo inovações e avanços genuínos de, um campo específico.

Ao desenvolver um sistema de avaliação da qualidade e excelência da investigação mais sintonizado com as suas próprias necessidades, a maior agência de financiamento da investigação básica da China, a Fundação Nacional de Ciências Naturais da China (NSFC), realizou reformas sistemáticas desde 2018 para reflectir as mudanças na ciência: a mudança global panoramas científicos, a importância da transdisciplinaridade, a combinação de pesquisa aplicada e básica e a interação entre pesquisa e inovação (Manfred Horvat, 2018), afastando-se da bibliometria para um sistema que fortalece a relevância local da pesquisa na China (Zhang e Sivertsen, 2020). Melhorou o seu sistema de revisão pelos pares para avaliação de propostas para melhor se adequar à investigação disruptiva motivada pela curiosidade, aos problemas candentes nas fronteiras da investigação, à excelente ciência aplicada às exigências económicas e sociais e à investigação transdisciplinar que lida com grandes desafios. Em 2021, 85% das propostas foram submetidas e avaliadas utilizando estas categorias. Recentemente, em Novembro de 2022, foi anunciado um plano piloto de reforma de dois anos para a avaliação de talentos científicos e tecnológicos, envolvendo oito ministérios, doze institutos de investigação, nove universidades e seis governos locais. O seu objectivo será explorar indicadores e métodos de avaliação para talentos científicos e tecnológicos envolvidos em diferentes partes do sistema de inovação.

Exemplo sub-regional: Austrália e Nova Zelândia

Tanto a Austrália como a Nova Zelândia encontram-se atualmente em momentos importantes. Na Austrália, as revisões simultâneas em curso do Australian Research Council, da Excellence in Research in Australia e das negociações do Gold Open Access apresentam cumulativamente uma janela de oportunidade (Ross, 2022 See More).

Na sequência da consulta pública sobre o futuro do financiamento da ciência, a Nova Zelândia está a desenvolver um novo programa sistêmico para o futuro do seu sistema nacional de investigação e inovação. Tanto a Austrália como a Nova Zelândia contribuíram para o desenvolvimento de um sistema de métricas para os seus grupos de investigação indígenas (Princípios de CUIDADOS).

Exemplo nacional: Índia

O Centro de Pesquisa Política do Departamento de Ciência e Tecnologia (DST-CPR) conduziu estudos recentes sobre avaliação de pesquisa e sua reforma na Índia, conduzindo workshops com as principais partes interessadas (agências nacionais de financiamento, instituições de pesquisa e academias), entrevistas e pesquisas. Concluiu que, embora as universidades e muitas instituições de importância política nacional (como a agricultura) se concentrem quase exclusivamente em métricas quantitativas, algumas agências e instituições de financiamento, como os Institutos Indianos de Tecnologia, também têm adoptado medidas mais qualitativas. Esta abordagem mais qualitativa nas instituições de primeira linha já está a servir para desviar mais financiamento para a investigação sobre prioridades nacionais, embora seja demasiado cedo para dizer se está a ter algum efeito quantificável na qualidade e no impacto da investigação.

A principal referência para avaliação é a revisão por pares baseada na opinião do comitê de especialistas, mas somente após a triagem inicial das candidaturas com base inteiramente em métricas quantitativas. Também existem desafios fundamentais com estes comités: a falta de diversidade e compreensão das práticas de ciência aberta, pouca consideração dos impactos sociais da investigação e fraca capacidade e preconceito. Estes problemas, e as metodologias de avaliação em geral, são mal compreendidos e há escassez de orientações e literatura sobre o assunto.

No entanto, há uma consciência crescente da necessidade de reformar a avaliação da investigação. Financiada por uma doação de envolvimento comunitário DORA, a Academia Nacional Jovem de Ciências da Índia fez parceria com o Instituto Indiano de Ciências (IISc) e o DST-CPR para explorar maneiras pelas quais a avaliação da pesquisa pode ser melhorada – suas deliberações foram compartilhadas com as principais partes interessadas com um com vista a estimular um debate nacional sobre a necessidade de reformar e, em última análise, mudar a cultura de investigação da Índia, para que a sua investigação seja mais inovadora e/ou socialmente relevante. O DST-CPR prevê o desenvolvimento de um quadro para a excelência da investigação que poderá ser integrado no seu Quadro de Classificação Institucional Nacional.

Mais informação:

Battacharjee, S. 2022. A maneira como a Índia avalia sua pesquisa está cumprindo sua função? – A Ciência do Fio

DORA_IdeasForAction.pdf (dstcpriisc.org).

Suchiradipta, B. e Koley, M. 2022. Avaliação de pesquisa na Índia: o que deveria permanecer, o que poderia ser melhor? DST-RCP, IISc.

Exemplo nacional: Japão

Os protocolos de avaliação de pesquisa são altamente descentralizados no Japão: embora existam 'Diretrizes Nacionais para Avaliação de P&D', emitidas pelo Conselho de Ciência, Tecnologia e Inovação do Gabinete, o Ministério da Educação, Cultura, Esportes, Ciência e Tecnologia (MEXT) e outros os ministérios também desenvolveram as suas próprias directrizes. Além disso, as universidades e os institutos de investigação têm os seus próprios sistemas de avaliação da investigação e dos investigadores, que – como em muitas partes do mundo – ficaram ligados ao desempenho institucional e à dotação orçamental.

Tem havido preocupações crescentes sobre a dependência excessiva da avaliação quantitativa. Em resposta, o Conselho Científico do Japão preparou uma recomendação sobre o futuro da avaliação da pesquisa no Japão (2022) apelando a menos ênfase em medidas quantitativas e mais em medidas qualitativas, a um maior reconhecimento da diversidade da investigação e à responsabilidade na avaliação da investigação e à monitorização das tendências internacionais na reforma das práticas de avaliação da investigação. Em última análise, os interesses e a promoção da investigação devem estar no centro da avaliação da investigação e devem ser envidados todos os esforços para evitar a fadiga, a desmotivação e a pressão excessiva sobre os investigadores.

Um inquérito realizado pelo MEXT sobre indicadores de avaliação concluiu que o JIF é um de muitos indicadores e, como tal, não teve um forte impacto na investigação japonesa, embora isto dependa da disciplina: por exemplo, a utilização do JIF é maior nas ciências médicas – e atividades de investigação menos tradicionais, como dados abertos, têm menos probabilidade de serem avaliadas.

Mais informações: RECOMENDAÇÃO – Rumo à Avaliação de Pesquisa para o Avanço da Ciência: Desafios e Perspectivas para Avaliação de Pesquisa Desejável (scj.go.jp)

Em conclusão, há uma dinâmica crescente para a reforma da avaliação da investigação em algumas regiões, países e instituições. Os exemplos aqui ilustrados incluem reformas a nível nacional, a criação de consórcios ou coligações de instituições com ideias semelhantes que procuram mudanças, a orientação/orientação de sectores específicos e intervenções para combater incentivos e comportamentos perversos.

Esta ainda não é uma conversa global coerente e inclusiva, nem as práticas e percepções são necessariamente partilhadas abertamente. Alguns membros da GYA, IAP e ISC já são proativos neste espaço e poderiam ser encontradas oportunidades úteis para ajudá-los a partilhar a sua aprendizagem e boas práticas entre si e com os membros em geral. O lançamento do Observatório Global de Avaliação de Investigação Responsável (AGORRA) pelo Research on Research Institute (RoRI) no final de 2023 proporcionará uma plataforma adicional para a partilha de aprendizagem, para a análise comparativa dos sistemas de reforma nacionais e internacionais e para acelerar a dupla maneira de trocar e testar boas ideias entre esses sistemas.

Este documento expôs os principais impulsionadores, oportunidades e desafios para a reforma da avaliação da investigação e compilou exemplos ilustrativos de mudanças que ocorrem a nível global, regional, nacional e institucional. O objectivo disto é mobilizar o GYA, o IAP e o ISC e os seus respectivos membros, como constituintes importantes do ecossistema de investigação global.

Com base na última década de literatura científica e trabalho de advocacia, existem cinco conclusões principais.

1. O imperativo de repensar a forma como os indivíduos, as instituições e os resultados da investigação são avaliados é claro e urgente. Manter a integridade e a qualidade da investigação, maximizar a ciência diversificada, inclusiva e não discriminatória e otimizar a ciência para o bem público global são fatores importantes, inseridos no contexto de um mundo em rápida mudança.

2. A forma como a investigação é encomendada, financiada, realizada e comunicada está a evoluir rapidamente. Avanços em direção à ciência transdisciplinar e orientada para missões, estruturas científicas abertas, modelos em evolução de revisão por pares, o uso de IA e aprendizado de máquina e a rápida ascensão das mídias sociais estão mudando as formas tradicionais de fazer e comunicar pesquisas, exigindo um novo pensamento sobre sistemas de avaliação de pesquisa e as métricas e processos de revisão por pares que o sustentam. É necessária mais investigação, e urgente, para preparar estes sistemas para o futuro.

3. É imperativo que existam sistemas de avaliação da investigação mais equilibrados, com indicadores quantitativos e qualitativos que valorizem múltiplas formas de resultados, processos e actividades de investigação. No entanto, afirmar que os processos qualitativos de revisão por pares são pelo menos tão importantes como a bibliometria não é simples e é ainda mais complicado pelo facto de diferentes partes do mundo estarem em diferentes fases de desenvolvimento dos seus sistemas de avaliação: em alguns, os debates sobre a reforma da avaliação da investigação estão bastante avançados, em outros, são incipientes ou ausentes.

4. É necessária uma iniciativa concertada, genuinamente global e inclusiva para mobilizar as principais comunidades de partes interessadas para desenvolver e implementar formas coerentes de avaliar e financiar a investigação; aprendendo uns com os outros e com outros sectores (nomeadamente os financiadores da investigação e as agências de desenvolvimento). A acção colectiva e inclusiva rumo à mudança transformadora terá de reconhecer a interligação em vez da internacionalização ou universalização, ou seja, ser sensível ao contexto, consciente dos diferentes desafios enfrentados pelas diferentes partes do mundo e da rica heterogeneidade do ecossistema de investigação, assegurando ao mesmo tempo suficiente homogeneidade para permitir sistemas de investigação e financiamento compatíveis e mobilidade dos investigadores, para minimizar a divergência e a fragmentação. Uma conversa parcial e exclusiva corre o risco de enviesar e prejudicar ainda mais aqueles que foram historicamente excluídos.

5. A mudança é necessária a todos os níveis – global, regional, nacional e institucional – porque as métricas propagam-se em cascata por todo o ecossistema de investigação e todos estes níveis estão interligados. Todas as partes interessadas precisam de desempenhar o seu papel como parceiros e não como adversários – incluindo financiadores, universidades, associações de universidades e institutos de investigação, organizações intergovernamentais (IGO), governos e redes governamentais, academias, decisores políticos científicos, gestores de investigação e inovação e investigadores individuais. Os membros da GYA, IAP e ISC, em conjunto, cobrem uma grande parte deste rico panorama (Figura 1, Apêndice C).

Figura 1: Mapa das partes interessadas relativo aos membros do GYA, IAP e ISC (Clique para ver)

O poder de convocação de organizações como a GYA, o IAP e o ISC pode ajudar a reunir uma diversidade de pontos de vista e experiências em grande parte do ecossistema de investigação: experimentando, aprendendo e desenvolvendo iniciativas existentes e novas. Fundamentalmente, podem ligar-se aos principais intervenientes na instigação da mudança – governos, financiadores de investigação e universidades, e movimentos globais vitais como a DORA – para ajudar a mobilizar uma arquitectura de actores. Coletivamente, eles podem servir como:

● defensores – sensibilizando para debates, desenvolvimentos e reformas de avaliação de investigação, reconhecendo que os seus membros servem como (i) mentores e supervisores de colegas juniores, (ii) líderes de IES, (iii) membros do conselho de órgãos de governança de financiamento e publicação e ( iv) conselheiros dos decisores políticos;

● inovadores – explorando diferentes abordagens para valorizar a investigação básica e aplicada de forma inclusiva e inovadora;

● exemplares – mudando a sua própria cultura institucional – renovando os seus membros, prémios, práticas de publicação e conferências, e liderando pelo exemplo;

● avaliadores – capitalizando o papel dos membros, tanto a nível institucional como individual, cujo negócio é avaliar investigadores, investigação e instituições, e aqueles que têm funções editoriais, editoriais e de revisão por pares;

● financiadores – recorrendo às agências de financiamento representadas no ISC, em particular, e aos membros que gerem e distribuem grandes subvenções nacionais e internacionais;

● colaboradores – apoiando campanhas já estabelecidas para a reforma, por exemplo, DORA, o CoARA da UE e o compromisso de ciência aberta da UNESCO.

Os autores deste artigo incentivam o GYA, o IAP e o ISC, e organizações como eles, a se envolverem das seguintes maneiras:

AÇÃO 1: Compartilhar aprendizado e boas práticas

Este artigo destaca exemplos de intervenções e inovações em todo o mundo. É vital haver espaço para partilhar experiências e construir uma “coligação de vontades” forte e inclusiva.

1.1: Fornecer uma plataforma para membros que já são proativos neste espaço para compartilharem seu aprendizado e construirem conexões estratégicas, especialmente em nível nacional. Use estes exemplos para ajudar a preencher Painel da DORA [106] de aprendizagem e boas práticas.

1.2: Levantar e mapear os desenvolvimentos liderados pelos membros na reforma da avaliação da investigação para identificar abordagens institucionais, nacionais e regionais e para encontrar e partilhar boas práticas. Convocar aqueles que já lideraram/envolveram-se em grandes iniciativas nacionais e internacionais para construir a defesa e a aprendizagem entre os membros.

AÇÃO 2: Liderar pelo exemplo

A adesão ao GYA, IAP e ISC cobre muitas partes do ecossistema de pesquisa e cada um pode desempenhar um papel importante na definição do sucesso como cientista.

2.1: Transição para metodologias de avaliação de investigação mais progressivas em todos os membros. Liderar pelo exemplo e ajudar a mudar a cultura de avaliação da investigação através das filosofias e práticas dos seus próprios membros, ao mesmo tempo que aproveita a aprendizagem da DORA e do GRC. As academias, enquanto organizações tradicionalmente de elite, têm aqui um papel especial a desempenhar – devem ser encorajadas a alargar os seus próprios critérios de eleição e selecção para reflectir uma compreensão mais ampla e plural da qualidade e do impacto da investigação, a fim de reflectir este pluralismo (e com (mais inclusão e diversidade) nos seus membros.

2.2: Estimular a cooperação e liderança regional. Incentivar as redes regionais de membros da GYA e das Academias Nacionais de Jovens, as redes de academias regionais do IAP e os Pontos Focais Regionais do ISC a considerarem emular o Conselho da ALLEA iniciativa, adaptados aos seus próprios contextos.

AÇÃO 3: Construir parcerias estratégicas com grupos-chave.

Os três principais intervenientes responsáveis ​​pela condução da reforma da avaliação da investigação são os governos, os financiadores da investigação e as universidades. O GYA, o IAP e o ISC podem ajudar a envolver a comunidade de investigação nos seus esforços para reformar e colmatar as desconexões que existem actualmente.

3.1: Envolver-se com a liderança do GRC para explorar formas de trabalhar em conjunto – essencialmente para estimular os membros e os seus respectivos representantes nacionais do GRC a explorar como as suas comunidades de investigação podem envolver-se.

3.2: Envolver-se com redes globais e regionais de universidades, como a Associação Internacional de Universidades (IAU), para desenvolver novas ferramentas de formação para a comunidade de investigação; usar a liderança das IES dentro dos membros coletivos do GYA, IAP e ISC como defensores.

3.3: Conectar instituições membros nos países financiados pela DORA (Argentina, Austrália, Brasil, Colômbia, Índia, Japão, Holanda, Uganda e Venezuela) com os beneficiários da DORA para compartilhar ideias e potencialmente ampliar essas iniciativas locais.

3.4: Construir relações com as principais agências internacionais de desenvolvimento que já estão a implementar estratégias inovadoras e impactantes para a avaliação da investigação em países de baixo e médio rendimento e em países menos desenvolvidos.

3.5: Trabalhar com a UNESCO para ajudar a moldar os compromissos nacionais de avaliação da investigação no âmbito da sua Recomendação sobre Ciência Aberta.

AÇÃO 4: Fornecer liderança intelectual sobre o futuro da avaliação da investigação.

É imperativo concentrar-se em desafios específicos e urgentes para a reforma da avaliação da investigação. A GYA, o IAP e o ISC, e redes internacionais como estas, podem recorrer aos seus respectivos poderes de convocação, ao peso intelectual e à influência dos seus membros e às ligações com os principais círculos eleitorais.

4.1: Convocar conjuntamente com os principais grupos constituintes uma série de fóruns de discussão multissetoriais ou “Laboratórios de Transformação” para repensar e implementar a reforma da avaliação da investigação – envolver os líderes das IES e as suas redes globais (por exemplo, IAU e IARU) e regionais (por exemplo, LERU e AAU [107 ]), financiadores de investigação (incluindo representantes nacionais do GRC), agências internacionais de desenvolvimento e editores líderes, entre outros. Angariar recursos novos ou mobilizar recursos existentes para financiar este trabalho (ver Apêndice D para algumas ideias preliminares).

4.2: Desenvolver um novo estudo sobre um aspecto importante do desenvolvimento futuro da avaliação da pesquisa, como (1) o impacto dos avanços tecnológicos na avaliação da pesquisa e na revisão por pares (incluindo o uso e o abuso), e como estes poderiam evoluir no futuro e ( 2) reformar o sistema de avaliação pelos pares de forma mais ampla (em termos de transparência, abertura, capacidade, reconhecimento e formação). Ambas as questões são essenciais para a confiabilidade do conhecimento e a confiabilidade da ciência.

No centro de todos esses esforços devem estar três coisas fundamentais:

• Expandir os critérios de avaliação da investigação científica e dos investigadores para além das métricas académicas tradicionais, de modo a incluir múltiplas formas de resultados e funções da investigação, incluindo critérios quantitativos que possam medir o impacto social da investigação.

• Incentivar os líderes das IES e os financiadores da investigação a adoptarem e promoverem estes novos critérios de avaliação como medidas da qualidade e do valor da investigação.

• Trabalhar com estes líderes em novas formas de sensibilização e formação para as futuras gerações de investigadores, para dotá-los das competências necessárias para comunicarem e interagirem eficazmente com os decisores políticos, o público e outros grupos-chave; e promover a diversidade e a inclusão no empreendimento de pesquisa.

Os autores deste artigo concluem que redes como a GYA, IAP e ISC, juntamente com e apoiando outros grupos-chave, podem ajudar a construir uma iniciativa coerente, participativa e global para mobilizar comunidades de investigação, universidades e outras IES em torno desta agenda, e considerar como operacionalizar novas formas de avaliar e financiar a investigação para torná-la mais eficiente, justa, inclusiva e impactante.

Baixar

Este artigo foi de autoria dos membros do Grupo de Escopo GYA-IAP-ISC, que trabalhou intermitentemente entre maio de 2021 e fevereiro de 2023 (mais detalhes no Apêndice A):

• Sarah de Rijcke (Presidente, Holanda)

• Clemência Cosentino (EUA)

• Robin Crewe (África do Sul)

• Carlo D'Ippoliti (Itália)

• Shaheen Motala-Timol (Maurício)

• Noorsaadah Binti A Rahman (Malásia)

• Laura Rovelli (Argentina)

• David Vaux (Austrália)

• Yao Yupeng (China)

O Grupo de Trabalho agradece a Tracey Elliott (Consultora Sênior do ISC) por seu trabalho de coordenação e redação. Agradecemos também a Alex Rushforth (Centro de Estudos de Ciência e Tecnologia (CWTS), Universidade de Leiden, Holanda) e Sarah Moore (ISC) pelas contribuições e apoio adicionais.

O Grupo de Trabalho também agradece a todos aqueles que foram consultados na preparação deste artigo (Apêndice B), que disponibilizaram o seu tempo e partilharam as suas perspectivas sobre a avaliação da investigação nos seus respectivos países e regiões, e aos revisores nomeados pela GYA, IAP e ISC:

• Karina Batthyány, Diretora Executiva, Conselho Latino-Americano de Ciências Sociais (CLACSO) (Uruguai)

• Richard Catlow, professor pesquisador, University College London (Reino Unido)

• Sibel Eker, professora assistente, Radbound University (Holanda)

• Encieh Erfani, Pesquisador Científico, Centro Internacional de Física Teórica (Irã, Itália)

• Motoko Kotani, vice-presidente executiva, Riken (Japão)

• Pradeep Kumar, Professor e Pesquisador Sênior, Universidade de Witwatersrand (África do Sul)

• Boon Han Lim, Professor Associado, Universidade de Tinku Abdul Rahman (UTAR) (Malásia)

• Priscilla Kolibea Mante, professora sênior, Universidade de Ciência e Tecnologia Kwame Nkrumah (KNUST) (Gana)

• Alma Hernández-Mondragón, Presidente, Associação Mexicana para o Avanço da Ciência (AMEXAC) (México)

• Khatijah Mohamad Yusoff, Professor Sênior, Universidade de Putra Malásia (UPM) (Malásia)

1. UNESCO. 2021. Relatório Científico da UNESCO: A corrida contra o tempo para um desenvolvimento mais inteligente (Capítulo 1). Unesco. https://unesdoc.unesco.org/ark:/48223/pf0000377250

2. A Sociedade Real. (2012). Ciência como uma empresa aberta. O Centro de Política Científica da Royal Society. https://royalsociety.org/~/media/policy/projects/sape/2012-06-20-saoe.pdf

3. Haustein, S. e Larivière, V. 2014. O uso da bibliometria para avaliação de pesquisas: possibilidades, limitações e efeitos adversos. I. Welpe, J. Wollersheim, S. Ringelhan, M. Osterloh (eds.), Incentivos e Desempenho, Cham, Springer, pp.

4. Macleod, M., Michie, S., Roberts, I., Dirnagi, U., Chalmers, I., Ioadnnidis, J., Al-Shahi Salman, R., Chan., AW e Glasziou, P. 2014 • Investigação biomédica: aumentando o valor, reduzindo o desperdício. A Lanceta, Vol. 383, nº 9912, pp.

5. Bol, T., de Vaan, M. e van de Rijt, A. 2018. O efeito Matthew no financiamento científico. Anais da Academia Nacional de Ciências dos Estados Unidos da América, vol. 115, nº 19, pp.

6. Conselho Científico Internacional. 2021. Abrindo o registro da ciência: fazendo a publicação acadêmica funcionar para a ciência na era digital. Paris, França, ISC. https://doi.org/10.24948/2021.01

7. Müller, R. e de Ricke, S. 2017. Pensando com indicadores. Explorando os impactos epistêmicos dos indicadores de desempenho acadêmico nas ciências da vida. Avaliação de Pesquisa, Vol. 26, nº 3, pp.

8. Ansede, M. 2023. Um dos cientistas mais citados do mundo, Rafael Luque, suspenso sem remuneração por 13 anos. El Paίs. https://english.elpais.com/science-tech/2023-04-02/one-of-the-worlds-most-cited-scientists-rafael-luque-suspended-without-pay-for-13-years. HTML

9. PAI. 2022. Combate a revistas e conferências acadêmicas predatórias. Trieste, Itália, IAP. https://www.interacademies.org/publication/predatory-practices-report-English

10. Elliott, T., Fazeen, B., Asrat, A., Cetto, AM., Eriksson, S., Looi, LM e Negra, D. 2022. Percepções sobre a prevalência e impacto de revistas e conferências acadêmicas predatórias: uma pesquisa global de pesquisadores. Publicação aprendida, vol. 3, nº 4, pp.

11. Collyer, TA 2019. 'Fatiar salame' ajuda carreiras, mas prejudica a ciência. Natureza Comportamento Humano, Vol. 3, pp.

12. Abad-García, MF 2019. Plágio e revistas predatórias: uma ameaça à integridade científica. Anales De Pediatría (edição em inglês), vol. 90, nº 1, pp.

13. Omobowale, AO, Akanle, O., Adeniran, AI e Adegboyega, K. 2013. Bolsa periférica e o contexto da publicação paga no exterior na Nigéria. Sociologia Atual, Vol. 62, nº 5, pp.

14. Ordway, D.‑M. 2021. Periódicos acadêmicos e jornalistas perpetuam a desinformação no tratamento de retratações de pesquisas. O recurso do jornalista. https://journalistsresource.org/home/retraction-research-fake-peer-review/

15. Curry, S., de Rijcke, S., Hatch, A., Pillay, D., van der Weijden, I. e Wilsdon, J. 2020. A mudança do papel dos financiadores na avaliação de pesquisa responsável: progresso, obstáculos e o caminho a seguir. Londres, Reino Unido, Research on Research Institute.

16. O Norte Global refere-se geralmente às economias industrializadas ou desenvolvidas, conforme definido pelas Nações Unidas (2021), enquanto o Sul Global refere-se às economias recentemente industrializadas ou que estão em processo de industrialização ou em desenvolvimento, e que são frequentemente atuais. ou antigos súditos do colonialismo.

17. Parceria InterAcademia. Sessão 12: Vencendo com uma Maior Inclusão: Relação entre Diversidade e Cultura Acadêmica. IAP. https://www.interacademies.org/page/session-12-winning-greater-inclusion-relation-between-diversity-and-academic-culture

18. Academia Jovem Global. Grupo de Trabalho de Excelência Científica. Berlim, Alemanha, GYA. https://globalyoungacademy.net/activities/scientific-excellence/

19. CEI. 2021. Liberando a Ciência: Cumprindo Missões para a Sustentabilidade. Paris, França, ISC. doi: 10.24948/2021.04

20. CEI. 2022. Um trecho do discurso de Peter Gluckman no Endless Frontier Symposium. Paris, França. ISC. https://council.science/current/blog/an-extract-from-peter-gluckmans-speech-to-the-endless-frontier-symposium/

21. Belcher, B., Clau, R., Davel, R., Jones, S. e Pinto, D. 2021. Uma ferramenta para planejamento e avaliação de pesquisa transdisciplinar. Insights de integração e implementação. https://i2insights.org/2021/09/02/transdisciplinary-research-evaluation/

22. Belcher, BM, Rasmussen, KE, Kemshaw, MR e Zornes, DA 2016. Definição e avaliação da qualidade da investigação num contexto transdisciplinar. Avaliação de Pesquisa, Vol. 25, nº 1, pp.

23. Wilsdon, J. et al. 2015. The Metric Tide: Relatório da Revisão Independente do Papel das Métricas na Avaliação e Gestão da Pesquisa. HEFCE.

24. UNESCO. Recomendação da UNESCO sobre Ciência Aberta. Paris, França, UNESCO. https://unesdoc.unesco.org/ark:/48223/pf0000379949

25. Uma fonte da UNESCO revelou que este trabalho está actualmente suspenso porque o debate é dominado por apenas alguns e não necessariamente repercute em muitos: um diálogo extensivo deve preceder o desenvolvimento de recomendações.

26. Barroga, E. 2020. Estratégias inovadoras para revisão por pares. Jornal de Ciência Médica Coreana, Vol. 35, nº 20, pp.

27. Woods, HB, et al. 2022. Inovações na revisão por pares na publicação acadêmica: um meta-resumo. SocArXiv, doi: 10.31235/osf.io/qaksd

28. Kaltenbrunner, W., Pinfield, S., Waltman, L., Woods, HB e Brumberg, J. 2022. Revisão por pares inovadora, reconfigurando a comunicação acadêmica: Uma visão geral analítica das atividades de inovação em revisão por pares em andamento. SocArXiv, doi: 10.31235/osf.io/8hdxu

29. Holm, J., Waltman, L., Newman-Griffis, D. e Wilsdon, J. 2022. Boas práticas no uso de aprendizado de máquina e IA por organizações de financiamento de pesquisa: insights de uma série de workshops. Londres, Reino Unido, Research on Research Institute. https://doi.org/10.6084/m9.figshare.21710015.v1

30. Procter, R., Glover, B. e Jones, E. 2020. Pesquisa 4.0 Pesquisa na Era da Automação. Londres, Reino Unido, DEMOS.

31. Baker, M. 2015. Software inteligente detecta erros estatísticos em artigos de psicologia. Natureza, https://doi.org/10.1038/nature.2015.18657

32. Van Noorden, R. 2022. Os pesquisadores que usam IA para analisar a revisão por pares. Natureza 609, 455.

33. Severin, An., Strinzel, M., Egger, M., Barros, T., Sokolov, A., Mouatt, J. e Muller, S. 2022. Arxiv,

34. Gadd, E. 2022. Ferramentas de avaliação de citações baseadas em IA: boas, ruins ou feias? O Bibliomágico. https://thebibliomagician.wordpress.com/2020/07/23/ai-based-citation-evaluation-tools-good-bad-or-ugly/

35. Foltýnek, T., Meuschke, N. e Gipp, B. 2020. Detecção de plágio acadêmico: uma revisão sistemática da literatura. Pesquisas de Computação ACM, Vol. 52, nº 6, pp.

36. Quach, K. 2022. Os editores usam IA para detectar cientistas ruins manipulando dados. O registro. https://www.theregister.com/2022/09/12/academic_publishers_are_using_ai/

37. Van Dis, E., Bollen, J., Zuidema., van Rooji, R e Bockting, C. 2023. ChatGPT: cinco prioridades para pesquisa. Natureza, vol. 614, pp.

38. Chawla, D. 2022. Deve a IA ter um papel na avaliação da qualidade da investigação? Natureza, https://doi.org/10.1038/d41586-022-03294-3

39. Cyranoski, D. 2019. A inteligência artificial está selecionando revisores de bolsas na China. Natureza, vol. 569, pp.

40. Mike, T. 2022. A qualidade dos artigos publicados em periódicos acadêmicos pode ser avaliada com aprendizado de máquina? Estudos Quantitativos de Ciência, Vol. 3, nº 1, pp.

41. Chomsky, N., Roberts, I. e Watumull, J. 2023. A falsa promessa do ChatGPT. O jornal New York Times. https://www.nytimes.com/2023/03/08/opinion/noam-chomsky-chatgpt-ai.html

42. Esclareça. 2022. Avaliação da Pesquisa: Origens, Evolução, Resultados. Esclareça. https://clarivate.com/lp/research-assessment-origins-evolutions-outcomes/

43. Blauth, TF, Gstrein, OJ e Zwitter, A. 2022. Crime de inteligência artificial: uma visão geral do uso malicioso e abuso de IA. Acesso IEEE, Vol. 10, pp.

44. Castelvecchi, D. 2019. Pioneiro da IA: 'Os perigos do abuso são muito reais'. Natureza, doi: https://doi.org/10.1038/d41586-019-00505-2

45. Jordan, K. 2022. Percepções dos acadêmicos sobre o impacto e o envolvimento da pesquisa por meio de interações em plataformas de mídia social. Aprendizagem, Mídia e Tecnologia, doi: 10.1080/17439884.2022.2065298

46. ​​Wouters, P., Zahedi, Z. e Costas, R. 2019. Métricas de mídia social para avaliação de novas pesquisas. Glänzel, W., Moed, HF, Schmoch U., Thelwall, M. (eds.), Manual Springer de Indicadores de Ciência e Tecnologia. SpringerLink.

47. Rafols, I. e Stirling, A. 2020. Criação de indicadores para abertura da avaliação. Insights da avaliação da pesquisa. ResearchGate, doi: 10.31235/osf.io/h2fxp

48. Rich, A., Xuereb, A., Wrobel, B., Kerr, J., Tietjen, K., Mendisu, B., Farjalla, V., Xu, J., Dominik, M., Wuite, G. ., Hod, O. e Baul, J. 2022. De volta ao básico. Halle, Alemanha, Global Young Academy.

49. Jong, L., Franssen, T. e Pinfield, S. 2021. Excelência no Ecossistema de Pesquisa: Uma Revisão da Literatura. Londres, Reino Unido, Research on Research Institute.

50. Hatch, A. e Curry, S. 2020. Cultura de Pesquisa: Mudar a forma como avaliamos a pesquisa é difícil, mas não impossível. eLife, Vol. 9, pág. e58654.

51. PAI. 2022. Combate a revistas e conferências acadêmicas predatórias. Trieste, Itália, IAP.

52. Hicks, D., Wouters, P., Waltman, L., de Rijcke, S. e Rafols, I. 2015. Bibliometria: O Manifesto de Leiden para métricas de pesquisa. Natureza, vol. 520, pp.

53. Publicações. 2018. Situação Global da Revisão por Pares. Londres, Reino Unido, Clarivate. https://doi.org/10.14322

54. Kovanis, M., Porcher, R., Revaud, P. e Trinquart, L. 2016. A carga global da revisão por pares de periódicos na literatura biomédica: forte desequilíbrio no empreendimento coletivo. PLoS ONE, Vol. 11, nº 11, pág. e0166387.

55. Forrester, B. 2023. Farto e esgotado: a 'desistência silenciosa' atinge a academia. Natureza, vol. 615, pp.

56. Hatch, A. e Curry, S. 2020. Cultura de pesquisa: mudar a forma como avaliamos a pesquisa é difícil, mas não impossível. eLife, Vol. 9, pág. e58654.

57. Moher, D., Bouter, L., Kleinert, S., Glasziou, P., Har Sham, M., Barbour, V., Coriat, AM, Foeger, N. e Dirnagi, U. 2020. The Hong Princípios de Kong para avaliação de investigadores: promoção da integridade da investigação. PLoS Biologia, Vol. 18, nº 7, pág. e3000737.

58. Wilsdon, J., Allen, L., Belfiore, E., Campbell, P., Curry, S., Hill, S., Jones, R., Kain, R. e Kerridge, S. 2015. A Métrica Tide: Relatório da Revisão Independente do Papel das Métricas na Avaliação e Gestão da Pesquisa. doi:10.13140/RG.2.1.4929.1363

59. Curry, S., Gadd, E. e Wilsdon, J. 2022. Aproveitando a Maré Métrica: Indicadores, Infraestruturas e Prioridades para Avaliação de Pesquisa Responsável no Reino Unido. Londres, Reino Unido, Research on Research Institute.

60. Editorial Natureza. 2022. Apoiar a visão ousada da Europa para uma avaliação responsável da investigação. Natureza, vol. 607, pág. 636.

61. Declaração sobre Avaliação de Pesquisa (DORA). https://sfdora.org/about-dora/

62. Hicks, D., Wouters, P., Waltman, L., de Rijcke, S. e Rafols, I. 2015. Bibliometria: O Manifesto de Leiden para métricas de pesquisa. Natureza, vol. 520, pp.

63. Curry, S., Gadd, E. e Wilsdon, J. 2022. Aproveitando a Maré Métrica: Indicadores, Infraestruturas e Prioridades para Avaliação de Pesquisa Responsável no Reino Unido. Londres, Reino Unido, Research on Research Institute. https://rori.figshare.com/articles/report/Harnessing_the_Metric_Tide/21701624

64. DORA. Declaração de São Francisco sobre Avaliação de Pesquisa. https://sfdora.org/read/

65. DORA. Ferramentas para avançar na avaliação da pesquisa. DORA. https://sfdora.org/project-tara/

66. DORA. Subsídios DORA para envolvimento da comunidade: apoiando a reforma da avaliação acadêmica https://sfdora.org/dora-community-engagement-grants-supporting-academic-assessment-reform/

67. Normas. Estrutura SCOPE para Avaliação de Pesquisa. https://inorms.net/scope-framework-for-research-evaluation/

68. Normas. A Estrutura SCOPE. https://inorms.net/scope-framework-for-research-evaluation/

69. Torfin, S. 2018. Qualidade de Pesquisa Plus. Centro de Pesquisa para o Desenvolvimento Internacional. https://www.idrc.ca/en/rqplus

70. Reid, C., Calia, C., Guerra, C. e Grant, L. 2019. Ação Ética na Pesquisa Global: Um Kit de Ferramentas. Edimburgo, Escócia, Universidade de Edimburgo. https://www.ethical-global-research.ed.ac.uk/

71. Valters, C. 2014. Teorias da Mudança no Desenvolvimento Internacional: Comunicação, Aprendizagem ou Responsabilidade? A Fundação Ásia. https://www.alnap.org/system/files/content/resource/files/main/jsrp17-valters.pdf

72. Fraser, C., Nienaltowski, MH, Goff, KP, Firth, C., Sharman, B., Bright, M. e Dias, SM 2021. Avaliação de Pesquisa Responsável. Conselho Global de Pesquisa. https://globalresearchcouncil.org/news/responsible-research-assessment/

73. O Conselho Global de Pesquisa. Avaliação de pesquisa responsável do GRC. YouTube. https://www.youtube.com/watch?v=CnsqDYHGdDo

74. Curry, S., de Rijcke, S., Hatch, A., Dorsamy, P., van der Weijden, I. e Wilsdon, J. 2020. A mudança do papel dos financiadores na avaliação de pesquisa responsável. Londres, Reino Unido, Research on Research Institute. https://doi.org/10.6084/m9.figshare.13227914.v1

75. Conselho Global de Pesquisa. Grupo de Trabalho de Avaliação de Pesquisa Responsável. GRC. https://globalresearchcouncil.org/about/responsible-research-assessment-working-group/

76. Academia Jovem Global. Excelência Científica. GYA. https://globalyoungacademy.net/activities/scientific-excellence/

77. Adams, J., Beardsley, R., Bornmann, L., Grant, J., Szomszor, M. e Williams, K. 2022. Avaliação de Pesquisa: Origens, Evolução, Resultados. Instituto de Informação Científica. https://clarivate.com/ISI-Research-Assessment-Report-v5b-Spreads.pdf

78. DORA. Biblioteca de recursos. https://sfdora.org/resource-library

79. Saenen, B., Hatch, A., Curry, S., Proudman, V. e Lakoduk, A. 2021. Reimaginando a avaliação da carreira acadêmica: histórias de inovação e mudança. DORA. https://eua.eu/downloads/publications/eua-dora-sparc_case%20study%20report.pdf

80. Coligação para o Avanço da Avaliação da Investigação (CoARA). https://coara.eu/

81. CoARA. 2022. Acordo sobre a Reforma da Avaliação da Investigação. https://coara.eu/app/uploads/2022/09/2022_07_19_rra_agreement_final.pdf

82. Editorial Natureza. 2022. Apoiar a visão ousada da Europa para uma avaliação responsável da investigação. Natureza, vol. 607, pág. 636.

83. Ciência Aberta e Universal. OPUS Home – Projeto Ciência Aberta e Universal (OPUS). https://opusproject.eu/

84. Vergoulis, T. 2023. GraspOS avançando para uma avaliação de pesquisa mais responsável. OpenAIRE. https://www.openaire.eu/graspos-moving-forward-to-a-more-responsible-research-assessment

85. Conselho Europeu de Investigação. 2022. Conselho Científico do ERC Decide Alterações aos Formulários e Processos de Avaliação dos Concursos de 2024. ERC. https://erc.europa.eu/news-events/news/erc-scientific-council-decides-changes-evaluation-forms-and-processes-2024-calls

86. Todas as Academias Europeias. 2022. Declaração ALLEA sobre a Reforma da Avaliação da Investigação nas Academias Europeias. ALÉIA. https://allea.org/wp-content/uploads/2022/10/ALLEA-Statement-RRA-in-the-Academies.pdf

87. Eurodoc, MCAA, YAE, ICoRSA e GYA. 2022. Declaração conjunta sobre as conclusões do Conselho da UE sobre avaliação da investigação e implementação da ciência aberta. Zenodo, doi: 10.5282/zenodo.7066807.

88. Overlaet, B. 2022. Um Caminho para Carreiras Acadêmicas Multidimensionais – Uma Estrutura LERU para a Avaliação de Pesquisadores. LERU, Leuven, Bélgica. https://www.leru.org/files/Publications/LERU_PositionPaper_Framework-for-the-Assessment-of-Researchers.pdf

89. Sociedade Real. Currículo para pesquisadores. https://royalsociety.org/topics-policy/projects/research-culture/tools-for-support/resume-for-researchers/

90. Grove, J. 2021. Os currículos narrativos contam a história certa? Times Higher Education (THE). https://www.timeshighereducation.com/profundidade/do-narrative-cvs-tell-right-story

91. RICYT. Investigadores por setor de emprego (ETI) 2011-2020. app.ricyt.org/ui/v3/comparative.html?indicator=INVESTEJCSEPER&start_year=2011&end_year=2020

92. CLACSO. 2020. Avaliando a Avaliação da Pesquisa Científica. Rumo a uma transformação da avaliação da pesquisa científica na América Latina e no Caribe Série do Fórum Latino-Americano de Avaliação da Pesquisa (FOLEC). CLACSO, Buenos Aires, Argentina. https://www.clacso.org/wp-content/uploads/2020/05/FOLEC-DIAGNOSTICO-INGLES.pdf

93. CLACSO. 2021. Rumo a uma transformação dos sistemas de avaliação na América Latina e no Caribe, Ferramentas para promover novas políticas de avaliação. Série do Fórum Latino-Americano de Avaliação de Pesquisa (FOLEC). CLACSO, Buenos Aires, Argentina. https://www.clacso.org/wp-content/uploads/2022/02/Documento-HERRAMIENTA-2-ENG.pdf

94. Gras, N. 2022. Formas de avaliação de pesquisa orientadas para problemas de desenvolvimento. Práticas e perspectivas de organizações nacionais de ciência e tecnologia e instituições de ensino superior na América Latina e no Caribe. FOLEC. CLACSO, Buenos Aires, Argentina. 2022-07-27_Report Forms-of-research-assessment.pdf ENG.pdf (dspacedirect.org)

95. O CLACSO é o Conselho de Ciências Sociais da região e um dos principais defensores da ciência socialmente relevante e responsável. O Fórum Latino-Americano de Avaliação de Pesquisa (FOLEC) é um espaço regional para debate e compartilhamento de boas práticas e está desenvolvendo diretrizes regionais para avaliação de pesquisa para apoiar esses princípios. Ambos proporcionam uma forte liderança regional.

96. SGCI. Iniciativa Science Granting Councils (SGCI) na África Subsaariana. https://sgciafrica.org/

97. SGCI. Tijssen, R. e Kraemer-Mbula, E. 2017. Resumo político: Perspectivas sobre a excelência da investigação no Sul Global – avaliação, monitorização e avaliação em contextos de países em desenvolvimento. SGCI. https://sgciafrica.org/wp-content/uploads/2022/03/Policy-Brief-Perspectives-on-research-excellence-in-the-Global-South_-Assessment-monitoring-and-evaluation-in-developing- contextos-país.pdf

98. Tijssen, R. e Kraemer-Mbula, E. 2018. Excelência em investigação em África: Políticas, percepções e desempenho. SGCI. https://sgciafrica.org/research-excellence-in-africa-policies-perceptions-and-performance/

99. Tijssen, R. e Kraemer-Mbula, E. 2018. Excelência em investigação em África: Políticas, percepções e desempenho. Ciência e Políticas Públicas, Vol. 45 Nº 3, pp. https://doi.org/392/scipol/scx403

100. SGCI. Diretriz de Boas Práticas sobre Qualidade de Concursos de Pesquisa. https://sgciafrica.org/eng-good-practice-guideline-on-the-quality-of-research-competitions/

101. NRF. A NRF acolhe reuniões estratégicas para promover parcerias de investigação em África – Fundação Nacional de Investigação

102. Belcher, BM, Rasmussen, KE, Kemshaw, MR e Zornes, DA 2016. Definindo e avaliando a qualidade da pesquisa num contexto transdisciplinar, Avaliação de Pesquisa, Vol. 25, pp: 1–17, https://doi.org/10.1093/reseval/rvv025

103. ARIN. 2020. Métricas de Ciência, Tecnologia e Inovação (STI) – Africa Research & Impact Network (arin-africa.org)

104. McLean R., Ofir Z., Etherington A., Acevedo M. e Feinstein O. 2022. Research Quality Plus (RQ+) – Avaliando a Pesquisa de Forma Diferente. Ottawa, Centro Internacional de Pesquisa para o Desenvolvimento. https://idl-bnc-idrc.dspacedirect.org/bitstream/handle/10625/60945/IDL-60945.pdf?sequence=2&isAllowed=y

105. Academia Internacional de Monitoramento e Avaliação

106. DORA. Painel TARA. https://sfdora.org/tara-landing-page/

107. IARU, Associação Internacional de Universidades de Pesquisa Intensiva; LERU, Liga das Universidades Europeias de Investigação; AAU, Associação Africana de Universidades