Il futuro della valutazione della ricerca: una sintesi dei dibattiti e degli sviluppi attuali

Un sistema di ricerca dinamico e inclusivo è profondamente importante sia per la scienza che per la società per far avanzare la conoscenza e la comprensione fondamentali e per affrontare sfide globali sempre più urgenti. Ma il sistema di ricerca è sotto pressione a causa delle crescenti aspettative di molteplici attori (compresi finanziatori, governi e industria editoriale), delle tensioni tra dinamiche di competizione e cooperazione, di un sistema di comunicazione accademica in evoluzione, di un’industria editoriale e di analisi dei dati aggressiva – a volte – aggressiva. e risorse limitate. L’impresa di ricerca deve gestire queste richieste e tensioni mantenendo la qualità della ricerca, sostenendo l’integrità della ricerca, essendo inclusiva e diversificata e salvaguardando sia la ricerca di base che quella applicata.

Negli ultimi dieci anni, queste pressioni e la necessità di reattività del sistema scientifico sono state accompagnate da riflessioni più critiche sui sistemi di valutazione della ricerca e di misurazione delle prestazioni. Sebbene siano importanti metodologie appropriate e sensibili al contesto per valutare la qualità e l’impatto della ricerca, si sono intensificati i dibattiti sugli effetti ad ampio raggio, complessi e ambigui degli attuali criteri e parametri di valutazione sulla qualità e sulla cultura della ricerca, sulla qualità delle prove che informano il processo decisionale, priorità nella ricerca e nel finanziamento della ricerca, traiettorie di carriera individuali e benessere dei ricercatori. In alcune parti del mondo, si riconosce sempre più che un insieme ristretto e semplicistico di parametri e indicatori di valutazione non cattura in modo soddisfacente la qualità, l’utilità, l’integrità e la diversità della ricerca. I parametri utilizzati di routine – spesso basati su riviste – non riescono a catturare importanti dimensioni aggiuntive della ricerca di alta qualità come quelle che si trovano nel tutoraggio, nella condivisione dei dati, nel coinvolgimento del pubblico, nella formazione della prossima generazione di studiosi e nell’identificazione e nell’offerta di opportunità a gruppi sottorappresentati. Oltre ad avere una portata troppo ristretta, si ritiene che la questione dell’errata applicazione di parametri e indicatori distorca gli incentivi per il successo, svantaggia alcune discipline (compresa la vitale ricerca interdisciplinare e transdisciplinare) e alimenta pratiche di pubblicazione predatorie e non etiche.

Le campagne per frenare l’errata applicazione dei parametri, ampliare i criteri di qualità e trasformare la cultura della ricerca in modo più sistematico attraverso manifesti e dichiarazioni, principi e riforme hanno posto le basi per un dibattito globale sulla necessità di riformare la valutazione della ricerca. Queste voci chiedono ora il passaggio dai manifesti all’azione. Ciò avviene in un contesto di cambiamenti radicali nei modi in cui la ricerca viene intrapresa e comunicata. L’ascesa di strutture di ricerca aperte e dei social media, il passaggio a una scienza orientata alla missione e transdisciplinare, la crescita della revisione tra pari aperta e il potenziale di trasformazione dell’intelligenza artificiale (AI) e dell’apprendimento automatico richiedono una nuova riflessione su come vengono valutati la ricerca e i ricercatori .

In questo contesto, il Global Young Academy (GYA), le Partnership InterAccademia (IAP) e la Consiglio internazionale della scienza (ISC) hanno unito le forze per fare il punto sui dibattiti e sugli sviluppi nella valutazione della ricerca in tutto il mondo, avvalendosi di un gruppo di scienziati e di una serie di consultazioni regionali. Nuovi approcci vengono sviluppati e sperimentati da istituti di istruzione superiore e finanziatori della ricerca in alcune parti del mondo, e molti di essi sono inclusi in questo documento. In altre parti del mondo questi dibattiti e azioni sono nascenti o addirittura assenti. Poiché i sistemi di ricerca si evolvono a ritmi diversi, esiste il rischio di divergenza e frammentazione. Tale divergenza può compromettere l’omogeneità necessaria per consentire la collaborazione nella ricerca e facilitare la mobilità dei ricercatori tra diverse aree geografiche, settori e discipline. Tuttavia, non esiste una soluzione unica adatta a tutti ed è necessario un impegno sensibile al contesto per riformare la valutazione, riconoscendo le sfide locali.

Con un focus sulla ricerca nel settore pubblico e sulla valutazione della ricerca e dei ricercatori, questo documento di discussione ha una prospettiva globale e copre un’agenda tipicamente dominata dagli sviluppi in Europa e Nord America: prospettive regionali ed esempi di sviluppo nazionale e riforma istituzionale sono evidenziato. L’appartenenza globale e collettiva a GYA, IAP e ISC rappresenta un ampio spaccato dell’ecosistema di ricerca i cui diversi mandati possono facilitare un autentico cambiamento sistemico. Questo documento tenta di servire da stimolo per GYA, IAP e ISC – come piattaforme per l’apprendimento reciproco, la sperimentazione e l’innovazione – per lavorare con i loro membri, altre istituzioni scientifiche e collegi elettorali chiave in tutto il mondo, per avviare e far progredire conversazioni e mobilitare gruppi più inclusivi e azione congiunta.

Le raccomandazioni per GYA, IAP e ISC e i loro membri (vedere sezione 5) sono strutturate in base al loro ruolo di sostenitori, esempi, innovatori, finanziatori, editori, valutatori e collaboratori, con tempi di azione indicativi. Nell'immediato, queste azioni includono la creazione di spazio per condividere lezioni e risultati delle iniziative rilevanti fino ad oggi (per costruire una comunità di pratica); a medio termine, la convocazione di forum multilaterali con i principali elettori per riprogettare e implementare la valutazione della ricerca in modi praticabili, sensibili al contesto e inclusivi; e, a lungo termine, promuovere nuovi studi che contribuiscano a pensare al futuro, sensibili ai rapidi sviluppi delle tecnologie di intelligenza artificiale, delle metodologie e delle riforme di peer review e dei mezzi di comunicazione.

I Global Young Academy (GYA), Partnership InterAccademia (IAP) e la Consiglio internazionale della scienza (ISC) si sono riuniti nel 2021 per fare il punto sulle sfide, sui dibattiti e sugli sviluppi nella valutazione/valutazione della ricerca in tutto il mondo, attraverso culture e sistemi di ricerca diversi, e per esplorare i modi in cui potrebbero partecipare e influenzare la re-immaginazione della valutazione/valutazione della ricerca per il 21° secolo, in modo aperto e inclusivo.

È stato convocato un gruppo di ricerca internazionale (Appendice A) per esaminare il campo e consigliare le tre organizzazioni su come rafforzare gli sforzi esistenti per riformare la valutazione della ricerca. Al centro di questo lavoro c'era la premessa che (1) un'iniziativa concertata e guidata dai ricercatori avrebbe dato alla comunità di ricerca globale una voce più forte nel plasmare il futuro della valutazione della ricerca e (2) ci sono vantaggi nel "valutare con i valutati"; contribuendo così a tracciare un percorso verso un cambiamento sistemico e duraturo nelle culture e nelle pratiche di valutazione.

A complemento della ricerca documentale, alla fine del 2021 è stata condotta una serie di consultazioni regionali con esperti identificati dal gruppo di valutazione e dai partner. Il documento di discussione è il risultato principale di questo lavoro. È destinato a fungere da prospetto per conversazioni esplorative con più parti interessate, non ultima la stessa comunità di ricerca globale.

Le pratiche di valutazione della ricerca servono molteplici obiettivi e sono condotte da più parti interessate. Vengono utilizzati per valutare le proposte di ricerca per le decisioni di finanziamento, i documenti di ricerca per la pubblicazione, i ricercatori per il reclutamento o la promozione e le prestazioni degli istituti di ricerca e delle università. Questo documento si concentra prevalentemente sulla valutazione dei ricercatori e della ricerca e non copre la valutazione o la classificazione istituzionale, sebbene tutte queste aree di valutazione siano indissolubilmente legate. Le pratiche attuali si basano fortemente su parametri quantitativi e in gran parte basati sulle riviste, come Journal Impact Factor (JIF), numero di pubblicazioni, numero di citazioni, h-index e Article Influence Score (AIS). Altri parametri includono obiettivi di reddito delle sovvenzioni, misure di input (come il finanziamento della ricerca o la dimensione del gruppo di ricerca), numero di brevetti registrati e, più recentemente, parametri dei social media (in precedenza "altmetrics") come condivisioni o download sui social media. Insieme, questi parametri influenzano profondamente la reputazione istituzionale, dei gruppi di ricerca e dei singoli individui, i programmi di ricerca individuali e collaborativi, le traiettorie di carriera e l’allocazione delle risorse.

Negli ultimi due decenni, gli investimenti globali in ricerca e sviluppo (R&S) sono triplicati, raggiungendo circa 2mila miliardi di dollari l’anno. Soltanto negli ultimi anni si è registrata la crescita più rapida della spesa in ricerca e sviluppo dalla metà degli anni ’1980, con un aumento di circa il 19% (UNESCO, 2021) [1]. Questo ulteriore investimento nella ricerca porta con sé una cultura della responsabilità che esercita pressione sugli istituti di ricerca e sui singoli individui e può generare aberrazioni o incentivi perversi in risposta. Ha portato anche ad aspirazioni più grandi: mantenere la qualità e ridurre gli sprechi, gli errori e l'inefficienza della ricerca; massimizzare l’inclusione e la diversità; ottimizzare la ricerca come bene pubblico globale; e promuovere borse di studio più aperte e impegnate. Senza riforme, la qualità, l’integrità, la diversità e l’utilità della ricerca sono a rischio.

I parametri quantitativi possono costituire una parte importante della valutazione della ricerca, nella transizione verso un sistema di ricerca più aperto, responsabile e rivolto al pubblico (La Società Reale, 2012) [2]. Ma sono anche in parte responsabili di alimentare la cultura della ricerca “pubblica o perisci” che esiste in tutto il mondo, con effetti deleteri sulla qualità dei risultati della ricerca, sull’integrità e l’affidabilità dei sistemi di ricerca e sulla diversità delle comunità di ricerca (ad es. Haustein e Larivière, 2014) [3]. Questo perché i parametri vengono utilizzati come indicatori della qualità della ricerca da istituzioni, politici e finanziatori della ricerca, ma sono una misura dei risultati e non della qualità della ricerca o dell’impatto di per sé. In quanto tali, questi attori fanno molto per definire il contesto sociale e culturale in cui avviene la ricerca, e i sistemi di ricompensa e promozione del mondo accademico modellano le scelte degli scienziati in tutte le fasi della loro carriera.MacLeod et al., 2014) [4].

“L’uso di indici bibliometrici… come parametri proxy per le prestazioni dei ricercatori è un indice di valutazione conveniente ma profondamente imperfetto. La maggior parte pone un'attenzione incessante sui risultati individuali, riduce il sostegno alla ricerca attraverso l'interesse di un'università per parametri ad alto impatto, spinge tutti a "spuntare caselle" e conformarsi, mentre gioca un ruolo importante nel distorcere il mercato delle pubblicazioni giornalistiche. C’è urgente bisogno di riforme”.

Opening the Record of Science (2021), Consiglio internazionale della scienza

L’altra comunità di stakeholder che detiene un enorme potere e influenza sulla comunicazione della ricerca e sulla produzione della conoscenza è il settore dell’editoria. I parametri basati sulle riviste sono diventati un potente incentivo a pubblicare su riviste commerciali e possono incentivare comportamenti che possono avere gravi effetti collaterali. Piuttosto che giudicare i risultati della ricerca in base ai suoi meriti scientifici, è la qualità percepita della rivista in cui è pubblicata ad essere abitualmente accettata come prova della qualità scientifica, guidando un mercato editoriale altamente commerciale basato sulla reputazione piuttosto che sulla scienza. I costi dell’accesso aperto sono in gran parte sostenuti attraverso le tariffe di elaborazione degli autori (APC): queste possono essere proibitive, in particolare in alcune parti del mondo, creando barriere alla pubblicazione della ricerca per ricercatori poveri di risorse e rischiando potenzialmente la frattura della comunità scientifica internazionale. Il rischio di diventare sempre più dipendenti dai fornitori commerciali e dalle loro condizioni di utilizzo in tutte le fasi del processo di ricerca costituisce un forte argomento a favore di alternative senza scopo di lucro. Inoltre, poiché gli indicatori bibliometrici hanno fornito la fonte principale di incentivi nelle università, hanno diminuito il valore del lavoro educativo e di altre forme di lavoro scientifico (come l’insegnamento e la consulenza politica). Dato che i sistemi di valutazione della ricerca tendono a favorire coloro che ottengono ingenti finanziamenti e pubblicano su riviste con fattori di impatto elevati, vi sono prove che suggeriscono che i ricercatori che hanno già avuto successo hanno maggiori probabilità di avere successo ancora (l’“effetto Matthew”, Bol et al., 2018) [5].

Quando la pubblicazione accademica diventa un mezzo di valutazione piuttosto che di comunicazione, ciò svantaggia coloro che scelgono di comunicare la propria ricerca in altri modi significativi (Rapporto 2021 dell'ISC) [6]. Ciò include risultati comuni (e probabilmente la valuta principale) della Global Young Academy (GYA), dell'InterAcademy Partnership (IAP) e dell'International Science Council (ISC): rapporti, documenti di lavoro, dichiarazioni congiunte, editoriali di opinione, notizie e webinar . Anche alcune discipline sono svantaggiate: ad esempio, i ricercatori di ingegneria e informatica dove la comunicazione (solitamente più veloce) attraverso le conferenze e i loro atti è importante; e quelli delle scienze umane e sociali che tipicamente utilizzano monografie, libri e riviste professionali.

Altri scelgono di pubblicare su riviste specifiche per la ricerca o locali, o non sono in grado di permettersi di pubblicare la propria ricerca (per quanto di alta qualità) su riviste ad accesso aperto con fattori di impatto elevati (e concomitanti APC elevati); quest'ultimo svantaggiando coloro che vivono nei paesi a basso reddito, in particolare i ricercatori all'inizio della carriera (ECR). Questi stessi ricercatori sono sottoposti a forti pressioni per ottenere posti accademici di ruolo e il loro comportamento è fortemente condizionato dai criteri quantitativi utilizzati dalle agenzie di finanziamento della ricerca e dai comitati istituzionali di assunzione e promozione. La tentazione di pensare per indicatori (Muller e de Rijcke, 2017) [7], e persino "giocare" al sistema, è una realtà per tutti i ricercatori in tutto il mondo (ad es Ansede, 2023) [8].

Le manifestazioni di questo gioco includono ricercatori (consapevolmente o inavvertitamente) che utilizzano riviste e conferenze predatorie per aumentare il numero delle loro pubblicazioni (IAP, 2022 [9]; Elliott et al., 2022 [10]), indulgere nell'autocitazione e nella falsificazione delle peer review, del plagio, dell'inflazione dei fattori di impatto e del "salami-slicing" (suddivisione di un ampio studio che avrebbe potuto essere riportato in un singolo articolo di ricerca in articoli pubblicati più piccoli) (Collier, 2019) [11]. Sotto pressione, i ricercatori possono essere tentati di ricorrere a servizi predatori con l'unico scopo di ottenere il loro dottorato di ricerca, essere assunti o promossi, o farsi finanziare i loro progetti di ricerca (ad es. Abad-Garcia, 2018 [12]; Omobowale et al., 2014) [13]. Il mondo accademico e i sistemi di pubblicazione accademica basati sulle metriche promuovono incentivi insidiosi: il luogo in cui un ricercatore pubblica è più importante di ciò che pubblica.

L’impatto sulla qualità e sull’integrità della ricerca è estremamente preoccupante. Il numero di articoli accademici ritirati è aumentato notevolmente negli ultimi anni, a causa di cattiva condotta nella ricerca e nella pubblicazione e di set di dati scadenti o fraudolenti. Le riviste possono impiegare mesi o anni per ritrattare ricerche inaffidabili, momento in cui potrebbero già essere state citate numerose volte ed essere di dominio pubblico (Ordway, 2021) [14].

La predominanza della valutazione della ricerca basata su parametri è inequivocabile e si registrano tendenze divergenti a livello globale per quanto riguarda la riforma della valutazione, che rischia di lasciare indietro parti della comunità di ricerca. Nella sua analisi del panorama globale della valutazione della ricerca (Curry et al., 2020 [15]; presentato), sembra che molti istituti di ricerca e finanziamento nei paesi/regioni a reddito più elevato stiano iniziando a includere una serie più ampia di indicatori, come le misure qualitative di “impatto”, mentre la bibliometria rimane predominante nelle istituzioni del “Sud del mondo” [16 ], in tutte le discipline. Senza un’azione più inclusiva, si rischia di creare una divergenza tra i sistemi di valutazione nazionali, introducendo potenzialmente ulteriori pregiudizi sistemici e potenziali incompatibilità nei sistemi di ricerca, valutazione, finanziamento e pubblicazione. Ciò, a sua volta, potrebbe inibire la collaborazione internazionale nella ricerca e la mobilità dei ricercatori. Creando barriere alla collaborazione nord-sud, ciò potrebbe anche inibire il concomitante rafforzamento degli ecosistemi di ricerca nel Sud del mondo: una solida valutazione della ricerca rafforza gli ecosistemi di ricerca e la fiducia in essi, riduce la probabilità di fuga di cervelli e aiuta a creare un forte capitale umano per un’economia sostenibile. sviluppo. Tuttavia, versioni valide per tutti di ciò che costituisce una buona performance generano forme di comportamento non necessariamente favorevoli all’eccellenza, all’equità, alla trasparenza e all’inclusione. Misurare i risultati degli studiosi che hanno prosperato in ambienti favorevoli e dotati di risorse adeguate, dove le opportunità abbondano, allo stesso modo di coloro che hanno combattuto sfide e superato ostacoli in ambienti ostili e privi di sostegno è nella migliore delle ipotesi discutibile (GYA, 2022) [17]. Molti studiosi avvertono un’esclusione storica e geografica dalla comunità di ricerca, alimentata in gran parte dal modo in cui vengono valutati nel corso della loro carriera. Escludendo alcune forme di ricerca e non riuscendo a sfruttare una diversità di idee a livello globale, c’è il rischio che le attuali pratiche di valutazione della ricerca promuovano una cultura mainstream/seguace dei modelli dominanti concepiti in Occidente.

I ricercatori nei paesi a basso reddito e nelle fasi iniziali della loro carriera hanno bisogno di voce in capitolo per poter contribuire a modellare nuovi modelli di valutazione in modi sensibili al contesto, adatti allo scopo e che tengano conto delle sfide che devono affrontare quotidianamente. giorno. La GYA e il crescente numero di giovani accademie nazionali danno agli ECR questa voce, e il Gruppo di lavoro di GYA sull'eccellenza scientifica [18] offre il suo punto di vista sulla riforma della valutazione della ricerca (vedi testo sotto).

Opinioni della comunità dei ricercatori all’inizio della carriera

I ricercatori all’inizio della carriera (ECR) sono particolarmente preoccupati per le pratiche di valutazione della ricerca perché le loro prospettive di carriera e il perseguimento del loro programma di ricerca dipendono in modo cruciale da come vengono valutati. Ciò informa le pratiche di finanziamento, assunzione e promozione in modi che non sono sempre percepiti come giusti ed equi.

Sebbene sia ovvio che le decisioni relative ai finanziamenti e alle risorse umane influiscono sulla composizione della forza lavoro dei ricercatori, non sempre si riconosce che, attraverso il suo impatto sui finanziamenti, la valutazione della ricerca incentiva le istituzioni e i ricercatori a perseguire una determinata traiettoria di ricerca, a lavorare in un determinato campo o aderire ad alcune reti piuttosto che ad altre. In questo modo, la valutazione della ricerca modella lo sviluppo della scienza stessa, e ciò è particolarmente vero in relazione al suo impatto sproporzionato sulle prospettive e sulle aspettative degli ECR.

Sebbene la scienza sia un’impresa globale, alcuni studiosi devono affrontare barriere più elevate per entrare e impegnarsi nella comunità di ricerca a causa del luogo in cui sono nati, della loro identità o del background socioeconomico. Si tratta di una questione di organizzazione dell'industria scientifica e non di valutazione della ricerca in sé, ma molti ECR ritengono che i criteri di valutazione non dovrebbero essere ciechi rispetto a questa realtà dell'esperienza dei ricercatori e non dovrebbero imporre criteri uniformi e standardizzati a situazioni diverse.

La ricerca condotta dal gruppo di lavoro sull'eccellenza scientifica del GYA (di prossima pubblicazione) mostra che la valutazione della ricerca potrebbe essere guidata più dalla politica di ricerca di un paese che da dibattiti culturali o scientifici. Concentrandosi sui criteri di promozione a professore ordinario (o equivalente) nel mondo accademico, il rapporto mostra che le politiche e le istituzioni nazionali tendono ad avere documenti specifici che stabiliscono i loro criteri per la valutazione della ricerca. Piuttosto che comprendere un insieme ampio e variegato di criteri che potrebbero essere utilizzati per formare una visione completa di un ricercatore, questi documenti tendono a concentrarsi su un’unica dimensione o priorità. Ad esempio, alcuni documenti si concentrano sulla valutazione delle attività di servizio di un ricercatore (come insegnamento e tutoraggio) o altri sulla produzione accumulata di un ricercatore (ad esempio, in termini di numero di articoli di giornale) – ma raramente entrambi.

Ci sono due implicazioni principali di questa scoperta. Innanzitutto, la valutazione della ricerca è gerarchica e top-down. Ciò crea un rischio, in quanto sia i parametri che i metodi qualitativi spesso ignorano la diversità dei ricercatori: sia nel loro background che nei percorsi di carriera, e – cosa altrettanto importante – diversità nei loro metodi e idee. Al contrario, gli ECR rappresentati nel GYA ritengono che sarebbe importante riconoscere la diversità delle attività necessarie per l’impresa di ricerca e ideare schemi di valutazione della ricerca che promuovano la diversità e il pluralismo piuttosto che imporre conformità e omologazione.

In secondo luogo, le differenze tra le discipline sono meno significative delle differenze legate allo status economico dei paesi in cui lavora un ricercatore. I paesi a basso reddito sembrano fare affidamento su parametri quantitativi e premiare la “produttività”, mentre i paesi a reddito più alto sono sempre più aperti alla valutazione qualitativa dell’impatto. Se questa divergenza dovesse svilupparsi ulteriormente, potrebbe costituire un ulteriore ostacolo alla mobilità internazionale degli studiosi, cosa particolarmente importante per gli ECR.

In conclusione, il rapporto GYA sottolinea che non esiste una soluzione miracolosa: la valutazione della ricerca dovrebbe essere orientata verso gli obiettivi della valutazione e, in ultima analisi, verso gli obiettivi di un'istituzione o della politica di ricerca di un paese. La valutazione dovrebbe tenere conto della diversità dei profili e delle carriere dei ricercatori e adottare un focus diverso a seconda dello scopo della valutazione. Essendo la scienza una conversazione globale e autocritica, una valutazione esterna potrebbe non essere sempre necessaria. In effetti, l’uso e il valore reale di classifiche invidiose (di persone, istituzioni, organi di stampa o addirittura interi paesi) sono spesso dibattuti.

Le sfide globali di oggi, molte delle quali sono articolate negli Obiettivi di sviluppo sostenibile (SDG) delle Nazioni Unite (ONU), richiedono una ricerca trasformativa, interdisciplinare e transdisciplinare, che a sua volta richiede nuove modalità di fornitura della ricerca e di cooperazione.CSI, 2021) [19]. L’urgenza di una ricerca inclusiva, partecipativa, trasformativa e transdisciplinare non corrisponde al modo in cui la ricerca viene sostenuta, valutata e finanziata: affinché la ricerca possa mantenere la sua promessa alla società, ha bisogno di sistemi di valutazione più aperti, inclusivi e sensibili al contesto (Glückmann, 2022) [20]. Il comportamento radicato di accademici, finanziatori ed editori può rendere difficile il cambiamento, in modo che gli investimenti possano potenzialmente essere indirizzati lontano dalle aree di maggior bisogno.

La crescita della ricerca interdisciplinare e transdisciplinare e della scienza partecipativa o dei cittadini rappresentano sviluppi importanti e vitali per affrontare le sfide globali. Poiché la ricerca oltrepassa i confini disciplinari e istituzionali e coinvolge un insieme più ampio di portatori di interessi – inclusa la comunità degli utenti nella co-progettazione di questioni di ricerca urgenti per la società – i tradizionali criteri di valutazione della ricerca accademica sono insufficienti e possono persino limitare lo sviluppo e l’uso della ricerca transdisciplinare.Belcher et al., 2021) [21]. Sono necessari principi e criteri più appropriati per guidare la pratica e la valutazione della ricerca transdisciplinare: un primo esempio di quadro di valutazione della qualità è costruito attorno a principi di pertinenza, credibilità, legittimità e utilità (Belcher et al., 2016) [22].

Le modalità con cui la ricerca viene commissionata, finanziata, condotta e comunicata stanno evolvendo rapidamente e richiedono un’accelerazione della riforma della valutazione della ricerca. Includono quanto segue:

(1) La transizione alla scienza aperta

Il movimento della scienza aperta richiede una riforma concomitante dei sistemi di valutazione della ricerca per migliorare l’apertura e la trasparenza. Molti dei parametri e degli indicatori utilizzati per misurare le prestazioni della ricerca sono essi stessi opachi e spesso calcolati a porte chiuse. Questa mancanza di trasparenza compromette l’autonomia della comunità di ricerca – limita le opzioni per valutare, testare, verificare e migliorare gli indicatori di ricerca (Wilsdon et al., 2015 [23]). La valutazione responsabile della ricerca sta diventando un aspetto fondamentale del movimento globale verso la scienza aperta, come testimoniato, ad esempio, dalla Raccomandazione sulla scienza aperta dell’Organizzazione delle Nazioni Unite per l’educazione, la scienza e la cultura (UNESCO) (UNESCO, 2021 [24]) – che comprende lo sviluppo di un kit di strumenti per la scienza aperta per i suoi membri per aiutarli a rivedere e riformare le valutazioni e i criteri di valutazione della loro carriera di ricercatore [25].

(2) Sviluppi nella revisione tra pari

La crescita della revisione tra pari aperta – sia pubblicando rapporti di revisione tra pari che/o identificando pubblicamente i revisori – è uno sviluppo importante per la valutazione della ricerca (Barroga, 2020 [26]; Woods et al., 2022 [27]). La crescita dell'infrastruttura dei dati ha consentito agli editori di generare identificatori di oggetti digitali (DOI) per i rapporti di revisione tra pari, collegare i rapporti di revisione tra pari ai singoli ID Open Researcher e Contributor (ORCID) e pubblicare articoli come preprint. Il numero di preprint è cresciuto in modo significativo durante la pandemia globale di COVID e ha messo in luce le sfide poste nella valutazione della ricerca in modalità di risposta rapida. Tuttavia, pratiche aperte di revisione tra pari – sia prima che dopo la pubblicazione – possono aiutare a interrompere il controllo che gli editori commerciali hanno sulla comunicazione della ricerca e sui processi di produzione della conoscenza, riducendo il potere della rivista scientifica e i parametri associati come i JIF. I registri aperti delle attività di revisione tra pari possono anche fornire un’infrastruttura per documentare – e col tempo generare maggiore valore – nelle attività di revisione tra pari, che sono un servizio professionale vitale spesso in gran parte invisibile e sottovalutato nell’ambito delle valutazioni accademiche (Kaltenbrunner et al., 2022 [28]).

(3) L'applicazione dell'intelligenza artificiale e dell'apprendimento automatico

È probabile che i progressi tecnologici nell'intelligenza artificiale (AI) e nell'apprendimento automatico abbiano profonde conseguenze sulla valutazione della ricerca, compresi i processi di revisione tra pari che la supportano (ad es. Holm et al., 2022 [29]; Proctor et al., 2020 [30]). L’intelligenza artificiale viene già utilizzata per semplificare e rafforzare la revisione tra pari (Natura, 2015 [31]; Natura, 2022 [32]), testare la qualità della peer review (Severin et al., 2022 [33]), testare la qualità delle citazioni (Gadd, 2020 [34]), individuare il plagio (Foltýnek et al., 2020 [35]), catturare i ricercatori che manipolano i dati (Quach, 2022 [36]) e trovare revisori tra pari, che scarseggiano sempre più perché questo lavoro non ottiene il credito che merita nella valutazione dei ricercatori. L'"intelligenza artificiale conversazionale", come ChatGPT (Chat Generative Pre-Trained Transformer), ha la capacità di progettare esperimenti, scrivere e completare manoscritti, condurre revisioni tra pari e supportare le decisioni editoriali per accettare o rifiutare manoscritti (Natura, 2023 [37]). Esiste anche il potenziale per l’intelligenza artificiale di migliorare l’efficienza della revisione tra pari utilizzando algoritmi per alleggerire il peso dei revisori tra pari come arbitri dei risultati della ricerca.Natura, 2022 ). L’uso dell’intelligenza artificiale è già in fase di sperimentazione in Cina per trovare arbitri (Natura, 2019 [39]).

Tutte queste applicazioni di intelligenza artificiale possono ridurre questo onere e consentire agli esperti esperti di concentrare il proprio giudizio sulla qualità della ricerca e su valutazioni più complesse (Thelwall, 2022 [40]). Ma rischiano anche di diffondere pregiudizi perché sono tecnologie predittive che rafforzano i dati esistenti che potrebbero essere distorti (ad esempio per genere, nazionalità, etnia o età): infatti, l’uso stesso dell’intelligenza artificiale potrebbe trarre vantaggio da una comprensione più profonda di ciò che costituisce “qualità” ' ricerca (Chomsky et al., 2023 [41]; ISI, 2022 [42]).

È fondamentale, tuttavia, che tutte le forme di intelligenza artificiale e di apprendimento automatico siano soggette ad abusi (Blauth et al., 2022 [43]; Benigio, 2019 [44]). Le comunità accademiche e di ricerca dovranno sviluppare preparazione e resilienza in questo contesto, collaborando con il governo, l’industria e la leadership della società civile che governano questo spazio.

(4) L’ascesa dei social media

Le misure quantitative convenzionali dell’impatto della ricerca non riescono a tenere conto dell’aumento del coinvolgimento dei social media e dei ricercatori/accademici socialmente in rete (Jordan, 2022 [45]). Molti accademici utilizzano piattaforme di social media per coinvolgere comunità, politici e pubblico durante tutta la durata del loro progetto di ricerca; impegnarsi positivamente, testare e informare la propria ricerca e apportare una varietà di idee e input, piuttosto che pubblicare semplicemente il risultato finale come un fatto compiuto per un pubblico destinatario. Questo impegno non viene colto dalle forme convenzionali di valutazione della ricerca, ma può portare a maggiori opportunità di influenza e di sensibilizzazione. Le metriche dei social media ("altmetrics") vengono sviluppate come contributo alle metriche responsabili (Wouters et al., 2019 [4]) e includere ad esempio menzioni su Twitter o Facebook e il numero di follower su ResearchGate. Da un lato, queste altmetriche possono aiutare ad aprirsi, creare spazio e ampliare la valutazione (Rafols e Stirling, 2021 [47]) ma d’altro canto – come altri indicatori – possono anche essere utilizzati in modo irresponsabile e/o essere visti come un’imposizione di un altro livello di parametri nei sistemi di valutazione.

Le sfide alla riforma della valutazione della ricerca sono molteplici. Se ne illustrano qui alcuni tra i più significativi.

Qualsiasi riforma che includa misure più qualitative deve – allo stesso tempo – salvaguardare la qualità della ricerca di base e applicata. Esistono prove aneddotiche che alcuni scienziati potrebbero essi stessi opporsi alla riforma, forse soprattutto ricercatori di carriera avanzata che hanno prosperato nel sistema attuale, perché temono che rischi di alimentare una ricerca mediocre, o che forme di valutazione più qualitative possano favorire la ricerca applicata rispetto a quella di base. La riforma dei criteri di valutazione della ricerca tende a inquadrarsi in movimenti verso una ricerca orientata alla missione e con un impatto sociale che faccia appello al sostegno pubblico e politico in un modo che la ricerca di base o i cieli blu meno tangibili potrebbero non fare. Alcuni sostengono che per sostenere l’innovazione sia necessaria un’interpretazione più sfumata del “valore” della ricerca, poiché il futuro richiede investimenti continui nella ricerca fondamentale, guidata dalla curiosità, e un più ampio apprezzamento del ruolo cruciale che svolge nella capacità di rispondere alle sfide globali (GYA, 2022 [48]).

La mancanza di coerenza nel significato e nell’uso della terminologia della ricerca, più in generale, costituisce un ostacolo al cambiamento. Il quadro concettuale per la valutazione della ricerca non è cambiato sostanzialmente nel tempo, né lo è il linguaggio che lo sostiene: il sistema di ricerca è ancora bloccato nelle vecchie dicotomie come scienza “di base” e scienza “applicata”, e in termini come “impatto”, “qualità” (inutile equiparato alla produttività) e l'"eccellenza" non sono chiaramente definite in modo da evitare pregiudizi geografici, disciplinari, di fase di carriera e di genere (Jong et al., 2021 [49]): ciò può essere particolarmente acuto nei comitati decisionali privi di diversità (Hatch e Curry, 2020 )[50].

Come la valutazione basata su parametri, anche le forme di valutazione più qualitative sono imperfette. Sostenere che i processi di peer review e il giudizio degli esperti siano importanti almeno quanto la bibliometria non è semplice. Possono essere distorti a causa della mancanza di chiarezza e trasparenza nel processo di revisione tra pari. I comitati di revisione tra pari, ad esempio, sono stati criticati in quanto meccanismi che preservano forme consolidate di potere e privilegio consentendo alle “reti di vecchi ragazzi” e all’omofilia (valutatori che cercano persone come loro) di persistere, pur essendo vulnerabili alle dinamiche del pensiero di gruppo. I parametri quantitativi, per quanto imperfetti, sono visti in alcune parti del mondo come una difesa contro il nepotismo e i pregiudizi. Argomenti simili possono essere applicati alla peer review di documenti di ricerca, con l’uso di una valutazione più qualitativa che apre potenzialmente la porta ad altre forme di comportamento discriminatorio.

La mancanza di riconoscimento professionale e di formazione per la revisione tra pari in qualsiasi forma crea disincentivi a svolgere il ruolo di revisore tra pari, riducendo così la capacità. Inoltre, poiché la domanda supera l’offerta, si possono creare incentivi per prendere scorciatoie e ridurre il rigore. Sono necessari una maggiore trasparenza della revisione tra pari (sia completamente aperta, anonima o ibrida) e la formazione, la promozione e la ricompensa delle buone pratiche di revisione tra pari; così come l'ulteriore ricerca sui modelli per la sua evoluzione man mano che i risultati della ricerca si diversificano (IAP, 2022 [51]) e le tecnologie di intelligenza artificiale avanzano.

I dibattiti sulla riforma della valutazione della ricerca sono complessi e non binari. Informazioni qualitative e quantitative sono state spesso combinate in contesti di peer review: affermazioni come il Manifesto di Leiden per le metriche di ricerca (Hicks et al., 2015 [52]) richiedono una "revisione tra pari informata" in cui il giudizio degli esperti è supportato – ma non guidato da – indicatori quantitativi opportunamente selezionati e interpretati e da informazioni qualitative. Il dibattito sulla valutazione della ricerca non è una scelta binaria di strumenti di valutazione “qualitativa/quantitativa”, ma come garantire la migliore combinazione di molteplici forme di informazione.

Infine, qualsiasi riforma deve anche essere conveniente e praticabile. Il sistema di ricerca sta già mostrando segni di collasso, poiché il volume delle pubblicazioni aumenta in modo esponenziale e l’onere della revisione cade in modo disomogeneo all’interno dell’impresa di ricerca (ad es. Publon, 2018 [53]; Kovanis et al., 2016 [54]; Natura, 2023 [55]). I parametri basati sulle riviste e l’h-index, insieme alle nozioni qualitative di prestigio dell’editore e reputazione istituzionale, possono fornire comode scorciatoie per valutatori impegnati e presentare ostacoli al cambiamento che sono diventati profondamente radicati nella valutazione accademica.Hatch e Curry, 2020 [56]). In alcuni paesi i parametri quantitativi sono considerati in grado di fornire percorsi relativamente chiari e inequivocabili per la nomina e la promozione. Nel “Sud del mondo”, i fattori di impatto medi vengono abitualmente utilizzati per selezionare i candidati, e qualsiasi alternativa deve essere ugualmente implementabile e in grado di attingere alle risorse aggiuntive inevitabilmente necessarie per ampliare l’ambito della valutazione. La comodità di utilizzare semplici parametri quantitativi nella valutazione della ricerca costituirà probabilmente un grosso ostacolo al cambiamento, e l’introduzione di nuovi sistemi di valutazione potrebbe persino creare una maggiore disuguaglianza globale a causa della mancanza di capacità o competenza in alcuni paesi.

Negli ultimi dieci anni sono stati emanati una serie di manifesti e principi di alto profilo sulla valutazione della ricerca per affrontare queste sfide, tra cui il Manifesto di Leiden (sviluppato da un gruppo di esperti internazionali), i Principi di Hong Kong (Moher et al., 2020 [57]) (sviluppato in occasione della 6a Conferenza mondiale sull'integrità della ricerca nel 2019) e La marea metrica [58] e Sfruttare la marea metrica [59] relazioni (sviluppate nel contesto di una revisione del quadro di ricerca e valutazione del Regno Unito, REF). Esistono almeno 15 sforzi distinti che sollecitano le principali parti interessate – siano essi politici, finanziatori o capi di istituti di istruzione superiore (IIS) – a ridurre al minimo il potenziale danno degli attuali sistemi di valutazione. Tutte queste iniziative hanno raggiunto un vasto pubblico e sono progressiste nel concentrarsi su parametri responsabili come prerequisito per migliorare la cultura della ricerca e portare uguaglianza, diversità, inclusione e appartenenza nella comunità di ricerca. Ma c’è una crescente preoccupazione da parte di alcuni architetti di queste iniziative che, sebbene utili, sminuiscono l’azione pratica tangibile: l’atto di essere un firmatario è efficace solo se seguito da un’attuazione pratica (Natura, 2022 [60]).

Vi è un crescente sostegno alla “valutazione o valutazione della ricerca responsabile” e alla “metrica responsabile” (DORA, 2012 [61]; Hicks et al. 2015 [62]; Wilsdon et al., 2015) che si spostano da parametri puramente quantitativi a una più ampia varietà di misure per consentire ai ricercatori di descrivere l'impatto economico, sociale, culturale, ambientale e politico della loro ricerca; per tenere conto delle questioni importanti per la comunità di ricerca: "dati for good" o "indicatori basati sul valore" che affrontano attributi più ampi (Curry et al., 2022 [63]). Negli ultimi anni, alcuni istituti di istruzione superiore e finanziatori della ricerca in regioni e paesi di tutto il mondo hanno sviluppato e sperimentato approcci innovativi e progressisti alla valutazione responsabile della ricerca. Alcuni sono evidenziati qui.

Tra le iniziative globali sopra menzionate, San Francisco 2013 'Dichiarazione sulla valutazione della ricerca' [64] (DORA) è forse l'iniziativa globale più attiva. Ha catalogato i problemi causati dall'utilizzo di indicatori basati su riviste scientifiche per valutare le prestazioni dei singoli ricercatori e fornisce 18 raccomandazioni per migliorare tale valutazione. DORA scoraggia categoricamente l'uso di parametri basati sulle riviste per valutare il contributo di un ricercatore o quando si cerca di assumere, promuovere o finanziare. A metà aprile 2023, la dichiarazione è stata firmata da 23,059 firmatari (istituzioni e individui) in 160 paesi, impegnandosi a riformare. Con l'obiettivo di affrontare le sfide intrinseche e i pregiudizi innati della valutazione qualitativa, DORA si sta sviluppando Strumenti per promuovere la valutazione della ricerca (TARA) [65] per aiutare a mettere in pratica la dichiarazione: questi strumenti includono un dashboard per indicizzare e classificare le politiche e le pratiche innovative nella valutazione della carriera e un kit di risorse per aiutare la composizione dei comitati de-bias e per riconoscere diverse forme qualitative di impatto della ricerca.

Inoltre, DORA sta finanziando dieci progetti – in Argentina, Australia, Brasile, Colombia (2), India, Giappone, Paesi Bassi, Uganda e Venezuela – per testare diversi modi di promuovere la riforma nella valutazione della ricerca nei loro contesti locali, così come compilare esempi di buone pratiche: ad esempio, sensibilizzazione, sviluppo di nuove politiche o pratiche, formazione e orientamento pratico per i candidati al lavoro (DORA [66]). La richiesta di sovvenzioni di questo tipo è stata elevata – oltre 55 candidati provenienti da 29 paesi – indicando un crescente riconoscimento della necessità di riforme.

Anche le associazioni professionali di gestione della ricerca come la Rete internazionale delle società di gestione della ricerca (INORMS) hanno sviluppato attivamente risorse per guidare il cambiamento organizzativo, compreso il SCOPE Gruppo di valutazione della ricerca quadro | INORMS – Il quadro INORMS SCOPE per la valutazione della ricerca [67] che parte dal definire cosa viene valutato, chi viene valutato e perché (un utile poster esplicativo qui [68]).

Il settore dello sviluppo internazionale ha offerto nuove prospettive sulla valutazione della ricerca, un ottimo esempio è quello Qualità della ricerca Plus | IDRC – Centro internazionale di ricerca sullo sviluppo [69], che misura ciò che conta per le persone che ricevono la ricerca. Lo strumento Research Quality Plus (RQ+) riconosce che il merito scientifico è necessario ma non sufficiente, riconoscendo il ruolo cruciale della comunità di utenti nel determinare se la ricerca è rilevante e legittima. Riconosce inoltre che l'aggiornamento e l'influenza sulla ricerca iniziano durante il processo di ricerca. Le domande di ricerca sono spesso valutate da gruppi altamente interdisciplinari, che comprendono anche esperti di sviluppo esterni al mondo accademico (ad esempio un dipartimento governativo o un'organizzazione non governativa (ONG)), professionisti e rappresentanti nazionali: ciò rafforza l'importanza della comunità di utenti/esperti non in materia bisogno di comprendere la ricerca e come può essere applicata nella pratica. La ricerca in contesti complessi, a basso reddito o fragili può essere accompagnata da un kit di strumenti o un quadro etico, progettato per informare e supportare le scelte etiche nel ciclo di vita della ricerca, dall'inizio alla diffusione e all'impatto, ad es. Reid et al., 2019 [70]. Gli approcci della "teoria del cambiamento" sono ampiamente utilizzati nella ricerca sullo sviluppo internazionale da parte di donatori, ONG e agenzie multilaterali, dove i richiedenti devono articolare percorsi verso l'impatto, supportati da quadri di monitoraggio, valutazione e apprendimento, ad es. Valters, 2014 [71]. La comunità di ricerca accademica può potenzialmente imparare dalla comunità di sviluppo.

Riconoscendo il ruolo dei finanziatori nel definire le strategie degli istituti di istruzione superiore, il Valutazione della ricerca responsabile del Global Research Council (GRC). (RRA) [72] ha incentivato i principali finanziatori della ricerca in tutto il mondo a lavorare per raggiungere le ambizioni della RRA nei rispettivi contesti regionali e nazionali e a sviluppare quadri di valutazione efficaci per valutare l'impatto (video esplicativo qui [73]). Commissionare un documento di lavoro sulla RRA (Curry et al., 2020 [74]), il GRC ha invitato i suoi membri a incorporare i principi RRA e ad intraprendere azioni concrete per soddisfarli, e ad imparare gli uni dagli altri attraverso la collaborazione e la condivisione di buone pratiche. UN gruppo di lavoro internazionale [75] fornisce guida e supporto ai membri del GRC, aiutandoli a passare dal movimento all'azione.

In gran parte grazie agli sforzi del GYA, anche gli ECR stanno iniziando a mobilitarsi attorno a questo programma. Suo Gruppo di lavoro sull'eccellenza scientifica [76] sta lavorando per individuare ambienti di ricerca che favoriscano "la liberazione della curiosità e della creatività nella scienza e la promozione dello sviluppo del potenziale umano attraverso la diversità e l'inclusione". Il loro lavoro richiede che la comunità ECR metta in discussione le definizioni di "eccellenza" utilizzate dalle loro organizzazioni, sia coinvolta in iniziative per riformare la valutazione della ricerca e aderisca al movimento delle Young Academies. Invita inoltre gli organismi finanziatori e assumenti a coinvolgere gli ECR nei dibattiti sulla valutazione della ricerca e a riconoscere una più ampia diversità di contributi e carriere nella ricerca.

Sebbene alcune università e altri istituti di istruzione superiore siano firmatari di DORA e/o aderiscano al movimento europeo (descritto di seguito), non sembrano organizzarsi collettivamente attorno alla valutazione della ricerca come fanno altri gruppi chiave.

I problemi creati da sistemi di valutazione che sono quasi esclusivamente quantitativi sono in gran parte visti e diagnosticati da una prospettiva del “Nord globale”, con il “Sud globale” che rischia di recuperare terreno. A rischio di un’eccessiva generalizzazione, ci sono importanti problemi sistemici nel “Nord del mondo” legati alla mancanza di diversità, equità e inclusione, che sono esacerbati dai sistemi di valutazione. Nel “Sud del mondo”, mancano una definizione locale e regionale di ciò che costituisce “qualità” e “impatto”, sistemi di valutazione molto diversi (anche tra dipartimenti della stessa università) e relativamente poche sfide alla sfida. lo status quo. In tutto il mondo, i problemi derivano dall’enfasi eccessiva sugli indicatori quantitativi, dal legame tra valutazione e allocazione delle risorse, dal sistema di finanziamento altamente competitivo e dalla pressione per pubblicare, e dal disprezzo per altre dimensioni meno quantificabili della ricerca e della vita accademica.

La letteratura sottoposta a revisione paritaria sugli studi comparativi sulla riforma della valutazione della ricerca è scarsa. Una rara eccezione è un confronto tra gli interventi di valutazione della ricerca in sei diverse aree geografiche (Australia, Canada, Germania, Hong Kong, Nuova Zelanda e Regno Unito), che osserva che la performance indicizzata di tutti e sei sembra migliorare dopo più tipi di intervento (almeno utilizzando indicatori bibliometrici convenzionali) (ISI, 2022 [77]). DORA fornisce casi di studio (in gran parte istituzionali) sulla sua pagina web (DORA [78]) e in una relazione (DORA, 2021 [79]) volti a ispirare gli altri ad agire, ma si tratta prevalentemente di esempi europei.

Qui, gli autori forniscono panoramiche regionali ed esempi nazionali di sperimentazione e riforma per ulteriori approfondimenti – questi non intendono essere completi o esaustivi.

I Coalizione UE per la riforma della valutazione della ricerca [80], o CoARA, approvata nel luglio 2022, è la più grande iniziativa di riforma della valutazione della ricerca al mondo. Dopo quattro anni di lavoro e sviluppato da 350 organizzazioni in 40 paesi (in gran parte europei), l'Associazione universitaria europea e Science Europe (una rete di finanziatori e accademie scientifiche del continente), di concerto con la Commissione europea, hanno sviluppato un accordo o fissato di principi (un 'percorso di riforma'), per una valutazione della ricerca più inclusiva e responsabile (CoARA, 2022 [81]). L'accordo si concentra su tre livelli di valutazione: le istituzioni, i singoli ricercatori e la ricerca stessa. Sebbene governata da partner europei, la coalizione ha l’ambizione di diventare globale e sia DORA che GYA sono già firmatari. I firmatari si impegnano a impegnare risorse per migliorare la valutazione della ricerca, sviluppare nuovi criteri e strumenti per la valutazione, nonché sensibilizzare e fornire formazione sulla valutazione della ricerca (ad esempio ai revisori tra pari). Questo sviluppo è stato descritto come "il segno più promettente di un vero cambiamento" (Natura, 2022 [82]).

L’UE sta inoltre finanziando alcune nuove interessanti iniziative progettate per sostenere la riforma della valutazione della ricerca: in particolare, Open and Universal Science (OPUS [83]) - per sviluppare una "serie completa" di indicatori per molteplici processi e risultati della ricerca, e quindi incentivare i ricercatori europei a praticare la scienza aperta - e lo spazio dati di valutazione della scienza aperta GraspOS [84] – costruire uno spazio dati aperto per sostenere la riforma politica per la valutazione della ricerca.

Il Consiglio europeo della ricerca (CER), che sostiene la ricerca di frontiera in tutti i campi (con un budget di 16 miliardi di euro per il periodo 2021-2027), ha firmato CoARA e ha modificato i suoi moduli e processi di valutazione per incorporare più descrizioni narrative, inclusa la contabilizzazione di meno percorsi di carriera convenzionali e "contributi eccezionali" alla comunità di ricerca. Le proposte saranno giudicate più in base al loro merito che in base ai risultati ottenuti in passato dal richiedente e continueranno a essere valutate da gruppi di revisione paritaria composti da eminenti studiosi utilizzando l'unico criterio di eccellenza scientifica (CER, 2022 [85]).

Coinvolte anche alcune accademie europee. Il Consiglio di ALLEA [86], la Federazione europea delle accademie delle scienze e degli studi umanistici, che rappresenta nove delle oltre 50 accademie nazionali in 40 paesi europei, ha appoggiato il movimento CoARA. ALLEA si è impegnata a istituire una task force dedicata per raccogliere, scambiare e promuovere buone pratiche per l'ammissione di nuovi membri dell'Accademia e per contribuire allo "scambio culturale significativo" della valutazione della ricerca, basato su principi di qualità, integrità, diversità e apertura. Nel suo Dichiarazione di ottobre 2022 , ALLEA invita le accademie membri a fare quanto segue:

1. Riconoscere la diversità dei contributi e delle carriere nella ricerca in conformità con le esigenze e la natura della ricerca; nel caso dei ricercatori dell'Accademia, le procedure di selezione dovrebbero (1) prendere in considerazione l'equilibrio di genere e le sfide uniche dei ricercatori all'inizio della carriera, (2) sostenere la diversità delle culture e delle discipline, (3) valorizzare una varietà di aree di competenza e talenti e (4) promuovere l'interdisciplinarietà e il multilinguismo.

2. Basare la valutazione della ricerca principalmente sulla valutazione qualitativa per la quale la peer review è centrale, supportata da un uso responsabile di indicatori quantitativi; la valutazione dell'eccellenza e dell'impatto del lavoro dei candidati borsisti dovrebbe basarsi su una revisione qualitativa tra pari che soddisfi i principi fondamentali di rigore e trasparenza e prenda in considerazione la natura specifica della disciplina scientifica.

3. Abbandonare l’uso inappropriato di parametri basati su riviste e pubblicazioni nella valutazione della ricerca; in particolare, ciò significa abbandonare l’uso di parametri come Journal Impact Factor (JIF), Article Influence Score (AIS) e h-index come indicatori dominanti di qualità e impatto.

Dichiarazione Allea sulla riforma della valutazione della ricerca nelle accademie europee

Nel loro risposta congiunta [87] all'accordo UE e alla coalizione CoARA, anche la comunità ECR nel GYA ha accolto con favore questo impegno e offre modalità per attuarne i principi. Questi includono pratiche inclusive e riflettono la diversità delle specificità nazionali e delle caratteristiche delle discipline, con ricercatori di tutte le fasi della carriera che ricevono formazione, incentivi e premi, con una formazione obbligatoria sulla scienza aperta per ricercatori, personale e membri dei comitati che è vitale.

Anche le università europee ad alta intensità di ricerca hanno sostenuto la riforma della valutazione della ricerca come percorso per carriere di ricerca “multidimensionali” (Overlaet, B., 2022 [88]). Hanno sviluppato un quadro comune per ispirare e sostenere le università a riconoscere una diversità di contributi nella ricerca, nell’istruzione e nel servizio alla società.

A livello nazionale, diversi paesi stanno sperimentando diversi modelli di valutazione: ad esempio, le agenzie di finanziamento nazionali Belgio, paesi Bassi, Svizzera ed UK utilizzano tutti "CV narrativi". I CV narrativi guardano in modo più olistico ai risultati accademici: contributo alla generazione di conoscenza, allo sviluppo degli individui, alla comunità di ricerca più ampia e alla società più ampia (Royal Society [89]). Sebbene vi sia un crescente sostegno per questi tipi di CV, vi è anche una certa preoccupazione che costringano gli accademici a essere bravi in ​​tutto, rischiando così di compromettere una profonda competenza nel perseguimento di uno status a tutto tondo (Grove, J., 2021 [90]).

Quattro esempi di sistemi di ricerca nazionali che stanno coordinando riforme a livello nazionale nelle valutazioni accademiche orientate alla carriera sono inclusi nei seguenti riquadri di testo.

Esempio nazionale: il Regno Unito

Il Research Evaluation Framework (REF) del Regno Unito misura l’impatto della ricerca attraverso due dimensioni: “significatività” (la differenza tangibile apportata da un progetto) e “portata” (la misura quantificabile in cui lo fa) (UKRI). L'impatto qui è definito come "un effetto, un cambiamento o un beneficio per l'economia, la società, la cultura, le politiche o i servizi pubblici, la salute, l'ambiente o la qualità della vita, al di là del mondo accademico", ma al di là di questo è molto aperto, disciplinare. variabili e probabilmente ambigue, non riuscendo, ad esempio, a tenere adeguatamente conto dell’impegno pubblico.

Il REF del Regno Unito è in fase di valutazione nel 2022-2023 nell'ambito del Programma di valutazione della ricerca futura esplorare possibili nuovi approcci alla valutazione dei risultati della ricerca nell’istruzione superiore del Regno Unito e comprende la comprensione delle pratiche di valutazione della ricerca internazionale. La prossima iterazione del REF terrà conto probabilmente di una serie più diversificata di risultati e forse ridurrà anche l’importanza ad essi attribuita. Il modello attuale attribuisce un’importanza del 60% ai risultati, del 25% all’impatto della ricerca e del 15% alla cultura/ambiente della ricerca. Se questi fossero ponderati in modo più uniforme, il REF apparirebbe molto diverso, con maggiore importanza attribuita alla cultura della ricerca, all’integrità della ricerca e al lavoro di squadra (Boschetto, 2020).

Esempio nazionale: Finlandia

Nel 2020, la Federazione finlandese delle società accademiche ha coordinato una task force di finanziatori della ricerca, università e sindacati che hanno pubblicato la dichiarazione Buone pratiche nella valutazione della ricerca. Ciò definisce le linee guida per seguire un processo responsabile di valutazione dei singoli accademici, inclusi cinque principi generali di valutazione: trasparenza, integrità, equità, competenza e diversità. Le buone pratiche nella valutazione della ricerca richiedono che l'integrità della ricerca, l'istruzione, il tutoraggio e il servizio scientifico (ad esempio la revisione tra pari) siano meglio riconosciuti nella valutazione dei contributi accademici dei singoli individui. La dichiarazione considera le valutazioni non semplicemente come una questione di produzione di giudizi sommativi: incoraggia anche i valutatori a condividere feedback con le persone valutate per facilitare il feedback e l'apprendimento.

Le organizzazioni che svolgono attività di ricerca e le organizzazioni che finanziano la ricerca si sono tutte impegnate ad attuare le buone pratiche nella valutazione della ricerca e a generare le proprie variazioni locali sulla guida, ed è in fase di sviluppo un modello di CV del portfolio nazionale dei ricercatori. Le buone pratiche nella valutazione della ricerca si impegnano a revisioni e perfezionamenti regolari.

Esempio nazionale: i Paesi Bassi

Nei Paesi Bassi, il programma nazionale di Riconoscimenti e Premi è iniziato nel 2019, con la pubblicazione della presa di posizione Spazio al talento di tutti. Questa collaborazione a livello nazionale tra l’Accademia reale olandese delle arti e delle scienze (KNAW – membro IAP e ISC), finanziatori della ricerca, università e centri medici afferma che è necessario che si verifichi una modernizzazione a livello di sistema delle culture di valutazione della ricerca. In tal modo, definisce cinque ambizioni per il cambiamento nelle procedure di valutazione: maggiore diversità dei percorsi di carriera, riconoscimento delle prestazioni individuali e di squadra, priorità alla qualità del lavoro rispetto agli indicatori quantitativi, scienza aperta e leadership accademica.

Dal 2019, le università olandesi si sono attivate per attuare le proprie traduzioni locali della dichiarazione di visione nazionale. Allo stesso tempo, le agenzie di finanziamento hanno avviato formati più "narrativi" e hanno smesso di richiedere informazioni bibliometriche, citando San Francisco DORA come ispirazione. Il Consiglio olandese della ricerca è recentemente passato ad un CV “basato sull’evidenza”. in cui possono essere utilizzate alcune informazioni quantitative. Anche il KNAW ha sviluppato il proprio piano triennale attuare internamente l’agenda di riconoscimenti e premi. Sono stati nominati un responsabile del programma e un team a tempo pieno per facilitare il programma di riforma del riconoscimento e dei premi, e ogni anno si tiene un "Festival del riconoscimento e dei premi" tra le principali parti interessate alla riforma per sostenere l'apprendimento a livello comunitario.

Infine, finanziato da una sovvenzione DORA Community Engagement, il Iniziativa Young Scientist in Transition per studenti di dottorato, con sede a Utrecht, ha sviluppato una nuova guida alla valutazione dei dottorati di ricerca, nel tentativo di cambiare la cultura della ricerca.

Esempio nazionale: la Norvegia

Nel 2021, la Norvegia, le università norvegesi e il Consiglio norvegese delle ricerche hanno pubblicato NOR-CAM – Uno strumento per il riconoscimento e i premi nelle valutazioni accademiche. NOR-CAM fornisce un quadro a matrice per migliorare la trasparenza e ampliare la valutazione della ricerca e dei ricercatori lontano dagli indicatori ristretti basati sulla bibliometria. NOR-CAM sta per Norwegian Career Assessment Matrix ed è stato adattato da un 2017 rapporto dalla Commissione Europea che ha presentato la Open Science Career Assessment Matrix. Come il suo predecessore europeo, anche NOR-CAM propone modalità per integrare meglio le pratiche di scienza aperta nelle valutazioni. La matrice mira a guidare valutatori e candidati per posizioni accademiche, domande di finanziamento della ricerca e valutatori nazionali che valutano la ricerca e l'istruzione norvegese. È inoltre destinato a fungere da guida generale per lo sviluppo della carriera individuale.

La matrice comprende sei principali aree di competenza: risultati della ricerca, processo di ricerca, competenze pedagogiche, impatto e innovazione, leadership e altre competenze. La matrice fornisce quindi suggerimenti per consentire la pianificazione della carriera e il riconoscimento della valutazione attorno a ciascuno dei criteri: esempi di risultati e competenze, mezzi di documentazione e spunti di riflessione su ciascun criterio. Non ci si aspetta che i candidati ottengano risultati uguali su tutti i criteri.

NOR-CAM è stato creato da un gruppo di lavoro di parti interessate di organizzazioni che svolgono attività di ricerca e finanziano, coordinato da Universities Norvegia, il che significa che in linea di principio ha il consenso di membri di tutte le università norvegesi. Successivamente si sono tenuti workshop che hanno coinvolto le università norvegesi per co-sviluppare modalità di integrazione del NOR-CAM nelle procedure di valutazione delle nomine e delle promozioni, ed è in fase di sviluppo un sistema CV "automatico" per recuperare dati da molteplici fonti nazionali e internazionali per ridurre le procedure amministrative. fardello. I coordinatori dei tre programmi di riforma a livello nazionale sopra menzionati si sono incontrati regolarmente per scambiare le loro esperienze e condividere conoscenze.

L’America Latina e i Caraibi (LAC) contrastano sotto molti aspetti con altre parti del mondo. Qui, la scienza è considerata un bene pubblico globale e i suoi sistemi e infrastrutture di ricerca e pubblicazione accademica sono di proprietà pubblica (finanziati) e non commerciali: ma questi punti di forza e tradizioni regionali non si riflettono ancora nei sistemi di valutazione. I principali soggetti interessati che possono attuare il cambiamento sono i consigli nazionali delle ricerche, i ministeri della scienza e le principali università di ricerca: il ruolo degli istituti di istruzione superiore è fondamentale, dato che oltre il 60% dei ricercatori si trova nelle università (RiCyT, 2020 [91]). Esiste il potenziale per allineare maggiormente i sistemi di valutazione agli Obiettivi di sviluppo sostenibile e ai movimenti di scienza aperta e scienza dei cittadini, che hanno una fiorente tradizione nella regione.

Attualmente, esiste un’elevata frammentazione dei sistemi di valutazione della ricerca a livello nazionale, locale e istituzionale, mettendo la ricerca in competizione con altre funzioni, come l’insegnamento, la divulgazione e la coproduzione. I sistemi di valutazione della ricerca e di premio ai ricercatori nei paesi ALC generalmente favoriscono una nozione di eccellenza ancorata alle metodologie del “Nord globale”, basata esclusivamente sull’impact factor delle riviste e sulle classifiche universitarie (CLACSO, 2020 [92]). Il riconoscimento delle diverse forme di produzione e comunicazione della conoscenza e la molteplicità delle carriere accademiche (ad esempio insegnamento, formazione e tutoraggio, scienza dei cittadini e comunicazione pubblica della scienza) sono in gran parte assenti nelle pratiche di valutazione della ricerca. Ciò è particolarmente problematico per i ricercatori nel campo delle scienze sociali e umanistiche, dove le monografie e le lingue locali sono ampiamente utilizzate (CLACSO, 2021 [93]). Le riviste e gli indicatori regionali vengono svalutati o non riconosciuti in tali processi di valutazione. Tutto ciò è esacerbato dalla debolezza dei sistemi informativi e dalla debole interoperabilità delle infrastrutture (soprattutto di proprietà della comunità), sottofinanziate perché i fondi scarsi sono destinati ai pagamenti APC per le riviste ad accesso aperto.

Tuttavia, alcune università della regione stanno iniziando a implementare pratiche di valutazione che utilizzano una combinazione di metodologie qualitative e quantitative, in particolare nella valutazione dei ricercatori e nella ricerca orientata alla missione (Grasso, 2022 [94]). La transizione verso schemi di valutazione della ricerca più completi richiederà la co-progettazione di criteri più qualitativi; l'uso responsabile dei dati quantitativi e il rafforzamento dei processi di peer review; cambiamenti incrementali che armonizzino e coordinino politiche e metodologie verso principi condivisi sulla valutazione della ricerca responsabile e sulla scienza aperta; nuove metodologie e dati per una migliore valutazione delle questioni scientifiche, ambientali e locali inter/transdisciplinari; infrastrutture condivise, interoperabili, sostenibili e federate che supportano la bibliodiversità e il multilinguismo; e progetti partecipativi, dal basso verso l’alto, che ampliano la partecipazione dei cittadini e dei movimenti sociali e l’inclusione dei gruppi di ricerca sottorappresentati.

Per affrontare queste sfide, la regione ha adottato una serie di principi e linee guida per la valutazione della ricerca. IL Dichiarazione CLACSO-FOLEC dei principi per la valutazione della ricerca [95], approvato nel giugno 2022, si propone di garantire e proteggere la qualità e la scienza socialmente rilevante, e abbraccia i principi di DORA e della scienza aperta, la diversità dei risultati della ricerca e delle carriere di ricerca, il valore delle riviste regionali e dei servizi di indicizzazione, e dell’interdisciplinarietà, della lingua locale e dei saperi indigeni. Ad oggi conta oltre 220 aderenti e si registrano già tendenze positive nella valutazione della ricerca responsabile ed esempi di riforma. Alcuni esempi nazionali sono forniti nelle seguenti caselle di testo.

Esempio nazionale: Colombia

Finanziate da un DORA Community Engagement Award, le associazioni colombiane di università, editori universitari, responsabili della ricerca e una rete di gestione della scienza e della tecnologia, tra gli altri, hanno lavorato insieme sulle opportunità e le sfide della metrica responsabile in Colombia. Attraverso una serie di workshop e consultazioni, anche con organizzazioni internazionali come punti di riferimento, hanno sviluppato una rubrica per aiutare le istituzioni colombiane a progettare i propri REF. Questa rubrica tenta di tenere conto delle sfide identificate a livello locale, che – per gli istituti di istruzione superiore – includono la mancanza di conoscenza sulle alternative di valutazione della ricerca, la natura dell’ecosistema nazionale di valutazione della ricerca e la resistenza al cambiamento. UN sito web dedicato è stato sviluppato, insieme a infografiche per assistere i ricercatori, e la diffusione e l’apprendimento continuano ad essere condivisi in tutto il paese.

Per maggiori informazioni: Il progetto colombiano di metrica responsabile: verso uno strumento metodologico istituzionale colombiano per la valutazione della ricerca | DORA (sfdora.org)

Esempio nazionale: Argentina

Un interessante tentativo di riforma nel Consiglio Nazionale della Ricerca Scientifica e Tecnica (Consejo Nacional de Investigaciones Científicas y Técnicas – CONICET) è stata la creazione di una risoluzione speciale per le scienze sociali e umane che mette sullo stesso piano le riviste indicizzate nel circuito mainstream con le riviste indicizzate su basi regionali come SciELO, Redalic or Catalogo Latindex. Il regolamento è attualmente in fase di revisione, per chiarire alcune ambiguità nella sua attuazione e ampliarne i criteri. A sua volta, nel 2022, il Consiglio di amministrazione di CONICET ha aderito alla DORA di San Francisco, riconoscendo pubblicamente il suo impegno a migliorare la ricerca rafforzando la valutazione e il miglioramento continuo dei suoi processi.

I Agenzia Nazionale per la Promozione della Ricerca, dello Sviluppo Tecnologico e dell'Innovazione (Agencia Nacional de Promoción de la Investigación, el Desarrollo Tecnológico y la Innovavión – AGENCIA I+D+i), ai sensi del Ministero della Scienza, Tecnologia e Innovazione, è il principale finanziatore della ricerca nel Paese grazie alla diversità e alla portata dei suoi bandi altamente competitivi. Attualmente AGENCIA sta implementando a programma rafforzare i processi di valutazione della ricerca nei principali fondi finanziari. I miglioramenti attuali includono la remunerazione dei revisori tra pari per stimolare il loro impegno in questi processi, l'incentivo all'accesso aperto poiché i risultati del progetto dovrebbero essere destinati al pubblico dominio attraverso pubblicazioni o documenti di libera circolazione (in conformità con gli obblighi dell'Repository digitali istituzionali ad accesso aperto' Legge Nazionale 26.899) e l'integrazione delle dimensioni di equità e inclusività attraverso il genere, i gruppi generazionali sottorappresentati e/o i meccanismi di equalizzazione del rafforzamento istituzionale nei processi di valutazione della ricerca. Tuttavia, in vari comitati disciplinari, il background curricolare dei principali ricercatori responsabili delle proposte viene ancora valutato dai loro colleghi con l'uso di indicatori di impatto delle citazioni.

Infine, finanziato da un DORA Community Engagement Grant, la Facoltà di Psicologia dell'Universidad Nacional de la Plata ha ospitato un evento virtuale nel settembre 2022 sulla valutazione in psicologia e scienze sociali che ha attirato oltre 640 (in gran parte studenti universitari) da 12 paesi, a dimostrazione dell’interesse dei giovani del continente. L'evento ha contribuito a delineare il piano di gestione quadriennale della facoltà e darà forma a un libro sulla riforma della valutazione accademica nel contesto di lingua spagnola.

Esempio nazionale: Brasile

La valutazione della ricerca è oggetto di un acceso dibattito in Brasile tra gli istituti di ricerca e i ricercatori, se non tra i governi statali e federali. Tuttavia, nonostante il maggior numero di firmatari istituzionali di DORA nel mondo, gli esempi di riforma della valutazione della ricerca sono sorprendentemente pochi. A seguito di un sondaggio tra i firmatari DORA nel paese, di consultazioni istituzionali e di un evento pubblico, finanziato da una sovvenzione per il coinvolgimento della comunità DORA, un guida è stato preparato per consentire ai dirigenti universitari di esplorare pratiche di valutazione responsabile.

La guida si concentra su tre azioni principali: (1) sensibilizzazione alla valutazione responsabile in tutte le sue forme; (2) formazione e rafforzamento delle capacità dei valutatori e di coloro che vengono valutati; e (3) implementazione e valutazione. I prossimi passi consistono nel costruire una rete di professionisti – o dieci uffici di intelligence universitari – per apportare cambiamenti nelle pratiche di valutazione e pilotare modelli sensibili al contesto, e infine sviluppare una tabella di marcia per le istituzioni brasiliane che desiderano apportare il cambiamento.

Progetto Métricas (2022). Sfide istituzionali e prospettive per una valutazione responsabile nell'istruzione superiore brasiliana: sintesi dei risultati della partnership del Projeto Métricas DORA. Università di San Paolo, Brasile.

Nel Nord America è in corso un allontanamento dagli indicatori puramente quantitativi, accelerato dall’agenda della scienza aperta. La scienza aperta e la revisione aperta stanno contribuendo a rendere le pratiche di valutazione più trasparenti, offrendo un'opportunità di auto-riflessione e facendo emergere problemi, ad esempio autocitazione e clientelismo nelle assunzioni, promozioni e comitati di revisione tra pari, nonché genere innato e altri pregiudizi. Sono in corso dibattiti sulla necessità di sviluppare indicatori più intelligenti e intelligenti e metodi misti di valutazione, con il potenziale per un modello di valutazione ibrido e convergente al servizio della scienza di base (progresso della conoscenza) e della scienza applicata (impatto sociale).

Si riconosce inoltre che le università hanno bisogno di spazio accademico e di libertà per liberarsi dagli strumenti che attualmente utilizzano per la valutazione, senza alcuno "svantaggio della prima mossa", e che la comunità degli utenti dovrebbe far parte del processo di valutazione per aiutare a misurare l'usabilità dei servizi. conoscenza, la sua adozione e il suo impatto. Ma c’è anche una resistenza contingente al cambiamento (una “cecità intenzionale”) da parte dei vertici e della base dell’ecosistema della ricerca – da parte di coloro che beneficiano dello status quo e di coloro che vi sono recentemente entrati. Pochissime università statunitensi hanno firmato DORA e un nuovo progetto DORA sta cercando di capire perché questo è il caso (TARA). Tuttavia, sia in Canada che negli Stati Uniti ci sono alcuni esempi interessanti di iniziative nazionali e istituzionali progettate per realizzare un cambiamento sistemico (vedi i seguenti riquadri di testo).

Esempio nazionale: USA

Negli Stati Uniti, la National Science Foundation è una delle principali voci a favore del cambiamento attraverso la sua Migliorare l’impatto della ricerca nella società programma e accompagnamento toolkit per impatti più ampi per ricercatori e valutatori. Equità, diversità e inclusione, compreso il coinvolgimento delle comunità indigene e tradizionalmente emarginate, sono fattori chiave. Membro dell'IAP e dell'ISC, l'Accademia nazionale delle scienze degli Stati Uniti sta anche cercando di stimolare un'ampia riforma, fornendo una piattaforma per lo scambio di informazioni e l'apprendimento sulla riforma del tradizionale CV del ricercatore (Consiglio strategico NAS, 2022). Nato dal lavoro delle accademie statunitensi, il Iniziativa per la leadership dell'istruzione superiore per borse di studio aperte è un gruppo di oltre 60 college e università impegnati in un'azione collettiva per promuovere borse di studio aperte, compreso il ripensamento della valutazione della ricerca per premiare l'apertura e la trasparenza.

L’Istituto Nazionale per la Sanità, ad esempio, ne ha progettato un nuovo schizzo biologico (SciENcv) per il personale impegnato nelle domande di sovvenzione, al fine di ridurre al minimo le distorsioni sistemiche e gli oneri di rendicontazione e, allo stesso tempo, essere maggiormente orientati all'impatto.

Esempio nazionale: Canada

In Canada sono in corso molteplici discussioni sulla riforma della valutazione della ricerca, guidata da DORA; tutti e tre i consigli federali della ricerca sono firmatari. Il Consiglio di scienze naturali e ingegneria ha criteri ridefiniti per la qualità della ricerca, rinunciando alla bibliometria, alle citazioni e all'h-index, in linea con i principi DORA: le metriche di qualità ora includono buoni dati di ricerca e gestione dell'accesso ai dati, equità, diversità e inclusione e responsabilità di formazione. Gli altri due consigli di ricerca probabilmente seguiranno l’esempio.

I ricercatori canadesi tendono a concentrarsi sulla “mobilitazione della conoscenza”, uno sforzo intenzionale per promuovere l’impatto sociale della ricerca, attraverso la coproduzione con le comunità di utenti (ISI, 2022). Impatto della ricerca in Canada è una rete di oltre 20 università che mira a sviluppare capacità istituzionale attraverso l'alfabetizzazione all'impatto, ovvero la capacità di "identificare obiettivi e indicatori di impatto appropriati, valutare criticamente e ottimizzare i percorsi di impatto e riflettere sulle competenze necessarie per personalizzare gli approcci in tutti i contesti" al fine di massimizzare l’impatto della ricerca per il bene pubblico.

Vale la pena notare che pochissime università canadesi hanno firmato DORA. È probabile che la motivazione principale di qualsiasi cambiamento sia l’abbraccio delle borse di studio indigene: questo è diventato un imperativo morale in Canada.

I sistemi di incentivi e premi per la ricerca in Africa tendono a riflettere norme e convenzioni “internazionali”, principalmente occidentali. Le istituzioni africane tentano di seguirle quando sviluppano il loro approccio alla “qualità” e all'“eccellenza” nella ricerca, ma non sempre sono adeguate alle conoscenze e ai bisogni locali. La "qualità", l'"eccellenza" e l'"impatto" della ricerca non sono ben definiti nel continente e alcuni ricercatori non sono abituati a una cultura dell'"impatto della ricerca".

I sistemi di valutazione in Africa tendono a non tenere conto della ricerca a vantaggio della società, dell’insegnamento, del rafforzamento delle capacità, dell’amministrazione e della gestione della ricerca. I modelli di pubblicazione non sono sensibili al contesto e gli APC creano barriere ai risultati della ricerca africana. La riforma dei sistemi di valutazione della ricerca potrebbe aiutare a correggere le asimmetrie nel contributo che la ricerca africana può dare alle sfide sociali, oltre a migliorare l’accesso alle risorse per aiutare la comunità di ricerca africana a raggiungere questo obiettivo. Abbattere le barriere alla cooperazione intersettoriale e interdisciplinare è fondamentale per consentire a una diversità di punti di vista e sistemi di conoscenza di prosperare e aiutare a interpretare ciò che costituisce la qualità della ricerca per l’Africa. In qualsiasi riforma è necessario prendere in considerazione meccanismi che integrino le visioni del mondo locale, indigena e “convenzionale” riguardo alla valutazione della qualità e dell'eccellenza della ricerca.

Si stanno costruendo forti partenariati attorno alla RRA nel continente. Finanziato da un consorzio internazionale di agenzie di sviluppo, il Iniziativa dei Consigli per la concessione della scienza (SGCI) [96], coinvolgendo 17 paesi africani, hanno condotto uno studio sull’eccellenza della ricerca in Africa, esaminando le agenzie di finanziamento scientifico e la valutazione dei ricercatori dalla prospettiva del Sud del mondo (Tijssen e Kraemer-Mbula, 2017 [97], [98]). Ha esplorato la questione dell’eccellenza della ricerca nell’Africa subsahariana e la necessità di un approccio che espanda il concetto di eccellenza oltre le pubblicazioni (Tijssen e Kraemer-Mbula, 2018 [99]); produrre un documento di linee guida, in corso di aggiornamento, sulle buone pratiche nella realizzazione dei concorsi di ricerca (SGCI [100]). Al World Science Forum del 2022, sotto gli auspici del SGCI e del GRC, il Sudafrica Fondazione nazionale per la ricerca (NRF) e il Dipartimento di Scienza e Innovazione hanno convocato partner internazionali e locali per discutere il ruolo delle agenzie di finanziamento nel promuovere la RRA e per condividere esperienze, promuovere buone pratiche e valutare i progressi nello sviluppo di capacità e nella collaborazione (NRF, 2022 [101]).

I Rete di prove africane [102], una rete panafricana e intersettoriale di oltre 3,000 professionisti ha condotto alcuni lavori sulla valutazione della ricerca transdisciplinare (Rete di prove africane [103]), ma non è ancora chiara la misura in cui questo è stato incorporato nei sistemi di valutazione nazionali e regionali. IL Rete di ricerca e impatto sull'Africa [103] ha lavorato su una scorecard comprendente una raccolta di indicatori per valutare la qualità della valutazione della scienza, della tecnologia e dell'innovazione (STI) in Africa, che spera di sviluppare in uno strumento decisionale basato sul web per guidare le decisioni di investimento STI .

A livello nazionale sono iniziati cambiamenti incrementali – alcuni esempi sono forniti nei seguenti riquadri di testo. Altri paesi in cui le agenzie di finanziamento della ricerca stanno assumendo un ruolo guida includono Tanzania (COSTECH), Mozambico (FNI) e Burkina Faso (FONRID). L'iniziativa RRA del GRC si sta rivelando un'importante piattaforma per il cambiamento nel continente, così come sta imparando dal settore dello sviluppo internazionale, in particolare dall'IDRC Quadro di valutazione della qualità della ricerca Plus (RQ+). [104], con la particolarità che è già stato applicato, studiato e migliorato. Quello con sede in Africa Accademia Internazionale della Valutazione [105] può anche fornire un’interessante opportunità.

Esempio nazionale: Costa d'Avorio

Nel cuore della Costa d'Avorio Programma Appui Stratégique à la Recherche Scientifique (PASRES) (Programma di sostegno strategico alla ricerca scientifica) è la convinzione che l'eccellenza nella ricerca debba trascendere il numero di pubblicazioni scientifiche e includere la dimensione dell'"assorbimento della ricerca". Adattandosi al contesto nazionale, il processo di valutazione della ricerca si basa su criteri relativi alla rilevanza scientifica e sociale, al coinvolgimento dei partner, alla formazione degli studenti, alla mobilitazione delle conoscenze e alla fattibilità. I comitati di valutazione coinvolgono esperti scientifici (per giudicare la qualità della ricerca svolta), il settore privato (per giudicare l'arricchimento economico) e altre istituzioni (per misurare il potenziale culturale e sociale della ricerca).

PASRES ha fondato due riviste locali (una per le scienze sociali e la linguistica e l'altra per l'ambiente e la biodiversità) e ne sostiene l'intero costo di pubblicazione. Infine, PASRES finanzia attività di rafforzamento delle capacità e conferenze tematiche per consentire ai ricercatori di presentare le loro ricerche al settore privato e alla società civile.

Maggiori informazioni: Ouattara, A. e Sangaré, Y. 2020. Sostegno alla ricerca in Costa d'Avorio: processi di selezione e valutazione dei progetti. E. Kraemer-Mbula, R. Tijssen, ML Wallace, R. McLean (a cura di), African Minds, pp. 138–146

PASRES || Program d'Appui Stratégique Recherche Scientifique (csrs.ch)

Esempio nazionale: il Sud Africa

La valutazione della ricerca in Sud Africa (SA) si concentra prevalentemente sulla bibliometria. Dal 1986, quando il Dipartimento dell'Istruzione Superiore (DHET) ha introdotto una politica di pagamento di sussidi alle università per pubblicazioni di ricerca pubblicate su riviste di indici accreditati, la produzione di pubblicazioni di ricerca universitaria è cresciuta in concomitanza con il valore Rand assegnato per pubblicazione. Nel tentativo di assicurarsi finanziamenti per la ricerca e far avanzare la propria carriera, i ricercatori del Sudafrica hanno pubblicato il maggior numero di articoli il più rapidamente possibile, creando conseguenze perverse e non intenzionali.

L’Accademia delle Scienze del Sud Africa (ASSAf) ha commissionato un rapporto sull’editoria accademica nel paese (2005–2014) e ha trovato indicazioni di pratiche editoriali discutibili e di pubblicazioni predatorie (ASSAf, 2019). Utilizzando un sistema di categorizzazione sfumato, una cifra stimata del 3.4% del totale degli articoli negli ultimi dieci anni è stata giudicata predatoria, con cifre in aumento più marcato a partire dal 2011. Le riviste giudicate predatorie sono state incluse nel DHET "accettabili per il finanziamento" elenco e accademici di tutte le università del Sud Africa sono risultati coinvolti (Mouton e Valentine, 2017).

Il rapporto ASSAf ha formulato raccomandazioni a livello sistemico, istituzionale e individuale e le conseguenti contromisure da parte del DHET, della NRF e di alcune università sembrano aver frenato le pratiche predatorie in SA con l'incidenza della pubblicazione predatoria da parte di accademici SA (su riviste accreditate dal DHET) con un picco nel 2014– 2015 e successivamente in calo. C'erano anche preoccupazioni tra i ricercatori sul fatto che le politiche DHET in SA scoraggiassero la collaborazione e non riuscissero a riconoscere il contributo dei singoli all'interno di grandi gruppi di ricerca, richiedendo una revisione degli schemi di valutazione delle prestazioni/valutazione della ricerca. L’uso del sistema delle unità di pubblicazione è ormai riconosciuto come un indicatore inadeguato per la valutazione della qualità e della produttività della ricerca e per la selezione e la promozione degli accademici.

Per maggiori informazioni:

Accademia delle Scienze del Sud Africa (ASSAf). 2019. Dodici anni: secondo rapporto ASSAf sull'editoria di ricerca in e dal Sud Africa. Pretoria, ASSAf.

Mouton, J. e Valentine, A. 2017. L'entità degli articoli di autori sudafricani in riviste predatorie. Giornale sudafricano di scienza, vol. 113, n. 7/8, pp. 1–9.

Mouton, J. et al. 2019. La qualità delle pubblicazioni di ricerca del Sud Africa. Stellenbosch.

2019_assaf_collaborative_research_report.pdf

Esempio nazionale: Nigeria

Le università in Nigeria valutano i ricercatori in tre aree principali: insegnamento, produttività della ricerca e servizi alla comunità. Di questi, la produttività della ricerca ha un peso maggiore, con un'enfasi sugli articoli di ricerca pubblicati sottoposti a revisione paritaria e prendendo in considerazione il numero e i ruoli degli autori (prima paternità e/o paternità corrispondente) in queste pubblicazioni. Nel tentativo di diventare più competitive a livello globale, la maggior parte delle università attribuisce maggiore importanza alle riviste indicizzate dall'International Scientific Indexing o SCOPUS, per porre maggiore enfasi sulla qualità e sulla collaborazione internazionale; e utilizzare la percentuale di articoli in queste riviste come criterio di promozione.

Una sfortunata conseguenza di ciò è che molti ricercatori, soprattutto quelli nel campo delle discipline umanistiche, non dispongono di finanziamenti adeguati e/o di capacità per pubblicare su queste riviste. Invece, pubblicano più recensioni piuttosto che articoli di ricerca, oppure si sentono obbligati a includere colleghi influenti e senior come coautori, in virtù del loro contributo finanziario piuttosto che intellettuale. Il plagio aumenta, così come l’editoria predatoria. Tuttavia, la classifica globale complessiva delle università nigeriane è aumentata, soddisfacendo così il governo e le agenzie di finanziamento ed essendo vista come un successo. La Nigeria non è sola in questo senso.

L'Accademia nigeriana delle scienze ha ristabilito la propria rivista sottoposta a revisione paritaria come rivista di punta in cui gli accademici possono pubblicare (attualmente gratuitamente) ed essere valutati positivamente dalle loro istituzioni.

Sistemi di valutazione altamente competitivi e basati su parametri quantitativi dominano la regione, con i paesi anglofoni che generalmente modellano i quadri di valutazione e altri paesi che seguono l’esempio. In Australia, ad esempio, esiste un sistema di finanziamento competitivo basato sulla bibliometria e sulle classifiche universitarie: “anche gli SDG si stanno trasformando in indicatori di performance”. Sfide simili esistono in Malesia e Tailandia, ed è probabile che altri paesi dell’ASEAN seguiranno. Un’eccezione importante è rappresentata dalla Cina, dove il governo sta svolgendo un ruolo significativo nella creazione di un importante cambiamento sistemico che potrebbe avere profonde implicazioni a livello globale (vedi riquadro di testo).

È incoraggiante che vi sia una crescente consapevolezza e preoccupazione tra la comunità di ricerca della regione riguardo ai limiti degli attuali sistemi di valutazione della ricerca e alla loro minaccia all’integrità della ricerca. Sebbene gli ECR, comprese le giovani accademie nazionali e la rete ASEAN dei giovani scienziati, insieme ai movimenti di base, siano sempre più impegnati su questo tema, faticano a farsi ascoltare. Il governo e le comunità finanziatrici, compresa la leadership universitaria, sono in gran parte assenti dal dibattito: attribuiscono importanza ai parametri quantitativi ma non ne apprezzano le implicazioni per la ricerca. In effetti, gli intervistati riferiscono che si stanno aggiungendo più criteri quantitativi, nella misura in cui istituzioni e ricercatori stanno iniziando a ingannare il sistema, alimentando la cattiva condotta della ricerca.

Ma esistono significative opportunità di cambiamento, come esemplificato nei seguenti riquadri di testo.

Esempio nazionale: la Cina

Attualmente è il paese più produttivo al mondo in termini di ricerca (Tollefson, 2018; Statista, 2019), e il secondo in termini di investimenti nella ricerca (OCSE, 2020), ciò che accade in Cina ha il potenziale per determinare un reale cambiamento sistemico. Una nuova politica a livello statale mira a ripristinare "lo spirito scientifico, la qualità dell'innovazione e il contributo del servizio" della ricerca e a "promuovere il ritorno delle università ai loro obiettivi accademici originali" (LA MAGGIOR PARTE, 2020). Gli indicatori del Web of Science non saranno più un fattore predominante nelle decisioni di valutazione o di finanziamento, così come non lo sarà il numero di pubblicazioni e JIF. Verranno incoraggiate le pubblicazioni su riviste cinesi di alta qualità e sostenuto il loro sviluppo. Nei comitati di valutazione vengono ricercate "pubblicazioni rappresentative" - ​​5-10 documenti scelti anziché elenchi esaustivi - insieme a criteri che valutano il contributo che la ricerca ha apportato alla risoluzione di importanti questioni scientifiche, alla fornitura di nuove conoscenze scientifiche o all'introduzione di innovazioni e progressi reali. di, un campo particolare.

Nello sviluppo di un sistema di valutazione della qualità e dell’eccellenza della ricerca più in sintonia con le proprie esigenze, la più grande agenzia cinese di finanziamento per la ricerca di base, la National Natural Science Foundation of China (NSFC), ha attuato riforme sistematiche dal 2018 per riflettere i cambiamenti nella scienza: il cambiamento globale paesaggi scientifici, l’importanza della transdisciplinarietà, la combinazione tra ricerca applicata e di base e l’interazione tra ricerca e innovazione (Manfred Horvat, 2018), allontanandosi dalla bibliometria per adottare un sistema che rafforzi la rilevanza locale della ricerca in Cina (Zhang e Sivertsen, 2020). Ha migliorato il proprio sistema di peer review per la valutazione delle proposte per adattarsi meglio alla ricerca dirompente guidata dalla curiosità, ai problemi scottanti alle frontiere della ricerca, all’eccellenza scientifica applicata alle esigenze economiche e sociali e alla ricerca transdisciplinare che affronta grandi sfide. Nel 2021, l'85% delle proposte sono state presentate ed esaminate utilizzando queste categorie. Recentemente, nel novembre 2022, è stato annunciato un piano pilota di riforma biennale per la valutazione dei talenti scientifici e tecnologici, che coinvolge otto ministeri, dodici istituti di ricerca, nove università e sei governi locali. Il suo obiettivo sarà quello di esplorare indicatori e metodi di valutazione per i talenti scientifici e tecnologici impegnati in diverse parti del sistema di innovazione.

Esempio subregionale: Australia e Nuova Zelanda

Sia l’Australia che la Nuova Zelanda si trovano attualmente in momenti importanti. In Australia, le revisioni simultanee in corso dell’Australian Research Council, dell’Excellence in Research in Australia e dei negoziati sul Gold Open Access presentano cumulativamente una finestra di opportunità.Rossi, 2022).

A seguito della consultazione pubblica sul futuro dei finanziamenti scientifici, la Nuova Zelanda ne sta sviluppando una nuova programma sistemico per il futuro del sistema nazionale di ricerca e innovazione. Sia l’Australia che la Nuova Zelanda hanno contribuito allo sviluppo di un sistema di misurazione per i loro gruppi di ricerca indigeni (Principi di CURA).

Esempio nazionale: India

Il Centro per la ricerca politica (DST-CPR) del Dipartimento di Scienza e Tecnologia ha condotto studi recenti sulla valutazione della ricerca e sulla sua riforma in India, conducendo workshop con le principali parti interessate (agenzie di finanziamento nazionali, istituti di ricerca e accademie), interviste e sondaggi. Si è scoperto che, mentre le università e molte istituzioni di rilevanza politica nazionale (come l’agricoltura) si concentrano quasi esclusivamente su parametri quantitativi, alcune agenzie e istituzioni finanziatrici come l’Indian Institutes of Technology hanno adottato anche misure più qualitative. Questo approccio più qualitativo da parte delle istituzioni di alto livello sta già servendo a deviare maggiori finanziamenti verso la ricerca sulle priorità nazionali, anche se è troppo presto per dire se sta avendo qualche effetto quantificabile sulla qualità e sull’impatto della ricerca.

Il punto di riferimento principale per la valutazione è la revisione tra pari basata sul parere del comitato di esperti, ma solo dopo lo screening iniziale delle domande basato interamente su parametri quantitativi. Esistono anche sfide fondamentali con questi comitati: la mancanza di diversità e comprensione delle pratiche di scienza aperta, scarsa considerazione degli impatti sociali della ricerca, scarsa capacità e pregiudizi. Questi problemi, e le metodologie di valutazione più in generale, sono poco conosciuti e mancano linee guida e letteratura sull’argomento.

Tuttavia, vi è una crescente consapevolezza della necessità di riformare la valutazione della ricerca. Finanziata da una sovvenzione per il coinvolgimento della comunità DORA, l'Indian National Young Academy of Sciences ha collaborato con l'Indian Institute of Science (IISc) e DST-CPR per esplorare modi in cui la valutazione della ricerca può essere migliorata: le loro deliberazioni sono state condivise con le principali parti interessate con un al fine di stimolare un dibattito nazionale sulla necessità di riformare e, in ultima analisi, cambiare la cultura della ricerca indiana in modo che la sua ricerca sia più innovativa e/o socialmente rilevante. DST-CPR prevede di sviluppare un quadro per l'eccellenza della ricerca che potrebbe essere integrato nel suo quadro di classificazione istituzionale nazionale.

Per maggiori informazioni:

Battacharjee, S. 2022. Il modo in cui l'India valuta la propria ricerca sta svolgendo il proprio lavoro? – La scienza del filo

DORA_IdeasForAction.pdf (dstcpriisc.org).

Suchiradipta, B. e Koley, M. 2022. Valutazione della ricerca in India: cosa dovrebbe restare, cosa potrebbe essere migliore? DST-CPR, IISc.

Esempio nazionale: il Giappone

In Giappone i protocolli di valutazione della ricerca sono fortemente decentralizzati: mentre esistono "Linee guida nazionali per la valutazione della ricerca e sviluppo", emanate dal Consiglio per la scienza, la tecnologia e l'innovazione del Cabinet Office, il Ministero dell'Istruzione, della Cultura, dello Sport, della Scienza e della Tecnologia (MEXT) e altri anche i ministeri hanno sviluppato le proprie linee guida. Oltre a ciò, le università e gli istituti di ricerca dispongono di propri sistemi di valutazione della ricerca e dei ricercatori, che – come in molte parti del mondo – sono diventati legati alla performance istituzionale e all’allocazione del bilancio.

Sono aumentate le preoccupazioni circa l’eccessivo affidamento alla valutazione quantitativa. In risposta, il Consiglio scientifico del Giappone si è preparato una raccomandazione sul futuro della valutazione della ricerca in Giappone (2022) chiedendo meno enfasi sulle misure quantitative e più su quelle qualitative, un maggiore riconoscimento della diversità della ricerca e della responsabilità nella valutazione della ricerca e il monitoraggio delle tendenze internazionali nella riforma delle pratiche di valutazione della ricerca. In definitiva, gli interessi e la promozione della ricerca dovrebbero essere al centro della valutazione della ricerca e di ogni sforzo compiuto per prevenire l’affaticamento, la demotivazione e l’eccessiva pressione sui ricercatori.

Da un’indagine condotta da MEXT sugli indicatori di valutazione è emerso che il JIF è uno dei tanti indicatori e, come tale, non ha avuto un forte impatto nella ricerca giapponese, sebbene questo dipenda dalla disciplina: ad esempio, l’uso del JIF è maggiore nelle scienze mediche – e le attività di ricerca meno tradizionali, come gli open data, hanno meno probabilità di essere valutate.

Maggiori informazioni: RACCOMANDAZIONE – Verso la valutazione della ricerca per il progresso della scienza: sfide e prospettive per la valutazione della ricerca desiderabile (scj.go.jp)

In conclusione, vi è uno slancio crescente verso la riforma della valutazione della ricerca in alcune regioni, paesi e istituzioni. Gli esempi qui illustrati includono riforme a livello nazionale, la creazione di consorzi o coalizioni di istituzioni che la pensano allo stesso modo in cerca di cambiamento, il targeting/orientamento di settori specifici e interventi per contrastare incentivi e comportamenti perversi.

Questa non è ancora una conversazione globale coerente e inclusiva, né le pratiche e le intuizioni sono necessariamente condivise apertamente. Alcuni membri GYA, IAP e ISC sono già proattivi in ​​questo ambito e potrebbero essere utilmente trovate opportunità per aiutarli a condividere il loro apprendimento e le buone pratiche tra loro e con i membri più ampi. Il lancio dell’Osservatorio Globale per la Valutazione della Ricerca Responsabile (AGORRA) da parte del Research on Research Institute (RoRI) nel corso del 2023 fornirà un’ulteriore piattaforma per la condivisione dell’apprendimento, per l’analisi comparativa dei sistemi di riforma nazionali e internazionali e per accelerare il processo di due- modo di scambiare e testare buone idee attraverso questi sistemi.

Questo documento ha illustrato i principali fattori, opportunità e sfide per la riforma della valutazione della ricerca e ha raccolto esempi illustrativi di cambiamento in atto a livello globale, regionale, nazionale e istituzionale. Lo scopo è quello di mobilitare GYA, IAP e ISC e i loro rispettivi membri, come importanti collegi elettorali dell’ecosistema di ricerca globale.

Basandosi sull’ultimo decennio di letteratura scientifica e di lavoro di advocacy, ci sono cinque conclusioni principali.

1. L’imperativo di ripensare il modo in cui vengono valutati gli individui, le istituzioni e i risultati della ricerca è chiaro e urgente. Mantenere l’integrità e la qualità della ricerca, massimizzare la diversità scientifica, inclusiva e non discriminatoria e ottimizzare la scienza per il bene pubblico globale sono fattori importanti, inseriti nel contesto di un mondo in rapido cambiamento.

2. Il modo in cui la ricerca viene commissionata, finanziata, erogata e comunicata si sta evolvendo rapidamente. I progressi verso una scienza orientata alla missione e transdisciplinare, strutture scientifiche aperte, modelli in evoluzione di peer review, l’uso dell’intelligenza artificiale e dell’apprendimento automatico e la rapida ascesa dei social media stanno cambiando i modi tradizionali di fare e comunicare la ricerca, richiedendo un nuovo pensiero sui sistemi di valutazione della ricerca e le metriche e i processi di peer review che lo sostengono. Sono necessarie ulteriori e urgenti ricerche per rendere questi sistemi a prova di futuro.

3. È imperativo disporre di sistemi di valutazione della ricerca più equilibrati con indicatori sia quantitativi che qualitativi che valorizzino molteplici forme di risultati, processi e attività della ricerca. Tuttavia, affermare che i processi di revisione qualitativa tra pari sono importanti almeno quanto la bibliometria non è semplice ed è ulteriormente complicato dal fatto che diverse parti del mondo si trovano in fasi diverse nello sviluppo dei propri sistemi di valutazione: in alcuni, i dibattiti sulla riforma della valutazione della ricerca sono piuttosto avanzati, in altri sono nascenti o assenti.

4. È necessaria un’iniziativa concertata, realmente globale e inclusiva per mobilitare le principali comunità delle parti interessate a sviluppare e attuare modalità coerenti di valutazione e finanziamento della ricerca; imparare gli uni dagli altri e da altri settori (in particolare i finanziatori della ricerca e le agenzie di sviluppo). L’azione collettiva e inclusiva verso un cambiamento trasformativo dovrà riconoscere l’interconnessione piuttosto che l’internazionalizzazione o l’universalizzazione, vale a dire essere sensibile al contesto, consapevole delle diverse sfide affrontate dalle diverse parti del mondo e della ricca eterogeneità dell’ecosistema di ricerca, garantendo allo stesso tempo sufficienti omogeneità per consentire sistemi di ricerca e finanziamento compatibili e la mobilità dei ricercatori, per ridurre al minimo la divergenza e la frammentazione. Una conversazione parziale ed esclusiva rischia di influenzare e svantaggiare ulteriormente coloro che sono stati storicamente esclusi.

5. Il cambiamento è necessario a tutti i livelli – globale, regionale, nazionale e istituzionale – perché i parametri si riversano attraverso l’intero ecosistema della ricerca e tutti questi livelli sono interconnessi. Tutte le parti interessate devono fare la propria parte come partner e non come avversari: inclusi finanziatori, università, associazioni di università e istituti di ricerca, organizzazioni intergovernative (IGO), governi e reti governative, accademie, responsabili delle politiche scientifiche, responsabili della ricerca e dell’innovazione e singoli ricercatori. I membri GYA, IAP e ISC, collettivamente, coprono gran parte di questo ricco panorama (Figura 1, Appendice C).

Figura 1: Mappa degli stakeholder relativa all'adesione a GYA, IAP e ISC (Clicca per vedere)

Il potere di convocazione di organizzazioni come GYA, IAP e ISC può aiutare a riunire una varietà di punti di vista ed esperienze in gran parte dell’ecosistema della ricerca: sperimentando, imparando da e sviluppando iniziative esistenti e nuove. Fondamentalmente, possono connettersi con le principali parti interessate nell’istigare il cambiamento – governi, finanziatori della ricerca e università e movimenti globali vitali come DORA – per aiutare a mobilitare un’architettura di attori. Collettivamente, possono fungere da:

● sostenitori – sensibilizzando sui dibattiti, gli sviluppi e le riforme sulla valutazione della ricerca, riconoscendo che i loro membri fungono da (i) mentori e supervisori di colleghi junior, (ii) leader di istituti di istruzione superiore, (iii) membri del consiglio di amministrazione di organismi di governance del finanziamento e della pubblicazione e ( iv) consiglieri dei policy maker;

● innovatori: esplorare diversi approcci per valorizzare la ricerca di base e applicata in modi inclusivi e innovativi;

● esempi – cambiando la propria cultura istituzionale – rinnovando la propria adesione, i premi, le pratiche di pubblicazione e conferenza, e dando l'esempio;

● valutatori – valorizzando il ruolo dei membri, sia a livello istituzionale che individuale, il cui compito è valutare ricercatori, ricercatori e istituzioni, e coloro che hanno ruoli editoriali, editoriali e di peer review;

● finanziatori – attingendo alle agenzie di finanziamento rappresentate in ISC, in particolare, e ai membri che gestiscono e distribuiscono grandi sovvenzioni nazionali e internazionali;

● collaboratori – sostengono campagne di riforma già avviate, ad esempio DORA, il CoARA dell'UE e l'impegno per la scienza aperta dell'UNESCO.

Gli autori di questo articolo incoraggiano GYA, IAP e ISC, e organizzazioni simili, a impegnarsi nei seguenti modi:

AZIONE 1: Condividere l'apprendimento e le buone pratiche

Questo documento evidenzia esempi di interventi e innovazioni provenienti da tutto il mondo. Lo spazio per condividere esperienze e costruire una “coalizione dei volenterosi” forte e inclusiva è vitale.

1.1: Fornire una piattaforma per i membri che sono già proattivi in ​​questo spazio per condividere il proprio apprendimento e costruire connessioni strategiche, soprattutto a livello nazionale. Usa questi esempi per aiutare a popolare Il cruscotto di DORA [106] di apprendimento e di buone pratiche.

1.2: Indagare e mappare gli sviluppi guidati dai membri nella riforma della valutazione della ricerca per identificare approcci istituzionali, nazionali e regionali e per trovare e condividere buone pratiche. Convocare coloro che hanno già guidato/impegnato in importanti iniziative nazionali e internazionali per creare sostegno e apprendimento tra i membri.

AZIONE 2: Dare l’esempio

L’adesione a GYA, IAP e ISC copre molte parti dell’ecosistema della ricerca e ciascuna può svolgere un ruolo importante nel determinare il successo di uno scienziato.

2.1: Transizione verso metodologie di valutazione della ricerca più progressiste per l’insieme dei membri. Dare l'esempio e contribuire a cambiare la cultura della valutazione della ricerca attraverso le filosofie e le pratiche dei propri membri, attingendo dall'apprendimento di DORA e GRC. Le accademie, in quanto organizzazioni tradizionalmente d’élite, hanno un ruolo particolare da svolgere in questo contesto: dovrebbero essere incoraggiate ad ampliare i propri criteri di elezione e selezione per riflettere una comprensione più ampia e plurale della qualità e dell’impatto della ricerca, al fine di riflettere questo pluralismo (e con maggiore inclusione e diversità) tra i loro membri.

2.2: Stimolare la cooperazione e la leadership regionale. Incoraggiare le reti regionali dei membri GYA e delle giovani accademie nazionali, le reti delle accademie regionali dell'IAP e i punti focali regionali dell'ISC a prendere in considerazione l'emulazione del consiglio direttivo dell'ALLEA iniziativa, adattati ai propri contesti.

AZIONE 3: Costruire partenariati strategici con i principali elettori.

I tre principali attori responsabili della riforma della valutazione della ricerca sono i governi, i finanziatori della ricerca e le università. GYA, IAP e ISC possono contribuire a coinvolgere la comunità di ricerca nei loro sforzi volti a riformare e colmare le discrepanze attualmente esistenti.

3.1: Coinvolgere la leadership del GRC per esplorare modi di lavorare insieme – essenzialmente per stimolare i membri e i rispettivi rappresentanti nazionali del GRC a esplorare come le loro comunità di ricerca possono essere coinvolte.

3.2: Collaborare con reti globali e regionali di università, come l’Associazione Internazionale delle Università (IAU), per sviluppare nuovi strumenti di formazione per la comunità di ricerca; utilizzare la leadership degli istituti di istruzione superiore all'interno dei membri collettivi di GYA, IAP e ISC come sostenitori.

3.3: Collegare le istituzioni membri nei paesi che sovvenzionano DORA (Argentina, Australia, Brasile, Colombia, India, Giappone, Paesi Bassi, Uganda e Venezuela) con i responsabili delle sovvenzioni DORA per condividere idee e potenzialmente ampliare queste iniziative locali.

3.4: Costruire relazioni con le principali agenzie di sviluppo internazionali che stanno già implementando strategie innovative e di grande impatto per la valutazione della ricerca nei paesi a basso e medio reddito e nei paesi meno sviluppati.

3.5: Collaborare con l'UNESCO per contribuire a definire gli impegni nazionali di valutazione della ricerca nell'ambito della sua Raccomandazione sulla scienza aperta.

AZIONE 4: Fornire leadership intellettuale sul futuro della valutazione della ricerca.

È imperativo concentrarsi su sfide specifiche e urgenti per la riforma della valutazione della ricerca. GYA, IAP e ISC, e le reti internazionali come loro, possono attingere ai rispettivi poteri di convocazione, al peso intellettuale e all’influenza dei loro membri e ai collegamenti con i collegi elettorali chiave.

4.1: Convocare insieme ai principali elettori una serie di forum di discussione multilaterali o "laboratori di trasformazione" per ripensare e attuare la riforma della valutazione della ricerca – coinvolgere i leader degli istituti di istruzione superiore e le loro reti globali (ad esempio IAU e IARU) e regionali (ad esempio LERU e AAU [107] ]), finanziatori della ricerca (compresi i rappresentanti nazionali del GRC), agenzie di sviluppo internazionali e importanti editori, tra gli altri. Raccogliere nuove risorse o impiegare risorse esistenti per finanziare questo lavoro (vedi Appendice D per alcune idee preliminari).

4.2: Sviluppare un nuovo studio su un aspetto importante del futuro sviluppo della valutazione della ricerca come (1) l'impatto dei progressi tecnologici sulla valutazione della ricerca e sulla peer review (inclusi sia l'uso che l'abuso), e come questi potrebbero evolversi in futuro e ( 2) riformare il sistema di peer review in modo più ampio (in termini di trasparenza, apertura, capacità, riconoscimento e formazione). Entrambe le questioni sono parte integrante dell’affidabilità della conoscenza e dell’affidabilità della scienza.

Al centro di tutti questi sforzi dovrebbero esserci tre cose fondamentali:

• Ampliare i criteri di valutazione per la ricerca scientifica e i ricercatori oltre i tradizionali parametri accademici per includere molteplici forme di risultati e funzioni della ricerca, compresi criteri quantitativi in ​​grado di misurare l'impatto sociale della ricerca.

• Incoraggiare i leader degli istituti di istruzione superiore e i finanziatori della ricerca ad adottare e promuovere questi nuovi criteri di valutazione come misure della qualità e del valore della ricerca.

• Lavorare con questi leader su nuove forme di sensibilizzazione e formazione per le future generazioni di ricercatori per dotare loro delle competenze necessarie per comunicare e impegnarsi efficacemente con i politici, il pubblico e altri soggetti chiave; e promuovere la diversità e l’inclusione nell’impresa di ricerca.

Gli autori di questo articolo concludono che reti come GYA, IAP e ISC, insieme e a sostegno di altri gruppi elettorali chiave, possono contribuire a costruire un’iniziativa globale coerente e partecipativa per mobilitare le comunità di ricerca, le università e altri istituti di istruzione superiore attorno a questo programma e a considerare come rendere operative nuove modalità di valutazione e finanziamento della ricerca per renderla più efficiente, giusta, inclusiva e di grande impatto.

Scaricare

Questo documento è stato scritto dai membri del gruppo di scoping GYA-IAP-ISC, che ha lavorato in modo intermittente tra maggio 2021 e febbraio 2023 (maggiori dettagli nell'Appendice A):

• Sarah de Rijcke (Presidente, Paesi Bassi)

• Clemencia Cosentino (Stati Uniti)

• Robin Crewe (Sudafrica)

• Carlo D'Ippoliti (Italia)

• Shaheen Motala-Timol (Mauritius)

• Noorsaadah Binti A Rahman (Malesia)

• Laura Rovelli (Argentina)

• David Vaux (Australia)

• Yao Yupeng (Cina)

Il Gruppo di Lavoro ringrazia Tracey Elliott (ISC Senior Consultant) per il suo lavoro di coordinamento e stesura. Un ringraziamento va anche ad Alex Rushforth (Centro per gli studi scientifici e tecnologici (CWTS), Università di Leiden, Paesi Bassi) e Sarah Moore (ISC) per ulteriori input e supporto.

Il Gruppo di Lavoro è inoltre grato a tutti coloro che sono stati consultati nella preparazione di questo documento (Appendice B), che hanno dedicato il loro tempo e condiviso le loro prospettive sulla valutazione della ricerca nei rispettivi paesi e regioni, e ai revisori nominati dal GYA, IAP e ISC:

• Karina Batthyány, Direttore esecutivo, Consiglio Latinoamericano delle Scienze Sociali (CLACSO) (Uruguay)

• Richard Catlow, Professore di ricerca, University College London (Regno Unito)

• Sibel Eker, Professore assistente, Radbound University (Paesi Bassi)

• Encieh Erfani, Ricercatrice scientifica, Centro Internazionale di Fisica Teorica (Iran, Italia)

• Motoko Kotani, Vicepresidente esecutivo, Riken (Giappone)

• Pradeep Kumar, Professore e Ricercatore Senior, Università di Witwatersrand (Sudafrica)

• Boon Han Lim, Professore Associato, Università di Tinku Abdul Rahman (UTAR) (Malesia)

• Priscilla Kolibea Mante, Docente senior, Kwame Nkrumah University of Science and Technology (KNUST) (Ghana)

• Alma Hernández-Mondragón, Presidente, Associazione Messicana per il Progresso della Scienza (AMEXAC) (Messico)

• Khatijah Mohamad Yusoff, Professore senior, Università di Putra Malesia (UPM) (Malesia)

1. UNESCO. 2021. Rapporto scientifico dell'UNESCO: La corsa contro il tempo per uno sviluppo più intelligente (capitolo 1). UNESCO. https://unesdoc.unesco.org/ark:/48223/pf0000377250

2. La Società Reale. (2012). La scienza come impresa aperta. Il Centro per la politica scientifica della Royal Society. https://royancheciety.org/~/media/policy/projects/sape/2012-06-20-saoe.pdf

3. Haustein, S. e Larivière, V. 2014. L'uso della bibliometria per valutare la ricerca: possibilità, limiti ed effetti avversi. I. Welpe, J. Wollersheim, S. Ringelhan, M. Osterloh (a cura di), Incentives and Performance, Cham, Springer, pp. 121–139.

4. Macleod, M., Michie, S., Roberts, I., Dirnagi, U., Chalmers, I., Ioadnnidis, J., Al-Shahi Salman, R., Chan., AW e Glasziou, P. 2014 La ricerca biomedica: aumentare il valore, ridurre gli sprechi. La Lancetta, vol. 383, n. 9912, pp. 101–104.

5. Bol, T., de Vaan, M. e van de Rijt, A. 2018. L’effetto Matthew nel finanziamento della scienza. Atti dell'Accademia Nazionale delle Scienze degli Stati Uniti d'America, vol. 115, n. 19, pp. 4887–4890.

6. Consiglio scientifico internazionale. 2021. Opening the Record of Science: rendere l'editoria accademica un lavoro per la scienza nell'era digitale. Parigi, Francia, ISC. https://doi.org/10.24948/2021.01

7. Müller, R. e de Ricke, S. 2017. Pensare con gli indicatori. Esplorare gli impatti epistemici degli indicatori di rendimento accademico nelle scienze della vita. Valutazione della ricerca, vol. 26, n. 3, pp. 157–168.

8. Ansede, M. 2023. Uno degli scienziati più citati al mondo, Rafael Luque, sospeso senza stipendio per 13 anni. El Paίs. https://english.elpais.com/science-tech/2023-04-02/one-of-the-worlds-most-cited-scientists-rafael-luque-suspended-without-pay-for-13-years. html

9. IAP. 2022. Combattere le riviste e le conferenze accademiche predatorie. Trieste, Italia, IAP. https://www.interacademies.org/publication/predatory-practices-report-English

10. Elliott, T., Fazeen, B., Asrat, A., Cetto, AM., Eriksson, S., Looi, LM e Negra, D. 2022. Percezioni sulla prevalenza e sull'impatto di riviste e conferenze accademiche predatorie: un sondaggio globale tra i ricercatori. Editoria colta, vol. 3, n. 4, pp. 516–528.

11. Collyer, TA 2019. “Affettare il salame” aiuta le carriere ma danneggia la scienza. Natura Comportamento Umano, vol. 3, pagine 1005–1006.

12. Abad-García, MF 2019. Plagio e riviste predatorie: una minaccia all’integrità scientifica. Anales De Pediatría (edizione inglese), vol. 90, n. 1, pp. 57.e1–57.e8.

13. Omobowale, AO, Akanle, O., Adeniran, AI e Adegboyega, K. 2013. Borsa di studio periferica e contesto dell'editoria straniera a pagamento in Nigeria. Sociologia attuale, vol. 62, n. 5, pp. 666–684.

14. Ordway, D.‑M. 2021. Riviste accademiche e giornalisti perpetuano la disinformazione nella gestione delle ritrattazioni delle ricerche. La risorsa del giornalista. https://journalistsresource.org/home/retraction-research-fake-peer-review/

15. Curry, S., de Rijcke, S., Hatch, A., Pillay, D., van der Weijden, I. e Wilsdon, J. 2020. The Changing Role of Funders in Responsible Research Assessment: Progress, Obstacles and la strada da percorrere. Londra, Regno Unito, Research on Research Institute.

16. Il Nord del mondo si riferisce generalmente alle economie industrializzate o sviluppate, come definite dalle Nazioni Unite (2021), mentre il Sud del mondo si riferisce alle economie recentemente industrializzate o che sono in fase di industrializzazione o in sviluppo, e che sono spesso attuali o ex sudditi del colonialismo.

17. Partenariato InterAcademy. Sessione 12: Vincere da una maggiore inclusione: relazione tra diversità e cultura accademica. IAP. https://www.interacademies.org/page/session-12-thinking-greater-inclusion-relation-between-diversity-and-academic-culture

18. Accademia Globale dei Giovani. Gruppo di lavoro sull'eccellenza scientifica. Berlino, Germania, GYA. https://globalyoungacademy.net/activities/scientific-excellence/

19. CSI. 2021. Liberare la scienza: realizzare obiettivi per la sostenibilità. Parigi, Francia, ISC. doi: 10.24948/2021.04

20. CSI. 2022. Un estratto dal discorso di Peter Gluckman al simposio Endless Frontier. Parigi, Francia. È C. https://council.science/current/blog/an-extract-from-peter-gluckmans-speech-to-the-endless-frontier-symposium/

21. Belcher, B., Clau, R., Davel, R., Jones, S. e Pinto, D. 2021. Uno strumento per la pianificazione e la valutazione della ricerca transdisciplinare. Approfondimenti sull'integrazione e l'implementazione. https://i2insights.org/2021/09/02/transdisciplinary-research-evaluation/

22. Belcher, BM, Rasmussen, KE, Kemshaw, MR e Zornes, DA 2016. Definire e valutare la qualità della ricerca in un contesto transdisciplinare. Valutazione della ricerca, vol. 25, n. 1, pp. 1–17.

23. Wilsdon, J. et al. 2015. The Metric Tide: rapporto della revisione indipendente del ruolo delle metriche nella valutazione e gestione della ricerca. HEFCE.

24. UNESCO. Raccomandazione dell'UNESCO sulla scienza aperta. Parigi, Francia, UNESCO. https://unesdoc.unesco.org/ark:/48223/pf0000379949

25. Una fonte dell'UNESCO ha rivelato che questo lavoro è attualmente sospeso perché il dibattito è dominato solo da pochi e non necessariamente incontra molti: un ampio dialogo deve precedere lo sviluppo di raccomandazioni.

26. Barroga, E. 2020. Strategie innovative per la revisione tra pari. Giornale di scienza medica coreana, vol. 35, n. 20, pp. e138.

27. Woods, HB, et al. 2022. Innovazioni nella revisione tra pari nell'editoria accademica: un meta-sintesi. SocArXiv, doi: 10.31235/osf.io/qaksd

28. Kaltenbrunner, W., Pinfield, S., Waltman, L., Woods, HB e Brumberg, J. 2022. Innovating peer review, reconfiguring Scholarly Communication: An Analytical Overview of current peer review Innovation actions. SocArXiv, doi: 10.31235/osf.io/8hdxu

29. Holm, J., Waltman, L., Newman-Griffis, D. e Wilsdon, J. 2022. Buone pratiche nell'uso dell'apprendimento automatico e dell'intelligenza artificiale da parte delle organizzazioni di finanziamento della ricerca: approfondimenti da una serie di workshop. Londra, Regno Unito, Research on Research Institute. https://doi.org/10.6084/m9.figshare.21710015.v1

30. Procter, R., Glover, B. e Jones, E. 2020. Ricerca 4.0 Ricerca nell'era dell'automazione. Londra, Regno Unito, DEMO.

31. Baker, M. 2015. Il software intelligente individua errori statistici negli articoli di psicologia. Natura, https://doi.org/10.1038/nature.2015.18657

32. Van Noorden, R. 2022. I ricercatori che utilizzano l'intelligenza artificiale per analizzare la revisione tra pari. Natura 609, 455.

33. Severin, An., Strinzel, M., Egger, M., Barros, T., Sokolov, A., Mouatt, J. e Muller, S. 2022. Arxiv,

34. Gadd, E. 2022. Strumenti di valutazione delle citazioni basati sull'intelligenza artificiale: buoni, cattivi o brutti? Il Bibliomago. https://thebibliomagician.wordpress.com/2020/07/23/ai-based-citation-evaluation-tools-good-bad-or-ugly/

35. Foltýnek, T., Meuschke, N. e Gipp, B. 2020. Rilevamento del plagio accademico: una revisione sistematica della letteratura. ACM Computing Surveys, vol. 52, n. 6, pagine 1–42.

36. Quach, K. 2022. Gli editori usano l’intelligenza artificiale per catturare scienziati cattivi che falsificano i dati. Il registro. https://www.theregister.com/2022/09/12/academic_publishers_are_using_ai/

37. Van Dis, E., Bollen, J., Zuidema., van Rooji, R e Bockting, C. 2023. ChatGPT: cinque priorità per la ricerca. Natura, vol. 614, pp. 224–226.

38. Chawla, D. 2022. L’intelligenza artificiale dovrebbe avere un ruolo nella valutazione della qualità della ricerca? Natura, https://doi.org/10.1038/d41586-022-03294-3

39. Cyranoski, D. 2019. L’intelligenza artificiale sta selezionando i revisori delle sovvenzioni in Cina. Natura, vol. 569, pp. 316–317.

40. Mike, T. 2022. È possibile valutare la qualità degli articoli di riviste accademiche pubblicati con l'apprendimento automatico? Studi di scienze quantitative, vol. 3, n. 1, pp. 208–226.

41. Chomsky, N., Roberts, I. e Watumull, J. 2023. La falsa promessa di ChatGPT. Il New York Times. https://www.nytimes.com/2023/03/08/opinion/noam-chomsky-chatgpt-ai.html

42. Chiarire. 2022. Valutazione della ricerca: origini, evoluzione, risultati. Chiarire. https://clarivate.com/lp/research-assessment-origins-evolutions-outcomes/

43. Blauth, TF, Gstrein, OJ e Zwitter, A. 2022. Crimine sull'intelligenza artificiale: una panoramica dell'uso dannoso e dell'abuso dell'intelligenza artificiale. Accesso IEEE, vol. 10, pp. 77110–77122.

44. Castelvecchi, D. 2019. Pioniere dell'IA: 'I pericoli di abuso sono molto reali'. Natura, doi: https://doi.org/10.1038/d41586-019-00505-2

45. Jordan, K. 2022. Percezioni degli accademici sull'impatto e sul coinvolgimento della ricerca attraverso le interazioni sulle piattaforme di social media. Apprendimento, media e tecnologia, doi: 10.1080/17439884.2022.2065298

46. ​​Wouters, P., Zahedi, Z. e Costas, R. 2019. Metriche dei social media per la valutazione di nuove ricerche. Glänzel, W., Moed, HF, Schmoch U., Thelwall, M. (a cura di), Springer Handbook of Science and Technology Indicators. SpringerLink.

47. Rafols, I. e Stirling, A. 2020. Progettare indicatori per aprire la valutazione. Approfondimenti dalla valutazione della ricerca. ResearchGate, doi: 10.31235/osf.io/h2fxp

48. Rich, A., Xuereb, A., Wrobel, B., Kerr, J., Tietjen, K., Mendisu, B., Farjalla, V., Xu, J., Dominik, M., Wuite, G ., Hod, O. e Baul, J. 2022. Ritorno alle origini. Halle, Germania, Global Young Academy.

49. Jong, L., Franssen, T. e Pinfield, S. 2021. Eccellenza nell'ecosistema di ricerca: una revisione della letteratura. Londra, Regno Unito, Research on Research Institute.

50. Hatch, A. e Curry, S. 2020. Cultura della ricerca: cambiare il modo in cui valutiamo la ricerca è difficile, ma non impossibile. eLife, vol. 9, pag. e58654.

51. IAP. 2022. Lotta alle riviste e alle conferenze accademiche predatorie. Trieste, Italia, IAP.

52. Hicks, D., Wouters, P., Waltman, L., de Rijcke, S. e Rafols, I. 2015. Bibliometria: The Leiden Manifesto for Research Metrics. Natura, vol. 520, pp. 429–431.

53. Pubblici. 2018. Stato globale della revisione tra pari. Londra, Regno Unito, Clarivate. https://doi.org/10.14322

54. Kovanis, M., Porcher, R., Revaud, P. e Trinquart, L. 2016. Il peso globale della revisione tra pari delle riviste nella letteratura biomedica: forte squilibrio nell'impresa collettiva. PLoS UNO, vol. 11, n. 11, pag. e0166387.

55. Forrester, B. 2023. Stufo ed esaurito: il "quiet quitting" colpisce il mondo accademico. Natura, vol. 615, pp. 751–753.

56. Hatch, A. e Curry, S. 2020. Cultura della ricerca: cambiare il modo in cui valutiamo la ricerca è difficile, ma non impossibile. eLife, vol. 9, pag. e58654.

57. Moher, D., Bouter, L., Kleinert, S., Glasziou, P., Har Sham, M., Barbour, V., Coriat, AM, Foeger, N. e Dirnagi, U. 2020. The Hong Principi Kong per la valutazione dei ricercatori: promuovere l'integrità della ricerca. PLoS Biologia, vol. 18, n. 7, pag. e3000737.

58. Wilsdon, J., Allen, L., Belfiore, E., Campbell, P., Curry, S., Hill, S., Jones, R., Kain, R. e Kerridge, S. 2015. The Metric Tide: Rapporto della revisione indipendente del ruolo delle metriche nella valutazione e gestione della ricerca. doi:10.13140/RG.2.1.4929.1363

59. Curry, S., Gadd, E. e Wilsdon, J. 2022. Harnessing the Metric Tide: Indicators, Infrastructures & Priorities for UK Responsible Research Assessment. Londra, Regno Unito, Research on Research Institute.

60. Editoriale sulla natura. 2022. Sostenere la visione coraggiosa dell’Europa per una valutazione responsabile della ricerca. Natura, vol. 607, pag. 636.

61. Dichiarazione sulla valutazione della ricerca (DORA). https://sfdora.org/about-dora/

62. Hicks, D., Wouters, P., Waltman, L., de Rijcke, S. e Rafols, I. 2015. Bibliometria: The Leiden Manifesto for Research Metrics. Natura, vol. 520, pp. 429–431.

63. Curry, S., Gadd, E. e Wilsdon, J. 2022. Harnessing the Metric Tide: Indicators, Infrastructures & Priorities for UK Responsible Research Assessment. Londra, Regno Unito, Research on Research Institute. https://rori.figshare.com/articles/report/Harnessing_the_Metric_Tide/21701624

64. DORA. Dichiarazione di San Francisco sulla valutazione della ricerca. https://sfdora.org/read/

65. DORA. Strumenti per promuovere la valutazione della ricerca. DORA. https://sfdora.org/project-tara/

66. DORA. Sovvenzioni per il coinvolgimento della comunità DORA: sostegno alla riforma della valutazione accademica https://sfdora.org/dora-community-engagement-grants-supporting-academic-assessment-reform/

67. Norme. SCOPE Quadro per la valutazione della ricerca. https://inorms.net/scope-framework-for-research-evaluation/

68. Norme. Il quadro SCOPE. https://inorms.net/scope-framework-for-research-evaluation/

69. Torfin, S. 2018. Research Quality Plus. Centro internazionale di ricerca sullo sviluppo. https://www.idrc.ca/en/rqplus

70. Reid, C., Calia, C., Guerra, C. e Grant, L. 2019. Azione etica nella ricerca globale: un kit di strumenti. Edimburgo, Scozia, Università di Edimburgo. https://www.ethical-global-research.ed.ac.uk/

71. Valters, C. 2014. Teorie del cambiamento nello sviluppo internazionale: comunicazione, apprendimento o responsabilità? La Fondazione Asia. https://www.alnap.org/system/files/content/resource/files/main/jsrp17-valters.pdf

72. Fraser, C., Nienaltowski, MH, Goff, KP, Firth, C., Sharman, B., Bright, M. e Dias, SM 2021. Valutazione della ricerca responsabile. Consiglio di ricerca globale. https://globalresearchcouncil.org/news/responsible-research-assessment/

73. Il Consiglio Globale della Ricerca. Valutazione della ricerca responsabile GRC. Youtube. https://www.youtube.com/watch?v=CnsqDYHGdDo

74. Curry, S., de Rijcke, S., Hatch, A., Dorsamy, P., van der Weijden, I. e Wilsdon, J. 2020. The Changing Role of Funders in Responsible Research Assessment. Londra, Regno Unito, Research on Research Institute. https://doi.org/10.6084/m9.figshare.13227914.v1

75. Consiglio Globale della Ricerca. Gruppo di lavoro responsabile per la valutazione della ricerca. GRC. https://globalresearchcouncil.org/about/responsible-research-assessment-working-group/

76. Accademia Globale dei Giovani. Eccellenza scientifica. GYA. https://globalyoungacademy.net/activities/scientific-excellence/

77. Adams, J., Beardsley, R., Bornmann, L., Grant, J., Szomszor, M. e Williams, K. 2022. Valutazione della ricerca: origini, evoluzione, risultati. Istituto per l'informazione scientifica. https://clarivate.com/ISI-Research-Assessment-Report-v5b-Spreads.pdf

78. DORA. Libreria di risorse. https://sfdora.org/resource-library

79. Saenen, B., Hatch, A., Curry, S., Proudman, V. e Lakoduk, A. 2021. Reimagining Academic Career Assessment: Stories of Innovation and Change. DORA. https://eua.eu/downloads/publications/eua-dora-sparc_case%20study%20report.pdf

80. Coalizione per l'avanzamento della valutazione della ricerca (CoARA). https://coara.eu/

81.CoARA. 2022. Accordo sulla riforma della valutazione della ricerca. https://coara.eu/app/uploads/2022/09/2022_07_19_rra_agreement_final.pdf

82. Editoriale sulla natura. 2022. Sostenere la visione coraggiosa dell’Europa per una valutazione responsabile della ricerca. Natura, vol. 607, pag. 636.

83. Scienza aperta e universale. OPUS Home – Progetto di Scienza Aperta e Universale (OPUS). https://opusproject.eu/

84. Vergoulis, T. 2023. GraspOS verso una valutazione della ricerca più responsabile. OpenAIRE. https://www.openaire.eu/graspos-moving-forward-to-a-more-responsible-research-assessment

85. Consiglio Europeo della Ricerca. 2022. Il Consiglio Scientifico del CER decide le modifiche ai moduli e ai processi di valutazione per i bandi del 2024. CER. https://erc.europa.eu/news-events/news/erc-scientific-council-decides-changes-evaluation-forms-and-processes-2024-calls

86. Tutte le Accademie europee. 2022. Dichiarazione ALLEA sulla riforma della valutazione della ricerca nelle accademie europee. ALLEA. https://allea.org/wp-content/uploads/2022/10/ALLEA-Statement-RRA-in-the-Academies.pdf

87.Eurodoc, MCAA, YAE, ICoRSA e GYA. 2022. Dichiarazione congiunta sulle conclusioni del Consiglio dell'UE sulla valutazione della ricerca e l'implementazione della scienza aperta. Zenodo, doi: 10.5282/zenodo.7066807.

88. Overlaet, B. 2022. Un percorso verso carriere accademiche multidimensionali – Un quadro LERU per la valutazione dei ricercatori. LERU, Lovanio, Belgio. https://www.leru.org/files/Publications/LERU_PositionPaper_Framework-for-the-Assessment-of-Researchers.pdf

89. Società reale. Curriculum vitae per ricercatori. https://royancheciety.org/topics-policy/projects/research-culture/tools-for-support/resume-for-researchers/

90. Grove, J. 2021. I CV narrativi raccontano la storia giusta? Tempi di istruzione superiore (THE). https://www.timeshighereducation.com/approfondimento/do-narrative-cvs-tell-right-story

91. RICETTA. Ricercatori per settore occupazionale (FTE) 2011-2020. app.ricyt.org/ui/v3/comparative.html?indicator=INVESTEJCSEPER&start_year=2011&end_year=2020

92. CLACSO. 2020. Valutazione della valutazione della ricerca scientifica. Verso una trasformazione della valutazione della ricerca scientifica in America Latina e nei Caraibi Serie del Forum latinoamericano per la valutazione della ricerca (FOLEC). CLACSO, Buenos Aires, Argentina. https://www.clacso.org/wp-content/uploads/2020/05/FOLEC-DIAGNOSTICO-INGLES.pdf

93. CLACSO. 2021. Verso una trasformazione dei sistemi di valutazione in America Latina e nei Caraibi, strumenti per promuovere nuove politiche di valutazione. Serie del Forum latinoamericano per la valutazione della ricerca (FOLEC). CLACSO, Buenos Aires, Argentina. https://www.clacso.org/wp-content/uploads/2022/02/Documento-HERRAMIENTA-2-ENG.pdf

94. Gras, N. 2022. Forme di valutazione della ricerca orientate ai problemi dello sviluppo. Pratiche e prospettive delle organizzazioni nazionali di scienza e tecnologia e degli istituti di istruzione superiore in America Latina e nei Caraibi. FOLEC. CLACSO, Buenos Aires, Argentina. 2022-07-27_Report Forms-of-research-assessment.pdf ENG.pdf (dspacedirect.org)

95. CLACSO è il Consiglio per le scienze sociali della regione e uno dei principali sostenitori della scienza socialmente rilevante e responsabile. Il Forum latinoamericano sulla valutazione della ricerca (FOLEC) è uno spazio regionale per il dibattito e la condivisione di buone pratiche e sta sviluppando linee guida regionali per la valutazione della ricerca a sostegno di questi principi. Entrambi garantiscono una forte leadership regionale.

96.SGCI. Iniziativa dei Consigli per la concessione delle scienze (SGCI) nell’Africa subsahariana. https://sgciafrica.org/

97.SGCI. Tijssen, R. e Kraemer-Mbula, E. 2017. Policy brief: Prospettive sull'eccellenza della ricerca nel Sud del mondo: valutazione, monitoraggio e valutazione nei contesti dei paesi in via di sviluppo. SGCI. https://sgciafrica.org/wp-content/uploads/2022/03/Policy-Brief-Perspectives-on-research-excellence-in-the-Global-South_-Assessment-monitoring-and-evaluation-in-developing- contesti-paese.pdf

98. Tijssen, R. e Kraemer-Mbula, E. 2018. Eccellenza della ricerca in Africa: politiche, percezioni e prestazioni. SGCI. https://sgciafrica.org/research-excellence-in-africa-policies-perceptions-and-performance/

99. Tijssen, R. e Kraemer-Mbula, E. 2018. Eccellenza della ricerca in Africa: politiche, percezioni e prestazioni. Scienza e politica pubblica, vol. 45 n. 3, pp. 392–403. https://doi.org/10.1093/scipol/scx074

100.SGCI. Linee guida di buona pratica sulla qualità dei concorsi di ricerca. https://sgciafrica.org/eng-good-practice-guideline-on-the-quality-of-research-competitions/

101.NRF. La NRF ospita riunioni strategiche per promuovere i partenariati di ricerca in Africa – Fondazione nazionale per la ricerca

102. Belcher, BM, Rasmussen, KE, Kemshaw, MR e Zornes, DA 2016. Definire e valutare la qualità della ricerca in un contesto transdisciplinare, Research Evaluation, vol. 25, pp: 1–17, https://doi.org/10.1093/reseval/rvv025

103. ARIN. 2020. Metriche di scienza, tecnologia e innovazione (STI) – Africa Research & Impact Network (arin-africa.org)

104. McLean R., Ofir Z., Etherington A., Acevedo M. e Feinstein O. 2022. Research Quality Plus (RQ+) – Evaluating Research Differently. Ottawa, Centro di ricerca sullo sviluppo internazionale. https://idl-bnc-idrc.dspacedirect.org/bitstream/handle/10625/60945/IDL-60945.pdf?sequence=2&isAllowed=y

105. Accademia Internazionale per il Monitoraggio e la Valutazione

106. DORA. Cruscotto TARA. https://sfdora.org/tara-landing-page/

107. IARU, Associazione internazionale delle università ad alta intensità di ricerca; LERU, Lega delle università di ricerca europee; AAU, Associazione Africana delle Università