Viitorul evaluării cercetării: o sinteză a dezbaterilor și evoluțiilor actuale

Un sistem de cercetare dinamic și incluziv este profund important atât pentru știință, cât și pentru societate, pentru a promova cunoștințele și înțelegerea fundamentală și pentru a aborda provocările globale din ce în ce mai urgente. Dar sistemul de cercetare este sub presiune din cauza așteptărilor crescânde de la mai mulți actori (inclusiv finanțatori, guverne și industria editorială), tensiunilor dintre dinamica concurenței și cooperare, a unui sistem de comunicare academic în evoluție, a unei industrie agresive – uneori – de publicare și de analiză a datelor. și resurse limitate. Întreprinderea de cercetare trebuie să gestioneze aceste solicitări și tensiuni, menținând în același timp calitatea cercetării, susținând integritatea cercetării, fiind incluzivă și diversificată și salvând atât cercetarea de bază, cât și cea aplicată.

În ultimul deceniu, aceste presiuni asupra sistemului științific și nevoia de receptivitate a sistemului au fost însoțite de reflecții mai critice asupra sistemelor de evaluare a cercetării și de măsurare a performanței. Deși metodologiile adecvate, sensibile la context pentru evaluarea calității și impactului cercetării sunt importante, dezbaterile s-au intensificat cu privire la efectele ample, complexe și ambigue ale criteriilor și metricilor actuale de evaluare asupra calității și culturii cercetării, asupra calității dovezilor care informează elaborarea politicilor, priorități în cercetare și finanțare a cercetării, traiectorii individuale de carieră și bunăstarea cercetătorilor. În unele părți ale lumii, există o recunoaștere tot mai mare a faptului că un set restrâns și simplist de metrici și indicatori evaluativi nu surprind în mod satisfăcător calitatea, utilitatea, integritatea și diversitatea cercetării. Valorile utilizate în mod obișnuit – adesea bazate pe jurnal – nu reușesc să surprindă dimensiuni suplimentare importante ale cercetării de înaltă calitate, cum ar fi cele găsite în mentorat, schimbul de date, interacțiunea cu publicul, hrănirea următoarei generații de savanți și identificarea și oferirea de oportunități grupurilor subreprezentate. Pe lângă faptul că este prea restrânsă în domeniul de aplicare, problema aplicării greșite a indicilor și indicatorilor este, de asemenea, văzută că denaturează stimulentele pentru realizare, dezavantajează unele discipline (inclusiv cercetarea interdisciplinară și transdisciplinară vitală) și alimentează practicile de publicare prădătoare și lipsite de etică.

Campaniile de reducere a aplicării greșite a parametrilor, lărgirea criteriilor de calitate și transformarea mai sistematică a culturii cercetării prin manifeste și declarații, principii și reforme au pus bazele unei dezbateri globale asupra necesității de a reforma evaluarea cercetării. Aceste voci cer acum trecerea de la manifeste la acțiune. Acest lucru se întâmplă pe fondul schimbărilor de transformare în modurile în care cercetarea este întreprinsă și comunicată. Creșterea cadrelor deschise de cercetare și a rețelelor sociale, o trecere la știința transdisciplinară și orientată spre misiuni, creșterea evaluării inter pares deschise și potențialul transformator al inteligenței artificiale (AI) și al învățării automate necesită o nouă gândire asupra modului în care sunt evaluate cercetările și cercetătorii. .

În acest context, Global Young Academy (GYA), Parteneriat InterAcademy (IAP) si Consiliul Științific Internațional (ISC) și-au unit forțele pentru a face bilanțul dezbaterilor și evoluțiilor în evaluarea cercetării la nivel mondial, bazându-se pe un grup de oameni de știință și o serie de consultări regionale. Noi abordări sunt dezvoltate și pilotate de către instituțiile de învățământ superior și finanțatorii de cercetare din unele părți ale lumii și mai multe sunt incluse în această lucrare. În alte părți ale lumii, aceste dezbateri și acțiuni sunt în curs de dezvoltare sau chiar absente. Cu sistemele de cercetare care evoluează în ritmuri diferite, există riscul de divergență și fragmentare. O astfel de divergență poate compromite omogenitatea necesară pentru a permite colaborarea în cercetare și pentru a facilita mobilitatea cercetătorilor în diferite zone geografice, sectoare și discipline. Cu toate acestea, o singură dimensiune nu poate fi potrivită tuturor și este nevoie de eforturi sensibile la context pentru reformarea evaluării, recunoscând provocările locale.

Cu accent pe cercetarea în sectorul public și pe evaluarea cercetării și a cercetătorilor, acest document de discuție este global în perspectiva sa, acoperind o agendă care este de obicei dominată de evoluțiile din Europa și America de Nord: perspective regionale și exemple de dezvoltare națională și reformă instituțională sunt evidențiat. Apartenența globală și colectivă a GYA, IAP și ISC reprezintă o secțiune transversală largă a ecosistemului de cercetare ale cărui mandate diverse pot facilita o adevărată schimbare sistemică. Această lucrare se străduiește să servească drept stimul pentru GYA, IAP și ISC – ca platforme pentru învățare reciprocă, experimentare și inovare – să lucreze cu membrii lor, alte instituții științifice și grupuri cheie din întreaga lume, să inițieze și să progreseze conversații și să mobilizeze mai incluzive. și acțiune comună.

Recomandările pentru GYA, IAP și ISC și membrii acestora (a se vedea secțiunea 5) sunt structurate în jurul rolurilor lor de avocați, exemplare, inovatori, finanțatori, editori, evaluatori și colaboratori, cu termene orientative de acțiune. Cel mai imediat, aceste acțiuni includ crearea de spațiu pentru împărtășirea lecțiilor și rezultatelor inițiativelor relevante până în prezent (pentru a construi o comunitate de practică); pe termen mediu, co-convocarea forumurilor cu mai multe părți interesate cu grupurile cheie pentru a reproiecta și implementa evaluarea cercetării în moduri practicabile, sensibile la context și incluzive; și, pe termen lung, instigarea unor studii noi care contribuie la gândirea viitorului, sensibile la evoluțiile rapide ale tehnologiilor AI, metodologiile și reformele de evaluare inter pares și mass-media de comunicare.

Global Young Academy (GYA), Parteneriat InterAcademy (IAP) si Consiliul Științific Internațional (ISC) s-au reunit în 2021 pentru a face un bilanț al provocărilor, dezbaterilor și evoluțiilor în evaluarea/evaluarea cercetării la nivel mondial, în diverse culturi și sisteme de cercetare și pentru a explora modalități în care ar putea participa și influența re-imaginarea evaluării/evaluării cercetării pentru secolul XXI, într-un mod deschis și incluziv.

Un grup internațional de definire a domeniului de aplicare (Anexa A) a fost convocat pentru a studia domeniul și a consilia cele trei organizații cu privire la modul în care ar putea consolida eforturile existente de reformare a evaluării cercetării. Esențial pentru această muncă a fost premisa că (1) o inițiativă concertată, condusă de cercetători, ar oferi comunității globale de cercetare o voce mai puternică în modelarea viitorului evaluării cercetării și (2) există beneficii pentru „evaluarea cu cei evaluați”; astfel, ajutând la trasarea unei căi către o schimbare susținută, sistemică, în culturile și practicile de evaluare.

Suplimentând cercetarea de birou, o serie de consultări regionale cu experți identificați de grupul de stabilire a domeniului și parteneri a fost efectuată la sfârșitul anului 2021. Documentul de discuție este rezultatul principal al acestei lucrări. Acesta este destinat să servească drept prospect pentru conversațiile exploratorii cu mai multe părți interesate, nu în ultimul rând comunitatea globală de cercetare în sine.

Practicile de evaluare a cercetării servesc mai multor obiective și sunt conduse de mai mulți factori interesați. Acestea sunt utilizate pentru evaluarea propunerilor de cercetare pentru decizii de finanțare, lucrări de cercetare pentru publicare, cercetători pentru recrutare sau promovare și performanța instituțiilor de cercetare și universităților. Această lucrare se concentrează în principal pe evaluarea cercetătorilor și a cercetării și nu acoperă evaluarea sau clasarea instituțională, deși toate aceste domenii de evaluare sunt indisolubil legate. Practicile actuale se bazează în mare măsură pe valori cantitative și în mare parte bazate pe jurnal, cum ar fi Journal Impact Factor (JIF), numărul de publicații, numărul de citări, h-index și Article Influence Score (AIS). Alte valori includ ținte privind veniturile din granturi, măsuri de intrare (cum ar fi finanțarea cercetării sau dimensiunea echipei de cercetare), numărul de brevete înregistrate și, mai recent, valorile rețelelor sociale (fostul „altmetrics”), cum ar fi distribuirea sau descărcările în rețelele sociale. Împreună, aceste indicatori influențează profund reputația instituțională, grupul de cercetare și individual, agendele de cercetare individuale și colaborative, traiectorii de carieră și alocarea resurselor.

În ultimele două decenii, investițiile globale în cercetare și dezvoltare (C&D) s-au triplat – la aproximativ 2 trilioane USD pe an. Numai ultimii ani au adus cea mai rapidă creștere a cheltuielilor pentru cercetare și dezvoltare de la mijlocul anilor 1980, cu aproximativ 19% (UNESCO, 2021) [1]. Această investiție suplimentară în cercetare aduce cu sine o cultură a responsabilității care pune presiune asupra instituțiilor de cercetare și asupra persoanelor fizice și poate genera aberații sau stimulente perverse, ca răspuns. De asemenea, a condus la aspirații mai mari: menținerea calității și reducerea risipei, erorilor și ineficienței în cercetare; să maximizeze incluziunea și diversitatea; optimizarea cercetării ca bun public global; și să promoveze o bursă mai deschisă și mai implicată. Fără reformă, calitatea cercetării, integritatea, diversitatea și utilitatea sunt amenințate.

Măsurile cantitative pot constitui o parte importantă a evaluării cercetării, în tranziția către un sistem de cercetare mai deschis, mai responsabil și orientat spre public (Societatea Regală, 2012) [2]. Dar ei sunt, de asemenea, parțial responsabili pentru alimentarea culturii de cercetare „publicați sau pieri” care există la nivel mondial, cu efecte dăunătoare asupra calității rezultatelor cercetării, asupra integrității și credibilității sistemelor de cercetare și asupra diversității comunităților de cercetare (de ex. Haustein și Larivière, 2014) [3]. Acest lucru se datorează faptului că metricile sunt utilizate ca indicatori pentru calitatea cercetării de către instituții, factorii de decizie și finanțatorii cercetării deopotrivă, dar sunt o măsură a rezultatelor și nu a calității sau impactului cercetării în sine. Ca atare, acești actori fac mult pentru a stabili contextul social și cultural în care are loc cercetarea, iar sistemele de recompensă și promovare ale mediului academic modelează alegerile oamenilor de știință în toate etapele carierei lor (Macleod și colab., 2014) [4].

„Folosirea indicilor bibliometrici... ca indicatori proxy pentru performanța cercetătorilor este un indice convenabil de evaluare, dar profund viciat. Majoritatea pun un accent necruțător pe realizările individuale, subțiază sprijinul cercetării prin interesul unei universități pentru valorile de mare impact, presează pe toate să „bifeze casete” și să se conformeze, în timp ce joacă un rol important în denaturarea pieței publicațiilor de reviste. Este nevoie urgentă de reformă.”

Deschiderea Recordului Științei (2021), Consiliul Științei Internaționale

Cealaltă comunitate de părți interesate care deține o putere și o influență uriașă asupra comunicării cercetării și producerii cunoștințelor este sectorul editorial. Valorile bazate pe jurnal au devenit un stimulent puternic pentru a publica în reviste comerciale și pot stimula comportamentul care poate avea efecte secundare grave. În loc să judece rezultatele cercetării în funcție de meritele sale științifice, calitatea percepută a revistei în care este publicată este acceptată în mod obișnuit ca dovadă a calității științifice, conducând o piață de publicare extrem de comercială bazată mai degrabă pe reputație decât pe știință. Costurile de acces deschis sunt suportate în mare parte prin taxele de procesare a autorului (APC): acestea pot fi prohibitiv de mari, în special în unele părți ale lumii, creând bariere în calea publicării cercetării pentru cercetătorii cu resurse sărace și riscând potențial fractura comunității științifice internaționale. Riscurile de a deveni din ce în ce mai dependenți de furnizorii comerciali și de condițiile lor de utilizare în toate etapele procesului de cercetare creează un argument puternic pentru alternative non-profit. Mai mult, deoarece indicatorii bibliometrici au furnizat sursa dominantă de stimulente în universități, ei au diminuat valoarea educațională și a altor forme de muncă științifică (cum ar fi predarea și consilierea privind politicile). Întrucât sistemele de evaluare a cercetării tind să-i favorizeze pe cei care obțin granturi mari și publică în reviste cu factori de impact ridicat, există dovezi care sugerează că cercetătorii care au reușit deja au mai multe șanse să reușească din nou („efectul Matei”, Bol și colab., 2018) [5].

Când publicarea academică devine mai degrabă un mijloc de evaluare decât de comunicare, acest lucru îi dezavantajează pe cei care aleg să-și comunice cercetarea în alte moduri semnificative (Raportul ISC 2021) [6]. Acestea includ rezultate comune (și, probabil, principala monedă) ale Academiei Tineretului Global (GYA), Parteneriatului InterAcademy (IAP) și Consiliului Științei Internaționale (ISC): rapoarte, documente de lucru, declarații comune, editoriale de opinie, știri și seminarii web. . Unele discipline sunt, de asemenea, dezavantajate: de exemplu, cercetătorii din inginerie și informatică unde comunicarea (de obicei mai rapidă) prin conferințe și lucrările acestora sunt importante; și cei din științe umaniste și sociale care folosesc de obicei monografii, cărți și reviste profesionale.

Alții aleg să publice în reviste specifice cercetării sau locale, sau nu își permit să-și publice cercetările (oricât de înaltă calitate) în reviste cu acces deschis cu factori de impact înalți (și APC-uri concomitente ridicate); acesta din urmă îi dezavantajează pe cei din țările cu venituri mici, în special pe cercetătorii de început de carieră (ECR). Acești cercetători sunt supuși unei presiuni intense pentru posturi academice titulare și comportamentul lor este puternic condiționat de criteriile cantitative utilizate de agențiile de finanțare a cercetării și de consiliile de angajare și promovare instituționale. Tentația de a gândi cu indicatori (Muller și de Rijcke, 2017) [7], și chiar „joc” sistemul, este o realitate pentru toți cercetătorii de pretutindeni în lume (de ex. Ansede, 2023) [8].

Manifestările acestui joc includ cercetătorii (cu bună știință sau din neatenție) care folosesc reviste și conferințe prădătoare pentru a-și spori numărul de publicații. (IAP, 2022 [unu]; Elliott și colab., 2022 [10]), complacându-se cu auto-citarea și falsificarea evaluărilor inter pares, plagiatul, inflația factorului de impact și „taierea salamului” (partiționând un studiu amplu care ar fi putut fi raportat într-un singur articol de cercetare în articole publicate mai mici) (Collyer, 2019) [11]. Sub presiune, cercetătorii pot fi tentați să recurgă la servicii de pradă cu unicul scop de a-și obține doctoratul, de a fi angajați sau promovați sau de a-și finanța proiectele de cercetare (de ex. Abad-García, 2018 [unu]; Omobowale și colab., 2014) [13]. Sistemele academice și de publicare academice determinate de metrici generează stimulente insidioase: locul în care publică un cercetător este mai important decât ceea ce publică.

Impactul asupra calității și integrității cercetării este extrem de îngrijorător. Numărul articolelor academice retractate a crescut dramatic în ultimii ani, din cauza comportamentului necorespunzător al cercetării și publicării și seturilor de date slabe sau frauduloase. Revistele pot dura luni până la ani pentru a retrage cercetările nesigure, moment în care este posibil să fi fost deja citate de mai multe ori și să fie în domeniul public (Ordway, 2021) [14].

Predominanța evaluării cercetării bazate pe metrici este fără echivoc și există tendințe divergente la nivel global când vine vorba de reforma evaluării, care riscă să lase în urmă părți din comunitatea de cercetare. În analiza sa a peisajului global al evaluării cercetării (Curry și colab., 2020 [15]; prezentate), se pare că multe instituții de cercetare și finanțare din țări/regiuni cu venituri mai mari încep să includă un set mai larg de indicatori, cum ar fi măsurile calitative de „impact”, în timp ce bibliometria rămâne predominantă în instituțiile din „Sudul Global” [16]. ], în toate disciplinele. Fără o acțiune mai incluzivă, riscă să existe o divergență a sistemelor naționale de evaluare, care ar putea introduce încă o părtinire sistemică și potențiale incompatibilități în sistemele de cercetare, evaluare, finanțare și publicare. Acest lucru, la rândul său, poate inhiba colaborarea internațională în cercetare și mobilitatea cercetătorilor. În crearea barierelor în calea colaborării nord-sud, aceasta poate, de asemenea, să inhibe consolidarea concomitentă a ecosistemelor de cercetare din Sudul Global – evaluarea solidă a cercetării întărește ecosistemele de cercetare și încrederea în ele, reduce probabilitatea exodului creierelor și ajută la stabilirea unui capital uman puternic pentru o dezvoltare durabilă. dezvoltare. Cu toate acestea, versiunile universale ale ceea ce constituie o bună performanță generează forme de comportament care nu sunt neapărat propice pentru excelență, corectitudine, transparență și incluziune. Măsurarea realizărilor oamenilor de știință care au prosperat în medii de susținere, bine dotate cu resurse, în care oportunitățile abundă, în același mod ca cei care au luptat cu provocările și au depășit obstacolele în medii ostile și nesprijinitoare este în cel mai bun caz îndoielnic (GYA, 2022) [17]. Mulți savanți simt excluderea istorică și geografică din comunitatea de cercetare, alimentată în mare parte de modul în care sunt evaluați de-a lungul carierei lor. Excluzând unele forme de cercetare și eșecul de a valorifica o diversitate de idei la nivel global, există riscul ca practicile actuale de evaluare a cercetării să promoveze o cultură mainstream/follower a modelelor dominante concepute în Occident.

Cercetătorii din țările cu venituri mici și aflate în stadiile incipiente ale carierei au nevoie de o voce, astfel încât să poată contribui la formarea noilor modele de evaluare în moduri sensibile la context, care sunt adecvate scopului și să țină cont de provocările cu care se confruntă zilnic. pe zi. GYA și numărul tot mai mare de Academii Naționale Tinere oferă ECR această voce, iar Grupul de lucru al GYA privind excelența științifică [18] își oferă opiniile cu privire la reforma evaluării cercetării (a se vedea textul de mai jos).

Opinii din comunitatea cercetătorilor de la începutul carierei

Cercetătorii de carieră timpurie (ECR) sunt preocupați în special de practicile de evaluare a cercetării, deoarece perspectivele lor de carieră și urmărirea agendei lor de cercetare depind în mod esențial de modul în care sunt evaluați. Aceasta informează practicile de finanțare, angajare și promovare în moduri care nu sunt întotdeauna percepute ca fiind corecte și echitabile.

Deși este evident că deciziile de finanțare și de resurse umane afectează componența forței de muncă a cercetătorilor, nu este întotdeauna recunoscut faptul că, prin impactul său asupra finanțării, evaluarea cercetării modelează stimulente pentru instituții și cercetători să urmeze o anumită traiectorie de cercetare, de muncă. într-un anumit domeniu sau alăturați-vă unor rețele peste altele. În acest fel, evaluarea cercetării modelează dezvoltarea științei în sine, iar acest lucru este valabil mai ales în raport cu impactul său disproporționat asupra perspectivelor și așteptărilor ECR.

Deși știința este o întreprindere globală, unii savanți se confruntă cu bariere mai mari pentru a intra și a se angaja în comunitatea de cercetare din cauza locului în care s-au născut, a identității sau a fondului lor socio-economic. Aceasta este o problemă de organizare a industriei științifice și nu de evaluare a cercetării în sine, dar mulți ECR consideră că criteriile de evaluare nu ar trebui să fie oarbe față de această realitate a experienței cercetătorilor și nu ar trebui să impună criterii uniforme și standardizate diferitelor situații.

Cercetările efectuate de Grupul de lucru pentru excelență științifică al GYA (raportul viitor) arată că evaluarea cercetării ar putea fi condusă mai mult de politica de cercetare a unei țări decât de dezbateri culturale sau științifice. Concentrându-se pe criteriile de promovare la profesorul complet (sau echivalent) în mediul academic, raportul arată că politicile și instituțiile naționale tind să aibă documente specifice care stabilesc criteriile lor pentru evaluarea cercetării. În loc să cuprindă un set mare și variat de criterii care ar putea fi utilizate pentru a forma o viziune cuprinzătoare asupra unui cercetător, aceste documente tind să se concentreze pe o singură dimensiune sau prioritate. De exemplu, unele documente se concentrează pe evaluarea activităților de serviciu ale unui cercetător (cum ar fi predarea și mentorat) sau unele asupra rezultatelor acumulate ale unui cercetător (de exemplu, în ceea ce privește numărul de articole din jurnal) – dar rareori pe ambele.

Există două implicații principale ale acestei constatări. În primul rând, evaluarea cercetării este ierarhică și de sus în jos. Acest lucru creează un risc, în măsura în care atât metrica, cât și metodele calitative ignoră adesea diversitatea cercetătorilor: atât în ​​contextul lor, cât și în traseul lor de carieră și – la fel de important – diversitatea în metodele și ideile lor. În contrast, ECR reprezentați în GYA consideră că ar fi important să recunoască diversitatea activităților care sunt necesare pentru întreprinderea de cercetare și să elaboreze scheme de evaluare a cercetării care să favorizeze diversitatea și pluralismul, mai degrabă decât să impună conformitatea și omologarea.

În al doilea rând, diferențele dintre discipline sunt mai puțin semnificative decât diferențele în funcție de statutul economic al țărilor în care lucrează un cercetător. Țările cu venituri mai mici par să se bazeze pe valori cantitative și să recompenseze „productivitatea”, în timp ce țările cu venituri mai mari sunt din ce în ce mai deschise la evaluarea calitativă a impactului. În cazul în care această divergență se dezvoltă în continuare, ar putea constitui un obstacol suplimentar în calea mobilității internaționale a savanților – ceea ce este deosebit de important pentru ECR.

În concluzie, raportul GYA subliniază că nu există un glonț de argint: evaluarea cercetării ar trebui să fie orientată spre obiectivele evaluării și, în cele din urmă, spre obiectivele unei instituții sau ale politicii de cercetare a unei țări. Evaluarea ar trebui să permită diversitatea profilurilor și carierelor cercetătorilor și să adopte un accent diferit în funcție de scopul evaluării. Știința fiind o conversație globală și autocritică, o evaluare externă poate să nu fie întotdeauna necesară. Într-adevăr, utilizarea și valoarea reală a clasamentelor invidioase (de oameni, instituții, puncte de vânzare sau chiar țări întregi) este adesea dezbătută.

Provocările globale de astăzi, dintre care multe sunt articulate în Obiectivele de Dezvoltare Durabilă (ODD) ale Națiunilor Unite (ONU), necesită cercetare transformatoare, interdisciplinară și transdisciplinară, care în sine necesită noi modalități de realizare a cercetării și cooperare (ISC, 2021) [19]. Urgența pentru cercetarea incluzivă, participativă, transformatoare și transdisciplinară nu este egalată de modul în care cercetarea este susținută, evaluată și finanțată – pentru ca cercetarea să își atingă promisiunea față de societate, este nevoie de sisteme de evaluare mai deschise, incluzive și sensibile la context (Gluckman, 2022) [20]. Comportamentul încorporat al cadrelor universitare, al finanțatorilor și al editorilor poate face schimbarea dificilă, astfel încât investițiile pot fi direcționate în afara zonelor de cea mai mare nevoie.

Creșterea cercetării interdisciplinare și transdisciplinare și a științei participative sau cetățenești sunt evoluții importante și vitale în abordarea provocărilor globale. Pe măsură ce cercetarea depășește granițele disciplinare și instituționale și implică un set mai larg de părți interesate – inclusiv comunitatea de utilizatori pentru a concepe împreună întrebări urgente de cercetare pentru societate – criteriile tradiționale de evaluare a cercetării academice sunt insuficiente și pot chiar constrânge dezvoltarea și utilizarea cercetării transdisciplinare (Belcher și colab., 2021) [21]. Sunt necesare principii și criterii mai adecvate pentru a ghida practica și evaluarea de cercetare transdisciplinară: un exemplu timpuriu al unui cadru de evaluare a calității este construit în jurul principiilor relevanței, credibilității, legitimității și utilității (Belcher și colab., 2016) [22].

Modalitățile în care cercetarea este comandată, finanțată, desfășurată și comunicată evoluează în ritm și necesită accelerarea reformei evaluării cercetării. Acestea includ următoarele:

(1) Tranziția la știința deschisă

Mișcarea științei deschise necesită o reformă concomitentă a sistemelor de evaluare a cercetării pentru a îmbunătăți deschiderea și transparența. Multe dintre metricile și indicatorii utilizați pentru măsurarea performanței cercetării sunt ele însele opace și adesea calculați în spatele ușilor comerciale închise. Această lipsă de transparență compromite autonomia comunității de cercetare – limitează opțiunile de evaluare, testare, verificare și îmbunătățire a indicatorilor de cercetare (Wilsdon și colab., 2015 [23]). Evaluarea responsabilă a cercetării devine un aspect de bază al mișcărilor globale către știința deschisă, așa cum se arată, de exemplu, în Recomandarea Organizației Națiunilor Unite pentru Educație, Știință și Cultură (UNESCO) privind știința deschisă (UNESCO, 2021 [24]) – care include dezvoltarea unui set de instrumente pentru știința deschisă pentru membrii săi, pentru a-i ajuta să-și revizuiască și să-și reformeze evaluările și criteriile de evaluare a carierei de cercetare [25].

(2) Evoluții în evaluarea inter pares

Creșterea evaluării inter pares deschise – fie publicarea rapoartelor de evaluare inter pares și/sau identificarea publică a evaluatorilor – este o dezvoltare importantă pentru evaluarea cercetării (Barroga, 2020 [unu]; Woods și colab., 2022 [27]). Creșterea infrastructurii de date le-a permis editorilor să genereze identificatori digitale de obiecte (DOI) pentru rapoartele de evaluare inter pares, să conecteze rapoartele de evaluare inter pares la ID-uri individuale Open Researcher și Contributor ID-uri (ORCID) și să publice lucrări ca preprinturi. Numărul de preprinturi a crescut semnificativ în timpul pandemiei globale de COVID și a expus provocările prezentate în evaluarea cercetării în modul de răspuns rapid. Cu toate acestea, practicile deschise de evaluare inter pares – fie înainte sau post-publicare – pot ajuta la perturbarea controlului pe care editorii comerciali îl au asupra proceselor de comunicare în cercetare și de producere a cunoștințelor, reducând puterea revistei științifice și a parametrilor asociate, cum ar fi JIF-urile. Înregistrările deschise ale activităților de evaluare inter pares pot oferi, de asemenea, infrastructură pentru a documenta – și, în timp, pot genera o valoare mai mare în – activitățile de evaluare inter pares, care sunt un serviciu profesional vital, adesea în mare măsură invizibil și subapreciat în cadrul evaluărilor academice (Kaltenbrunner și colab., 2022 [28]).

(3) Aplicarea inteligenței artificiale și a învățării automate

Progresele tehnologice în inteligența artificială (IA) și învățarea automată pot avea consecințe profunde pentru evaluarea cercetării, inclusiv procesele de evaluare inter pares care o susțin (de ex. Holm și colab., 2022 [unu]; Proctor și colab., 2020 [30]). AI este deja folosită pentru a eficientiza și a consolida evaluarea inter pares (Natura, 2015 [31]; Natura, 2022 [32]), testați calitatea evaluării inter pares (Severin și colab., 2022 [33]), testați calitatea citărilor (Gadd, 2020 [34]), detectați plagiatul (Foltýnek și colab., 2020 [35]), prindeți cercetătorii care studiază datele (Quach, 2022 [36]) și găsiți evaluatori colegi, care sunt din ce în ce mai puțini, deoarece această lucrare nu primește creditul pe care îl merită în evaluarea cercetătorilor. „IA conversațională”, precum ChatGPT (Chat Generative Pre-Trained Transformer), are capacitatea de a proiecta experimente, de a scrie și de a completa manuscrise, de a efectua evaluări inter pares și de a sprijini deciziile editoriale de a accepta sau respinge manuscrise (Natura, 2023 [37]). Există, de asemenea, potențialul ca AI să îmbunătățească eficiența evaluării inter pares prin utilizarea algoritmilor pentru a ușura sarcina evaluatorilor colegilor ca arbitri ai rezultatelor cercetării (Natura, 2022 ). Utilizarea AI este deja testată în China pentru a găsi arbitri (Natura, 2019 [39]).

Toate aceste aplicații AI pot reduce această povară și le permit experților cu experiență să-și concentreze judecata asupra calității cercetării și a evaluărilor mai complexe (Thelwall, 2022 [40]). Dar riscă, de asemenea, să propage părtiniri deoarece sunt tehnologii predictive care consolidează datele existente care pot fi părtinitoare (de exemplu, în funcție de sex, naționalitate, etnie sau vârstă): într-adevăr, utilizarea IA în sine ar putea beneficia de o înțelegere mai profundă a ceea ce constituie „calitatea”. ' cercetare (Chomsky și colab., 2023 [unu]; ISI, 2022 [42]).

În mod esențial, totuși, toate formele de inteligență artificială și de învățare automată sunt deschise abuzului (Blauth și colab., 2022 [43]; Bengio, 2019 [44]). Comunitățile academice și de cercetare vor trebui să își dezvolte pregătirea și rezistența la acest lucru, lucrând cu conducerea guvernului, a industriei și a societății civile care guvernează acest spațiu.

(4) Creșterea rețelelor sociale

Măsurile cantitative convenționale ale impactului cercetării nu reușesc să țină seama de creșterea angajamentului în rețelele sociale și a cercetătorilor/universitarului din rețelele sociale (Jordan, 2022 [45]). Mulți cadre universitare folosesc platformele de social media pentru a implica comunitățile, factorii de decizie și publicul pe toată durata de viață a proiectului lor de cercetare; să se implice în mod pozitiv, să testeze și să informeze cercetările lor și să aducă o diversitate de idei și intrări, mai degrabă decât să publice pur și simplu rezultatul final ca un fapt împlinit pentru un public destinatar. Acest angajament nu este preluat de formele convenționale de evaluare a cercetării, dar poate duce la oportunități mai largi de influență și divulgare. Valorile rețelelor sociale („altmetrics”) sunt dezvoltate ca o contribuție la valorile responsabile (Wouters și colab., 2019 [4]) și includ mențiuni Twitter sau Facebook și numărul de urmăritori pe ResearchGate, de exemplu. Pe de o parte, aceste alte metrici pot ajuta la deschiderea, crearea spațiului și extinderea evaluării (Rafols și Stirling, 2021 [47]), dar pe de altă parte – ca și alți indicatori – pot fi, de asemenea, utilizați în mod iresponsabil și/sau pot fi văzute ca impunând un alt nivel de metrici în sistemele de evaluare.

Provocările pentru reforma evaluării cercetării sunt multiple. Câteva dintre cele mai semnificative sunt ilustrate aici.

Orice reformă care include mai multe măsuri calitative trebuie – în același timp – să salveze calitatea cercetării fundamentale și aplicate. Există dovezi anecdotice că unii oameni de știință s-ar putea opune ei înșiși reformei, poate în special cercetătorii avansați în carieră care au prosperat în sistemul actual, deoarece se tem că ar putea alimenta cercetarea mediocră sau că forme mai calitative de evaluare ar putea favoriza cercetarea aplicată în detrimentul cercetării de bază. Reforma criteriilor de evaluare a cercetării tinde să fie încadrată în jurul mișcărilor către o cercetare orientată spre misiune, cu impact asupra societății, care apelează la sprijinul public și politic într-un mod în care cercetarea de bază sau de cer albastru mai puțin tangibil nu poate. Unii susțin că este necesară o interpretare mai nuanțată a „valorii” cercetării pentru a susține inovarea, deoarece viitorul necesită investiții continue în cercetare fundamentală, bazată pe curiozitate și o apreciere mai largă a rolului crucial pe care îl joacă în capacitatea de a răspunde provocărilor globale (GYA, 2022 [48]).

Lipsa de consecvență în sensul și utilizarea terminologiei de cercetare, în general, este o barieră în calea schimbării. Cadrul conceptual pentru evaluarea cercetării nu s-a schimbat substanțial de-a lungul timpului și nici limbajul care îl susține: sistemul de cercetare este încă blocat în vechi dihotomii precum știința „de bază” și „aplicată” și termeni precum „impact”, „calitate” (echivalat în mod neutil cu productivitatea) și „excelență” nu sunt definite clar într-un mod care să evite prejudecățile geografice, disciplinare, de carieră și de gen (Jong și colab., 2021 [49]): acest lucru poate fi deosebit de acut în grupurile de luare a deciziilor lipsite de diversitate (Hatch and Curry, 2020 )[50].

Ca și evaluarea bazată pe metrici, formele mai calitative de evaluare sunt, de asemenea, imperfecte. A susține că procesele de evaluare inter pares și judecata experților sunt cel puțin la fel de importante ca bibliometria nu este simplu. Acestea pot fi părtinitoare din cauza lipsei de claritate și transparență în procesul de evaluare inter pares. Comitetele de evaluare inter pares, de exemplu, au fost criticate ca mecanisme care păstrează formele stabilite de putere și privilegiu, permițând rețelelor „băieților bătrâni” și homofiliei (evaluatorii care caută pe cei ca ei) să persistă, fiind totodată vulnerabile la dinamica gândirii de grup. Valorile cantitative, oricât de imperfecte, sunt văzute în unele părți ale lumii ca o apărare împotriva nepotismului și a părtinirii. Argumente similare pot fi aplicate evaluării inter pares a lucrărilor de cercetare, utilizarea unei evaluări mai calitative deschizând potențial ușa către alte forme de comportament discriminatoriu.

Lipsa recunoașterii profesionale și a pregătirii pentru evaluarea inter pares, sub orice formă, creează descurajări pentru a servi ca evaluator inter pares, reducând astfel capacitatea. În plus, deoarece cererea depășește oferta, poate crea stimulente pentru a reduce rigoarea. Creșterea transparenței evaluării inter pares (indiferent dacă este complet deschisă, anonimizată sau hibridă) și instruirea, promovarea și recompensarea bunelor practici de evaluare inter pares sunt toate necesare; la fel și cercetarea ulterioară asupra modelelor pentru evoluția sa pe măsură ce rezultatele cercetării se diversifică (IAP, 2022 [51]) și tehnologiile AI avansează.

Dezbaterile privind reforma evaluării cercetării sunt complexe și nu binare. Informațiile calitative și cantitative au fost adesea combinate în contexte de evaluare inter pares: declarații precum Manifestul de la Leiden pentru metrici de cercetare (Hicks și colab., 2015 [52]) solicită o „evaluare inter pares informată”, în care judecata experților este susținută – dar nu condusă de – indicatori cantitativi selectați și interpretați corespunzător și de informații calitative. Dezbaterea privind evaluarea cercetării nu este o alegere binară „calitativă versus cantitativă” a instrumentelor de evaluare, ci cum să se asigure cea mai bună combinație a mai multor forme de informații.

În cele din urmă, orice reformă trebuie să fie, de asemenea, convenabilă și practicabilă. Sistemul de cercetare dă deja semne de prăbușire sub el însuși, deoarece volumul publicațiilor crește exponențial și sarcina revizuirii scade în mod neuniform în întreaga întreprindere de cercetare (de ex. Publons, 2018 [unu]; Kovanis și colab., 2016 [unu]; Natura, 2023 [55]). Valorile bazate pe jurnal și indexul h, împreună cu noțiunile calitative de prestigiu a editorilor și reputația instituțională, pot oferi scurtături convenabile pentru evaluatorii ocupați și pot prezenta obstacole în calea schimbării care au devenit profund înrădăcinate în evaluarea academică (Hatch and Curry, 2020 [56]). Valorile cantitative sunt salutate în unele țări ca oferind rute relativ clare și lipsite de ambiguitate pentru numire și promovare. În „Sudul Global”, factorii de impact medii sunt utilizați în mod obișnuit pentru lista scurtă a candidaților și orice alternativă trebuie să fie implementabilă în mod egal și capabilă să utilizeze resursele suplimentare necesare în mod inevitabil pentru a extinde sfera evaluării. Comoditatea utilizării unor metrici cantitative simple în evaluarea cercetării este probabil să fie un obstacol major în calea schimbării, iar introducerea de noi sisteme de evaluare poate chiar crea mai multă inechitate globală din cauza lipsei de capacitate sau competență în unele țări.

În ultimul deceniu, au existat o serie de manifeste și principii de mare profil privind evaluarea cercetării pentru a aborda aceste provocări, inclusiv Manifestul de la Leiden (elaborat de un grup de experți internaționali), Principiile Hong Kong (Moher și colab., 2020 [57]) (dezvoltat la cea de-a 6-a Conferință mondială privind integritatea cercetării în 2019) și Marea Metrica [58] și Valorificarea mareei metrice [59] rapoarte (elaborate în contextul unei revizuiri a cadrului de cercetare și evaluare din Regatul Unit, REF). Există cel puțin 15 eforturi distincte care îndeamnă părțile interesate cheie – fie factorii de decizie politică, finanțatori sau șefii instituțiilor de învățământ superior (IIS) – să minimizeze potențialele daune ale sistemelor de evaluare actuale. Toate aceste inițiative au atins un public larg și sunt progresive în concentrarea lor asupra metricilor responsabile ca o condiție prealabilă pentru îmbunătățirea culturii de cercetare și aducerea egalității, diversității, incluziunii și apartenenței în comunitatea de cercetare. Dar există o preocupare tot mai mare din partea unor arhitecți ai acestor inițiative că, deși sunt utile, ele diminuează acțiunile practice concrete: actul de a fi semnatar este eficient doar dacă este urmat de implementare practică (Natura, 2022 [60]).

Există un sprijin din ce în ce mai mare pentru „evaluarea sau evaluarea responsabilă a cercetării” și „metrice responsabile” (DORA, 2012 [unu]; Hicks și colab. 2015 [unu]; Wilsdon și colab., 2015) care se îndepărtează de la parametrii pur cantitativi la o varietate mai largă de măsuri care să permită cercetătorilor să descrie impactul economic, social, cultural, de mediu și politic al cercetării lor; pentru a lua în considerare problemele pe care comunitatea de cercetare le valorează: „date pentru bine” sau „indicatori bazați pe valoare” care abordează atribute mai largi (Curry și colab., 2022 [63]). În ultimii ani, abordări inovatoare și progresive pentru evaluarea responsabilă a cercetării au fost dezvoltate și pilotate de unele instituții de învățământ superior și finanțatori de cercetare din regiuni și țări din întreaga lume. Unele sunt evidențiate aici.

Dintre inițiativele globale menționate mai sus, San Francisco din 2013Declarație privind evaluarea cercetării[64] (DORA) este poate cea mai activă inițiativă globală. A catalogat problemele cauzate de utilizarea indicatorilor bazați pe jurnal pentru a evalua performanța cercetătorilor individuali și oferă 18 recomandări pentru a îmbunătăți o astfel de evaluare. DORA descurajează categoric folosirea valorilor bazate pe jurnal pentru a evalua contribuția unui cercetător sau atunci când caută să angajeze, să promoveze sau să finanțeze. La jumătatea lui aprilie 2023, declarația a fost semnată de 23,059 de semnatari (instituții și persoane) din 160 de țări, angajându-se să reformeze. Cu accent pe navigarea provocărilor intrinseci și a părtinirilor înnăscute ale evaluării calitative, DORA dezvoltă Instrumente pentru evaluarea avansată a cercetării (TARA) [65] pentru a ajuta la punerea în practică a declarației: aceste instrumente includ un tablou de bord pentru indexarea și clasificarea politicilor și practicilor inovatoare în evaluarea carierei și un set de instrumente de resurse pentru a ajuta la deprecierea componenței comitetelor și pentru a recunoaște diferite forme calitative de impact al cercetării.

În plus, DORA finanțează zece proiecte – în Argentina, Australia, Brazilia, Columbia (2), India, Japonia, Țările de Jos, Uganda și Venezuela – pentru a testa diferite modalități de promovare a reformei în evaluarea cercetării în contextele lor locale, precum și compilarea exemplelor de bune practici: de exemplu, creșterea gradului de conștientizare, dezvoltarea de noi politici sau practici, formare și îndrumare practică pentru solicitanții de locuri de muncă (DORA [66]). Cererea pentru granturi de acest tip a fost mare – peste 55 de solicitanți din 29 de țări – indicând o recunoaștere tot mai mare a necesității reformei.

Asociațiile profesionale de management al cercetării, cum ar fi Rețeaua Internațională a Societăților de Management al Cercetării (INORMS), au dezvoltat în mod activ resurse pentru a ghida schimbarea organizațională, inclusiv Grupul de evaluare a cercetării SCOPE-cadru | INORMS – Cadrul INORMS SCOPE pentru evaluarea cercetării [67] care începe prin a defini ceea ce este evaluat, cine este evaluat și de ce (un poster explicativ util aici [68]).

Sectorul dezvoltării internaționale a oferit noi perspective privind evaluarea cercetării, un prim exemplu fiind Research Quality Plus | IDRC – Centrul de Cercetare pentru Dezvoltare Internațională [69], care măsoară ceea ce contează pentru oamenii la capătul de primire a cercetării. Instrumentul Research Quality Plus (RQ+) recunoaște că meritul științific este necesar, dar nu suficient, recunoscând rolul crucial al comunității de utilizatori în a determina dacă cercetarea este relevantă și legitimă. De asemenea, recunoaște că actualizarea și influența cercetării încep în timpul procesului de cercetare. Aplicațiile de cercetare sunt adesea evaluate de paneluri foarte interdisciplinare, care conțin și experți în dezvoltare din afara mediului academic (de exemplu, un departament guvernamental sau o organizație neguvernamentală (ONG)), practicieni și reprezentanți din țară: acest lucru întărește importanța comunității de utilizatori/experți non-subiect. nevoia de a înțelege cercetarea și modul în care aceasta poate fi aplicată în practică. Cercetarea în medii complexe, cu venituri mici sau fragile poate fi însoțită de un set de instrumente sau cadru de etică, conceput pentru a informa și sprijini alegerile etice în ciclul de viață al cercetării, de la început până la diseminare și impact, de exemplu Reid și colab., 2019 [70]. Abordările „Teoria schimbării” sunt utilizate pe scară largă în cercetarea de dezvoltare internațională de către donatori, ONG-uri și agenții multilaterale, unde solicitanții trebuie să articuleze căi de impact, susținute de cadre de monitorizare, evaluare și învățare, de exemplu Valters, 2014 [71]. Comunitatea de cercetare academică poate învăța de la comunitatea de dezvoltare.

Recunoscând rolul finanțatorilor în conturarea strategiilor instituțiilor de învățământ superior, Evaluarea responsabilă a cercetării a Consiliului Global de Cercetare (GRC). inițiativa (RRA) [72] a încurajat marii finanțatori de cercetare din întreaga lume să lucreze la ambițiile RRA în propriile lor contexte regionale și naționale și să dezvolte cadre de evaluare eficiente pentru a evalua impactul (video explicativ aici [73]). Comandarea unui document de lucru privind RRA (Curry și colab., 2020 [74]), GRC a cerut membrilor săi să integreze principiile RRA și să ia măsuri concrete pentru a le îndeplini și să învețe unii de la alții prin colaborare și partajarea de bune practici. Un grup de lucru internațional [75] oferă îndrumare și sprijin membrilor GRC, ajutându-i să treacă de la mișcare la acțiune.

În mare parte, prin eforturile GYA, ECR încep, de asemenea, să se mobilizeze în jurul acestei agende. Este Grupul de lucru pentru excelență științifică [76] lucrează la identificarea unor medii de cercetare care să favorizeze „dezlănțuirea curiozității și creativității în știință și pentru a stimula dezvoltarea potențialului uman prin diversitate și incluziune”. Munca lor solicită comunității ECR să conteste definițiile „excelenței” folosite de organizațiile lor, să se implice în inițiative de reformare a evaluării cercetării și să se alăture mișcării Young Academies. De asemenea, solicită organismelor de finanțare și angajare să implice ECR în dezbaterile de evaluare a cercetării și să recunoască o diversitate mai largă de contribuții și cariere în cercetare.

Deși unele universități și alte instituții de învățământ superior sunt semnatare ale DORA și/sau se alătură mișcării europene (descrise mai jos), ele nu par să se organizeze colectiv în jurul evaluării cercetării, așa cum sunt alte grupuri cheie.

Problemele create de sistemele de evaluare care sunt aproape exclusiv cantitative sunt în mare măsură văzute și diagnosticate dintr-o perspectivă „Nordul Global”, cu „Sudul Global” riscând să ajungă din urmă. Cu riscul unei generalizări excesive, există probleme sistemice majore în „Nordul Global” în jurul lipsei de diversitate, echitate și incluziune, care sunt exacerbate de sistemele de evaluare. În „Sudul Global”, există o lipsă de definiție locală și regională a ceea ce constituie „calitate” și „impact”, sisteme de evaluare foarte variate (chiar și între departamente ale aceleiași universități) și relativ puține provocări pentru Status quo-ul. În întreaga lume, problemele derivă din accentuarea excesivă a indicatorilor cantitativi, legătura dintre evaluare și alocarea resurselor, sistemul de finanțare extrem de competitiv și presiunea de a publica și nesocotirea față de alte dimensiuni, mai puțin cuantificabile, ale cercetării și vieții academice.

Literatura revizuită de colegii privind studiile comparative ale reformei evaluării cercetării este rară. O excepție rară este o comparație a intervențiilor de evaluare a cercetării în șase zone geografice diferite (Australia, Canada, Germania, Hong Kong, Noua Zeelandă și Regatul Unit), care observă că performanța indexată a tuturor celor șase pare să se îmbunătățească după mai multe tipuri de intervenții (cel puțin folosind indicatori bibliometrici convenționali) (ISI, 2022 [77]). DORA oferă studii de caz (în mare parte instituționale) pe pagina sa web (DORA [78]) și într-un raport (DORA, 2021 [79]) menite să-i inspire pe alții să acționeze, dar acestea sunt exemple predominant europene.

Aici, autorii oferă imagini de ansamblu regionale și exemple naționale de experimentare și reformă pentru o înțelegere suplimentară - acestea nu sunt destinate să fie cuprinzătoare sau exhaustive.

Coaliția UE pentru reformarea evaluării cercetării [80], sau CoARA, aprobată în iulie 2022, este cea mai mare inițiativă de reformă a evaluării cercetării din lume. Patru ani de realizare și dezvoltate de 350 de organizații din 40 de țări (în mare parte europene), Asociația Universității Europene și Science Europe (o rețea a finanțatorilor și academiilor științifice de pe continent), în colaborare cu Comisia Europeană, au elaborat un acord sau un set de principii (a 'călătoria reformei'), pentru o evaluare mai incluzivă și responsabilă a cercetării (CoARA, 2022 [81]). Acordul se concentrează pe trei niveluri de evaluare: instituții, cercetători individuali și cercetarea în sine. Deși este guvernată de parteneri europeni, coaliția are ambiția de a deveni globală și atât DORA, cât și GYA sunt deja semnatari. Semnatarii se angajează să angajeze resurse pentru îmbunătățirea evaluării cercetării, să dezvolte noi criterii și instrumente de evaluare și să crească gradul de conștientizare și să ofere formare în domeniul evaluării cercetării (de exemplu, evaluatorilor colegi). Această dezvoltare a fost descrisă drept „cel mai plin de speranță semn de schimbare reală” (Natura, 2022 [82]).

UE finanțează, de asemenea, câteva inițiative noi interesante menite să sprijine reforma evaluării cercetării: în special, Știința deschisă și universală (OPUS [83]) – pentru a dezvolta o „suită cuprinzătoare” de indicatori pentru mai multe procese și rezultate de cercetare și, prin urmare, pentru a stimula cercetătorii europeni să practice știința deschisă – și spațiul de date de evaluare a științei deschise GraspOS [84] – să construiască un spațiu de date deschis pentru a sprijini reforma politicilor pentru evaluarea cercetării.

Consiliul European de Cercetare (ERC), care sprijină cercetarea de frontieră în toate domeniile (cu un buget de 16 miliarde EUR pentru 2021-2027) a semnat CoARA și și-a modificat formularele și procesele de evaluare pentru a include mai multe descrieri narative, inclusiv ținând cont de mai puține căi de carieră convenționale și „contribuții excepționale” la comunitatea de cercetare. Propunerile vor fi evaluate mai mult în funcție de meritul lor decât de realizările anterioare ale solicitantului și vor continua să fie evaluate de comisii de evaluare inter pares formate din savanți de top, folosind unicul criteriu al excelenței științifice (ERC, 2022 [85]).

Unele academii europene sunt, de asemenea, angajate. Consiliul de ALLEA [86], Federația Europeană a Academiilor de Științe și Științe Umaniste, reprezentând nouă dintre cele peste 50 de academii naționale din 40 de țări europene, a susținut mișcarea CoARA. ALLEA s-a angajat să înființeze un grup de lucru dedicat pentru a colecta, schimba și promova bunele practici pentru admiterea de noi bursieri ai Academiei și pentru a contribui la „schimb cultural semnificativ” al evaluării cercetării, bazat pe principiile calității, integrității, diversității și deschiderii. În ea Declarație din 2022 octombrie , ALLEA solicită academiilor membre să facă următoarele:

1. Să recunoască diversitatea contribuțiilor și a carierelor în cercetare, în conformitate cu nevoile și natura cercetării; în cazul bursierii Academiei, procedurile de selecție ar trebui (1) să ia în considerare echilibrul de gen și provocările unice ale cercetătorilor de la începutul carierei, (2) să sprijine diversitatea culturilor și disciplinelor, (3) să pună în valoare o varietate de domenii de competență și talente și (4) să promoveze interdisciplinaritatea și multilingvismul.

2. Evaluarea cercetării se bazează în primul rând pe evaluarea calitativă pentru care evaluarea inter pares este esențială, susținută de utilizarea responsabilă a indicatorilor cantitativi; evaluarea excelenței și a impactului în ceea ce privește munca candidaților bursieri ar trebui să se bazeze pe o evaluare calitativă între egali, care să îndeplinească principiile fundamentale de rigoare și transparență și să ia în considerare natura specifică a disciplinei științifice.

3. Renunțați la utilizarea necorespunzătoare a valorilor bazate pe reviste și publicații în evaluarea cercetării; în special, aceasta înseamnă îndepărtarea de la utilizarea unor valori precum Journal Impact Factor (JIF), Article Influence Score (AIS) și h-index ca proxy dominanti pentru calitate și impact.

Declarația Allea privind reforma evaluării cercetării în cadrul academiilor europene

În lor răspuns comun [87] față de Acordul UE și Coaliția CoARA, comunitatea ECR din GYA a salutat, de asemenea, acest angajament și oferă modalități de implementare a principiilor acestuia. Acestea includ practici care sunt incluzive și reflectă diversitatea specificităților naționale și a caracteristicilor disciplinelor, cercetătorii din toate etapele carierei beneficiind de formare, stimulente și recompense, formarea obligatorie în domeniul științei deschise pentru cercetători, personal și membrii comitetului fiind vitală.

Universitățile cu intensitate de cercetare din Europa s-au sprijinit, de asemenea, în sprijinul reformei evaluării cercetării ca o cale pentru carierele de cercetare „multidimensionale” (Overlaet, B., 2022 [88]). Ei au dezvoltat un cadru comun pentru a inspira și sprijini universitățile să recunoască o diversitate de contribuții în cercetare, educație și servicii pentru societate.

La nivel național, mai multe țări pilotează în prezent diferite modele de evaluare: de exemplu, agențiile naționale de finanțare în Belgia, Olanda, Elveţia și UK toate folosesc „cv-uri narative”. CV-urile narative privesc într-un mod mai holistic realizările academice: contribuția la generarea de cunoștințe, la dezvoltarea indivizilor, la comunitatea de cercetare mai largă și la societatea mai largă (Royal Society [89]). Deși există un sprijin din ce în ce mai extins pentru aceste tipuri de CV-uri, există, de asemenea, o anumită îngrijorare că ele îi obligă pe cadrele universitare să fie buni în toate și, astfel, riscă să compromită expertiza profundă în căutarea unui statut polivalent (Grove, J., 2021 [90]).

Patru exemple de sisteme naționale de cercetare care coordonează reformele la nivel național în evaluările academice orientate spre carieră sunt incluse în casetele de text următoare.

Exemplu național: Marea Britanie

Cadrul de evaluare a cercetării din Regatul Unit (REF) măsoară impactul cercetării prin două dimensiuni: „semnificația” (diferența tangibilă pe care o face un proiect) și „acoperirea” (măsura cuantificabilă în care face acest lucru) (UKRI). Impactul aici este definit ca „un efect asupra, schimbare sau beneficiu asupra economiei, societății, culturii, politicilor publice sau serviciilor, sănătății, mediului sau calității vieții, dincolo de mediul academic”, dar dincolo de aceasta este foarte deschis, disciplinar. variabilă și, probabil, ambiguă, nereușind să țină seama în mod adecvat de implicarea publicului, de exemplu.

REF al Regatului Unit este evaluat în 2022-2023 în conformitate cu Programul de evaluare a cercetării viitoare pentru a explora posibile noi abordări pentru evaluarea performanței cercetării în învățământul superior din Regatul Unit și include înțelegerea practicii internaționale de evaluare a cercetării. Următoarea iterație a REF va explica, eventual, un set mai divers de rezultate și poate chiar va reduce importanța acordată acestora. Modelul actual acordă o importanță de 60% rezultatelor, 25% impactului cercetării și 15% culturii/mediului cercetării. Dacă acestea ar fi ponderate mai egal, atunci REF ar arăta foarte diferit, cu o importanță sporită acordată culturii cercetării, integrității cercetării și lucrului în echipă (Grove, 2020).

Exemplu național: Finlanda

În 2020, Federația Societăților Învățate din Finlanda a coordonat un grup operativ de finanțatori de cercetare, universități și sindicate care au publicat declarația Bună practică în evaluarea cercetării. Acesta stabilește îndrumări pentru urmarea unui proces responsabil de evaluare a cadrelor universitare individuale, inclusiv cinci principii generale de evaluare: transparență, integritate, corectitudine, competență și diversitate. Buna practică în evaluarea cercetării solicită ca integritatea cercetării, educația și mentorat și serviciile științifice (de exemplu, evaluarea inter pares) să fie mai bine recunoscute în evaluarea contribuțiilor academice ale indivizilor. Declarația vede evaluările nu doar despre producerea de judecăți sumative: de asemenea, încurajează evaluatorii să împărtășească feedback cu persoanele evaluate pentru a facilita feedback-ul și învățarea.

Organizațiile care desfășoară activități de cercetare și organizațiile de finanțare a cercetării s-au angajat cu toate să implementeze bunele practici în evaluarea cercetării și să genereze propriile variații locale ale ghidului, iar un model de CV de portofoliu național de cercetători este în curs de dezvoltare. Buna practică în evaluarea cercetării se angajează la revizuiri și perfecționări regulate.

Exemplu național: Țările de Jos

În Țările de Jos, programul național de recunoaștere și recompense a început în 2019, odată cu publicarea declarației de poziție Cameră pentru talentul tuturor. Această colaborare la nivel național între Academia Regală de Arte și Științe din Țările de Jos (KNAW – un membru IAP și ISC), finanțatorii de cercetare, universități și centre medicale afirmă că trebuie să aibă loc modernizarea la nivel de sisteme a culturilor de evaluare a cercetării. Făcând acest lucru, prezintă cinci ambiții pentru schimbarea procedurilor de evaluare: o mai mare diversitate a carierei, recunoașterea performanței individuale și a echipei, prioritizarea calității muncii față de indicatorii cantitativi, știință deschisă și leadership academic.

Din 2019, universitățile olandeze s-au mutat pentru a pune în aplicare propriile traduceri locale ale declarației de viziune națională. Simultan, agențiile de finanțare au inițiat mai multe formate de „CV narativ” și au încetat să mai solicite informații bibliometrice, citând San Francisco DORA ca inspirație. Consiliul de Cercetare Olandez sa mutat foarte recent la un CV „bazat pe dovezi”. în care pot fi utilizate unele informaţii cantitative. KNAW și-a dezvoltat și propria sa plan de trei ani pentru a implementa agenda de recunoaștere și recompense pe plan intern. Un manager de program cu normă întreagă și o echipă au fost numiți pentru a facilita programul de reformă Recunoaștere și Recompense, iar anual este organizat un „Festival de Recunoaștere și Recompense” printre părțile interesate majore ale reformei pentru a sprijini învățarea la nivelul întregii comunități.

În cele din urmă, finanțat de un grant de implicare comunitară DORA, the Inițiativa Tânăr Savant în Tranziție pentru doctoranzi, cu sediul în Utrecht, a elaborat un nou ghid de evaluare pentru doctoranzi, într-un efort de a schimba cultura de cercetare.

Exemplu național: Norvegia

În 2021, Norvegia, Universitățile Norvegiei și Consiliul Norvegian de Cercetare au publicat NOR-CAM – O cutie de instrumente pentru recunoaștere și recompense în evaluările academice. NOR-CAM oferă un cadru matrice pentru îmbunătățirea transparenței și extinderea evaluării cercetării și a cercetătorilor, departe de indicatorii îngusti bazați pe bibliometrice. NOR-CAM reprezintă matricea norvegiană de evaluare a carierei și a fost adaptată dintr-o versiune din 2017. raportează de către Comisia Europeană care a prezentat Open Science Career Assessment Matrix. La fel ca predecesorul său european, NOR-CAM propune, de asemenea, modalități de integrare mai bună a practicilor științei deschise în evaluări. Matricea își propune să ghideze evaluatorii și candidații pentru poziții academice, cereri de finanțare a cercetării și evaluatori naționali care evaluează cercetarea și educația norvegiană. De asemenea, este destinat să acționeze ca un ghid general pentru dezvoltarea carierei individuale.

Matricea include șase domenii principale de competență: rezultate ale cercetării, procesul de cercetare, competențe pedagogice, impact și inovare, leadership și alte competențe. Matricea oferă apoi sugestii pentru a permite planificarea carierei și recunoașterea evaluării în jurul fiecărui criteriu – exemple de rezultate și abilități, mijloace de documentare și solicitări de reflecție despre fiecare criteriu. Nu se așteaptă ca candidații să aibă performanțe egale la toate criteriile.

NOR-CAM a fost creat de un grup de lucru format din părțile interesate ale organizațiilor care efectuează cercetări și finanțează, coordonate de Universities Norway, ceea ce înseamnă, în principiu, că are acceptarea membrilor tuturor universităților norvegiene. Ulterior, au fost organizate ateliere de lucru care implică universități norvegiene pentru a dezvolta în comun modalități de integrare a NOR-CAM în procedurile de evaluare a numirilor și promovării, iar un sistem de CV „automat” este în curs de dezvoltare pentru a prelua date din mai multe surse naționale și internaționale, pentru a reduce administrarea. povară. Coordonatorii din cele trei scheme de reformă la nivel național menționate mai sus s-au întâlnit în mod regulat pentru a-și face schimb de experiență și a împărtăși învățarea.

America Latină și Caraibe (ALC) contrastează în multe privințe cu alte părți ale lumii. Aici, știința este considerată un bun public global, iar sistemele și infrastructura ei de cercetare și publicare academică sunt deținute public (finanțate) și necomerciale: dar aceste puncte forte și tradiții regionale nu sunt încă reflectate în sistemele de evaluare. Părțile interesate cheie care pot efectua schimbări sunt consiliile naționale de cercetare, ministerele științei și principalele universități de cercetare – rolul instituțiilor de învățământ superior este vital, având în vedere că peste 60% dintre cercetători sunt localizați în universități (RiCyT, 2020 [91]). Există potențialul de a alinia mai strâns sistemele de evaluare cu ODD-urile și cu mișcările științei deschise și științei cetățenești, care au o tradiție înfloritoare în regiune.

În prezent, există o mare fragmentare a sistemelor de evaluare a cercetării la nivel național, local și instituțional, punând cercetarea în competiție cu alte funcții, precum predarea, extensia și coproducția. Sistemele de evaluare a cercetării și de acordare a cercetătorilor din ALC favorizează în general o noțiune de excelență ancorată în metodologiile „Nordul Global”, bazată exclusiv pe factorul de impact al revistelor și clasamentelor universitare (CLACSO, 2020 [92]). Recunoașterea diferitelor forme de producere și comunicare a cunoștințelor și multiplicitatea carierelor academice (de exemplu, predare, formare și mentorat, știința cetățenească și comunicarea publică a științei) sunt în mare parte absente în practicile de evaluare a cercetării. Acest lucru este deosebit de problematic pentru cercetătorii din științe sociale și umaniste, unde monografiile și limbile locale sunt utilizate pe scară largă (CLACSO, 2021 [93]). Jurnalele și indicatorii regionali sunt devalorizați sau nu sunt recunoscuți în astfel de procese de evaluare. Toate acestea sunt agravate de sistemele informaționale slabe și interoperabilitatea slabă a infrastructurilor (în special deținute de comunitate), subfinanțate deoarece fondurile limitate sunt direcționate către plățile APC pentru reviste cu acces deschis.

Cu toate acestea, unele universități din regiune încep să implementeze practici de evaluare care desfășoară o combinație de metodologii calitative și cantitative, în special în evaluarea cercetătorilor și a cercetării orientate spre misiuni (Gras, 2022 [94]). Tranziția către scheme mai cuprinzătoare de evaluare a cercetării va necesita conceperea în comun a unor criterii mai calitative; utilizarea responsabilă a datelor cantitative și consolidarea proceselor de evaluare inter pares; schimbări progresive care armonizează și coordonează politicile și metodologiile către principii comune privind evaluarea responsabilă a cercetării și știința deschisă; noi metodologii și date pentru o mai bună evaluare a științei inter/transdisciplinare, a problemelor de mediu și locale; infrastructuri partajate, interoperabile, durabile, federate care susțin bibliodiversitatea și multilingvismul; și proiecte participative, de jos în sus, care extind participarea cetățenilor și mișcărilor sociale și includerea grupurilor de cercetare subreprezentate.

Pentru a aborda aceste provocări, regiunea a adoptat un set de principii și linii directoare pentru evaluarea cercetării. The CLACSO-FOLEC Declarația de Principii pentru Evaluarea Cercetării [95], aprobat în iunie 2022, își propune să garanteze și să protejeze știința de calitate și relevantă din punct de vedere social și să îmbrățișeze principiile DORA și știința deschisă, diversitatea rezultatelor cercetării și a carierelor de cercetare, valoarea revistelor regionale și a serviciilor de indexare și de interdisciplinaritate, limba locală și cunoștințele indigene. Până în prezent, are peste 220 de aderenți și există deja tendințe pozitive în evaluarea responsabilă a cercetării și exemple de reformă. Câteva exemple naționale sunt furnizate în următoarele casete de text.

Exemplu național: Columbia

Finanțat de un DORA Community Engagement Award, asociațiile columbiene ale universităților, editorii universitari, managerii de cercetare și o rețea de management al științei și tehnologiei, printre altele, au lucrat împreună la oportunitățile și provocările măsurătorilor responsabile în Columbia. Printr-o serie de ateliere și consultări, inclusiv cu organizații internaționale ca repere, aceștia au dezvoltat o rubrica pentru a ajuta instituțiile columbiene să-și elaboreze propriile REF. Această rubrică încearcă să țină seama de provocările identificate la nivel local, care – pentru IIS – includ lipsa de cunoștințe privind alternativele de evaluare a cercetării, natura ecosistemului național de evaluare a cercetării și rezistența la schimbare. A site-ul dedicat a fost dezvoltat, împreună cu infografice pentru a ajuta cercetătorii, iar diseminarea și învățarea continuă să fie împărtășite în întreaga țară.

Mai multe informații: Proiectul de metrică responsabilă columbian: către un instrument metodologic, instituțional columbian pentru evaluarea cercetării | DORA (sfdora.org)

Exemplu național: Argentina

O încercare interesantă de reformă în Consiliul Naţional pentru Cercetare Ştiinţifică şi Tehnică (Consejo Nacional de Investigaciones Científicas y Técnicas – CONICET) a fost crearea unei rezoluții speciale pentru științele sociale și umane care pune reviste indexate în circuitul mainstream la același nivel cu reviste indexate în baze regionale, cum ar fi SciELO, redalyc or Latindex-Catálogo. Regulamentul este în prezent în curs de revizuire, pentru a clarifica unele ambiguități în implementarea sa și pentru a-și extinde criteriile. La rândul său, în 2022, Consiliul de Administrație al CONICET a aderat la San Francisco DORA, recunoscând public angajamentul său de a îmbunătăți cercetarea prin consolidarea evaluării și îmbunătățirea continuă a proceselor sale.

Agentia Nationala pentru Promovarea Cercetarii, Dezvoltarii Tehnologice si Inovarii (Agencia Nacional de Promoción de la Investigación, el Desarrollo Tecnológico y la Innovación – AGENCIA I+D+i), în temeiul Ministerul Științei, Tehnologiei și Inovării, este principalul finanțator de cercetare din țară datorită diversității și amplorii cererilor sale extrem de competitive. În prezent, AGENCIA implementează un programă să consolideze procesele de evaluare a cercetării în principalele lor fonduri financiare. Îmbunătățirile actuale includ remunerarea evaluatorilor colegi pentru a-și stimula angajamentul față de aceste procese, stimularea accesului deschis, deoarece rezultatele proiectelor ar trebui să fie destinate domeniului public prin publicații sau documente de circulație deschisă (în conformitate cu obligațiile "Arhive digitale instituționale cu acces deschis' Legea Națională 26.899) și încorporarea dimensiunilor de echitate și incluziune prin gen, grupuri generaționale subreprezentate și/sau mecanisme de egalizare de consolidare instituțională în procesele de evaluare a cercetării. Cu toate acestea, în diferite comitete disciplinare, contextul curricular al cercetătorilor de frunte responsabili de propuneri este încă evaluat de către colegii lor cu ajutorul indicatorilor de impact al citațiilor.

În cele din urmă, finanțată de un Grant de implicare comunitară DORA, Facultatea de Psihologie de la Universidad Nacional de la Plata a găzduit un eveniment virtual în septembrie 2022 privind evaluarea în psihologie și științe sociale care a atras peste 640 (în mare parte studenți) din 12 țări, demonstrând interesul tinerilor de pe continent. Evenimentul a contribuit la modelarea planului de management pe patru ani al facultății și va informa o carte despre reforma evaluării academice în contextul vorbitor de limbă spaniolă.

Exemplu național: Brazilia

Evaluarea cercetării este aprig dezbătută în Brazilia între instituțiile de cercetare și cercetători, dacă nu guvernele de stat și federale. Cu toate acestea, în ciuda celui mai mare număr de semnatari instituționali pentru DORA din lume, exemplele de reformă a evaluării cercetării sunt surprinzător de puține. În urma unui sondaj asupra semnatarilor DORA din țară, a consultărilor instituționale și a unui eveniment public, finanțat printr-un grant de implicare comunitară DORA, un ghida a fost pregătit pentru ca liderii universităților să exploreze practicile responsabile de evaluare.

Ghidul se concentrează pe trei acțiuni principale: (1) creșterea gradului de conștientizare a evaluării responsabile sub toate formele ei; (2) formarea și consolidarea capacității evaluatorilor și a celor evaluați; și (3) implementare și evaluare. Următorii pași sunt construirea unei rețele de practicieni – sau zece birouri de informații universitare – pentru a efectua schimbări în practicile de evaluare și modele pilot sensibile la context și, în cele din urmă, să dezvolte o foaie de parcurs pentru instituțiile braziliene care doresc să aducă schimbări.

Proiectul Métricas (2022). Provocări instituționale și perspective pentru evaluarea responsabilă în învățământul superior brazilian: Rezumatul constatărilor parteneriatului Projeto Métricas DORA. Universitatea din São Paulo, Brazilia.

Există o schimbare continuă de la indicatorii pur cantitativi în America de Nord, accelerată de agenda științei deschise. Știința deschisă și evaluarea deschisă contribuie la transparența practicilor de evaluare, oferind o oportunitate de auto-reflecție și de evidențiere a problemelor, de exemplu, auto-citarea și adeptul în ceea ce privește angajarea, promovarea și comisiile de evaluare inter pares, precum și prejudecățile înnăscute de gen și alte părtiniri. Sunt în desfășurare dezbateri cu privire la necesitatea de a dezvolta indicatori mai inteligenți și metode mixte de evaluare, cu potențial pentru un model hibrid, convergent de evaluare, care să servească știința de bază (avansarea cunoștințelor) și știința aplicată (impactul societal).

Există, de asemenea, o recunoaștere a faptului că universitățile au nevoie de spațiu academic și de libertate pentru a se înlătura de instrumentele pe care le folosesc în prezent pentru evaluare, fără vreun „dezavantaj de primă schimbare” și că comunitatea de utilizatori ar trebui să facă parte din procesul de evaluare pentru a ajuta la măsurarea gradului de utilizare a cunoștințe, absorbția și impactul acesteia. Dar există și o rezistență contingentă la schimbare (o „orbire intenționată”) din partea de sus și de jos a ecosistemului de cercetare – din partea celor care beneficiază de status quo și a celor care au intrat recent în el. Foarte puține universități din SUA au semnat DORA și un nou proiect DORA încearcă să înțeleagă de ce este cazul (TARĂ). Cu toate acestea, atât în ​​Canada, cât și în SUA există câteva exemple interesante de inițiative naționale și instituționale menite să aducă schimbări sistemice (a se vedea următoarele casete de text).

Exemplu național: SUA

În SUA, Fundația Națională pentru Știință este o voce principală pentru schimbare prin intermediul acesteia Avansarea impactului cercetării în societate program și însoțire set de instrumente cu impact mai larg pentru cercetători și evaluatori. Echitatea, diversitatea și incluziunea, inclusiv implicarea comunităților indigene și marginalizate în mod tradițional, sunt factori cheie. Membru IAP și ISC, Academiile Naționale de Științe din SUA caută, de asemenea, să stimuleze o reformă amplă, oferind o platformă pentru schimbul de informații și învățare cu privire la reformarea CV-ului tradițional de cercetător (Consiliul Strategic NAS, 2022). Născut din munca academiilor din SUA, Inițiativa de leadership în învățământul superior pentru burse deschise este o cohortă de peste 60 de colegii și universități angajate în acțiuni colective pentru a promova bursele deschise, inclusiv regândirea evaluării cercetării pentru a recompensa deschiderea și transparența.

Institutul Național pentru Sănătate, de exemplu, a proiectat un nou bioschiță (ŞtiENcv) pentru personalul din cererile de grant pentru a minimiza părtinirea sistemică și sarcina de raportare și, în același timp, să fie mai influențat de impact.

Exemplu național: Canada

În Canada, există mai multe conversații despre reforma evaluării cercetării, condusă de DORA; toate cele trei consilii federale de cercetare sunt semnatare. Consiliul de Științe ale Naturii și Inginerie are criterii redefinite pentru calitatea cercetării, renunțând la bibliometrice, citări și indexul h, în conformitate cu principiile DORA: metricile de calitate includ acum date bune de cercetare și gestionarea accesului la date, echitate, diversitate și incluziune și responsabilități de formare. Celelalte două consilii de cercetare vor urma probabil exemplul.

Cercetătorii canadieni tind să se concentreze pe „mobilizarea cunoștințelor”, un efort intenționat de a promova impactul societal al cercetării, prin coproducție cu comunitățile de utilizatori (ISI, 2022). Research Impact Canada este o rețea de peste 20 de universități care își propune să construiască capacitatea instituțională prin alfabetizarea impactului sau capacitatea de a „identifica obiective și indicatori de impact adecvați, de a evalua critic și de a optimiza căile de impact și de a reflecta asupra abilităților necesare pentru a adapta abordările în diferite contexte” pentru a maximizarea impactului cercetării pentru binele public.

Este de remarcat faptul că foarte puține universități canadiene au semnat DORA. Principalul motivator al oricărei schimbări este probabil să fie îmbrățișarea științei indigene: aceasta a devenit un imperativ moral în Canada.

Sistemele de stimulente și recompense pentru cercetare din Africa tind să reflecte norme și convenții „internaționale”, în primul rând occidentale. Instituțiile africane se străduiesc să le urmeze atunci când își dezvoltă abordarea pentru „calitate” și „excelență” în cercetare, dar nu sunt întotdeauna adecvate cunoștințelor și nevoilor locale. „Calitatea”, „excelența” și „impactul” cercetării nu sunt bine definite pe continent, iar unii cercetători nu sunt obișnuiți cu o cultură a „impactului cercetării”.

Sistemele de evaluare din Africa tind să nu ia în considerare cercetarea în beneficiul societății, predare, consolidarea capacităților, administrarea și managementul cercetării. Modelele de publicare nu sunt sensibile la context, APC-urile creând bariere în calea rezultatelor cercetării africane. Reforma sistemelor de evaluare a cercetării ar putea ajuta la corectarea asimetriilor în contribuția pe care o poate aduce cercetarea africană la provocările societale, precum și la îmbunătățirea accesului la resurse pentru a ajuta comunitatea de cercetare africană să facă acest lucru. Înlăturarea barierelor din calea cooperării intersectoriale și interdisciplinare este imperativă pentru a permite o diversitate de opinii și sisteme de cunoștințe să prospere și să ajute la interpretarea a ceea ce constituie calitatea cercetării pentru Africa. Mecanismele care integrează viziuni locale, indigene și „convenționale” asupra lumii despre evaluarea calității și excelenței cercetării trebuie să fie luate în considerare în orice reformă.

Se construiesc parteneriate puternice în jurul RRA pe continent. Finanțat de un consorțiu internațional de agenții de dezvoltare, the Inițiativa consiliilor de acordare a științei (SGCI) [96], implicând 17 țări africane, a efectuat un studiu privind excelența în cercetare în Africa, analizând agențiile de finanțare a științei și evaluarea cercetătorilor din perspectiva Sudului Global (Tijssen și Kraemer-Mbula, 2017 [97], [98]). Acesta a explorat problema excelenței în cercetare în Africa subsahariană și necesitatea unei abordări care să extindă noțiunea de excelență dincolo de publicații (Tijssen și Kraemer-Mbula, 2018 [99]); elaborarea unui document de orientare, care este în curs de actualizare, privind bunele practici în implementarea concursurilor de cercetare (SGCI [100]). La Forumul Mondial al Științei din 2022, sub auspiciile SGCI și GRC, Africa de Sud Fundația Națională de Cercetare (NRF) și Departamentul de Știință și Inovare au reunit parteneri internaționali și locali pentru a discuta rolul agențiilor de finanțare în promovarea RRA și pentru a împărtăși experiențe, a promova bunele practici și a evalua progresul în consolidarea capacităților și a colaborării (NRF, 2022 [101]).

African Evidence Network [102], o rețea panafricană, transsectorială, de peste 3,000 de practicieni, a efectuat unele lucrări privind evaluarea cercetării transdisciplinare (African Evidence Network [103]), dar măsura în care aceasta a fost încorporată în sistemele de evaluare naționale și regionale nu este încă clară. The Africa Research and Impacts Network [103] a lucrat la un tablou de punctaj care cuprinde o colecție de indicatori pentru a evalua calitatea evaluării științei, tehnologiei și inovației (STI) în Africa, pe care speră să o dezvolte într-un instrument de luare a deciziilor bazat pe web pentru a ghida deciziile de investiții în STI. .

La nivel național, au început schimbări progresive – câteva exemple sunt date în următoarele casete de text. Alte țări în care agențiile de finanțare a cercetării preiau conducerea includ Tanzania (COSTECH), Mozambic (FNI) și Burkina Faso (FONRID). Inițiativa RRA a GRC se dovedește a fi o platformă importantă pentru schimbare pe continent, la fel ca învățarea din sectorul dezvoltării internaționale, în special, a IDRC. Cadrul de evaluare a calității cercetării Plus (RQ+). [104], cu distincția că a fost deja aplicată, studiată și îmbunătățită. Cel cu sediul în Africa Academia Internațională de Evaluare [105] poate oferi, de asemenea, o oportunitate interesantă.

Exemplu național: Côte d'Ivoire

În inima Coastei de Fildeș Program Appui Stratégique à la Recherche Scientifique (PASRES) (Programul de sprijin strategic pentru cercetarea științifică) este convingerea că excelența în cercetare trebuie să transcende numărul de publicații de cercetare și să includă dimensiunea „asumarea cercetării”. Adaptându-se la contextul național, procesul de evaluare a cercetării se bazează pe criterii legate de relevanța științifică și socială, implicarea partenerilor, pregătirea studenților, mobilizarea cunoștințelor și fezabilitate. Comisiile de evaluare implică experți științifici (pentru a judeca calitatea cercetării efectuate), sectorul privat (pentru a judeca îmbogățirea economică) și alte instituții (pentru a măsura potențialul cultural și social al cercetării).

PASRES a înființat două reviste locale (una pentru științe sociale și lingvistică și cealaltă pentru mediu și biodiversitate) și suportă întregul cost al publicării în acestea. În cele din urmă, PASRES finanțează activități de consolidare a capacităților și conferințe tematice pentru a le permite cercetătorilor să-și prezinte cercetările sectorului privat și societății civile.

Mai multe informații: Ouattara, A. și Sangaré, Y. 2020. Sprijinirea cercetării în Côte d'Ivoire: procese de selectare și evaluare a proiectelor. E. Kraemer-Mbula, R. Tijssen, ML Wallace, R. McLean (eds.), African Minds, pp. 138–146

PASSE || Program d'Appui Stratégique Recherche Scientifique (csrs.ch)

Exemplu național: Africa de Sud

Evaluarea cercetării în Africa de Sud (SA) se concentrează în principal pe bibliometrie. Din 1986, când Departamentul de Învățământ Superior (DHET) a introdus o politică de plată a subvențiilor universităților pentru publicațiile de cercetare publicate în reviste cu indici acreditați, producția de publicații de cercetare universitară a crescut concomitent cu valoarea Rand acordată per publicație. Într-un efort de a-și asigura finanțarea cercetării și de a-și avansa cariera, cercetătorii SA au publicat cât mai multe articole cât de repede au putut, creând consecințe perverse și neintenționate.

Academia de Științe din Africa de Sud (ASSAf) a comandat un raport privind publicarea academică în țară (2005-2014) și a găsit indicii privind practicile editoriale îndoielnice și publicarea prădătoare (ASSAf, 2019). Folosind un sistem nuanțat de clasificare, o cifră estimată de 3.4% din totalul articolelor din ultimii zece ani au fost considerate a fi prădătoare, cifrele crescând mai puternic din 2011. Jurnalele considerate a fi prădătoare au fost incluse în DHET „acceptabil pentru finanțare” lista și cadre universitare din toate universitățile din SA s-au dovedit a fi implicați (Mouton și Valentine, 2017).

Raportul ASSAf a făcut recomandări la nivel sistemic, instituțional și individual, iar contramăsurile ulterioare din partea DHET, NRF și unele universități par să fi redus practicile prădătoare în SA, incidența publicării prădătoare de către cadrele universitare din SA (în reviste acreditate DHET) atins un vârf în 2014– 2015 și ulterior în scădere. Au existat, de asemenea, îngrijorări în rândul cercetătorilor că politicile DHET din SA au descurajat colaborarea și nu au reușit să recunoască contribuția indivizilor în cadrul echipelor mari de cercetare, necesitând o revizuire a schemelor de evaluare a performanței/evaluării cercetării. Utilizarea sistemului de unități de publicație este acum recunoscută ca un proxy slab pentru evaluarea calității și productivității cercetării și pentru selecția și promovarea cadrelor universitare.

Mai multe informații:

Academia de Științe din Africa de Sud (ASSAf). 2019. Doisprezece ani: Al doilea raport ASSAf privind publicația de cercetare în și din Africa de Sud. Pretoria, ASSaf.

Mouton, J. și Valentine, A. 2017. Amploarea articolelor din Africa de Sud în reviste de prădători. Jurnalul de Știință din Africa de Sud, Vol. 113, nr. 7/8, p. 1–9.

Mouton, J. şi colab. 2019. Calitatea publicațiilor de cercetare din Africa de Sud. Stellenbosch.

2019_assaf_collaborative_research_report.pdf

Exemplu național: Nigeria

Universitățile din Nigeria evaluează cercetătorii în trei domenii principale: predare, productivitatea cercetării și servicii comunitare. Dintre acestea, productivitatea cercetării este ponderată mai puternic, cu accent pe articolele de cercetare publicate revizuite de colegi și luând în considerare numărul și rolurile autorilor (primul autor și/sau autorul corespunzător) în aceste publicații. În efortul de a deveni mai competitive la nivel global, majoritatea universităților acordă mai multă importanță revistelor indexate de International Scientific Indexing sau SCOPUS, pentru a pune mai mult accent pe calitate și pe colaborarea internațională; și folosiți procentul articolelor din aceste reviste ca criterii de promovare.

O consecință nefericită a acestui fapt este că mulți cercetători, în special cei din științe umaniste, nu au finanțare adecvată și/sau capacitatea de a publica în aceste reviste. În schimb, publică mai multe recenzii decât articole de cercetare sau se simt obligați să includă colegi influenți și seniori ca co-autori, în virtutea contribuției lor financiare mai degrabă decât intelectuale. Plagiatul crește, la fel ca și publicarea prădătoare. Cu toate acestea, clasamentul global global al universităților nigeriene a crescut, satisfacând astfel guvernul și agențiile de finanțare și fiind văzute ca un succes. Nigeria nu este singura în acest sens.

Academia Nigeriană de Științe și-a reînființat propria revistă revizuită de colegi ca o revistă emblematică în care cadrele universitare pot publica (în prezent gratuit) și pot fi evaluate foarte bine de instituțiile lor.

Sistemele de evaluare extrem de competitive, bazate pe indicatori cantitativi, domină regiunea, țările anglofone modelând de obicei cadrele de evaluare, iar alte țări urmând exemplul. În Australia, de exemplu, există un sistem de finanțare competitiv bazat pe bibliometrie și clasamente universitare: „chiar și ODD-urile sunt transformate în indicatori de performanță”. Provocări similare există în Malaezia și Thailanda, iar alte țări ASEAN vor urma probabil. O excepție importantă este China, unde guvernul joacă un rol semnificativ în crearea unor schimbări sistemice majore și care ar putea avea implicații profunde la nivel global (a se vedea caseta de text).

În mod încurajator, există o creștere a gradului de conștientizare și îngrijorare în rândul comunității de cercetare din regiune cu privire la limitele sistemelor actuale de evaluare a cercetării și amenințarea acestora la adresa integrității cercetării. Deși ECR, inclusiv National Young Academies și rețeaua ASEAN de tineri oameni de știință, împreună cu mișcările de bază, se implică din ce în ce mai mult în această problemă, ei se luptă să fie auziți. Guvernul și comunitățile de finanțare, inclusiv conducerea universității, sunt în mare parte absente din dezbatere: acordă importanță metricilor cantitative, dar nu apreciază implicațiile pentru cercetare. Într-adevăr, consultanții raportează că se adaugă mai multe criterii cantitative, în măsura în care instituțiile și cercetătorii încep să folosească sistemul, alimentând comportamentul greșit în cercetare.

Dar există oportunități semnificative de schimbare, așa cum este exemplificat în următoarele casete de text.

Exemplu național: China

Acum, cea mai productivă țară din lume pentru cercetare (Tollefson, 2018; Statista, 2019), iar al doilea în ceea ce privește investițiile în cercetare (OCDE, 2020), ceea ce se întâmplă în China are potențialul de a produce schimbări sistemice reale. O nouă politică la nivel de stat are ca scop restabilirea „spiritului științific, calitatea inovației și contribuția la servicii” ale cercetării și „promovarea revenirii universităților la obiectivele lor academice inițiale” (MOST, 2020). Indicatorii Web of Science nu vor mai fi un factor predominant în deciziile de evaluare sau de finanțare și nici numărul de publicații și JIF-uri. Publicațiile în reviste chineze de înaltă calitate vor fi încurajate și dezvoltarea lor va fi susținută. „Publicațiile reprezentative” – 5-10 lucrări de selecție, mai degrabă decât liste exhaustive – sunt căutate în grupurile de evaluare, împreună cu criterii care evaluează contribuția pe care a avut-o cercetarea la rezolvarea problemelor științifice importante, furnizarea de noi cunoștințe științifice sau introducerea de inovații și progrese reale. a unui anumit domeniu.

În dezvoltarea unui sistem de evaluare a calității și a excelenței cercetării mai adaptat la propriile nevoi, cea mai mare agenție de finanțare a cercetării fundamentale din China, Fundația Națională pentru Științe Naturale din China (NSFC), a efectuat reforme sistematice din 2018 pentru a reflecta schimbările în știință: schimbarea globală. peisajele științifice, importanța transdisciplinarității, combinația dintre cercetarea aplicată și de bază și interacțiunea dintre cercetare și inovare (Manfred Horvat, 2018), trecând de la bibliometrie la un sistem care întărește relevanța locală a cercetării în China (Zhang și Sivertsen, 2020). Și-a îmbunătățit sistemul de evaluare inter pares pentru evaluarea propunerilor pentru a se potrivi mai bine cu cercetarea disruptivă condusă de curiozitate, probleme arzătoare la frontierele cercetării, știință excelentă aplicată la cerințele economice și sociale și cercetarea transdisciplinară care se ocupă de mari provocări. În 2021, 85% dintre propuneri au fost depuse și revizuite folosind aceste categorii. Recent, în noiembrie 2022, a fost anunțat un plan pilot de doi ani de reformă pentru evaluarea talentelor în știință și tehnologie, care implică opt ministere, douăsprezece institute de cercetare, nouă universități și șase guverne locale. Obiectivul său va fi explorarea indicatorilor și metodelor de evaluare pentru talentele din știință și tehnologie implicate în diferite părți ale sistemului de inovare.

Exemplu subregional: Australia și Noua Zeelandă

Atât Australia, cât și Noua Zeelandă se află în prezent în momente importante. În Australia, evaluările concomitente în curs de desfășurare ale Consiliului de Cercetare Australian, Excelența în Cercetare în Australia și negocierile pentru Accesul Deschis de Aur prezintă în mod cumulativ o fereastră de oportunitate (Ross, 2022 de ani).

În urma consultării publice cu privire la viitorul finanțării științei, Noua Zeelandă dezvoltă o nouă program sistemic pentru viitorul sistemului său național de cercetare și inovare. Atât Australia, cât și Noua Zeelandă au contribuit la dezvoltarea unui sistem de metrici pentru grupurile lor de cercetare indigene (Principii CARE).

Exemplu național: India

Centrul pentru Cercetare Politică al Departamentului de Știință și Tehnologie (DST-CPR) a efectuat studii recente privind evaluarea cercetării și reforma acesteia în India, conducând ateliere cu părțile interesate cheie (agenții naționale de finanțare, instituții de cercetare și academii), interviuri și sondaje. S-a constatat că, în timp ce universitățile și multe instituții cu importanță politică națională (cum ar fi agricultura) se concentrează aproape exclusiv pe metrici cantitative, unele agenții de finanțare și instituții precum Indian Institutes of Technology au adoptat și măsuri mai calitative. Această abordare mai calitativă a instituțiilor de nivel superior servește deja la redirecționarea mai multor finanțări către cercetarea pe prioritățile naționale, deși este prea devreme pentru a spune dacă are vreun efect cuantificabil asupra calității și impactului cercetării.

Criteriul de referință principal pentru evaluare este evaluarea inter pares bazată pe opinia comitetului de experți, dar numai după examinarea inițială a aplicațiilor bazată în întregime pe metrici cantitative. Există, de asemenea, provocări fundamentale cu aceste comitete: lipsa diversității și a înțelegerii practicilor științifice deschise, puțină luare în considerare a impactului societal al cercetării și capacitate și părtinire slabe. Aceste probleme și metodologiile de evaluare, în general, sunt slab înțelese și există o lipsă de orientări și literatură pe acest subiect.

Cu toate acestea, există o conștientizare tot mai mare a necesității de a reforma evaluarea cercetării. Finanțat printr-un grant de implicare a comunității DORA, Academia Națională de Științe a Tinerilor din India a colaborat cu Institutul Indian de Științe (IISc) și DST-CPR pentru a explora modalități în care evaluarea cercetării poate fi îmbunătățită - deliberările lor au fost împărtășite cu părțile interesate cheie cu un scopul de a stimula o conversație națională asupra necesității de a reforma și, în cele din urmă, de a schimba cultura de cercetare a Indiei, astfel încât cercetarea acesteia să fie mai inovatoare și/sau mai relevantă din punct de vedere societal. DST-CPR anticipează dezvoltarea unui cadru pentru excelența în cercetare care ar putea fi integrat în cadrul său național de clasare instituțională.

Mai multe informații:

Battacharjee, S. 2022. Modul în care India își evaluează cercetarea își face treaba? – Știința firului

DORA_IdeasForAction.pdf (dstcpriisc.org).

Suchiradipta, B. și Koley, M. 2022. Evaluarea cercetării în India: ce ar trebui să rămână, ce ar putea fi mai bun? DST-CPR, IISc.

Exemplu național: Japonia

Protocoalele de evaluare a cercetării sunt foarte descentralizate în Japonia: în timp ce există „Orientări naționale pentru evaluarea cercetării și dezvoltării”, emise de Consiliul pentru Știință, Tehnologie și Inovare al Biroului Cabinetului, Ministerul Educației, Culturii, Sportului, Științei și Tehnologiei (MEXT) și alte ministerele și-au elaborat, de asemenea, propriile linii directoare. În plus, universitățile și institutele de cercetare au propriile lor sisteme de evaluare a cercetării pentru cercetători și cercetători, care, ca în multe părți ale lumii, au devenit legate de performanța instituțională și de alocarea bugetară.

Au existat preocupări tot mai mari cu privire la dependența excesivă de evaluarea cantitativă. Ca răspuns, Consiliul de Știință al Japoniei s-a pregătit o recomandare privind viitorul evaluării cercetării în Japonia (2022) solicitând mai puțin accent pe măsurile cantitative și mai mult pe măsuri calitative, o mai mare recunoaștere a diversității cercetării și a responsabilității în evaluarea cercetării și monitorizarea tendințelor internaționale în reforma practicilor de evaluare a cercetării. În cele din urmă, interesele și promovarea cercetării ar trebui să fie în centrul evaluării cercetării și ar trebui să se depună toate eforturile pentru a preveni oboseala, demotivarea și presiunea excesivă asupra cercetătorilor.

Un sondaj realizat de MEXT privind indicatorii de evaluare a constatat că JIF este unul dintre mulți indicatori și, ca atare, nu a avut un impact puternic în cercetarea japoneză, deși acest lucru este dependent de disciplină: de exemplu, utilizarea JIF este mai mare în științele medicale - iar activitățile de cercetare mai puțin tradiționale, cum ar fi datele deschise, sunt mai puțin susceptibile de a fi evaluate.

Mai multe informații: RECOMANDARE – Toward Research Evaluation for the Advancement of Science: Challenges and Prospects for Desirable Research Evaluation (scj.go.jp)

În concluzie, există un impuls din ce în ce mai mare pentru reforma evaluării cercetării în unele regiuni, țări și instituții. Exemplele ilustrate aici includ reforme la nivel național, construirea de consorții sau coaliții de instituții similare care caută schimbarea, direcționarea/dirijarea unor sectoare specifice și intervenții pentru a combate stimulentele și comportamentele perverse.

Aceasta nu este încă o conversație globală coerentă și incluzivă și nici practicile și perspectivele nu sunt neapărat împărtășite în mod deschis. Unii membri GYA, IAP și ISC sunt deja proactivi în acest spațiu și ar putea fi găsite oportunități util pentru a-i ajuta să-și împărtășească învățarea și bunele practici între ei și cu membrii mai larg. Lansarea Observatorului Global al Evaluării Responsabile a Cercetării (AGORRA) de către Institutul de Cercetare pentru Cercetare (RoRI) mai târziu în 2023 va oferi o platformă suplimentară pentru partajarea învățării, pentru analiza comparativă a sistemelor naționale și internaționale de reformă și pentru a accelera cele două schimbul de modalități și testarea ideilor bune prin aceste sisteme.

Această lucrare a stabilit principalii factori, oportunitățile și provocările pentru reforma evaluării cercetării și a adunat exemple ilustrative de schimbare care are loc la nivel global, regional, național și instituțional. Scopul acestui lucru este de a mobiliza GYA, IAP și ISC și membrii lor respectivi, ca elemente constitutive importante ale ecosistemului de cercetare global.

Bazându-se pe ultimul deceniu de literatură științifică și activitate de advocacy, există cinci concluzii principale.

1. Imperativul de a regândi modul în care sunt evaluate persoanele, instituțiile și rezultatele cercetării este clar și urgent. Menținerea integrității și calității cercetării, maximizarea științei diverse, incluzive și nediscriminatorii și optimizarea științei pentru binele public global sunt factori majori, plasați în contextul unei lumi în schimbare rapidă.

2. Modul în care cercetarea este comandată, finanțată, furnizată și comunicată evoluează în ritm. Trecerea către știință orientată spre misiune și transdisciplinară, cadre științifice deschise, modele în evoluție de evaluare inter pares, utilizarea inteligenței artificiale și a învățării automate și creșterea rapidă a rețelelor sociale schimbă modurile tradiționale de a face și de a comunica cercetarea, necesitând o nouă gândire asupra sistemelor de evaluare a cercetării. și măsurătorile și procesele de evaluare inter pares care stau la baza acestuia. Este nevoie de mai multe și urgente cercetări pentru a asigura viitorul acestor sisteme.

3. Există un imperativ pentru sisteme de evaluare a cercetării mai echilibrate, cu indicatori atât cantitativi, cât și calitativi, care să pună în valoare forme multiple de rezultate, procese și activități de cercetare. Cu toate acestea, afirmarea că procesele calitative de evaluare inter pares sunt cel puțin la fel de importante ca bibliometria nu este simplă și este și mai complicată de faptul că diferite părți ale lumii se află în stadii diferite în dezvoltarea sistemelor lor de evaluare: în unele, dezbaterile privind reforma evaluării cercetării sunt destul de avansate, în altele sunt în curs de dezvoltare sau absentă.

4. Este necesară o inițiativă concertată, cu adevărat globală și incluzivă, pentru a mobiliza comunitățile principale ale părților interesate pentru a dezvolta și implementa modalități coerente de evaluare și finanțare a cercetării; învățând unul de la altul și din alte sectoare (în special finanțatorii cercetării și agențiile de dezvoltare). Acțiunea colectivă, incluzivă în favoarea schimbării transformatoare va trebui să recunoască interconexiunea mai degrabă decât internaționalizarea sau universalizarea, adică să fie sensibilă la context, să fie conștientă de diferitele provocări cu care se confruntă diferitele părți ale lumii și de eterogenitatea bogată a ecosistemului de cercetare, asigurând în același timp o cantitate suficientă. omogenitate pentru a permite sisteme de cercetare și finanțare compatibile și mobilitatea cercetătorilor, pentru a minimiza divergențele și fragmentarea. O conversație parțială, exclusivă, riscă să-i influențeze și să îi dezavantajeze pe cei care au fost excluși în trecut.

5. Schimbarea este necesară la toate nivelurile – global, regional, național și instituțional – pentru că metricile sunt în cascadă prin întregul ecosistem de cercetare și toate aceste niveluri sunt interconectate. Toate părțile interesate trebuie să își joace rolul de parteneri, nu de adversari – inclusiv finanțatori, universități, asociații de institute de universități și de cercetare, organizații interguvernamentale (IGO), guverne și rețele guvernamentale, academii, factori de decizie în domeniul științei, manageri de cercetare și inovare și cercetători individuali. Membrii GYA, IAP și ISC, în mod colectiv, acoperă o mare parte din acest peisaj bogat (Figura 1, Anexa C).

Figura 1: Harta părților interesate în raport cu apartenența GYA, IAP și ISC (Click pentru a vedea)

Puterea de convocare a organizațiilor precum GYA, IAP și ISC poate contribui la reunirea unei diversități de opinii și experiențe în mare parte din ecosistemul de cercetare: experimentând, învățând din inițiative existente și noi și construind pe baza acestora. În mod critic, ei se pot conecta cu părțile interesate cheie în instigarea schimbării – guverne, finanțatori de cercetare și universități și mișcări globale vitale precum DORA – pentru a ajuta la mobilizarea unei arhitecturi de actori. În mod colectiv, ele pot servi ca:

● susținători – creșterea gradului de conștientizare cu privire la dezbaterile, evoluțiile și reformele privind evaluarea cercetării, recunoscând faptul că membrii acestora servesc ca (i) mentori și supraveghetori ai colegilor juniori, (ii) lideri ai instituțiilor de învățământ superior, (iii) membri ai consiliului de administrație ai organismelor de guvernanță de finanțare și publicare și ( iv) consilieri ai factorilor de decizie;

● inovatori – explorarea diferitelor abordări de evaluare a cercetării de bază și aplicate în moduri incluzive și inovatoare;

● exemplare – schimbarea propriei culturi instituționale – reîmprospătarea calității de membru, premiile, practicile de publicare și conferințe și conducând prin exemplu;

● evaluatori – valorificarea rolului membrilor atât la nivel instituțional, cât și individual, a căror activitate este evaluarea cercetătorilor, cercetării și instituțiilor, precum și a celor care au roluri de publicare, de redacție și de evaluare inter pares;

● finanțatori – bazându-se pe agențiile de finanțare reprezentate în ISC, în special, și membrii care gestionează și distribuie granturi naționale și internaționale mari;

● colaboratori – sprijinirea campaniilor deja stabilite pentru reformă, de exemplu DORA, CoARA al UE și angajamentul UNESCO pentru știință deschisă.

Autorii acestei lucrări încurajează GYA, IAP și ISC și organizații ca acestea să se angajeze în următoarele moduri:

ACȚIUNEA 1: Împărtășiți învățarea și bunele practici

Această lucrare evidențiază exemple de intervenții și inovații din întreaga lume. Spațiul pentru împărtășirea experiențelor și construirea unei „coaliții de voință” puternice și incluzive este vital.

1.1: Oferiți o platformă pentru membrii care sunt deja proactivi în acest spațiu pentru a-și împărtăși învățarea și a construi conexiuni strategice, în special la nivel național. Utilizați aceste exemple pentru a ajuta la popularea Tabloul de bord al Dorei [106] de învățare și bune practici.

1.2: Studiază și cartografiază evoluțiile conduse de membri în reforma evaluării cercetării pentru a identifica abordările instituționale, naționale și regionale și pentru a găsi și împărtăși bunele practici. Convocați-i pe cei care au condus/s-au implicat deja în inițiative majore naționale și internaționale pentru a construi advocacy și învățare la nivelul membrilor.

ACȚIUNEA 2: Conduceți prin exemplu

Calitatea de membru GYA, IAP și ISC acoperă multe părți ale ecosistemului de cercetare și fiecare poate juca un rol important în modelarea succesului ca om de știință.

2.1: Tranziția către metodologii de evaluare a cercetării mai progresive la nivelul întregii membri. Conduceți prin exemplu și ajutați la schimbarea culturii evaluării cercetării prin propriile filozofii și practici de membru, bazându-se în același timp pe învățarea de la DORA și GRC. Academiile, ca organizații tradiționale de elită, au un rol special de jucat aici – ar trebui încurajate să-și extindă propriile criterii de alegere și selecție pentru a reflecta o înțelegere mai largă și mai plurală a calității și impactului cercetării, pentru a reflecta acest pluralism (și cu este mai multă incluziune și diversitate) în calitatea lor de membru.

2.2: Stimularea cooperării regionale și a conducerii. Încurajați rețelele regionale ale membrilor GYA și academiilor naționale tinere, rețelele de academii regionale ale IAP și punctele focale regionale ale ISC să ia în considerare emularea Consiliului ALLEA inițiativă, adaptate propriilor contexte.

ACȚIUNEA 3: Construiți parteneriate strategice cu grupurile cheie.

Cei trei actori principali responsabili de impulsionarea reformei evaluării cercetării sunt guvernele, finanțatorii cercetării și universitățile. GYA, IAP și ISC pot ajuta fiecare să aducă comunitatea de cercetare în eforturile lor de a reforma și de a elimina deconexiunile care există în prezent.

3.1: Angajați-vă cu conducerea GRC pentru a explora modalități de a lucra împreună – în esență pentru a stimula membrii și reprezentanții lor naționali GRC respectivi să exploreze modul în care comunitățile lor de cercetare se pot implica.

3.2: Colaborarea cu rețelele globale și regionale de universități, cum ar fi Asociația Internațională a Universităților (IAU), pentru a dezvolta noi instrumente de formare pentru comunitatea de cercetare; să folosească conducerea IIS în cadrul membrilor colectiv al GYA, IAP și ISC ca avocați.

3.3: Conectați instituțiile membre din țările grant DORA (Argentina, Australia, Brazilia, Columbia, India, Japonia, Țările de Jos, Uganda și Venezuela) cu liderii grant DORA pentru a împărtăși idei și, potențial, a extinde aceste inițiative locale.

3.4: Construiți relații cu agenții internaționale de dezvoltare care implementează deja strategii inovatoare și de impact pentru evaluarea cercetării în țările cu venituri mici și medii și țările cel mai puțin dezvoltate.

3.5: Colaborează cu UNESCO pentru a contribui la formarea angajamentelor naționale de evaluare a cercetării în cadrul acesteia Recomandare privind știința deschisă.

ACȚIUNEA 4: Oferiți leadership intelectual asupra viitorului evaluării cercetării.

Concentrarea asupra provocărilor specifice și urgente pentru reforma evaluării cercetării este imperativă. GYA, IAP și ISC, precum și rețelele internaționale ca acestea, se pot baza pe puterile lor de convocare respective, pe ponderea intelectuală și influența membrilor lor și pe conexiunile cu grupurile cheie.

4.1: Convoacă împreună cu grupurile cheie o serie de forumuri de discuții cu mai multe părți interesate sau „laboratoare de transformare” pentru a regândi și implementa reforma evaluării cercetării – implică liderii instituțiilor de învățământ superior și rețelele lor globale (de exemplu, IAU și IARU) și regionale (de exemplu, LERU și AAU [107] ]), finanțatori de cercetare (inclusiv reprezentanți naționali GRC), agenții internaționale de dezvoltare și editori de top, printre alții. Strângeți resurse noi sau implementați resurse existente pentru a finanța această activitate (a se vedea Anexa D pentru câteva idei preliminare).

4.2: Elaborați un studiu nou asupra unui aspect important al dezvoltării viitoare a evaluării cercetării, cum ar fi (1) impactul progreselor tehnologice asupra evaluării cercetării și asupra evaluării inter pares (inclusiv atât utilizarea, cât și abuzul) și modul în care acestea ar putea evolua în viitor și ( 2) reformarea mai larg a sistemului de evaluare inter pares (în ceea ce privește transparența, deschiderea, capacitatea, recunoașterea și formarea acestuia). Ambele probleme sunt parte integrantă a fiabilității cunoștințelor și a credibilității științei.

În centrul tuturor acestor eforturi ar trebui să se afle trei lucruri fundamentale:

• Extinderea criteriilor de evaluare pentru cercetarea științifică și pentru cercetători dincolo de metricile academice tradiționale pentru a include forme multiple de rezultate și funcții ale cercetării, inclusiv criterii cantitative care pot măsura impactul social al cercetării.

• Încurajarea liderilor instituțiilor de învățământ superior și finanțatorilor de cercetare să adopte și să promoveze aceste noi criterii de evaluare ca măsurători de calitate și valoare a cercetării.

• Lucrul cu acești lideri la noi forme de conștientizare și formare pentru generațiile viitoare de cercetători pentru a le dota cu abilitățile necesare pentru a comunica și a se angaja eficient cu factorii de decizie, publicul și alte grupuri cheie; și să promoveze diversitatea și incluziunea în întreprinderea de cercetare.

Autorii acestei lucrări concluzionează că rețele precum GYA, IAP și ISC, împreună cu și susținând alte grupuri cheie, pot contribui la construirea unei inițiative globale coerente, participative, pentru a mobiliza comunitățile de cercetare, universitățile și alte instituții de învățământ superior în jurul acestei agende și să ia în considerare cum să operaționalizezi noi modalități de evaluare și finanțare a cercetării pentru a o face mai eficientă, echitabilă, incluzivă și cu impact.

Descarcă

Această lucrare a fost redactată de membrii Grupului de Scoping GYA-IAP-ISC, care a lucrat intermitent între mai 2021 și februarie 2023 (mai multe detalii în Anexa A):

• Sarah de Rijcke (Președinte, Țările de Jos)

• Clemencia Cosentino (SUA)

• Robin Crewe (Africa de Sud)

• Carlo D'Ippoliti (Italia)

• Shaheen Motala-Timol (Mauritius)

• Noorsaadah Binti A Rahman (Malaezia)

• Laura Rovelli (Argentina)

• David Vaux (Australia)

• Yao Yupeng (China)

Grupul de lucru îi mulțumește lui Tracey Elliott (consultant senior ISC) pentru coordonarea și munca sa de redactare. Mulțumiri, de asemenea, lui Alex Rushforth (Centrul pentru Studii Științe și Tehnologice (CWTS), Universitatea Leiden, Țările de Jos) și Sarah Moore (ISC) pentru contribuții și sprijin suplimentar.

Grupul de lucru este, de asemenea, recunoscător tuturor celor care au fost consultați în pregătirea acestei lucrări (Anexa B), care și-au acordat timpul și și-au împărtășit perspectivele privind evaluarea cercetării în țările și regiunile respective, precum și recenzenților numiți de GYA, IAP și ISC:

• Karina Batthyány, Director Executiv, Consiliul Latino-American de Științe Sociale (CLACSO) (Uruguay)

• Richard Catlow, profesor de cercetare, University College London (Marea Britanie)

• Sibel Eker, profesor asistent, Universitatea Radbound (Olanda)

• Encieh Erfani, cercetător științific, Centrul Internațional de Fizică Teoretică (Iran, Italia)

• Motoko Kotani, vicepreședinte executiv, Riken (Japonia)

• Pradeep Kumar, profesor și cercetător principal, Universitatea din Witwatersrand (Africa de Sud)

• Boon Han Lim, profesor asociat, Universitatea Tinku Abdul Rahman (UTAR) (Malaezia)

• Priscilla Kolibea Mante, lector principal, Universitatea de Știință și Tehnologie Kwame Nkrumah (KNUST) (Ghana)

• Alma Hernández-Mondragón, președinte, Asociația Mexicană pentru Avansarea Științei (AMEXAC) (Mexic)

• Khatijah Mohamad Yusoff, profesor principal, Universitatea din Putra Malaezia (UPM) (Malaezia)

1. UNESCO. 2021. UNESCO Science Report: The Race Against Time for Smarter Development (Capitolul 1). UNESCO. https://unesdoc.unesco.org/ark:/48223/pf0000377250

2. Societatea Regală. (2012). Știința ca o întreprindere deschisă. Centrul de politică științifică a Societății Regale. https://royalsociety.org/~/media/policy/projects/sape/2012-06-20-saoe.pdf

3. Haustein, S. și Larivière, V. 2014. Utilizarea bibliometricii pentru evaluarea cercetării: posibilități, limitări și efecte adverse. I. Welpe, J. Wollersheim, S. Ringelhan, M. Osterloh (eds.), Stimulente și performanță, Cham, Springer, pp. 121–139.

4. Macleod, M., Michie, S., Roberts, I., Dirnagi, U., Chalmers, I., Ioadnnidis, J., Al-Shahi Salman, R., Chan., AW și Glasziou, P. 2014 Cercetare biomedicală: creșterea valorii, reducerea deșeurilor. The Lancet, Vol. 383, nr. 9912, p. 101–104.

5. Bol, T., de Vaan, M. și van de Rijt, A. 2018. Efectul Matei în finanțarea științei. Proceedings of the National Academy of Sciences of the United States of America, Voi. 115, nr. 19, p. 4887–4890.

6. Consiliul Științific Internațional. 2021. Deschiderea evidenței științei: punerea în funcțiune a publicațiilor academice pentru știință în era digitală. Paris, Franța, ISC. https://doi.org/10.24948/2021.01

7. Müller, R. și de Ricke, S. 2017. Gândirea cu indicatori. Explorarea impactului epistemic al indicatorilor de performanță academică în științele vieții. Evaluarea cercetării, voi. 26, nr. 3, p. 157–168.

8. Ansede, M. 2023. Unul dintre cei mai citați oameni de știință din lume, Rafael Luque, suspendat fără plată timp de 13 ani. El Pais. https://english.elpais.com/science-tech/2023-04-02/one-of-the-worlds-most-cited-scientists-rafael-luque-suspended-without-pay-for-13-years. html

9. IAP. 2022. Combaterea revistelor și conferințelor academice predatoare. Trieste, Italia, IAP. https://www.interacademies.org/publication/predatory-practices-report-English

10. Elliott, T., Fazeen, B., Asrat, A., Cetto, AM., Eriksson, S., Looi, LM și Negra, D. 2022. Percepții asupra prevalenței și impactului revistelor și conferințelor academice predatoare: un sondaj global al cercetătorilor. Editura Învățată, Vol. 3, nr. 4, p. 516–528.

11. Collyer, TA 2019. „Tăierea salamului” ajută carierele, dar dăunează științei. Comportamentul uman al naturii, voi. 3, p. 1005–1006.

12. Abad-García, MF 2019. Plagiat și reviste de pradă: o amenințare la adresa integrității științifice. Anales De Pediatría (Ediție în engleză), Vol. 90, nr. 1, p. 57.e1–57.e8.

13. Omobowale, AO, Akanle, O., Adeniran, AI și Adegboyega, K. 2013. Bursa periferică și contextul publicării străine plătite în Nigeria. Sociologia curentă, voi. 62, nr. 5, p. 666–684.

14. Ordway, D.-M. 2021. Reviste academice, jurnaliștii perpetuează dezinformarea în gestionarea retractărilor de cercetare. Resursa jurnalistului. https://journalistsresource.org/home/retraction-research-fake-peer-review/

15. Curry, S., de Rijcke, S., Hatch, A., Pillay, D., van der Weijden, I. și Wilsdon, J. 2020. The Changing Role of Funders in Responsible Research Assessment: Progress, Obstacles and calea de urmat. Londra, Marea Britanie, Research on Research Institute.

16. Nordul global se referă în general la economiile industrializate sau dezvoltate, așa cum sunt definite de Națiunile Unite (2021), în timp ce Sudul global se referă la economiile nou industrializate sau care sunt în proces de industrializare sau în dezvoltare și care sunt frecvent actuale. sau foşti supuşi ai colonialismului.

17. Parteneriatul InterAcademy. Sesiunea 12: Câștigă dintr-o incluziune mai mare: relația dintre diversitate și cultura academică. IAP. https://www.interacademies.org/page/session-12-winning-greater-inclusion-relation-between-diversity-and-academic-culture

18. Global Young Academy. Grupul de lucru pentru excelență științifică. Berlin, Germania, GYA. https://globalyoungacademy.net/activities/scientific-excellence/

19. ISC. 2021. Unleashing Science: Delivering Missions for Sustainability. Paris, Franța, ISC. doi: 10.24948/2021.04

20. ISC. 2022. Un extras din discursul lui Peter Gluckman la Simpozionul Endless Frontier. Paris, Franta. ESTE C. https://council.science/current/blog/an-extract-from-peter-gluckmans-speech-to-the-endless-frontier-symposium/

21. Belcher, B., Clau, R., Davel, R., Jones, S. și Pinto, D. 2021. Un instrument pentru planificarea și evaluarea cercetării transdisciplinare. Informații despre integrare și implementare. https://i2insights.org/2021/09/02/transdisciplinary-research-evaluation/

22. Belcher, BM, Rasmussen, KE, Kemshaw, MR și Zornes, DA 2016. Definirea și evaluarea calității cercetării într-un context transdisciplinar. Evaluarea cercetării, voi. 25, nr. 1, p. 1–17.

23. Wilsdon, J. şi colab. 2015. The Metric Tide: Raportul revizuirii independente a rolului metricilor în evaluarea și managementul cercetării. HEFCE.

24. UNESCO. Recomandarea UNESCO privind știința deschisă. Paris, Franța, UNESCO. https://unesdoc.unesco.org/ark:/48223/pf0000379949

25. O sursă UNESCO a dezvăluit că această lucrare este în prezent suspendată, deoarece dezbaterea este dominată doar de câțiva și nu rezonează neapărat cu mulți: un dialog amplu trebuie să precedă elaborarea recomandărilor.

26. Barroga, E. 2020. Strategii inovatoare pentru evaluarea inter pares. Journal of Korean Medical Science, Vol. 35, nr. 20, p. e138.

27. Woods, HB, et al. 2022. Inovații în evaluarea colegială în publicarea academică: un meta-rezumat. SocArXiv, doi: 10.31235/osf.io/qaksd

28. Kaltenbrunner, W., Pinfield, S., Waltman, L., Woods, HB și Brumberg, J. 2022. Innovating peer review, reconfiguring academic communication: An analytical overview of peer review innovation activities. SocArXiv, doi: 10.31235/osf.io/8hdxu

29. Holm, J., Waltman, L., Newman-Griffis, D. și Wilsdon, J. 2022. Good Practice in the Use of Machine Learning & AI by Research Funding Organizations: Insights from a Workshop Series. Londra, Marea Britanie, Research on Research Institute. https://doi.org/10.6084/m9.figshare.21710015.v1

30. Procter, R., Glover, B. și Jones, E. 2020. Research 4.0 Research in the Age of Automation. Londra, Marea Britanie, DEMOS.

31. Baker, M. 2015. Software-ul inteligent identifică erori statistice în lucrările de psihologie. Natura, https://doi.org/10.1038/nature.2015.18657

32. Van Noorden, R. 2022. Cercetătorii folosesc AI pentru a analiza evaluarea inter pares. Natura 609, 455.

33. Severin, An., Strinzel, M., Egger, M., Barros, T., Sokolov, A., Mouatt, J. și Muller, S. 2022. Arxiv,

34. Gadd, E. 2022. Instrumente de evaluare a citatelor bazate pe inteligență artificială: bune, rele sau urâte? Bibliomagicul. https://thebibliomagician.wordpress.com/2020/07/23/ai-based-citation-evaluation-tools-good-bad-or-ugly/

35. Foltýnek, T., Meuschke, N. și Gipp, B. 2020. Detectarea plagiatului academic: o revizuire sistematică a literaturii. ACM Computing Surveys, Vol. 52, nr. 6, p. 1–42.

36. Quach, K. 2022. Editorii folosesc AI pentru a surprinde oamenii de știință răi care studiază datele. Registrul. https://www.theregister.com/2022/09/12/academic_publishers_are_using_ai/

37. Van Dis, E., Bollen, J., Zuidema., van Rooji, R și Bockting, C. 2023. ChatGPT: five priorities for research. Natura, Vol. 614, p. 224–226.

38. Chawla, D. 2022. Ar trebui AI să aibă un rol în evaluarea calității cercetării? Natura, https://doi.org/10.1038/d41586-022-03294-3

39. Cyranoski, D. 2019. Artificial intelligence is selecting grant reviewers in China. Natura, Vol. 569, p. 316–317.

40. Mike, T. 2022. Poate fi evaluată calitatea articolelor publicate în reviste academice prin învățarea automată? Studii științifice cantitative, voi. 3, nr. 1, p. 208–226.

41. Chomsky, N., Roberts, I. și Watumull, J. 2023. The false promise of ChatGPT. The New York Times. https://www.nytimes.com/2023/03/08/opinion/noam-chomsky-chatgpt-ai.html

42. Clarivat. 2022. Evaluarea cercetării: origini, evoluție, rezultate. Clarivat. https://clarivate.com/lp/research-assessment-origins-evolutions-outcomes/

43. Blauth, TF, Gstrein, OJ și Zwitter, A. 2022. Artificial intelligence crime: an overview of malicious use and abus of AI. Acces IEEE, Vol. 10, p. 77110–77122.

44. Castelvecchi, D. 2019. Pionier AI: „Pericolele abuzului sunt foarte reale”. Nature, doi: https://doi.org/10.1038/d41586-019-00505-2

45. Jordan, K. 2022. Percepțiile academicilor despre impactul și implicarea cercetării prin interacțiuni pe platformele de social media. Learning, Media and Technology, doi: 10.1080/17439884.2022.2065298

46. ​​Wouters, P., Zahedi, Z. și Costas, R. 2019. Social media metrics for new research evaluation. Glänzel, W., Moed, HF, Schmoch U., Thelwall, M. (eds.), Springer Handbook of Science and Technology Indicators. SpringerLink.

47. Rafols, I. și Stirling, A. 2020. Proiectarea indicatorilor pentru deschiderea evaluării. Perspective din evaluarea cercetării. ResearchGate, doi: 10.31235/osf.io/h2fxp

48. Rich, A., Xuereb, A., Wrobel, B., Kerr, J., Tietjen, K., Mendisu, B., Farjalla, V., Xu, J., Dominik, M., Wuite, G. ., Hod, O. și Baul, J. 2022. Înapoi la elemente de bază. Halle, Germania, Global Young Academy.

49. Jong, L., Franssen, T. și Pinfield, S. 2021. Excelența în ecosistemul de cercetare: o revizuire a literaturii. Londra, Marea Britanie, Research on Research Institute.

50. Hatch, A. și Curry, S. 2020. Cultura cercetării: Schimbarea modului în care evaluăm cercetarea este dificilă, dar nu imposibilă. eLife, Vol. 9, p. e58654.

51. IAP. 2022. Combaterea revistelor și conferințelor academice predatoare. Trieste, Italia, IAP.

52. Hicks, D., Wouters, P., Waltman, L., de Rijcke, S. și Rafols, I. 2015. Bibliometrie: The Leiden Manifesto for research metrics. Natura, Vol. 520, p. 429–431.

53. Publonii. 2018. Global State of Peer Review. Londra, Marea Britanie, Clarivate. https://doi.org/10.14322

54. Kovanis, M., Porcher, R., Revaud, P. și Trinquart, L. 2016. Povara globală a evaluării de către colegi a revistei în literatura biomedicală: dezechilibru puternic în întreprinderea colectivă. PLoS ONE, Vol. 11, nr. 11, p. e0166387.

55. Forrester, B. 2023. Sătul și ars: „renuntarea liniștită” lovește mediul academic. Natura, Vol. 615, p. 751–753.

56. Hatch, A. și Curry, S. 2020. Cultura cercetării: schimbarea modului în care evaluăm cercetarea este dificilă, dar nu imposibilă. eLife, Vol. 9, p. e58654.

57. Moher, D., Bouter, L., Kleinert, S., Glasziou, P., Har Sham, M., Barbour, V., Coriat, AM, Foeger, N. și Dirnagi, U. 2020. The Hong Principiile Kong pentru evaluarea cercetătorilor: promovarea integrității cercetării. PLoS Biology, Voi. 18, nr. 7, p. e3000737.

58. Wilsdon, J., Allen, L., Belfiore, E., Campbell, P., Curry, S., Hill, S., Jones, R., Kain, R. și Kerridge, S. 2015. The Metric Tide: Raportul revizuirii independente a rolului metricilor în evaluarea și managementul cercetării. doi:10.13140/RG.2.1.4929.1363

59. Curry, S., Gadd, E. și Wilsdon, J. 2022. Harnessing the Metric Tide: Indicators, Infrastructures & Priorities for UK Responsible Research Assessment. Londra, Marea Britanie, Research on Research Institute.

60. Nature Editorial. 2022. Sprijiniți viziunea îndrăzneață a Europei pentru evaluarea responsabilă a cercetării. Natura, Vol. 607, p. 636.

61. Declarație privind evaluarea cercetării (DORA). https://sfdora.org/about-dora/

62. Hicks, D., Wouters, P., Waltman, L., de Rijcke, S. și Rafols, I. 2015. Bibliometrie: The Leiden Manifesto for research metrics. Natura, Vol. 520, p. 429–431.

63. Curry, S., Gadd, E. și Wilsdon, J. 2022. Harnessing the Metric Tide: Indicators, Infrastructures & Priorities for UK Responsible Research Assessment. Londra, Marea Britanie, Research on Research Institute. https://rori.figshare.com/articles/report/Harnessing_the_Metric_Tide/21701624

64. DORA. Declarația de la San Francisco privind evaluarea cercetării. https://sfdora.org/read/

65. DORA. Instrumente pentru promovarea evaluării cercetării. DORA. https://sfdora.org/project-tara/

66. DORA. Granturi pentru implicarea comunității DORA: Sprijinirea reformei evaluării academice https://sfdora.org/dora-community-engagement-grants-supporting-academic-assessment-reform/

67. Inorms. SCOPE Cadrul pentru evaluarea cercetării. https://inorms.net/scope-framework-for-research-evaluation/

68. Inorms. Cadrul SCOPE. https://inorms.net/scope-framework-for-research-evaluation/

69. Torfin, S. 2018. Research Quality Plus. Centrul Internațional de Cercetare pentru Dezvoltare. https://www.idrc.ca/en/rqplus

70. Reid, C., Calia, C., Guerra, C. și Grant, L. 2019. Ethical Action in Global Research: A Toolkit. Edinburgh, Scoția, Universitatea din Edinburgh. https://www.ethical-global-research.ed.ac.uk/

71. Valters, C. 2014. Theories of Change in International Development: Communication, Learning, or Accountability? Fundația Asia. https://www.alnap.org/system/files/content/resource/files/main/jsrp17-valters.pdf

72. Fraser, C., Nienaltowski, MH, Goff, KP, Firth, C., Sharman, B., Bright, M. și Dias, SM 2021. Evaluare responsabilă a cercetării. Consiliul Global de Cercetare. https://globalresearchcouncil.org/news/responsible-research-assessment/

73. Consiliul Global de Cercetare. Evaluarea responsabilă a cercetării GRC. YouTube. https://www.youtube.com/watch?v=CnsqDYHGdDo

74. Curry, S., de Rijcke, S., Hatch, A., Dorsamy, P., van der Weijden, I. și Wilsdon, J. 2020. The Changing Role of Funders in Responsible Research Assessment. Londra, Marea Britanie, Research on Research Institute. https://doi.org/10.6084/m9.figshare.13227914.v1

75. Consiliul Global de Cercetare. Grupul de lucru responsabil pentru evaluarea cercetării. GRC. https://globalresearchcouncil.org/about/responsible-research-assessment-working-group/

76. Global Young Academy. Excelență științifică. GYA. https://globalyoungacademy.net/activities/scientific-excellence/

77. Adams, J., Beardsley, R., Bornmann, L., Grant, J., Szomszor, M. și Williams, K. 2022. Research Assessment: Origins, Evolution, Outcomes. Institutul de Informare Științifică. https://clarivate.com/ISI-Research-Assessment-Report-v5b-Spreads.pdf

78. DORA. Biblioteca de resurse. https://sfdora.org/resource-library

79. Saenen, B., Hatch, A., Curry, S., Proudman, V. și Lakoduk, A. 2021. Reimagining Academic Career Assessment: Stories of Innovation and Change. DORA. https://eua.eu/downloads/publications/eua-dora-sparc_case%20study%20report.pdf

80. Coaliția pentru Avansarea Evaluării Cercetării (CoARA). https://coara.eu/

81. CoARA. 2022. Acordul privind reformarea evaluării cercetării. https://coara.eu/app/uploads/2022/09/2022_07_19_rra_agreement_final.pdf

82. Nature Editorial. 2022. Sprijiniți viziunea îndrăzneață a Europei pentru evaluarea responsabilă a cercetării. Natura, Vol. 607, p. 636.

83. Știință deschisă și universală. Acasă OPUS – Proiect de știință deschisă și universală (OPUS). https://opusproject.eu/

84. Vergoulis, T. 2023. GraspOS Moving Forward to a More Responsible Research Assessment. OpenAIRE. https://www.openaire.eu/graspos-moving-forward-to-a-more-responsible-research-assessment

85. Consiliul European de Cercetare. 2022. Consiliul științific al ERC decide modificări ale formularelor și proceselor de evaluare pentru apelurile din 2024. ERC. https://erc.europa.eu/news-events/news/erc-scientific-council-decides-changes-evaluation-forms-and-processes-2024-calls

86. Toate academiile europene. 2022. Declarația ALLEA privind reformarea evaluării cercetării în cadrul academiilor europene. ALLEA. https://allea.org/wp-content/uploads/2022/10/ALLEA-Statement-RRA-in-the-Academies.pdf

87. Eurodoc, MCAA, YAE, ICoRSA și GYA. 2022. Declarație comună privind concluziile Consiliului UE privind evaluarea cercetării și punerea în aplicare a științei deschise. Zenodo, doi: 10.5282/zenodo.7066807.

88. Overlaet, B. 2022. A Pathway to Multidimensional Academic Careers – A LERU Framework for the Assessment of Researchers. LERU, Leuven, Belgia. https://www.leru.org/files/Publications/LERU_PositionPaper_Framework-for-the-Assessment-of-Researchers.pdf

89. Societatea Regală. CV pentru cercetători. https://royalsociety.org/topics-policy/projects/research-culture/tools-for-support/resume-for-researchers/

90. Grove, J. 2021. CV-urile narative spun povestea potrivită? Times Higher Education (THE). https://www.timeshighereducation.com/depth/do-narrative-cvs-tell-right-story

91. RICYT. Cercetători pe sector de ocupare (FTE) 2011-2020. app.ricyt.org/ui/v3/comparative.html?indicator=INVESTEJCSEPER&start_year=2011&end_year=2020

92. CLACSO. 2020. Evaluarea evaluării cercetării științifice. Seria Către o transformare a evaluării cercetării științifice în America Latină și Caraibe din Forumul Latino-American pentru Evaluarea Cercetării (FOLEC). CLACSO, Buenos Aires, Argentina. https://www.clacso.org/wp-content/uploads/2020/05/FOLEC-DIAGNOSTICO-INGLES.pdf

93. CLACSO. 2021. Către o transformare a sistemelor de evaluare în America Latină și Caraibe, Instrumente pentru promovarea noilor politici de evaluare. Seria de la Forumul Latino-American pentru Evaluarea Cercetării (FOLEC). CLACSO, Buenos Aires, Argentina. https://www.clacso.org/wp-content/uploads/2022/02/Documento-HERRAMIENTA-2-ENG.pdf

94. Gras, N. 2022. Forms of Research Assessment Oriented At Development Problems. Practici și perspective de la organizațiile naționale de știință și tehnologie și instituțiile de învățământ superior din America Latină și Caraibe. FOLEC. CLACSO, Buenos Aires, Argentina. 2022-07-27_Report Forms-of-research-assessment.pdf ENG.pdf (dspacedirect.org)

95. CLACSO este Consiliul pentru Științe Sociale din regiune și un campion de frunte pentru știința responsabilă și relevantă din punct de vedere social. Forumul Latino-American pentru Evaluarea Cercetării (FOLEC) este un spațiu regional de dezbatere și schimb de bune practici și dezvoltă linii directoare regionale pentru evaluarea cercetării pentru a sprijini aceste principii. Ambele asigură un lider regional puternic.

96. SGCI. Science Granting Councils Initiative (SGCI) în Africa Subsahariană. https://sgciafrica.org/

97. SGCI. Tijssen, R. și Kraemer-Mbula, E. 2017. Policy brief: Perspectives on research excellence in the Global South – evaluare, monitorizare și evaluare în contextele țărilor în curs de dezvoltare. SGCI. https://sgciafrica.org/wp-content/uploads/2022/03/Policy-Brief-Perspectives-on-research-excellence-in-the-Global-South_-Assessment-monitoring-and-evaluation-in-developing- country-contexts.pdf

98. Tijssen, R. și Kraemer-Mbula, E. 2018. Excelența în cercetare în Africa: Politici, percepții și performanță. SGCI. https://sgciafrica.org/research-excellence-in-africa-policies-perceptions-and-performance/

99. Tijssen, R. și Kraemer-Mbula, E. 2018. Excelența în cercetare în Africa: Politici, percepții și performanță. Știință și Politici Publice, Vol. 45 nr. 3, p. 392–403. https://doi.org/10.1093/scipol/scx074

100. SGCI. Ghid de bune practici privind calitatea concursurilor de cercetare. https://sgciafrica.org/eng-good-practice-guideline-on-the-quality-of-research-competitions/

101. NRF. NRF găzduiește întâlniri strategice pentru promovarea parteneriatelor de cercetare în Africa – Fundația Națională de Cercetare

102. Belcher, BM, Rasmussen, KE, Kemshaw, MR și Zornes, DA 2016. Definirea și evaluarea calității cercetării într-un context transdisciplinar, Research Evaluation, Vol. 25, pp: 1–17, https://doi.org/10.1093/reseval/rvv025

103. ARIN. 2020. Metrics Science Technology and Innovation (STI) – Africa Research & Impact Network (arin-africa.org)

104. McLean R., Ofir Z., Etherington A., Acevedo M. și Feinstein O. 2022. Research Quality Plus (RQ+) – Evaluating Research Differently. Ottawa, Centrul Internațional de Cercetare pentru Dezvoltare. https://idl-bnc-idrc.dspacedirect.org/bitstream/handle/10625/60945/IDL-60945.pdf?sequence=2&isAllowed=y

105. Academia Internațională de Monitorizare și Evaluare

106. DORA. Tabloul de bord TARA. https://sfdora.org/tara-landing-page/

107. IARU, Asociația Internațională a Universităților de Cercetare Intensivă; LERU, Liga Universităților Europene de Cercetare; AAU, Asociația Africană a Universităților