Teadusuuringute hindamise tulevik: praeguste arutelude ja arengute süntees

Dünaamiline ja kaasav teadussüsteem on nii teaduse kui ka ühiskonna jaoks ülimalt oluline, et edendada põhiteadmisi ja -mõistmist ning tegeleda üha pakilisemate ülemaailmsete väljakutsetega. Kuid teadussüsteem on surve all mitme osaleja (sealhulgas rahastajate, valitsuste ja kirjastustööstuse) kasvavate ootuste, konkurentsi ja koostöö dünaamika, areneva teadusliku kommunikatsioonisüsteemi, agressiivse – kohati – kirjastamis- ja andmeanalüütika tööstuse tõttu. ja piiratud ressursid. Teadusettevõte peab nende nõudmiste ja pingetega toime tulema, säilitades samal ajal teadustöö kvaliteedi, säilitades teadusuuringute terviklikkuse, olema kaasav ja mitmekesine ning kaitstes nii alus- kui ka rakendusuuringuid.

Viimase kümnendi jooksul on teadussüsteemi surve ja reageerimisvajadusega kaasnenud kriitilisemad mõtted teadusuuringute hindamise ja tulemuslikkuse mõõtmise süsteemide kohta. Kuigi asjakohased kontekstitundlikud metoodikad teadustöö kvaliteedi ja mõju hindamiseks on olulised, on ägenenud arutelud praeguste hindamiskriteeriumide ja mõõdikute laiaulatusliku, keeruka ja mitmetähendusliku mõju üle teadustöö kvaliteedile ja kultuurile, poliitikakujundamise aluseks olevate tõendite kvaliteedile, prioriteedid teaduses ja teaduse rahastamises, individuaalsed karjääritrajektoorid ja teadlaste heaolu. Mõnes maailma paigas tunnistatakse üha enam, et kitsas ja lihtsustatud hindamismõõdikute ja -näitajate kogum ei kajasta rahuldavalt teadustöö kvaliteeti, kasulikkust, terviklikkust ja mitmekesisust. Regulaarselt kasutatavad – sageli ajakirjapõhised – mõõdikud ei suuda hõlmata kvaliteetsete uuringute olulisi lisamõõtmeid, nagu mentorluse, andmete jagamise, avalikkusega suhtlemise, järgmise põlvkonna teadlaste kasvatamise ning alaesindatud rühmade tuvastamise ja neile võimaluste andmise puhul. Lisaks sellele, et mõõdikute ja näitajate väärkasutamine on liiga kitsas, moonutab see ka saavutuste stiimuleid, seab mõned distsipliinid (sealhulgas olulised interdistsiplinaarsed ja transdistsiplinaarsed teadusuuringud) ebasoodsasse olukorda ning õhutab röövellikke ja ebaeetilisi avaldamistavasid.

Kampaaniad mõõdikute väärkasutamise ohjeldamiseks, kvaliteedikriteeriumide laiendamiseks ja teaduskultuuri süsteemsemaks muutmiseks manifestide ja avalduste, põhimõtete ja reformide kaudu on loonud aluse ülemaailmsele arutelule teadusuuringute hindamise reformimise vajaduse üle. Need hääled nõuavad nüüd liikumist manifestidelt tegudele. See toimub teadusuuringute läbiviimise ja teabe edastamise viiside ümberkujundamise taustal. Avatud uurimisraamistike ja sotsiaalmeedia tõus, üleminek missioonile orienteeritud ja transdistsiplinaarsele teadusele, avatud vastastikuse eksperdihinnangu kasv ning tehisintellekti (AI) ja masinõppe transformatiivne potentsiaal nõuavad uut mõtlemist selle kohta, kuidas teadusuuringuid ja teadlasi hinnatakse. .

Selle taustal on Global Young Academy (GYA), Akadeemiatevaheline partnerlus (IAP) ja Rahvusvaheline Teadusnõukogu (ISC) ühendas jõud, et teha kokkuvõte teadusuuringute hindamise aruteludest ja arengutest kogu maailmas, tuginedes teadlaste uurimisrühmale ja mitmetele piirkondlikele konsultatsioonidele. Mõnedes maailma piirkondades töötavad kõrgkoolid ja teadusrahastajad välja ja katsetavad uusi lähenemisviise ning mitu neist on käesolevas dokumendis kaasatud. Mujal maailmas on need arutelud ja tegevused alles tekkimas või puuduvad. Kuna teadussüsteemid arenevad erineva kiirusega, tekib lahknemise ja killustumise oht. Selline lahknevus võib ohustada homogeensust, mis on vajalik teaduskoostöö võimaldamiseks ja teadlaste liikuvuse hõlbustamiseks erinevates geograafilistes piirkondades, sektorites ja teadusharudes. Kuid üks suurus ei sobi kõigile ja hindamise reformimiseks on vaja kontekstitundlikke jõupingutusi, teadvustades kohalikke väljakutseid.

See aruteludokument keskendub avaliku sektori teadusuuringutele ning teadlaste ja teadlaste hindamisele ning on oma vaatenurgast ülemaailmne, hõlmates päevakorda, kus tavaliselt domineerivad arengud Euroopas ja Põhja-Ameerikas: piirkondlikud perspektiivid ning riikliku arengu ja institutsionaalse reformi näited on esile tõstetud. GYA, IAP ja ISC globaalne ja kollektiivne liikmeskond esindab laia läbilõiget teadusuuringute ökosüsteemist, mille mitmekesised volitused võivad hõlbustada tõelisi süsteemseid muutusi. Selle dokumendi eesmärk on ergutada GYA, IAP ja ISC – vastastikuse õppimise, katsetamise ja innovatsiooni platvormina – teha koostööd oma liikmete, teiste teadusasutuste ja peamiste valijaskondadega kogu maailmas, algatada ja edendada vestlusi ning mobiliseerida kaasavamat tegevust. ja ühistegevus.

Soovitused GYA-le, IAP-le ja ISC-le ning nende liikmetele (vt jaotis 5) on üles ehitatud nende pooldajate, eeskujude, uuendajate, rahastajate, kirjastajate, hindajate ja kaastöötajate rollile ning tegevuste soovituslikud ajaraamid. Kõige otsesemalt hõlmavad need tegevused ruumi loomist õppetundide ja seniste algatuste tulemuste jagamiseks (praktikakogukonna loomiseks); keskpikas perspektiivis paljude sidusrühmade foorumite kooskutsumine võtmerühmadega, et kavandada ja rakendada teadusuuringute hindamine praktilisel, kontekstitundlikul ja kaasaval viisil; ja pikemas perspektiivis uudsete uuringute algatamine, mis aitavad kaasa tulevikumõtlemisele, mis on tundlikud tehisintellekti tehnoloogiate, vastastikuse eksperdihinnangu metoodikate ja reformide ning kommunikatsioonimeedia kiirete arengute suhtes.

. Global Young Academy (GYA), Akadeemiatevaheline partnerlus (IAP) ja Rahvusvaheline Teadusnõukogu (ISC) 2021. aastal tuli kokku, et teha kokkuvõte väljakutsetest, aruteludest ja arengutest teadusuuringute hindamisel kogu maailmas, erinevates teaduskultuurides ja -süsteemides ning uurida võimalusi, kuidas nad saaksid osaleda ja mõjutada teadusuuringute hindamise/hindamise ümberkujundamist. 21. sajand, avatud ja kaasaval viisil.

Kokku kutsuti rahvusvaheline ulatuse määramise rühm (lisa A), et uurida valdkonda ja nõustada kolme organisatsiooni, kuidas nad saaksid tugevdada olemasolevaid jõupingutusi teadusuuringute hindamise reformimiseks. Selles töös oli kesksel kohal eeldus, et (1) kooskõlastatud teadlaste juhitud algatus annaks ülemaailmsele teadlaskonnale tugevama hääle teaduse hindamise tuleviku kujundamisel ja (2) nn koos hinnatavaga hindamisest on kasu; seega aidates kaardistada teed püsivate, süsteemsete muutusteni hindamiskultuurides ja -tavades.

Täiendavalt dokumentaalsele uurimistööle viidi 2021. aasta lõpus läbi rida piirkondlikke konsultatsioone ulatuse määramise rühma ja partnerite kindlaksmääratud ekspertidega. Arutelupaber on selle töö peamine väljund. See on mõeldud prospektiks uurimuslike vestluste jaoks mitmete sidusrühmadega, sealhulgas ülemaailmse teadlaskonna endaga.

Teadusuuringute hindamistavad teenivad mitut eesmärki ja neid viivad läbi mitmed sidusrühmad. Neid kasutatakse rahastamisotsuste tegemiseks tehtud uurimisettepanekute, avaldatavate uurimistööde, värbamise või edutamise teadlaste ning teadusasutuste ja ülikoolide tegevuse hindamiseks. Käesolev artikkel keskendub valdavalt teadlaste ja teadustöö hindamisele ning ei hõlma institutsionaalset hindamist ega pingerida, kuigi kõik need hindamisvaldkonnad on omavahel lahutamatult seotud. Praegused tavad sõltuvad suuresti kvantitatiivsetest ja suures osas ajakirjapõhistest mõõdikutest, nagu ajakirja mõjutegur (JIF), publikatsioonide arv, tsitaatide arv, h-indeks ja artikli mõjuskoor (AIS). Muud mõõdikud hõlmavad toetuste sissetuleku sihtmärke, sisendi mõõtmeid (nt teadusuuringute rahastamine või uurimisrühma suurus), registreeritud patentide arvu ja viimasel ajal ka sotsiaalmeedia mõõdikuid (endine „altmeetria”), nagu sotsiaalmeedia jagamised või allalaadimised. Üheskoos mõjutavad need mõõdikud põhjalikult institutsioonide, uurimisrühmade ja üksikisikute mainet, individuaalseid ja koostööpõhiseid uurimiskavasid, karjääritrajektoore ja ressursside jaotust.

Viimase kahe aastakümne jooksul on ülemaailmsed investeeringud teadus- ja arendustegevusse kolmekordistunud – umbes 2 triljoni USA dollarini aastas. Ainuüksi viimastel aastatel on teadus- ja arendustegevuse kulutused kasvanud kõige kiiremini alates 1980. aastate keskpaigast, ligikaudu 19% (UNESCO, 2021) [1]. See lisainvesteering teadusuuringutesse toob endaga kaasa vastutuse kultuuri, mis avaldab survet teadusasutustele ja üksikisikutele ning võib vastuseks tekitada kõrvalekaldeid või perversseid stiimuleid. See on toonud kaasa ka suuremaid püüdlusi: säilitada kvaliteet ja vähendada uurimistöö raiskamist, vigu ja ebaefektiivsust; maksimeerida kaasatust ja mitmekesisust; optimeerida teadusuuringuid kui ülemaailmset avalikku hüve; ning edendada avatumat ja kaasatud stipendiumi. Ilma reformita on uurimistöö kvaliteet, terviklikkus, mitmekesisus ja kasulikkus ohus.

Kvantitatiivsed mõõdikud võivad moodustada olulise osa teadusuuringute hindamisest üleminekul avatumale, vastutustundlikumale ja avalikkusele suunatud uurimissüsteemile (Kuninglik selts, 2012) [2]. Kuid nad vastutavad osaliselt ka kogu maailmas eksisteeriva „avalda või hävi” teaduskultuuri edendamise eest, millel on kahjulik mõju uurimistulemuste kvaliteedile, uurimissüsteemide terviklikkusele ja usaldusväärsusele ning teadlaskogukondade mitmekesisusele (nt. Haustein ja Larivière, 2014) [3]. Selle põhjuseks on asjaolu, et nii institutsioonid, poliitikakujundajad kui ka teadusuuringute rahastajad kasutavad mõõdikuid teadustöö kvaliteedi määrajana, kuid need mõõdavad väljundit, mitte teadustöö kvaliteeti ega mõju iseenesest. Sellisena teevad need osalejad palju ära selle sotsiaalse ja kultuurilise konteksti määramisel, milles teadusuuringud toimuvad, ning akadeemiliste ringkondade tasustamis- ja edutamissüsteemid kujundavad teadlaste valikuid nende karjääri kõigil etappidel (Macleod jt, 2014) [4].

„Bibliomeetriliste indeksite kasutamine teadlaste töö tulemuslikkuse puhvermõõdikutena on mugav hindamisindeks, kuid see on sügavalt vigane. Enamik keskendub järeleandmatult individuaalsetele saavutustele, vähendab uurimistoetust ülikooli huvides suure mõjuga mõõdikute vastu, sunnib kõiki märkima kastid ja kohanema, samal ajal kui neil on oluline roll ajakirjade väljaannete turu moonutamisel. Kiiresti on vaja reformi."

Rahvusvahelise teadusnõukogu avamine teadusrekord (2021).

Teine sidusrühmade kogukond, kellel on tohutu võim ja mõju teaduskommunikatsiooni ja teadmiste tootmise üle, on kirjastussektor. Ajakirjapõhised mõõdikud on muutunud võimsaks stiimuliks kommertsajakirjades avaldamiseks ja võivad ergutada käitumist, millel võivad olla tõsised kõrvalmõjud. Selle asemel, et hinnata uurimistöö tulemusi selle teaduslike eeliste põhjal, peetakse seda ajakirja, milles see avaldatakse, tajutavat kvaliteeti tavapäraselt teadusliku kvaliteedi tõendiks, mis juhib väga kommertslikku avaldamisturgu, mis põhineb pigem mainel kui teadusel. Avatud juurdepääsu kulud tekivad suures osas autoritöötlustasude (APC) tõttu: need võivad olla ülemäära kõrged, eriti mõnes maailma osas, tekitades tõkkeid ressursivaeste teadlaste teadusuuringute avaldamisel ja potentsiaalselt ohustades rahvusvahelise teadusringkonna purunemist. Riskid muutuda üha enam sõltuvaks kommertspakkujatest ja nende kasutustingimustest uurimisprotsessi kõikides etappides loovad tugeva põhjenduse mittetulunduslikele alternatiividele. Lisaks, kuna bibliomeetrilised näitajad on olnud ülikoolides domineeriv stiimulite allikas, on need vähendanud haridus- ja muude teadustöö vormide (nagu õpetamine ja poliitikanõustamine) väärtust. Kuna teadusuuringute hindamissüsteemid kipuvad eelistama neid, kes saavad suuri toetusi ja avaldavad ajakirjades, millel on suur mõju, on tõendeid selle kohta, et teadlastel, kes on juba edu saavutanud, on suurem tõenäosus uuesti edukaks saada (Matteuse efekt, Bol jt, 2018) [5].

Kui teaduslik publitseerimine muutub pigem hindamisvahendiks kui suhtlemiseks, seab see ebasoodsasse olukorda need, kes otsustavad oma uurimistööst muul tähendusrikkal viisil edastada (ISC 2021. aasta aruanne) [6]. See hõlmab Global Young Academy (GYA), InterAcademy Partnership (IAP) ja Rahvusvahelise Teadusnõukogu (ISC) ühiseid väljundeid (ja väidetavalt ka peamist valuutat): aruanded, töödokumendid, ühisavaldused, arvamustoimetused, uudised ja veebiseminarid. . Ebasoodsas olukorras on ka mõned teadusharud: näiteks inseneri- ja arvutiteaduse teadlased, kus on oluline (tavaliselt kiirem) suhtlus konverentside ja nende toimetiste kaudu; ning humanitaar- ja sotsiaalteadused, kes kasutavad tavaliselt monograafiaid, raamatuid ja erialaajakirju.

Teised otsustavad avaldada teadusuuringutega seotud või kohalikes ajakirjades või ei saa endale lubada oma uurimistöö avaldamist (kuigi kõrge kvaliteediga) avatud juurdepääsuga ajakirjades, millel on suured mõjutegurid (ja samaaegselt kõrged APC-d); viimane seab ebasoodsasse olukorda madala sissetulekuga riikide inimesed, eriti varajase karjääri uurijad (ECR). Need samad teadlased on tugeva surve all akadeemiliste ametikohtade järele ja nende käitumine on tugevalt tingitud kvantitatiivsetest kriteeriumidest, mida kasutavad teadusuuringute rahastamisagentuurid ja institutsionaalsed värbamis- ja edutamisnõukogud. Kiusatus mõelda indikaatoritega (Muller ja de Rijcke, 2017) [7] ja isegi süsteemi "mängimine" on reaalsus kõikide teadlaste jaoks kõikjal maailmas (nt Ansede, 2023) [8].

Selle mängu ilminguteks on teadlased (teadlikult või tahtmatult), kes kasutavad oma publikatsioonide arvu suurendamiseks röövellikke ajakirju ja konverentse. (IAP, 2022 [9]; Elliott et al., 2022 [10]), lubades end viidates ja võltsida vastastikust eksperdihinnangut, plagiaati, mõjutegurite inflatsiooni ja "salaami viilutamist" (suure uuringu, mida oleks võinud ühes teadusartiklis kajastada, väiksemateks avaldatud artikliteks) (Collyer, 2019) [11]. Surve all võib teadlastel tekkida kiusatus kasutada röövellikke teenuseid, mille ainus eesmärk on saada doktorikraadi, palgata või edutada või rahastada oma uurimisprojekte (nt. Abad-García, 2018 [12]; Omobowale jt, 2014) [13]. Mõõdikutepõhine akadeemiline ringkond ja akadeemilised kirjastamissüsteemid loovad salakavalaid stiimuleid: see, kus teadlane avaldab, on olulisem kui see, mida ta avaldab.

Mõju uurimistöö kvaliteedile ja terviklikkusele on väga murettekitav. Viimastel aastatel on tagasivõetud teadusartiklite arv järsult kasvanud teadustöö ja avaldamise väärkäitumise ning kehvade või petturlike andmekogude tõttu. Ajakirjadel võib kuluda kuid kuni aastaid, et ebausaldusväärsed uuringud tagasi võtta, selleks ajaks võib neid juba korduvalt tsiteerida ja see võib olla üldkasutatav (Ordway, 2021) [14].

Mõõdikutepõhise uurimistöö hindamise ülekaal on ühemõtteline ja hindamisreformi osas on maailmas lahknevaid suundumusi, mis võivad osa teadlaskonnast maha jätta. Analüüsides maailma teadusuuringute hindamise maastikku (Curry jt, 2020 [15]; Näib, et paljud teadus- ja rahastamisasutused kõrgema sissetulekuga riikides/piirkondades hakkavad hõlmama laiemat näitajate kogumit, nagu kvalitatiivsed mõjumeetmed, samas kui bibliomeetria on endiselt domineeriv globaalse lõunapiirkonna asutustes [16 ] kõigis teadusharudes. Ilma kaasavama tegevuseta on oht riiklike hindamissüsteemide lahknemiseks, mis võib tuua kaasa täiendavaid süsteemseid eelarvamusi ja võimalikke vastuolusid uurimis-, hindamis-, rahastamis- ja avaldamissüsteemides. See võib omakorda pärssida rahvusvahelist teaduskoostööd ja teadlaste mobiilsust. Põhja-lõuna koostööle takistuste loomisel võib see pärssida ka samaaegset teadusökosüsteemide tugevdamist globaalses lõunas – jõuline teadusuuringute hindamine tugevdab teadusuuringute ökosüsteeme ja usaldust nende vastu, vähendab ajude äravoolu tõenäosust ja aitab luua tugevat inimkapitali jätkusuutlikuks inimkapitaliks. arengut. Sellegipoolest loovad ühesuurused versioonid selle kohta, mis kujutab endast head sooritust, käitumisvorme, mis ei pruugi soodustada tipptaset, õiglust, läbipaistvust ja kaasatust. Parimal juhul on küsitav nende teadlaste saavutuste mõõtmine, kes on arenenud toetavates, hästi varustatud keskkondades, kus on palju võimalusi, samamoodi nagu need, kes on võidelnud väljakutsetega ja ületanud takistusi vaenulikus ja mittetoetavas keskkonnas (GYA, 2022) [17]. Paljud teadlased tunnevad ajaloolist ja geograafilist tõrjutust teadlaskonnast, mis on suuresti tingitud sellest, kuidas neid kogu nende karjääri jooksul hinnatakse. Kui välistada mõned uurimistöö vormid ja globaalselt ideede mitmekesisust ei rakendata, on oht, et praegused uuringute hindamise tavad edendavad domineerivate läänemaailma mudelite peavoolu/järgija kultuuri.

Teadlased madala sissetulekuga riikides ja oma karjääri varases staadiumis vajavad häält, et nad saaksid aidata kujundada uusi hindamismudeleid kontekstitundlikul viisil, mis sobivad eesmärgile ja võtavad arvesse väljakutseid, millega nad igapäevaselt silmitsi seisavad. päevapõhiselt. GYA ja kasvav arv riiklikke noorteakadeemiaid annavad ECR-idele selle hääle ja GYA teadusliku tipptaseme töörühm [18] esitab oma seisukohad teadusuuringute hindamise reformi kohta (vt teksti allpool).

Varasemate karjääriuurijate kogukonna vaated

Karjääri alguses tegutsevad teadlased on eriti mures teadusuuringute hindamise tavade pärast, sest nende karjääriväljavaated ja nende uurimiskava järgimine sõltuvad suuresti sellest, kuidas neid hinnatakse. See annab teavet rahastamise, töölevõtmise ja edutamise kohta viisil, mida ei peeta alati õiglaseks ja õiglaseks.

Kuigi on ilmne, et rahastamise ja inimressurssidega seotud otsused mõjutavad teadlaste tööjõu koosseisu, ei teadvustata alati, et teadusuuringute hindamine oma mõju kaudu rahastamisele kujundab institutsioonidele ja teadlastele stiimuleid teatud uurimistrajektooril, tööl. teatud valdkonnas või liituda mõne võrgustikuga üle teiste. Nii kujundab teaduse hindamine teaduse enda arengut ja seda eriti seoses selle ebaproportsionaalse mõjuga ECR-ide väljavaadetele ja ootustele.

Kuigi teadus on ülemaailmne ettevõtmine, seisavad mõned õpetlased silmitsi suuremate tõketega teadlaskonda sisenemisel ja nendega suhtlemisel sünnikoha, identiteedi või sotsiaal-majandusliku tausta tõttu. See on teadustööstuse korralduse, mitte teadustöö hindamise küsimus iseenesest, kuid paljud ECR-id leiavad, et hindamiskriteeriumid ei tohiks olla pimedad teadlaste kogemuste tegelikkuse suhtes ega kehtestada erinevatele olukordadele ühtseid ja standardiseeritud kriteeriume.

GYA teadusliku tipptaseme töörühma läbiviidud uuringud (ilmsel ajal ilmuv aruanne) näitavad, et teadusuuringute hindamist võib rohkem juhtida riigi teaduspoliitika kui kultuuri- või teadusalased arutelud. Keskendudes akadeemiliste ringkondade täisprofessori (või samaväärse) ametikoha edutamise kriteeriumidele, näitab aruanne, et riiklikul poliitikal ja institutsioonidel on tavaliselt konkreetsed dokumendid, milles on sätestatud nende teadusuuringute hindamise kriteeriumid. Selle asemel, et hõlmata suurt ja mitmekesist kriteeriumide kogumit, mida saaks kasutada uurijast tervikliku ülevaate kujundamiseks, keskenduvad need dokumendid pigem ühele mõõtmele või prioriteedile. Näiteks mõned dokumendid keskenduvad teadlase teenindustegevuse hindamisele (nagu õpetamine ja juhendamine) või mõned teadlase kogunenud väljundile (näiteks ajakirjaartiklite arvu poolest) – kuid harva mõlemat.

Sellel leiul on kaks peamist mõju. Esiteks on see uurimistöö hindamine hierarhiline ja ülalt-alla. See tekitab riski, kuna nii mõõdikud kui ka kvalitatiivsed meetodid eiravad sageli teadlaste mitmekesisust: nii nende tausta kui ka karjääritee ning – sama oluline – mitmekesisust nende meetodite ja ideede osas. Seevastu GYA-s esindatud ECR-id peavad oluliseks tunnustada teadusettevõtte jaoks vajalike tegevuste mitmekesisust ja töötada välja teadusuuringute hindamisskeemid, mis soodustavad mitmekesisust ja pluralismi, mitte ei nõua vastavust ja homologeerimist.

Teiseks on distsipliinidevahelised erinevused vähem olulised kui erinevused vastavalt nende riikide majanduslikule seisundile, kus teadlane töötab. Tundub, et madalama sissetulekuga riigid tuginevad kvantitatiivsetele mõõdikutele ja premeerivad tootlikkust, samas kui kõrgema sissetulekuga riigid on üha avatumad mõju kvalitatiivsele hindamisele. Kui see lahknevus peaks veelgi arenema, võib see olla täiendavaks takistuseks teadlaste rahvusvahelisele liikuvusele, mis on eriti oluline ECR-ide jaoks.

Kokkuvõttes rõhutatakse GYA raportis, et hõbekuuli pole: teadusuuringute hindamine peaks olema suunatud hindamise eesmärkidele ja lõpuks institutsiooni või riigi teaduspoliitika eesmärkidele. Hindamine peaks võimaldama teadlaste profiilide ja karjääride mitmekesisust ning keskenduma erinevalt, olenevalt hindamise eesmärgist. Kuna teadus on ülemaailmne ja enesekriitiline vestlus, ei pruugi välishinnang alati vajalik olla. Tõepoolest, sageli vaieldakse pahatahtlike edetabelite (inimeste, institutsioonide, müügikohtade või isegi tervete riikide) kasutamise ja tegeliku väärtuse üle.

Tänapäeva globaalsed väljakutsed, millest paljud on sõnastatud Ühinenud Rahvaste Organisatsiooni (ÜRO) säästva arengu eesmärkides (SDG), nõuavad transformatiivseid, valdkondadevahelisi ja transdistsiplinaarseid teadusuuringuid, mis iseenesest nõuavad uusi teadusuuringute teostamise ja koostöö meetodeid.ISC, 2021) [19]. Kaasavate, osaluspõhiste, transformatiivsete ja transdistsiplinaarsete teadusuuringute kiireloomulisus ei vasta sellele, kuidas teadusuuringuid toetatakse, hinnatakse ja rahastatakse – selleks, et teadusuuringud täidaksid ühiskonnale antud lubadusi, on vaja avatumaid, kaasavamaid ja kontekstitundlikke hindamissüsteeme (Gluckman, 2022) [20]. Teadlaste, rahastajate ja kirjastajate sisseehitatud käitumine võib muuta muudatused keeruliseks, nii et investeeringuid saab potentsiaalselt suunata eemale kõige suurema vajadusega valdkondadest.

Interdistsiplinaarsete ja transdistsiplinaarsete uuringute ning osalus- või kodanikuteaduse kasv on olulised arengusuunad ja üliolulised ülemaailmsete väljakutsete lahendamisel. Kuna teadustöö ületab distsiplinaarseid ja institutsionaalseid piire ning kaasab laiemat hulka sidusrühmi – sealhulgas kasutajate kogukonda, kes kavandavad ühiselt ühiskonna jaoks kiireloomulisi uurimisküsimusi –, on traditsioonilised akadeemiliste uuringute hindamiskriteeriumid ebapiisavad ja võivad isegi piirata transdistsiplinaarset teadusarendust ja -kasutust.Belcher et al., 2021) [21]. Transdistsiplinaarse uurimispraktika ja hindamise suunamiseks on vaja sobivamaid põhimõtteid ja kriteeriume: kvaliteedihindamise raamistiku varajane näide on üles ehitatud asjakohasuse, usaldusväärsuse, legitiimsuse ja kasulikkuse põhimõtetele.Belcher et al., 2016) [22].

Teadusuuringute tellimise, rahastamise, läbiviimise ja edastamise viisid arenevad kiiresti ja nõuavad teadusuuringute hindamise reformi kiirendamist. Need hõlmavad järgmist:

(1) Üleminek avatud teadusele

Avatud teaduse liikumine nõuab teadusuuringute hindamissüsteemide samaaegset reformi, et suurendada avatust ja läbipaistvust. Paljud teadustöö tulemuslikkuse mõõtmiseks kasutatavad mõõdikud ja näitajad on ise läbipaistmatud ja arvutatakse sageli suletud kaubanduslike uste taga. Selline läbipaistvuse puudumine seab ohtu teadlaskonna autonoomia – piirab võimalusi uurimisnäitajate hindamiseks, testimiseks, kontrollimiseks ja parandamiseks.Wilsdon jt, 2015 [23]). Vastutustundlik uurimistöö hindamine on muutumas ülemaailmse avatud teaduse suunas liikumise põhiaspektiks, nagu on tunnistajaks näiteks ÜRO Haridus-, Teadus- ja Kultuuriorganisatsiooni (UNESCO) soovitus avatud teaduse kohta.UNESCO, 2021 [24]) – mis hõlmab oma liikmetele avatud teaduse tööriistakomplekti väljatöötamist, et aidata neil oma teadlasekarjääri hinnanguid ja hindamiskriteeriume üle vaadata ja reformida [25].

(2) Vastastikuse eksperdihinnangu arengud

Avatud vastastikuse eksperdihinnangu kasv – olgu siis vastastikuse eksperdihinnangu aruannete avaldamine ja/või retsensentide avalik tuvastamine – on uuringute hindamisel oluline areng (Barroga, 2020 [26]; Woods et al., 2022 [27]). Andmetaristu kasv on võimaldanud väljaandjatel luua vastastikuse eksperdihinnangu aruannete jaoks digitaalsete objektide identifikaatoreid (DOI), siduda vastastikuse eksperdihinnangu aruanded üksikute avatud uurija ja kaasautori ID-dega (ORCID) ja avaldada artikleid eeltrükkidena. Eeltrükkide arv kasvas ülemaailmse COVID-pandeemia ajal märkimisväärselt ja tõi esile väljakutsed, mis seisnesid kiirreageerimisrežiimis uuringute hindamisel. Sellegipoolest võivad avatud vastastikuse eksperdihinnangu tavad – olgu enne või pärast avaldamist – aidata häirida kommertskirjastajate kontrolli teadusuuringute kommunikatsiooni ja teadmiste tootmise protsesside üle, vähendades teadusajakirja ja sellega seotud mõõdikute, nagu JIF-ide, võimsust. Vastastikuse eksperdihinnangu tegevuste avatud kirjed võivad pakkuda infrastruktuuri ka vastastikuste eksperdihinnangute dokumenteerimiseks ja aja jooksul suurema väärtuse loomiseks, mis on elutähtis professionaalne teenus, mis on sageli suures osas nähtamatud ja akadeemilistes hinnangutes alahinnatud.Kaltenbrunner jt, 2022 [28]) .

(3) Tehisintellekti ja masinõppe rakendamine

Tehisintellekti (AI) ja masinõppe tehnoloogilistel edusammudel on tõenäoliselt sügavad tagajärjed uuringute hindamisele, sealhulgas seda toetavatele vastastikuse eksperdihinnangu protsessidele (nt Holm jt, 2022 [29]; Proctor jt, 2020 [30]). Tehisintellekti kasutatakse juba vastastikuse eksperdihinnangu täiustamiseks ja tugevdamiseks (Loodus, 2015 [31]; Loodus, 2022 [32]), testige vastastikuse eksperdihinnangu kvaliteeti (Severin jt, 2022 [33]), testida tsitaatide kvaliteeti (Gadd, 2020 [34]), tuvastada plagiaat (Foltýnek jt, 2020 [35]), püüdke teadlasi andmeid tohterdada (Quach, 2022 [36]) ja leida ekspertretsensente, kellest on üha enam puudus, sest see töö ei pälvi teadlaste hindamisel väärilist tunnustust. „Vestluspõhine tehisintellekt”, nagu ChatGPT (Chat Generative Pre-Trained Transformer), suudab kavandada eksperimente, kirjutada ja lõpule viia käsikirju, korraldada vastastikust eksperdihinnangut ja toetada toimetamisotsuseid käsikirjade vastuvõtmise või tagasilükkamise kohta (Loodus, 2023 [37]). Tehisintellektil on ka potentsiaali parandada vastastikuse eksperdihinnangu tõhusust, kasutades algoritme, et leevendada vastastikuse eksperdihinnangu andjate koormust uurimistulemuste referentidena (Loodus, 2022 ). AI kasutamist Hiinas juba katsetatakse kohtunike leidmiseks (Loodus, 2019 [39]).

Kõik need tehisintellekti rakendused võivad seda koormust vähendada ja võimaldavad kogenud ekspertidel keskenduda oma otsuses uurimistöö kvaliteedile ja keerukamatele hinnangutele (Thelwall, 2022 [40]). Kuid neil on ka oht levitada eelarvamusi, kuna need on ennustavad tehnoloogiad, mis tugevdavad olemasolevaid andmeid, mis võivad olla kallutatud (näiteks soo, rahvuse, etnilise päritolu või vanuse järgi): tehisintellekti enda kasutamine võiks tõepoolest kasu saada sügavamast arusaamisest, mis on kvaliteet. ' uuring (Chomsky jt, 2023 [41]; ISI, 2022 [42]).

Oluline on aga see, et kõik tehisintellekti ja masinõppe vormid on kuritarvitamiseks avatud (Blauth et al., 2022 [43]; Bengio, 2019 [44]). Akadeemilised ja teadusringkonnad peavad selleks valmisolekut ja vastupanuvõimet looma, tehes koostööd valitsuse, tööstuse ja kodanikuühiskonna juhtkonnaga, kes seda ruumi valitsevad.

(4) Sotsiaalmeedia tõus

Teadustegevuse mõju tavapärased kvantitatiivsed mõõdikud ei suuda arvestada sotsiaalmeedia kaasatuse ja sotsiaalsesse võrgustikku ühendatud teadlaste/akadeemikute suurenemisega (Jordaania, 2022 [45]). Paljud akadeemikud kasutavad sotsiaalmeedia platvorme kogukondade, poliitikakujundajate ja avalikkuse kaasamiseks kogu uurimisprojekti eluea jooksul; positiivselt kaasata, testida ja teavitada oma uurimistööd ning tuua kaasa erinevaid ideid ja sisendeid, selle asemel, et avaldada lõppväljund lihtsalt vastuvõtjapubliku jaoks fait accompli. Seda kaasamist ei kasutata tavapärased teadusuuringute hindamise vormid, kuid see võib kaasa tuua laiemad mõjutamis- ja teavitamisvõimalused. Sotsiaalmeedia mõõdikuid ('altmetrics') arendatakse panusena vastutustundlikesse mõõdikutesse (Wouters jt, 2019 [4]) ja sisaldama näiteks Twitteri või Facebooki mainimisi ja jälgijate arvu teenuses ResearchGate. Ühest küljest võivad need altmeetrid aidata avada, luua ruumi ja avardada hinnangut (Rafols ja Stirling, 2021 [47]), kuid teisest küljest – nagu ka teisi näitajaid – võib neid kasutada ka vastutustundetult ja/või näha, et see kehtestab hindamissüsteemidesse veel ühe kihi mõõdikuid.

Teadusuuringute hindamise reformi väljakutsed on mitmesugused. Siin on illustreeritud mõned kõige olulisemad.

Iga kvalitatiivsemaid meetmeid hõlmav reform peab – samal ajal – kaitsma alus- ja rakendusuuringute kvaliteeti. On anekdootlikke tõendeid selle kohta, et mõned teadlased võivad ise reformi vastu olla, võib-olla eriti arenenud karjääriteadlased, kes on praeguses süsteemis edukad, sest nad kardavad, et see võib soodustada keskpärast teadustööd või et kvalitatiivsemad hindamisvormid võivad eelistada rakendusuuringuid alusuuringutele. Teadusuuringute hindamiskriteeriumide reform kipub lähtuma liikumisest missioonile orienteeritud, ühiskondlikult mõjuva teadustöö suunas, mis ahvatleb avalikkuse ja poliitilise toetuse poole viisil, mida vähem käegakatsutavad alus- või sinise taevauuringud ei pruugi teha. Mõned väidavad, et innovatsiooni toetamiseks on vaja teadusuuringute väärtuse nüansirikkamat tõlgendamist, kuna tulevik nõuab jätkuvaid investeeringuid fundamentaaluuringutesse, uudishimupõhisesse teadustöösse ja selle otsustava rolli laiemat mõistmist suutlikkuses vastata globaalsetele väljakutsetele.GYA, 2022 [48]).

Järjepidevuse puudumine teadusterminoloogia tähenduses ja kasutamises üldisemalt takistab muutusi. Teadusuuringute hindamise kontseptuaalne raamistik ei ole aja jooksul sisuliselt muutunud ega ka seda toetav keel: uurimissüsteem on endiselt kinni vanades dihhotoomiates nagu „põhi- ja rakendusteadus” ning mõistetes nagu „mõju”, „kvaliteet”. (kasutult võrdsustatud tootlikkusega) ja "tipptase" ei ole selgelt määratletud viisil, mis väldiks geograafilist, distsipliini, karjäärietappi ja soolist eelarvamust (Jong et al., 2021 [49]): see võib olla eriti terav otsustuskomisjonide puhul, kus puudub mitmekesisus (Hatch ja Curry, 2020 )[50].

Nagu mõõdikutepõhine hindamine, on ka kvalitatiivsemad hindamisvormid ebatäiuslikud. Ei ole lihtne väita, et vastastikuse eksperdihinnangu protsessid ja eksperthinnangud on vähemalt sama olulised kui bibliomeetria. Need võivad olla kallutatud, kuna vastastikuse eksperdihinnangu protsessis puudub selgus ja läbipaistvus. Näiteks vastastikuse eksperdihinnangu komiteesid on kritiseeritud kui mehhanisme, mis säilitavad väljakujunenud võimu ja privileege, võimaldades püsida "vanade poiste võrgustikel" ja homofiilial (hindajatel, kes otsivad endasarnaseid), olles samas haavatavad grupimõtlemise dünaamika suhtes. Kvantitatiivseid mõõdikuid, olgu need ebatäiuslikud, peetakse mõnes maailma osas kaitseks onupojapoliitika ja eelarvamuste vastu. Sarnaseid argumente saab rakendada ka uurimistööde vastastikuse eksperdihinnangu puhul, kuna kvalitatiivsema hindamise kasutamine võib avada ukse muudele diskrimineeriva käitumise vormidele.

Vastastikuse eksperdihinnangu mis tahes vormis professionaalse tunnustamise ja koolituse puudumine takistab vastastikuse eksperdihinnangu teostamist, vähendades seeläbi suutlikkust. Peale selle, kuna nõudlus ületab pakkumise, võib see tekitada stiimuleid nurkade kärpimiseks ja ranguse vähendamiseks. Vastastikuse eksperdihinnangu läbipaistvuse suurendamine (olgu see täielikult avatud, anonüümne või hübriidne) ja koolitus, hea vastastikuse eksperdihinnangu tava edendamine ja premeerimine; nagu ka edasised uuringud selle arengumudelite kohta, kuna uurimistulemused mitmekesisevad (IAP, 2022 [51]) ja tehisintellekti tehnoloogiad arenevad.

Arutelud teadusuuringute hindamise reformi üle on keerulised ega ole binaarsed. Kvalitatiivset ja kvantitatiivset teavet on vastastikuse eksperdihinnangu kontekstis sageli kombineeritud: sellised väited nagu Leideni teadusmõõdikute manifest (Hicks jt, 2015 [52]) nõuab teadlikku vastastikust eksperdihinnangut, mille käigus ekspertide hinnanguid toetavad – kuid mitte juhivad – asjakohaselt valitud ja tõlgendatud kvantitatiivsed näitajad ning kvalitatiivne teave. Arutelu uurimistöö hindamise üle ei seisne hindamisvahendite binaarses kvalitatiivses versus kvantitatiivses valikus, vaid selles, kuidas tagada erinevate teabevormide parim kombinatsioon.

Lõpuks peab iga reform olema ka mugav ja teostatav. Teadussüsteem näitab juba enda all kokkuvarisemise märke, kuna publikatsioonide maht kasvab hüppeliselt ja retsenseerimiskoormus langeb teadusettevõtte lõikes ebaühtlaselt (nt. Publons, 2018 [53]; Kovanis jt, 2016 [54]; Loodus, 2023 [55]). Ajakirjapõhised mõõdikud ja h-indeks koos kvalitatiivsete arusaamadega kirjastaja prestiižist ja institutsionaalsest mainest võivad pakkuda kiiretele hindajatele mugavaid otseteid ja kujutada endast takistusi muutustele, mis on akadeemilises hindamises sügavalt juurdunud (Hatch ja Curry, 2020 [56]). Mõnes riigis tunnustatakse kvantitatiivseid mõõdikuid kui suhteliselt selgeid ja ühemõttelisi ametisse nimetamise ja edutamise viise. „Globaalses lõunas” kasutatakse taotlejate nimekirja valimiseks rutiinselt keskmisi mõjutegureid ning kõik alternatiivid peavad olema võrdselt rakendatavad ja suutma kasutada täiendavaid ressursse, mis on vältimatult vajalikud hindamise ulatuse laiendamiseks. Tõenäoliselt on muutuste peamiseks takistuseks lihtsate kvantitatiivsete mõõdikute kasutamise mugavus ning uute hindamissüsteemide kasutuselevõtt võib mõne riigi suutlikkuse või pädevuse puudumise tõttu isegi tekitada globaalset ebavõrdsust.

Viimase kümnendi jooksul on nende väljakutsetega tegelemiseks koostatud rida kõrgetasemelisi manifeste ja teadusuuringute hindamise põhimõtteid, sealhulgas Leideni manifest (töötanud rahvusvaheliste ekspertide rühm), Hongkongi põhimõtted (Moher jt, 2020 [57]) (töötatud 6. aastal toimunud 2019. ülemaailmsel teadusuuringute terviklikkuse konverentsil) ja Meetriline mõõn [58] ja Meetrilise mõõna kasutamine [59] aruanded (töötatud Ühendkuningriigi uurimis- ja hindamisraamistiku (REF) läbivaatamise kontekstis). On tehtud vähemalt 15 erinevat jõupingutust, mis õhutavad peamisi sidusrühmi – olgu siis poliitikakujundajaid, rahastajaid või kõrgharidusasutuste juhte – vähendama praeguste hindamissüsteemide võimalikku kahju. Kõik need algatused on jõudnud laia auditooriumini ja keskenduvad progressiivselt vastutustundlikele mõõdikutele, mis on teaduskultuuri parandamise ning võrdsuse, mitmekesisuse, kaasatuse ja kuulumise teadlaskonda toomise eeldus. Kuid mõned nende algatuste arhitektid tunnevad üha enam muret, et kuigi need on kasulikud, vähendavad need käegakatsutavat praktilist tegevust: allakirjutanu toimimine on tõhus ainult siis, kui sellele järgneb praktiline rakendamine (Loodus, 2022 [60]).

Üha enam toetatakse "vastutustundlikku uurimistöö hindamist või hindamist" ja "vastutustundlikke mõõdikuid" (DORA, 2012 [61]; Hicks jt. 2015 [62]; Wilsdon jt, 2015), mis liiguvad puhtkvantitatiivsetelt mõõdikutelt laiemale meetmetele, et võimaldada teadlastel kirjeldada oma teadustöö majanduslikku, sotsiaalset, kultuurilist, keskkonnaalast ja poliitilist mõju; et võtta arvesse küsimusi, mida teadlaskond väärtustab: "andmed hea jaoks" või "väärtuspõhised näitajad", mis käsitlevad laiemaid atribuute (Curry jt, 2022 [63]). Viimastel aastatel on mõned kõrgkoolid ja teadusuuringute rahastajad üle maailma regioonides ja riikides välja töötanud ja katsetanud uuenduslikke ja progressiivseid lähenemisviise teadusuuringute vastutustundlikule hindamisele. Mõned on siin esile tõstetud.

Ülalmainitud ülemaailmsetest algatustest on 2013. aasta San Francisco 'Teadusuuringute hindamise deklaratsioon[64] (DORA) on ehk kõige aktiivsem ülemaailmne algatus. See on katalooginud probleemid, mis on põhjustatud ajakirjapõhiste näitajate kasutamisest üksikute teadlaste töötulemuste hindamiseks, ja annab 18 soovitust sellise hindamise parandamiseks. DORA ei soovita kategooriliselt kasutada ajakirjapõhiseid mõõdikuid, et hinnata teadlase panust või palgata, edutada või rahastada. 2023. aasta aprilli keskpaiga seisuga on deklaratsioonile alla kirjutanud 23,059 160 allakirjutanut (institutsiooni ja eraisikut) XNUMX riigis, millega kohustuvad reformima. Keskendudes kvalitatiivse hindamise sisemiste väljakutsete ja kaasasündinud eelarvamuste lahendamisele, arendab DORA Tööriistad teadusuuringute edendamiseks (TARA) [65], et aidata deklaratsiooni ellu viia: need tööriistad hõlmavad armatuurlauda karjäärihindamise uuenduslike poliitikate ja tavade indekseerimiseks ja klassifitseerimiseks ning ressursside komplekti, mis aitab vähendada komitee koosseisu ja tunnustada erinevaid kvalitatiivseid uurimismõju vorme.

Lisaks rahastab DORA kümmet projekti – Argentinas, Austraalias, Brasiilias, Colombias (2), Indias, Jaapanis, Madalmaades, Ugandas ja Venezuelas –, et katsetada erinevaid viise, kuidas edendada teadusuuringute hindamise reforme nende kohalikus kontekstis. hea tava näidete koostamine: näiteks teadlikkuse tõstmine, uue poliitika või tavade väljatöötamine, koolitus ja praktiline juhendamine tööle kandideerijatele (DORA [66]). Nõudlus sedalaadi toetuste järele on olnud suur – üle 55 taotleja 29 riigist –, mis viitab reformivajaduse kasvavale tunnustamisele.

Professionaalsed teadusjuhtimise ühendused, nagu International Network of Research Management Societies (INORMS), on samuti aktiivselt arendanud ressursse organisatsiooniliste muutuste suunamiseks, sealhulgas SCOPE raamuuringute hindamisrühm | INORMS – INORMS SCOPE raamistik teadusuuringute hindamiseks [67] mis algab sellega, et määratletakse, mida hinnatakse, keda hinnatakse ja miks (kasulik selgitav plakat siin [68]).

Rahvusvaheline arendussektor on pakkunud uusi vaatenurki teadusuuringute hindamisele, mis on suurepärane näide Research Quality Plus | IDRC – Rahvusvaheline Arenguuuringute Keskus [69], mis mõõdab seda, mis on inimeste jaoks uurimistöö lõppfaasis oluline. Tööriist Research Quality Plus (RQ+) tunnistab, et teaduslikud eelised on vajalikud, kuid mitte piisavad, tunnistades kasutajakogukonna otsustavat rolli selle kindlaksmääramisel, kas teadusuuringud on asjakohased ja õigustatud. Samuti tunnistab see, et uurimistöö uuendamine ja mõjutamine saavad alguse uurimisprotsessi käigus. Uurimistaotlusi hindavad sageli väga interdistsiplinaarsed paneelid, kuhu kuuluvad ka arenduseksperdid väljastpoolt akadeemilist ringkonda (nt valitsusasutus või valitsusväline organisatsioon (VVO)), praktikuid ja riigisiseseid esindajaid: see suurendab kasutajate kogukonna/mitteaineekspertide tähtsust. vaja mõista uurimistööd ja seda, kuidas seda praktikas rakendada. Keerulistes, madala sissetulekuga või ebakindlates tingimustes tehtavate teadusuuringutega võib kaasneda eetikatööriistade komplekt või raamistik, mis on kavandatud teavitama ja toetama eetilisi valikuid teadusuuringute elutsüklis alates algusest kuni levitamiseni ja mõjuni, nt. Reid et al., 2019 [70]. "Muutuste teooria" lähenemisviise kasutavad rahastajad, valitsusvälised organisatsioonid ja mitmepoolsed agentuurid laialdaselt rahvusvahelistes arenguuuringutes, kus taotlejad peavad sõnastama mõju saavutamise viisid, mida toetavad seire-, hindamis- ja õpperaamistikud, nt. Valters, 2014 [71]. Akadeemiline teadlaskond võib arendusringkondadelt õppida.

Tunnistades rahastajate rolli kõrgkoolide strateegiate kujundamisel, on Ülemaailmse Teadusnõukogu (GRC) vastutustundliku uurimistöö hindamine (RRA) algatus [72] on motiveerinud suuri teadusuuringute rahastajaid üle kogu maailma töötama RRA ambitsioonide nimel oma piirkondlikus ja riiklikus kontekstis ning töötama välja tõhusad hindamisraamistikud mõju hindamiseks (selgitav video siin [73]). RRA töödokumendi tellimine (Curry jt, 2020 [74]) kutsus GRC oma liikmeid kinnistama RRA põhimõtteid ja võtma konkreetseid meetmeid nende täitmiseks ning õppima üksteiselt koostöö ja heade tavade jagamise kaudu. An rahvusvaheline töörühm [75] annab GRC liikmetele juhiseid ja tuge, aidates neil liikuda liikumiselt tegudele.

Suures osas GYA jõupingutuste kaudu on ka ECR-id hakanud end selle tegevuskava nimel mobiliseerima. Selle Teadusliku tipptaseme töörühm [76] töötab selle nimel, et määrata kindlaks uurimiskeskkonnad, mis soodustavad „uudishimu ja loovuse vallandamist teaduses ning inimpotentsiaali arengut mitmekesisuse ja kaasamise kaudu”. Nende töö nõuab, et ECR kogukond vaidlustaks nende organisatsioonide kasutatavad "tipptaseme" määratlused, osaleks teadusuuringute hindamise reformimise algatustes ja ühineks noorte akadeemiate liikumisega. Samuti kutsub see rahastamis- ja palkamisasutusi üles kaasama ECR-e teadusuuringute hindamise aruteludesse ning tunnustama teadustöösse panuse ja karjääri laiemat mitmekesisust.

Kuigi mõned ülikoolid ja teised kõrgkoolid on DORA-le alla kirjutanud ja/või Euroopa liikumisega liitunud (kirjeldatud allpool), ei paista nad end ühiselt teadusuuringute hindamise ümber organiseerivat nii, nagu seda teevad teised võtmerühmad.

Peaaegu eranditult kvantitatiivsete hindamissüsteemide tekitatud probleeme nähakse ja diagnoositakse suures osas "globaalse põhja" vaatenurgast, kusjuures "globaalne lõuna" võib järele jõuda. Liiga üldistamise ohus on nn globaalses põhjas olulisi süsteemseid probleeme, mis on seotud mitmekesisuse, võrdsuse ja kaasatuse puudumisega, mida hindamissüsteemid veelgi süvendavad. "Globaalses lõunas" puudub kohalik ja piirkondlik määratlus selle kohta, mis on "kvaliteet" ja "mõju", väga erinevad hindamissüsteemid (isegi sama ülikooli osakondade lõikes) ja suhteliselt vähe väljakutseid. status quo. Kogu maailmas tulenevad probleemid kvantitatiivsete näitajate ületähtsustamisest, hindamise ja ressursside eraldamise vahelisest seosest, tiheda konkurentsiga rahastamissüsteemist ja avaldamissurvest ning teadus- ja akadeemilise elu muude, vähem mõõdetavate mõõtmete eiramisest.

Eelretsenseeritud kirjandust teaduse hindamise reformi võrdlevate uuringute kohta on vähe. Harv erand on uuringute hindamise sekkumiste võrdlus kuues erinevas geograafilises piirkonnas (Austraalia, Kanada, Saksamaa, Hongkong, Uus-Meremaa ja Ühendkuningriik), mis näitab, et kõigi kuue indekseeritud toimivus näib paranevat pärast mitut tüüpi sekkumist (vähemalt kasutades tavalisi bibliomeetrilisi näitajaid) (ISI, 2022 [77]). DORA pakub oma veebisaidil (peamiselt institutsionaalseid) juhtumiuuringuid (DORA [78]) ja aruandes (DORA, 2021 [79]), mille eesmärk on innustada teisi tegutsema, kuid need on valdavalt Euroopa näited.

Siin esitavad autorid piirkondlikud ülevaated ja riiklikud näited eksperimenteerimisest ja reformist, et saada ülevaadet – need ei ole mõeldud olema kõikehõlmavad ega ammendavad.

. ELi teadusuuringute hindamise reformimise koalitsioon [80] ehk 2022. aasta juulis heaks kiidetud CoARA on suurim teaduse hindamise reformi algatus maailmas. Neli aastat loomisel ja 350 organisatsiooni poolt 40 (peamiselt Euroopa) riigis on Euroopa Ülikoolide Assotsiatsioon ja Science Europe (kontinendi teaduse rahastajate ja akadeemiate võrgustik) koostöös Euroopa Komisjoniga välja töötanud lepingu või põhimõtetest (a 'reformi teekond'), kaasavama ja vastutustundlikuma uurimistöö hindamiseks (CoARA, 2022 [81]). Leping keskendub kolmele hindamistasandile: institutsioonid, üksikteadlased ja teadus ise. Kuigi koalitsiooni juhivad Euroopa partnerid, on koalitsioonil ambitsioonid muutuda globaalseks ning nii DORA kui ka GYA on juba alla kirjutanud. Allakirjutanud kohustuvad eraldama ressursse teadusuuringute hindamise parandamiseks, uute hindamiskriteeriumide ja -vahendite väljatöötamiseks ning teadlikkuse tõstmiseks ja uuringute hindamise alase koolituse pakkumiseks (nt vastastikustele hindajatele). Seda arengut on kirjeldatud kui "kõige lootusrikkamat märki tõelistest muutustest" (Loodus, 2022 [82]) .

EL rahastab ka mõningaid uusi põnevaid algatusi, mille eesmärk on toetada teadusuuringute hindamise reformi: eelkõige avatud ja universaalset teadustOPUS [83]) – töötada välja mitmete uurimisprotsesside ja -väljundite põhjalik näitajate komplekt ning seeläbi ergutada Euroopa teadlasi praktiseerima avatud teadust – ja avatud teaduse hindamise andmeruumi. GraspOS [84] – luua avatud andmeruum, et toetada teadusuuringute hindamise poliitikareformi.

Euroopa Teadusnõukogu (ERC), mis toetab eesliiniuuringuid kõigis valdkondades (eelarvega 16 miljardit eurot aastateks 2021–2027), on allkirjastanud CoARA ning muutnud oma hindamisvorme ja -protsesse, et lisada rohkem jutustavaid kirjeldusi, sealhulgas võtta arvesse vähem. tavapäraste karjäärivõimaluste ja „erakorralise panuse” teadlaskonda. Ettepanekuid hinnatakse pigem nende teenete kui taotleja varasemate saavutuste alusel ning neid hindavad jätkuvalt juhtivatest teadlastest koosnevad vastastikused eksperdihinnangukomisjonid, kasutades ainsa teadusliku tipptaseme kriteeriumi (ERC, 2022 [85]) .

Kaasatud on ka mõned Euroopa akadeemiad. Juhatus ALLEA [86], Euroopa Teaduste ja Humanitaarteaduste Akadeemiate Föderatsioon, mis esindab üheksat üle 50 riiklikust akadeemiast 40 Euroopa riigis, on toetanud CoARA liikumist. ALLEA on võtnud endale kohustuse luua spetsiaalne töörühm, et koguda, vahetada ja edendada häid tavasid uute akadeemikute vastuvõtmisel ning aidata kaasa teadusuuringute hindamise "sisukale kultuurivahetusele", mis põhineb kvaliteedi, terviklikkuse, mitmekesisuse ja avatuse põhimõtetel. Selle 2022. oktoobri avaldus , kutsub ALLEA liikmeakadeemiaid üles tegema järgmist:

1. tunnustama teadustöösse panuste ja selles tehtud karjääri mitmekesisust vastavalt uurimistöö vajadustele ja olemusele; Akadeemia stipendiaatide puhul peaksid valikumenetlused (1) võtma arvesse soolist tasakaalu ja karjääri alguses teadlaste ainulaadseid väljakutseid, (2) toetama kultuuride ja erialade mitmekesisust, (3) väärtustama erinevaid pädevusvaldkondi ja andeid ning (4) edendada interdistsiplinaarsust ja mitmekeelsust.

2. Lähtuda uurimistöö hindamisel eelkõige kvalitatiivsest hindamisest, mille puhul on kesksel kohal vastastikused eksperdihinnangud, mida toetab kvantitatiivsete näitajate vastutustundlik kasutamine; stipendiaatide kandidaatide töö tipptaseme ja mõju hindamine peaks põhinema kvalitatiivsel vastastikusel eksperdihinnangul, mis vastab ranguse ja läbipaistvuse aluspõhimõtetele ning võtab arvesse teadusdistsipliini eripära.

3. loobuma ajakirja- ja publikatsioonipõhiste mõõdikute sobimatust kasutamisest uuringute hindamisel; Eelkõige tähendab see loobumist selliste mõõdikute kasutamisest nagu ajakirja mõjutegur (JIF), artikli mõju skoor (AIS) ja h-indeks kui domineerivad kvaliteedi ja mõju näitajad.

Allea avaldus teadusuuringute hindamise reformimise kohta Euroopa akadeemiates

Oma ühine reaktsioon [87] ELi lepingu ja CoARA koalitsiooni puhul on GYA ECR kogukond samuti selle kohustuse üle tervitanud ja pakkunud võimalusi selle põhimõtete rakendamiseks. Nende hulka kuuluvad tavad, mis on kaasavad ja kajastavad riiklike eripärade ja erialade iseärasusi, kusjuures kõikide karjäärietappide teadlased saavad koolitust, stiimuleid ja preemiaid, kusjuures oluline on teadlastele, töötajatele ja komisjoni liikmetele kohustuslik avatud teaduse alane koolitus.

Teadusmahukad ülikoolid Euroopas on samuti toetanud teadusuuringute hindamise reformi kui „mitmemõõtmelise” teadlaskarjääri teed.Overlaet, B., 2022 [88]). Nad on välja töötanud ühise raamistiku, et inspireerida ja toetada ülikoole tunnustama teadusuuringute, hariduse ja ühiskonna teenindamise mitmekülgset panust.

Riiklikul tasandil katsetavad mitmed riigid praegu erinevaid hindamismudeleid: näiteks riiklikud rahastamisasutused Belgia, Holland, Šveits ja UK kasutavad kõik narratiivseid CV-sid. Narratiivsetes CV-des vaadeldakse terviklikumalt akadeemilisi saavutusi: panust teadmiste loomisse, üksikisikute arengusse, laiemale teadlaskonnale ja laiemale ühiskonnale (Kuninglik selts [89]). Kuigi seda tüüpi CV-de toetus kasvab, on ka muret, et need sunnivad akadeemikuid olema kõiges head ja ohustavad seega sügavaid teadmisi kõikehõlmava staatuse taotlemisel (Grove, J., 2021 [90]).

Järgmistes tekstikastides on toodud neli näidet riiklikest teadussüsteemidest, mis koordineerivad karjäärile orienteeritud akadeemiliste hindamiste üleriigilisi reforme.

Riiklik näide: Ühendkuningriik

Ühendkuningriigi teadusuuringute hindamise raamistik (REF) mõõdab teadusuuringute mõju kahe mõõtme kaudu: olulisus (projekti käegakatsutav erinevus) ja ulatus (kvantifitseeritav ulatus, mil projekt seda teeb)UKRI). Mõju on siin määratletud kui "mõju, muutus või kasu majandusele, ühiskonnale, kultuurile, avalikule poliitikale või teenustele, tervisele, keskkonnale või elukvaliteedile väljaspool akadeemilist ringkonda", kuid peale selle on see väga avatud, distsipliini. muutuv ja vaieldamatult mitmetähenduslik, jättes näiteks piisavalt arvesse võtma avalikkuse kaasamist.

Ühendkuningriigi REF-i hinnatakse aastatel 2022–2023 Tuleviku teadusuuringute hindamisprogramm uurida võimalikke uusi lähenemisviise Ühendkuningriigi kõrghariduse teadustöö tulemuslikkuse hindamiseks ning hõlmab rahvusvaheliste teadusuuringute hindamispraktika mõistmist. REF-i järgmine iteratsioon võib võtta arvesse mitmekesisemat väljundite kogumit ja võib-olla isegi vähendab neile omistatavat tähtsust. Praegune mudel omistab 60% tähtsust väljunditele, 25% teadustöö mõjule ja 15% teaduskultuurile/keskkonnale. Kui need oleksid ühtlasemalt kaalutud, näeks REF välja hoopis teistsugune, kusjuures suuremat tähtsust omistaks uurimiskultuur, uurimistöö terviklikkus ja meeskonnatöö (Grove, 2020).

Rahvuslik näide: Soome

2020. aastal koordineeris Soome Õpetatud Ühiskondade Föderatsioon teadusrahastajate, ülikoolide ja ametiühingute töörühma, kes avaldas avalduse. Hea tava uurimistöö hindamisel. See sisaldab juhiseid üksikute õppejõudude vastutustundliku hindamisprotsessi järgimiseks, sealhulgas viis hindamise üldpõhimõtet: läbipaistvus, terviklikkus, õiglus, pädevus ja mitmekesisus. Teadusuuringute hindamise hea tava nõuab, et üksikisikute akadeemilise panuse hindamisel tuleks paremini tunnustada teadustöö terviklikkust, haridust ja juhendamist ning teadusteenust (nt vastastikust eksperdihinnangut). Avalduses nähakse hinnangute andmist mitte ainult kokkuvõtvate hinnangute andmisena: see julgustab hindajaid jagama tagasisidet hinnatavate isikutega, et hõlbustada tagasisidet ja õppimist.

Teadusuuringuid teostavad organisatsioonid ja teadusuuringuid rahastavad organisatsioonid on kõik võtnud endale kohustuse rakendada teadusuuringute hindamise head tava ja luua juhendites oma kohalikud variatsioonid ning töötatakse välja riiklik teadlaste portfelli CV mudel. Hea tava uurimistöö hindamisel kohustub regulaarselt üle vaatama ja täpsustama.

Riiklik näide: Holland

Madalmaades algas riiklik tunnustamise ja preemiate programm 2019. aastal, mil avaldati seisukoht. Ruum igaühe talentidele. See üleriigiline koostöö Hollandi Kuningliku Kunsti- ja Teaduste Akadeemia (KNAW – IAP ja ISC liige), teadusuuringute rahastajate, ülikoolide ja meditsiinikeskuste vahel väidab, et teadusuuringute hindamiskultuure tuleb ajakohastada kogu süsteemi ulatuses. Seejuures seab see hindamisprotseduuride muutmiseks viis eesmärki: suurem karjääritee mitmekesisus, individuaalse ja meeskonna tulemuslikkuse tunnustamine, töö kvaliteedi eelistamine kvantitatiivsetele näitajatele, avatud teadus ja akadeemiline juhtimine.

Alates 2019. aastast on Hollandi ülikoolid võtnud kasutusele riikliku visiooniavalduse kohalikud tõlked. Samal ajal on rahastamisagentuurid algatanud rohkem narratiivseid CV-vorme ja lõpetanud bibliomeetrilise teabe taotlemise, viidates inspiratsiooniallikana San Francisco DORA-le. Hollandi Teadusnõukogu on hiljuti kolinud an "tõenduspõhine" CV milles võib kasutada mõnda kvantitatiivset teavet. KNAW töötas välja ka oma kolme aasta plaan tunnustamise ja preemiate kava sisemiselt ellu viia. Tunnustamise ja preemiate reformiprogrammi hõlbustamiseks on ametisse määratud täiskohaga programmijuht ja meeskond ning peamiste reformi sidusrühmade seas korraldatakse igal aastal tunnustus- ja preemiafestivali, et toetada kogukondlikku õppimist.

Lõpuks rahastati DORA kogukonna kaasamise toetusest Noorteadlase üleminekualgatus doktorantidele, mis asub Utrechtis, on välja töötanud uue doktorikraadi hindamisjuhendi, et muuta teaduskultuuri.

Riiklik näide: Norra

2021. aastal avaldasid Norra, Norra ülikoolid ja Norra Teadusnõukogu NOR-CAM – Akadeemiliste hinnangute tunnustamise ja preemiate tööriistakast. NOR-CAM pakub maatriksraamistikku läbipaistvuse parandamiseks ning uuringute ja teadlaste hindamise laiendamiseks kitsastest bibliomeetrilistel indikaatoritel. NOR-CAM tähistab Norra karjääri hindamise maatriksit ja see on kohandatud 2017. aru Euroopa Komisjon, kes esitas avatud teaduse karjääri hindamise maatriksi. Sarnaselt Euroopa eelkäijale pakub NOR-CAM võimalusi avatud teaduse tavade paremaks integreerimiseks hindamistesse. Maatriksi eesmärk on suunata hindajaid ja kandidaate akadeemilistele ametikohtadele, teaduse rahastamise taotlustele ning riiklikele hindajatele, kes hindavad Norra teadust ja haridust. See on mõeldud ka üldiseks juhiseks individuaalse karjääri kujundamisel.

Maatriksis on kuus peamist kompetentsivaldkonda: uurimistöö väljundid, uurimisprotsess, pedagoogilised pädevused, mõju ja innovatsioon, juhtimine ja muud kompetentsid. Seejärel pakub maatriks soovitusi karjääriplaneerimise ja iga kriteeriumi hindamise tunnustamise võimaldamiseks – näited tulemuste ja oskuste kohta, dokumenteerimisvahendid ja juhised iga kriteeriumi üle järelemõtlemiseks. Kandidaatidelt ei eeldata kõigi kriteeriumide puhul võrdseid tulemusi.

NOR-CAM-i lõi Norra ülikoolide poolt koordineeritud teadusuuringuid teostavate ja rahastavate organisatsioonide sidusrühmade töörühm, mis tähendab, et põhimõtteliselt on sellesse sisseostetud kõigi Norra ülikoolide liikmed. Norra ülikoolidega on hiljem peetud seminare, et välja töötada viise NOR-CAM-i integreerimiseks ametisse nimetamise ja edutamise hindamisprotseduuridesse, ning väljatöötamisel on nn automaatne CV süsteem andmete hankimiseks mitmest riiklikust ja rahvusvahelisest allikast, et vähendada halduskoormust. koorem. Eespool nimetatud kolme riikliku tasandi reformikava koordinaatorid on regulaarselt kohtunud, et vahetada oma kogemusi ja jagada teadmisi.

Ladina-Ameerika ja Kariibi mere piirkonnad (LAC) eristuvad mitmel viisil teistest maailma osadest. Siin peetakse teadust ülemaailmseks avalikuks hüveks ning selle teadus- ja akadeemilised kirjastamissüsteemid ja infrastruktuur on riigi omanduses (rahastatud) ja mitteärilised, kuid need piirkondlikud tugevused ja traditsioonid ei kajastu veel hindamissüsteemides. Peamised sidusrühmad, kes saavad muudatusi mõjutada, on riiklikud teadusnõukogud, teadusministeeriumid ja peamised teadusülikoolid – kõrgkoolide roll on ülioluline, arvestades, et üle 60% teadlastest asub ülikoolides.RiCyT, 2020 [91]). On potentsiaali viia hindamissüsteemid tihedamalt vastavusse kestliku arengu eesmärkidega ning avatud teaduse ja kodanike teaduse liikumistega, millel on piirkonnas õitsev traditsioon.

Praegu on teadusuuringute hindamissüsteemide killustatus riiklikul, kohalikul ja institutsionaalsel tasandil, mis paneb teadustöö konkureerima muude funktsioonidega, nagu õpetamine, laiendamine ja koostootmine. Ladina-Ameerika ja Kariibi mere piirkonna teadusuuringute hindamise ja teadlaste auhindade süsteemid eelistavad üldiselt tipptaseme kontseptsiooni, mis on kinnistatud globaalse põhjaosa metoodikatest, mis põhinevad eranditult ajakirjade ja ülikoolide edetabelite mõjuteguril (CLACSO, 2020 [92]). Teadmiste tootmise ja kommunikatsiooni erinevate vormide tunnustamine ning akadeemiliste karjääride paljusus (nt õpetamine, koolitus ja mentorlus, kodanikuteadus ja teaduse avalik kommunikatsioon) on teadusuuringute hindamise praktikates suures osas puudu. See on eriti problemaatiline sotsiaal- ja humanitaarteaduste uurijatele, kus kasutatakse laialdaselt monograafiaid ja kohalikke keeli (CLACSO, 2021 [93]). Piirkondlikud ajakirjad ja näitajad on sellistes hindamisprotsessides devalveeritud või neid ei tunnustata. Seda kõike süvendavad nõrgad infosüsteemid ja (eriti kogukonnale kuuluvate) infrastruktuuride nõrk koostalitlusvõime, mis on alarahastatud, kuna napib vahendeid suunatakse APC maksetele avatud juurdepääsuga ajakirjade eest.

Sellegipoolest on mõned piirkonna ülikoolid hakanud rakendama hindamispraktikaid, mis kasutavad kvalitatiivsete ja kvantitatiivsete metoodikate kombinatsiooni, eriti teadlaste ja missioonidele suunatud uurimistöö hindamisel.Grass, 2022 [94]). Üleminek ulatuslikumatele teadusuuringute hindamisskeemidele nõuab kvalitatiivsemate kriteeriumide koostöötamist; kvantitatiivsete andmete vastutustundlik kasutamine ja vastastikuse eksperdihinnangu protsesside tugevdamine; järkjärgulised muudatused, mis ühtlustavad ja koordineerivad poliitikaid ja metoodikat vastutustundliku uurimistöö hindamise ja avatud teaduse ühiste põhimõtete suunas; uued metoodikad ja andmed interdistsiplinaarsete teadus-, keskkonna- ja kohalike küsimuste paremaks hindamiseks; ühised, koostalitlusvõimelised, jätkusuutlikud ja ühendatud infrastruktuurid, mis toetavad biblioloogilist mitmekesisust ja mitmekeelsust; ja osaluspõhised alt-üles kujundused, mis suurendavad kodanike ja sotsiaalsete liikumiste osalust ning alaesindatud uurimisrühmade kaasamist.

Nende väljakutsetega tegelemiseks on piirkond võtnud vastu teadusuuringute hindamise põhimõtted ja suunised. The CLACSO-FOLECi teadusuuringute hindamise põhimõtete deklaratsioon [95], mis kiideti heaks 2022. aasta juunis, seab eesmärgiks tagada ja kaitsta kvaliteetset ja sotsiaalselt asjakohast teadust ning võtta arvesse DORA ja avatud teaduse põhimõtteid, uurimistulemuste ja teadlaskarjääri mitmekesisust, piirkondlike ajakirjade ja indekseerimisteenuste väärtust ning interdistsiplinaarsust, kohalikku keelt ja põlisrahvaste teadmisi. Tänaseks on sellel üle 220 poolehoidja ning vastutustundlikus teadusuuringute hindamises on juba positiivseid suundumusi ja reformi näiteid. Mõned riiklikud näited on toodud järgmistes tekstikastides.

Riiklik näide: Colombia

Kolumbia ülikoolide ühendused, ülikoolide kirjastajad, teadusjuhid ning teaduse ja tehnoloogia juhtimise võrgustik, mida rahastatakse DORA kogukonna kaasamise auhinnaga, on Colombias koostööd teinud vastutustundlike mõõdikute võimaluste ja väljakutsete kallal. Mitmete töötubade ja konsultatsioonide käigus, sealhulgas rahvusvaheliste organisatsioonidega, on nad välja töötanud rubriigi, mis aitab Colombia institutsioonidel kujundada oma REF-e. See rubriik püüab võtta arvesse kohalikul tasandil tuvastatud väljakutseid, mille hulka kuuluvad kõrgkoolide jaoks teadmiste puudumine teadusuuringute hindamise alternatiivide kohta, riikliku teadusuuringute hindamise ökosüsteemi olemus ja vastupanuvõime muutustele. A pühendatud veebileht on välja töötatud koos teadlaste abistamiseks mõeldud infograafikaga ning levitamist ja õppimist jagatakse jätkuvalt üle kogu riigi.

Rohkem infot: Colombia vastutustundlike mõõdikute projekt: Kolumbia institutsionaalse ja metoodilise vahendi suunas teadusuuringute hindamiseks | DORA (sfdora.org)

Riiklik näide: Argentina

Huvitav reformikatse aastal Riiklik teaduslike ja tehniliste uuringute nõukogu (Consejo Nacional de Investigaciones Científicas y Técnicas – CONICET) on sotsiaal- ja humanitaarteaduste jaoks spetsiaalse resolutsiooni loomine, mis asetab peavooluringis indekseeritud ajakirjad samale tasemele ajakirjadega, mis on indekseeritud piirkondlikul alusel, näiteks SciELO, redalyc or Latindex-Catálogo. Määrus on praegu läbivaatamisel, et selgitada mõningaid ebaselgusi selle rakendamisel ja laiendada selle kriteeriume. CONICETi direktorite nõukogu järgis 2022. aastal omakorda San Francisco DORA põhimõtet, tunnustades avalikult oma pühendumust teadusuuringute parandamisele, tugevdades oma protsesside hindamist ja pidevat täiustamist.

. Riiklik teadusuuringute, tehnoloogiaarenduse ja innovatsiooni edendamise agentuur (Agencia Nacional de Promoción de la Investigación, el Desarrollo Tecnológico y la Innovavión – AGENCIA I+D+i), Teaduse, tehnoloogia ja innovatsiooni ministeerium, on oma kõrge konkurentsiga konkursikutsete mitmekesisuse ja ulatuse tõttu riigi peamine teadusuuringute rahastaja. Praegu rakendab AGENCIA a õppekava tugevdada teadusuuringute hindamisprotsesse oma peamistes finantsfondides. Praegused täiustused hõlmavad vastastikuste eksperdihinnangute tasustamist, et stimuleerida nende pühendumust nendele protsessidele, stiimulit avatud juurdepääsuks, kuna projekti tulemused peaksid olema mõeldud avalikuks kasutamiseks väljaannete või avatud ringlusega dokumentide kaudu (kooskõlas organisatsiooni kohustustegaAvatud juurdepääsuga institutsionaalsed digitaalsed hoidladRiiklik seadus 26.899) ning võrdõiguslikkuse ja kaasatuse mõõtmete kaasamine soo, alaesindatud põlvkondade rühmade ja/või institutsionaalsete tugevdavate võrdsusmehhanismide kaudu teadusuuringute hindamisprotsessidesse. Sellegipoolest hindavad erinevates distsiplinaarkomisjonides ettepanekute eest vastutavate juhtivteadlaste õppekava tausta nende kolleegid tsiteeritavate mõjunäitajate abil.

Lõpuks korraldas Universidad Nacional de la Plata psühholoogiateaduskond, mida rahastati DORA kogukonna kaasamise stipendiaadist. virtuaalne sündmus 2022. aasta septembris psühholoogia ja sotsiaalteaduste hindamise kohta, mis meelitas kohale üle 640 (peamiselt bakalaureuseõppe üliõpilase) 12 riigist, näidates sellega kontinendi noorte huvi. Üritus on aidanud kujundada teaduskonna nelja-aastase juhtimisplaani ja tutvustab raamatut akadeemilise hindamise reformist hispaaniakeelses kontekstis.

Riiklik näide: Brasiilia

Teadusuuringute hindamine on Brasiilias uurimisasutuste ja teadlaste, kui mitte osariikide ja föderaalvalitsuste seas tulised arutelud. Vaatamata suurimale DORAle allakirjutanute arvule maailmas, on teadusuuringute hindamise reformi näiteid üllatavalt vähe. Pärast riigisiseste DORA-le allakirjutanute küsitlust, institutsionaalseid konsultatsioone ja avalikku üritust, mida rahastati DORA kogukonna kaasamise toetusest, suunata on ette valmistatud selleks, et ülikoolide juhid uuriksid vastutustundlikke hindamispraktikaid.

Juhend keskendub kolmele põhitegevusele: (1) vastutustundliku hindamise kõigis vormides teadlikkuse tõstmine; (2) hindajate ja hinnatavate koolitamine ja suutlikkuse suurendamine; ja (3) rakendamine ja hindamine. Järgmised sammud on luua praktikute võrgustik – või kümme ülikooli luurebürood –, et muuta hindamispraktikaid ja katsetada kontekstitundlikke mudeleid ning lõpuks töötada välja tegevuskava Brasiilia institutsioonidele, kes soovivad muutusi esile kutsuda.

Projeto Métricas (2022). Brasiilia kõrghariduse vastutustundliku hindamise institutsioonilised väljakutsed ja perspektiivid: Projeto Métricas DORA partnerluse tulemuste kokkuvõte. São Paulo ülikool, Brasiilia.

Põhja-Ameerikas toimub pidev nihe puhtalt kvantitatiivsetest näitajatest eemale, mida kiirendab avatud teaduse tegevuskava. Avatud teadus ja avatud ülevaade aitavad hindamispraktikaid läbipaistvamaks muuta, pakkudes võimalust eneserefleksiooniks ja probleemide lahendamiseks, nt enese viitamiseks ja kaaslasteks töölevõtmisel, edutamise ja vastastikuse eksperdihinnangu paneelidel, samuti kaasasündinud sooliste ja muude eelarvamuste korral. Käimas on vaidlused vajaduse üle töötada välja targemad, intelligentsemad näitajad ja kombineeritud hindamismeetodid, mis võimaldaksid luua hübriidset, ühtset hindamismudelit, mis teenib alusteadust (teadmiste edendamine) ja rakendusteadust (ühiskondlik mõju).

Samuti tunnistatakse, et ülikoolid vajavad akadeemilist ruumi ja vabadust, et võõrutada end praegu hindamiseks kasutatavatest vahenditest, ilma et see oleks esmajärjekorras ebasoodsas olukorras, ning et kasutajate kogukond peaks osalema hindamisprotsessis, et aidata mõõta ülikoolide kasutatavust. teadmisi, nende kasutuselevõttu ja mõju. Kuid ka teadusuuringute ökosüsteemi üla- ja alaosa – status quost kasusaajate ja hiljuti sellesse sisenenud – vastupanu muutustele („tahtlik pimedus”). Väga vähesed USA ülikoolid on DORA lepingu allkirjastanud ja uus DORA projekt püüab mõista, miks see nii on (TARE). Sellegipoolest on nii Kanadas kui ka USA-s mõned huvitavad näited riiklikest ja institutsionaalsetest algatustest, mis on loodud süsteemsete muutuste esilekutsumiseks (vt järgmisi tekstikaste).

Riiklik näide: USA

USA-s on Riiklik Teadusfond oma kaudu muutuste eestvedaja Teadusuuringute mõju edendamine ühiskonnas programm ja sellega kaasnev laiem mõjude tööriistakomplekt teadlastele ja hindajatele. Võrdsus, mitmekesisus ja kaasatus, sealhulgas põlisrahvaste ja traditsiooniliselt marginaliseeritud kogukondade kaasamine, on peamised tegurid. IAP ja ISC liige, USA riiklikud teaduste akadeemiad soovivad samuti stimuleerida laiaulatuslikku reformi, pakkudes platvormi teabevahetuseks ja traditsioonilise teadlase CV reformimise õppimiseks.NAS-i strateegiline nõukogu, 2022). USA akadeemiate tööst sündinud Kõrghariduse juhtimise algatus avatud stipendiumi saamiseks on rohkem kui 60 kolledžist ja ülikoolist koosnev rühm, mis on pühendunud ühisele tegevusele avatud stipendiumi edendamiseks, sealhulgas uurimustöö hindamise ümbermõtestamisel, et premeerida avatust ja läbipaistvust.

Terviseinstituut projekteeris näiteks uue biosketš (SCIENcv) toetustaotlustega tegelevatele töötajatele, et minimeerida süsteemset eelarvamust ja aruandluskoormust ning olla samal ajal rohkem mõjupõhised.

Riiklik näide: Kanada

Kanadas on DORA juhitud teadusuuringute hindamise reformi teemal mitu vestlust; kõik kolm föderaalset teadusnõukogu on alla kirjutanud. Loodusteaduste ja tehnikanõukogu on uuringute kvaliteedi uuesti määratletud kriteeriumid, loobudes bibliomeetriast, tsitaatidest ja h-indeksist, kooskõlas DORA põhimõtetega: kvaliteedimõõdikud hõlmavad nüüd häid uurimisandmeid ja andmetele juurdepääsu haldamist, võrdsust, mitmekesisust ja kaasamist ning koolituskohustusi. Teised kaks teadusnõukogu järgivad tõenäoliselt eeskuju.

Kanada teadlased kalduvad keskenduma "teadmiste mobiliseerimisele", mis on tahtlik püüdlus edendada teadusuuringute ühiskondlikku mõju kasutajakogukondadega kaastootmise kaudu.ISI, 2022). Teadusuuringute mõju Kanada on enam kui 20 ülikoolist koosnev võrgustik, mille eesmärk on suurendada institutsionaalset suutlikkust mõjualase kirjaoskuse kaudu või võime "määrata kindlaks sobivad mõjueesmärgid ja -näitajad, kriitiliselt hinnata ja optimeerida mõjuteid ning mõelda oskustele, mida on vaja lähenemisviiside kohandamiseks erinevates kontekstides", et maksimeerida teadusuuringute mõju avalikkuse huvides.

Väärib märkimist, et väga vähesed Kanada ülikoolid on DORA lepingu sõlminud. Iga muudatuse peamine motivaator on tõenäoliselt põlisrahvaste stipendium: see on Kanadas muutunud moraalseks kohustuslikuks.

Teadusuuringute stiimuli- ja tasusüsteemid Aafrikas peegeldavad tavaliselt „rahvusvahelisi”, peamiselt läänelikke norme ja tavasid. Aafrika institutsioonid püüavad neid järgida, kui arendavad oma lähenemisviisi teadusuuringute kvaliteedile ja tipptasemele, kuid need ei vasta alati kohalikele teadmistele ja vajadustele. Teadustöö „kvaliteet”, „tipptase” ja „mõju” ei ole mandril täpselt määratletud ning mõned teadlased ei ole harjunud „uuringute mõju” kultuuriga.

Aafrika hindamissüsteemid ei võta tavaliselt arvesse teadusuuringuid, mille eesmärk on ühiskondlik kasu, õpetamine, suutlikkuse suurendamine, teadustöö haldamine ja juhtimine. Avaldamismudelid ei ole kontekstitundlikud, kuna APC-d takistavad Aafrika teadusuuringute tulemusi. Teadusuuringute hindamissüsteemide reform võib aidata parandada Aafrika teadusuuringute panuse asümmeetriat ühiskondlike probleemide lahendamisel ning parandada juurdepääsu ressurssidele, et aidata Aafrika teadusringkondadel seda teha. Sektorite- ja valdkondadevahelise koostöö takistuste kaotamine on hädavajalik, et võimaldada vaadete ja teadmiste süsteemide arenemist ning aidata tõlgendada, mis on Aafrika teadusuuringute kvaliteet. Iga reformi puhul tuleb arvesse võtta mehhanisme, mis ühendavad kohalikke, põlisrahvaste ja „tavapäraseid” maailmavaateid teadustöö kvaliteedi ja tipptaseme hindamise kohta.

Mandril ehitatakse RRA ümber tugevaid partnerlussuhteid. Rahastas rahvusvaheline arendusagentuuride konsortsium Teadustoetuste nõukogude algatus (SGCI) [96], kaasates 17 Aafrika riiki, viis läbi uuringu tipptasemel teadusuuringutest Aafrikas, vaadeldes teadust rahastavaid agentuure ja teadlaste hinnanguid globaalse lõuna vaatenurgast.Tijssen ja Kraemer-Mbula, 2017 [97], [98]). Selles uuriti teadusuuringute tipptaseme küsimust Sahara-taguses Aafrikas ja vajadust lähenemisviisi järele, mis laiendaks tipptaseme mõistet väljaannetest kaugemale.Tijssen ja Kraemer-Mbula, 2018 [99]); koostama suunisdokumendi, mida praegu ajakohastatakse teaduskonkursside läbiviimise heade tavade kohta (SGCI [100]). Maailma teadusfoorumil 2022. aastal SGCI ja GRC egiidi all Lõuna-Aafrika Vabariik Riiklik Teadusfond (NRF) ning teaduse ja innovatsiooni osakond kutsusid kokku rahvusvahelised ja kohalikud partnerid, et arutada rahastamisagentuuride rolli RRA edendamisel ning jagada kogemusi, edendada häid tavasid ning hinnata suutlikkuse suurendamise ja koostöö edusamme (NRF, 2022 [101]).

. Aafrika tõendite võrgustik [102], üleaafrikaline, üle 3,000 praktikuist koosnev sektoritevaheline võrgustik on teinud tööd transdistsiplinaarsete uuringute hindamiseks.Aafrika tõendite võrgustik [103]), kuid see, mil määral on see riiklikesse ja piirkondlikesse hindamissüsteemidesse juurutatud, pole veel selge. The Aafrika uuringute ja mõjude võrgustik [103] on töötanud tulemuskaardi kallal, mis sisaldab näitajate kogumit teaduse, tehnoloogia ja innovatsiooni (STI) hindamise kvaliteedi hindamiseks Aafrikas, millest loodetakse arendada veebipõhine otsustustööriist, mis suunab teadus-, tehnoloogia- ja innovatsioonialaseid investeerimisotsuseid. .

Riigi tasandil on alanud järkjärgulised muudatused – mõned näited on toodud järgmistes tekstikastides. Teised riigid, kus teadusuuringute rahastamisagentuurid juhivad, on Tansaania (COSTECH), Mosambiik (FNI) ja Burkina Faso (FONRID). GRC RRA algatus on osutunud mandril oluliseks muutuste platvormiks, nagu ka rahvusvaheliselt arendussektorilt, eelkõige IDRC-lt õppimine. Research Quality Plus (RQ+) hindamisraamistik [104], eristusega, et seda on juba rakendatud, uuritud ja täiustatud. Aafrikas põhinev Rahvusvaheline hindamisakadeemia [105] võib pakkuda ka huvitava võimaluse.

Riiklik näide: Côte d'Ivoire

Côte d'Ivoire'i südames Programm Appui Stratégique à la Recherche Scientifique (PASRES) (Teadusuuringute strateegiline tugiprogramm) on veendumus, et teadustöö tipptase peab ületama teaduspublikatsioonide arvu ja hõlmama teadusuuringute kasutuselevõtu mõõdet. Riikliku kontekstiga kohanedes põhineb uurimistöö hindamisprotsess teadusliku ja sotsiaalse asjakohasuse, partnerite kaasamise, üliõpilaste koolituse, teadmiste mobiliseerimise ja teostatavusega seotud kriteeriumidel. Hindamiskomisjonidesse on kaasatud teaduseksperdid (teostatud uurimistöö kvaliteedi hindamiseks), erasektori esindajad (majandusliku rikastumise hindamiseks) ja teised institutsioonid (uuringu kultuurilise ja sotsiaalse potentsiaali mõõtmiseks).

PASRES on asutanud kaks kohalikku ajakirja (ühe sotsiaalteaduste ja lingvistika ning teise keskkonna ja bioloogilise mitmekesisuse jaoks) ning katab kogu nendes avaldamise kulud. Lõpuks rahastab PASRES suutlikkuse suurendamise tegevusi ja temaatilisi konverentse, et võimaldada teadlastel tutvustada oma uurimistööd erasektorile ja kodanikuühiskonnale.

Lisateave: Ouattara, A. ja Sangaré, Y. 2020. Côte d'Ivoire'i teadusuuringute toetamine: projektide valiku ja hindamise protsessid. E. Kraemer-Mbula, R. Tijssen, ML Wallace, R. McLean (toim.), African Minds, lk 138–146

PASSID || Programm d'Appui Stratégique Recherche Scientifique (csrs.ch)

Riiklik näide: Lõuna-Aafrika Vabariik

Lõuna-Aafrika (SA) uuringute hindamine keskendub peamiselt bibliomeetriale. Alates 1986. aastast, mil kõrghariduse osakond (DHET) kehtestas ülikoolidele toetuste maksmise poliitika akrediteeritud indeksitega ajakirjades avaldatud teaduspublikatsioonide eest, kasvas ülikoolide teaduspublikatsioonide toodang koos väljaande kohta määratud Rand väärtusega. Püüdes tagada teadusuuringute rahastamist ja edendada oma karjääri, avaldasid SA teadlased võimalikult kiiresti nii palju artikleid, mis tekitasid väärastunud ja soovimatuid tagajärgi.

Lõuna-Aafrika Teaduste Akadeemia (ASSAf) tellis aruande riigi teadusliku avaldamise kohta (2005–2014) ja leidis viiteid küsitavatele toimetustavadele ja röövellikule avaldamisele (ASSAf, 2019). Nüansirikast kategoriseerimissüsteemi kasutades hinnati hinnanguliselt 3.4% artiklite koguarvust viimase kümne aasta jooksul röövellikuks, kusjuures alates 2011. aastast on need arvud tõusnud järsemalt. Ajakirjad, mida hinnati röövellikeks, lisati DHET-i "rahastamiseks vastuvõetavate" hulka. nimekiri ja kõigi SA ülikoolide akadeemikud leiti olevat seotud (Mouton ja Valentine, 2017).

ASSAfi aruandes esitati soovitusi süsteemsel, institutsionaalsel ja individuaalsel tasandil ning sellest tulenevad DHETi, NRF-i ja mõnede ülikoolide vastumeetmed näib olevat ohjeldanud röövellikke tavasid SA-s, kusjuures SA akadeemikute (DHET-i akrediteeritud ajakirjades) avaldamise esinemissagedus saavutas haripunkti 2014. 2015 ja seejärel väheneb. Teadlased olid mures ka selle pärast, et SA DHET-poliitika takistas koostööd ega tunnistanud üksikisikute panust suurtes uurimisrühmades, mistõttu oli vaja läbi vaadata tulemuslikkuse/uuringute hindamisskeemid. Publikatsiooniühikute süsteemi kasutamine on nüüdseks tunnistatud kehvaks vahendiks teadustöö kvaliteedi ja produktiivsuse hindamisel ning akadeemikute valikul ja edutamisel.

Rohkem infot:

Lõuna-Aafrika Teaduste Akadeemia (ASSAf). 2019. Kaksteist aastat: teine ​​ASSAfi aruanne Lõuna-Aafrikas ja Lõuna-Aafrikast pärit teadusuuringute avaldamise kohta. Pretoria, ASSAf

Mouton, J. ja Valentine, A. 2017. Lõuna-Aafrika autorite artiklite ulatus röövellikes ajakirjades. South African Journal of Science, Vol. 113, nr 7/8, lk 1–9.

Mouton, J. et al. 2019. Lõuna-Aafrika teaduspublikatsioonide kvaliteet. Stellenbosch.

2019_assaf_collaborative_research_report.pdf

Riiklik näide: Nigeeria

Nigeeria ülikoolid hindavad teadlasi kolmes põhivaldkonnas: õpetamine, teadustöö tootlikkus ja kogukonnateenused. Nendest on suurema kaaluga teadustöö produktiivsus, kus rõhk on avaldatud eelretsenseeritud teadusartiklitel ning võttes arvesse autorite arvu ja rolle (esimene autorsus ja/või vastav autorlus) nendes väljaannetes. Püüdes muutuda ülemaailmselt konkurentsivõimelisemaks, omistavad enamik ülikoole rohkem tähtsust ajakirjadele, mida indekseerib International Scientific Indexing või SCOPUS, et panna rohkem rõhku kvaliteedile ja rahvusvahelisele koostööle; ja kasutada nende ajakirjade artiklite protsenti edutamise kriteeriumidena.

Selle kahetsusväärne tagajärg on see, et paljudel teadlastel, eriti humanitaarteaduste valdkonna teadlastel, puudub nendes ajakirjades avaldamiseks piisav rahastamine ja/või suutlikkus. Selle asemel avaldavad nad rohkem ülevaateartikleid kui teadusartikleid või tunnevad, et nad on sunnitud kaasama mõjukaid kõrgemaid kolleege kaasautoriteks nende rahalise, mitte intellektuaalse panuse tõttu. Plagiaat tõuseb, nagu ka röövellik kirjastamine. Nigeeria ülikoolide üldine ülemaailmne edetabel on aga tõusnud, pakkudes seeläbi valitsuse ja rahastamisasutuste rahulolu ning seda peetakse edukaks. Nigeeria pole selles osas üksi.

Nigeeria Teaduste Akadeemia on taasastanud oma eelretsenseeritava ajakirja lipulaevana, kus akadeemikud saavad avaldada (praegu tasuta) ja saada oma institutsioonide poolt kõrgelt hinnatud.

Piirkonnas domineerivad väga konkurentsivõimelised, kvantitatiivsetel mõõdikutel põhinevad hindamissüsteemid, kus tavaliselt kujundavad hindamisraamistikke anglofoonilised riigid ja teised riigid järgivad eeskuju. Näiteks Austraalias on konkurentsivõimeline rahastamissüsteem, mis põhineb bibliomeetrial ja ülikoolide edetabelitel: „isegi kestliku arengu eesmärgid muudetakse tulemusnäitajateks”. Sarnased väljakutsed on Malaisias ja Tais ning tõenäoliselt järgnevad ka teised ASEANi riigid. Oluline erand on Hiina, kus valitsusel on oluline roll suurte süsteemsete muutuste loomisel ja millel võib olla ulatuslik mõju kogu maailmas (vt tekstikasti).

Julgustavalt kasvab piirkonna teadlaskonna teadlikkus ja mure praeguste teadusuuringute hindamissüsteemide piiride ja nende ohu pärast teaduse terviklikkusele. Kuigi ECR-id, sealhulgas riiklikud noorteakadeemiad ja ASEANi noorte teadlaste võrgustik, koos rohujuuretasandi liikumistega tegelevad selle teemaga üha enam, on neil raskusi, et neid ära kuulataks. Valitsused ja rahastavad kogukonnad, sealhulgas ülikoolide juhtkond, on arutelust suures osas puudu: nad peavad tähtsaks kvantitatiivseid mõõdikuid, kuid ei mõista selle mõju teadusuuringutele. Tõepoolest, konsultandid teatavad, et lisatakse rohkem kvantitatiivseid kriteeriume niivõrd, kuivõrd institutsioonid ja teadlased hakkavad süsteemi mängima, soodustades uurimistöö väärkäitumist.

Kuid muudatusteks on olulisi võimalusi, nagu on näidatud järgmistes tekstikastides.

Riiklik näide: Hiina

Nüüd on maailma kõige teadusrikkam riik (Tollefson, 2018; Statista, 2019) ja teine ​​teadusinvesteeringute osas (OECD, 2020), võib Hiinas toimuv põhjustada tõelisi süsteemseid muutusi. Uue riikliku tasandi poliitika eesmärk on taastada teadustöö "teaduslik vaim, innovatsiooni kvaliteet ja teenuste panus" ning "soodustada ülikoolide naasmist oma algsete akadeemiliste eesmärkide juurde"KÕIGE, 2020). Web of Science'i näitajad ei ole enam hindamis- ega rahastamisotsuste puhul domineerivaks teguriks ega ka publikatsioonide ja JIF-ide arv. Soodustatakse avaldamist kvaliteetsetes Hiina ajakirjades ja toetatakse nende arengut. Hindamiskomisjonides otsitakse esinduslikke publikatsioone – 5–10 valikdokumenti, mitte ammendavat nimekirja – koos kriteeriumidega, mis hindavad uuringute panust oluliste teaduslike küsimuste lahendamisel, uute teaduslike teadmiste pakkumisel või uuenduste tutvustamisel ja tõelistel edusammudel. konkreetsest valdkonnast.

Oma vajadustele paremini kohandatud teadusuuringute kvaliteedi ja tipptaseme hindamissüsteemi väljatöötamisel on Hiina suurim alusuuringute rahastamisagentuur Hiina riiklik loodusteaduste sihtasutus (NSFC) alates 2018. aastast läbi viinud süstemaatilisi reforme, et kajastada nihkeid teaduses: muutuv globaalne. teadusmaastikud, transdistsiplinaarsuse tähtsus, rakendus- ja alusuuringute kombinatsioon ning teadusuuringute ja innovatsiooni koosmõju (Manfred Horvat, 2018), liikudes bibliomeetriast süsteemile, mis tugevdab Hiina uurimistöö kohalikku asjakohasust (Zhang ja Sivertsen, 2020). See on täiustanud oma ettepanekute hindamise vastastikuse eksperdihinnangu süsteemi, et see sobiks paremini uudishimust juhitud häirivate teadusuuringutega, põletavate probleemidega teadusuuringute eesliinil, suurepärase teadusega, mida rakendatakse majanduslike ja sotsiaalsete nõudmiste jaoks, ning suurte väljakutsetega tegeleva transdistsiplinaarse uurimistööga. 2021. aastal esitati ja vaadati läbi 85% ettepanekutest neid kategooriaid kasutades. Hiljuti, 2022. aasta novembris, kuulutati välja teaduse ja tehnoloogia talentide hindamise kaheaastane pilootreformi kava, milles osaleb kaheksa ministeeriumi, kaksteist uurimisinstituuti, üheksa ülikooli ja kuus kohalikku omavalitsust. Selle eesmärk on uurida innovatsioonisüsteemi erinevates osades tegutsevate teaduse ja tehnoloogia talentide hindamisnäitajaid ja -meetodeid.

Allpiirkondlik näide: Austraalia ja Uus-Meremaa

Nii Austraalia kui ka Uus-Meremaa on praegu olulistes punktides. Austraalias pakuvad käimasolevad samaaegsed Austraalia Teadusnõukogu, Austraalia teadusuuringute tipptaseme ja kulla avatud juurdepääsu läbirääkimiste ülevaated kumulatiivselt võimalust (Ross, 2022).

Pärast avalikku konsultatsiooni teaduse rahastamise tuleviku üle töötab Uus-Meremaa välja uut süsteemne programm oma riikliku teadus- ja innovatsioonisüsteemi tuleviku jaoks. Nii Austraalia kui ka Uus-Meremaa on andnud oma panuse oma põlisrahvaste uurimisrühmade mõõdikute süsteemi väljatöötamisse (HOOLDUSpõhimõtted).

Riiklik näide: India

Teaduse ja tehnoloogia osakonna poliitikauuringute keskus (DST-CPR) on viinud läbi hiljutised uuringud uuringute hindamise ja selle reformi kohta Indias, juhtides seminare peamiste sidusrühmadega (riiklikud rahastamisasutused, teadusasutused ja akadeemiad), intervjuusid ja küsitlusi. On leitud, et kuigi ülikoolid ja paljud riikliku poliitilise tähtsusega institutsioonid (nt põllumajandus) keskenduvad peaaegu eranditult kvantitatiivsetele mõõdikutele, on mõned rahastamisasutused ja institutsioonid, nagu India Tehnoloogiainstituudid, võtnud kasutusele ka kvalitatiivsemad meetmed. See kõrgema taseme asutuste kvalitatiivsem lähenemine aitab juba suunata rohkem raha riiklikke prioriteete käsitlevatesse teadusuuringutesse, kuigi on liiga vara öelda, kas sellel on kvantifitseeritav mõju teadustöö kvaliteedile ja mõjule.

Hindamise esmane võrdlusalus on ekspertkomisjoni arvamusel põhinev vastastikuse eksperdihinnang, kuid alles pärast taotluste esmast läbivaatamist, mis põhineb täielikult kvantitatiivsetel mõõdikutel. Nende komiteedega kaasnevad ka põhiprobleemid: avatud teaduse tavade mitmekesisuse ja mõistmise puudumine, teadusuuringute ühiskondlike mõjude vähene arvestamine ning vähene suutlikkus ja eelarvamus. Neid probleeme ja üldisemalt hindamise metoodikaid mõistetakse halvasti ning selleteemalisi juhiseid ja kirjandust napib.

Sellegipoolest on kasvav teadlikkus teadusuuringute hindamise reformimise vajadusest. India riiklik noorte teaduste akadeemia, mida rahastatakse DORA kogukonna kaasamistoetusest, tegi koostööd India Teaduste Instituudiga (IISc) ja DST-CPR-iga, et uurida võimalusi, kuidas teadusuuringute hindamist parandada – nende arutelusid on jagatud peamiste sidusrühmadega. eesmärgiga ergutada riiklikku vestlust vajadusest reformida ja lõpuks muuta India teaduskultuuri nii, et teadusuuringud oleksid uuenduslikumad ja/või ühiskondlikult olulised. DST-CPR eeldab teadusuuringute tipptaseme raamistiku väljatöötamist, mida saaks integreerida selle riiklikku institutsioonide reitinguraamistikku.

Rohkem infot:

Battacharjee, S. 2022. Kas viis, kuidas India hindab oma teadustööd, teeb oma tööd? – Traaditeadus

DORA_IdeasForAction.pdf (dstcpriisc.org).

Suchiradipta, B. ja Koley, M. 2022. Uurimistöö hindamine Indias: mis peaks jääma, mis võiks olla parem? DST-CPR, IISc.

Riiklik näide: Jaapan

Teadusuuringute hindamisprotokollid on Jaapanis väga detsentraliseeritud: kuigi on olemas riiklikud teadus- ja arendustegevuse hindamise suunised, mille on välja andnud valitsuskabineti teaduse, tehnoloogia ja innovatsiooni nõukogu, haridus-, kultuuri-, spordi-, teadus- ja tehnoloogiaministeerium (MEXT) ja teised. ministeeriumid on välja töötanud ka oma suunised. Lisaks on ülikoolidel ja uurimisinstituutidel teadusuuringute ja teadlaste jaoks loodud oma teadusuuringute hindamissüsteemid, mis – nagu paljudes maailma paikades – on muutunud seotud institutsioonide tulemuslikkuse ja eelarveeraldisega.

Kasvav on olnud mure kvantitatiivsele hindamisele liialdamise pärast. Vastuseks on Jaapani teadusnõukogu ette valmistanud soovituse uurimistöö hindamise tuleviku kohta Jaapanis (2022), kutsudes üles vähem rõhku panema kvantitatiivsetele ja rohkem kvalitatiivsetele meetmetele, rohkem tunnustama teaduse mitmekesisust ja vastutust teadusuuringute hindamisel ning jälgima teaduse hindamise praktikate reformimisel rahvusvahelisi suundumusi. Lõppkokkuvõttes peaksid teadustöö hindamisel kesksel kohal olema teadushuvid ja edendamine ning kõik jõupingutused, et vältida väsimust, demotivatsiooni ja teadlastele avaldatavat liigset survet.

MEXTi uuring hindamisnäitajate kohta näitas, et JIF on üks paljudest näitajatest ja sellisena ei ole sellel Jaapani teadusuuringutes tugevat mõju olnud, kuigi see on distsipliinist sõltuv: näiteks on JIF-i kasutamine suurem meditsiiniteadustes. ja vähem traditsioonilisi uurimistegevusi, näiteks avatud andmeid, hinnatakse väiksema tõenäosusega.

Lisateave: SOOVITUS – Teadusuuringute hindamise suunas teaduse edendamiseks: soovitud teadusuuringute hindamise väljakutsed ja väljavaated (scj.go.jp)

Kokkuvõtteks võib öelda, et mõnedes piirkondades, riikides ja institutsioonides on uuringute hindamise reformimise hoog käimas. Siin illustreeritud näidete hulka kuuluvad üleriigilised reformid, sarnaselt mõtlevate institutsioonide konsortsiumide või koalitsioonide loomine, mis otsivad muutusi, konkreetsete sektorite sihtimine/juhtimine ning sekkumised väärastunud stiimulite ja käitumise vastu võitlemiseks.

See ei ole veel ühtne ja kõikehõlmav ülemaailmne vestlus ning tavasid ja arusaamu ei pea tingimata avalikult jagama. Mõned GYA, IAP ja ISC liikmed on selles valdkonnas juba ennetavad ning võiks leida kasulikke võimalusi, mis aitaksid neil oma õpitut ja häid tavasid omavahel ja laiema liikmeskonnaga jagada. Uurimisinstituudi (RoRI) poolt 2023. aastal käivitatud globaalse vastutustundliku uurimistöö hindamise vaatluskeskuse (AGORRA) käivitamine annab täiendava platvormi õppimise jagamiseks, riiklike ja rahvusvaheliste reformisüsteemide võrdlevaks analüüsiks ning kahe- heade ideede vahetamise ja testimise viis nende süsteemide vahel.

Selles artiklis on välja toodud teadusuuringute hindamise reformi peamised tõukejõud, võimalused ja väljakutsed ning koondatud illustreerivad näited muutustest, mis toimuvad globaalsel, piirkondlikul, riiklikul ja institutsionaalsel tasandil. Selle eesmärk on mobiliseerida GYA, IAP ja ISC ning nende vastavad liikmed ülemaailmse teaduse ökosüsteemi oluliste osakondadena.

Viimase kümnendi teaduskirjanduse ja propageerimistöö põhjal on viis peamist järeldust.

1. Teadlaste, institutsioonide ja väljundite hindamise viis on selge ja kiireloomuline. Teadusuuringute terviklikkuse ja kvaliteedi säilitamine, mitmekesise, kaasava ja mittediskrimineeriva teaduse maksimeerimine ning teaduse optimeerimine ülemaailmse avaliku hüve nimel on kiiresti muutuva maailma kontekstis peamised tõukejõud.

2. Teadusuuringute tellimise, rahastamise, teostamise ja edastamise viis areneb kiiresti. Liikumised missioonile orienteeritud ja transdistsiplinaarse teaduse, avatud teadusraamistiku, vastastikuse eksperdihinnangu arenemise mudelite, tehisintellekti ja masinõppe kasutamise ning sotsiaalmeedia kiire leviku suunas muudavad traditsioonilisi viise teadusuuringute tegemisel ja edastamisel ning nõuavad uut mõtlemist teadusuuringute hindamissüsteemide kohta. ning selle aluseks olevad mõõdikud ja vastastikuse eksperdihinnangu protsessid. Nende süsteemide tulevikukindlaks muutmiseks on vaja rohkem ja kiireloomulisi uuringuid.

3. Vaja on tasakaalustatumaid teadusuuringute hindamissüsteeme nii kvantitatiivsete kui ka kvalitatiivsete näitajatega, mis väärtustavad erinevaid uurimisväljundi, -protsesse ja -tegevusi. Kuid väita, et kvalitatiivsed vastastikuse eksperdihinnangu protsessid on vähemalt sama olulised kui bibliomeetria, ei ole lihtne ja seda muudab veelgi keerulisemaks see, et maailma eri osad on oma hindamissüsteemide väljatöötamise eri etappides: mõnes riigis on arutelud teadusuuringute hindamise reformi üle üsna kaugele jõudnud, teistes on need tekkimas või puuduvad.

4. Peamiste sidusrühmade kogukondade mobiliseerimiseks on vaja kooskõlastatud ja tõeliselt ülemaailmset ja kaasavat algatust, et töötada välja ja rakendada sidusaid viise teadusuuringute hindamiseks ja rahastamiseks; üksteiselt ja teistelt sektoritelt (eelkõige teadusrahastajatelt ja arendusagentuuridelt) õppimine. Kollektiivsed, kaasavad tegevused ümberkujundavate muutuste suunas peavad tunnustama pigem vastastikust seotust kui rahvusvahelistumist või universaalsust, st olema kontekstitundlikud, teadlikud erinevatest maailma eri osade ees seisvatest väljakutsetest ja teaduse ökosüsteemi rikkalikust heterogeensusest, tagades samal ajal piisava homogeensus, et võimaldada ühilduvaid teadus- ja rahastamissüsteeme ning teadlaste liikuvust, et minimeerida erinevusi ja killustatust. Osaline, eksklusiivne vestlus võib veelgi kallutada ja halvendada neid, kes on ajalooliselt tõrjutud.

5. Muutused on vajalikud kõigil tasanditel – globaalsel, piirkondlikul, riiklikul ja institutsionaalsel –, sest mõõdikud liiguvad läbi kogu teaduse ökosüsteemi ja kõik need tasemed on omavahel seotud. Kõik sidusrühmad peavad täitma oma osa partneritena, mitte vastastena – sealhulgas rahastajad, ülikoolid, ülikoolide ja uurimisinstituutide ühendused, valitsustevahelised organisatsioonid (IGOd), valitsused ja valitsusvõrgustikud, akadeemiad, teaduspoliitika kujundajad, teadus- ja innovatsioonijuhid ning üksikteadlased. GYA, IAP ja ISC liikmeskond katab ühiselt suure osa sellest rikkalikust maastikust (joonis 1, lisa C).

Joonis 1: Sidusrühmade kaart seoses GYA, IAP ja ISC liikmesusega (Klõpsake kuvamiseks)

Organisatsioonide, nagu GYA, IAP ja ISC, kokkukutsumisjõud võib aidata koondada palju erinevaid vaateid ja kogemusi suures osas teadusuuringute ökosüsteemist: eksperimenteerida olemasolevate ja uute algatustega, õppida nendest ning nendele tuginedes. Kriitiline on see, et nad saavad luua ühenduse muutuste algatamise peamiste sidusrühmadega – valitsused, teadusrahastajad ja ülikoolid ning elutähtsad ülemaailmsed liikumised nagu DORA –, et aidata kaasa osalejate arhitektuurile. Kollektiivselt võivad need toimida:

● pooldajad – teadlikkuse tõstmine uuringute hindamise aruteludest, arengutest ja reformidest, tunnustades, et nende liikmed on (i) nooremkolleegide mentorid ja juhendajad, (ii) kõrgkoolide juhid, (iii) rahastamise ja kirjastamise juhtorganite juhatuse liikmed ja (iii) iv) poliitikakujundajate nõustajad;

● uuendajad – alus- ja rakendusuuringute väärtustamise erinevate lähenemisviiside uurimine kaasaval ja uuenduslikul viisil;

● eeskujud – oma institutsionaalse kultuuri muutmine – liikmeskonna, auhindade, kirjastamis- ja konverentsitavade värskendamine ning eeskuju näitamine;

● hindajad – kasutavad ära liikmete rolli nii institutsionaalsel kui ka individuaalsel tasandil, kelle ülesanne on hinnata teadlasi, teadusuuringuid ja institutsioone, ning nende liikmete rolli, kes täidavad avaldamis-, toimetaja- ja vastastikuse eksperdihinnangu ülesandeid;

● rahastajad – tuginedes eelkõige ISC-s esindatud rahastusasutustele ning liikmetele, kes haldavad ja hajutavad suuri riiklikke ja rahvusvahelisi toetusi;

● koostööpartnerid – juba väljakujunenud reformikampaaniate toetamine, nt DORA, ELi CoARA ja UNESCO avatud teaduse kohustus.

Selle artikli autorid julgustavad GYA-d, IAP-d ja ISC-d ning nende sarnaseid organisatsioone tegutsema järgmistel viisidel:

1. TEGEVUS: jagage õpitut ja häid tavasid

Selles artiklis tuuakse esile näiteid sekkumiste ja uuenduste kohta kogu maailmast. Ruum kogemuste jagamiseks ning tugeva ja kaasava „soovijate koalitsiooni” ülesehitamiseks on ülioluline.

1.1: Pakkuge platvormi liikmetele, kes on selles ruumis juba ennetavad, et jagada oma teadmisi ja luua strateegilisi sidemeid, eriti riiklikul tasandil. Kasutage asustamiseks neid näiteid DORA armatuurlaud [106] õppimisest ja headest tavadest.

1.2: Uurige ja kaardistage liikmete juhitud arengud teadusuuringute hindamise reformis, et selgitada välja institutsionaalsed, riiklikud ja piirkondlikud lähenemisviisid ning leida ja jagada häid tavasid. Kutsuge kokku need, kes on juba juhtinud / osalenud suurtes riiklikes ja rahvusvahelistes algatustes, et edendada propageerimist ja õppimist kogu liikmeskonnas.

2. MEEDE. Näidake eeskuju

GYA, IAP ja ISC liikmesus hõlmab paljusid teadusökosüsteemi osi ning igaüks neist võib mängida olulist rolli teadlase edu kujundamisel.

2.1: Üleminek progressiivsematele teadusuuringute hindamise metoodikatele laia liikmeskonna ulatuses. Olge eeskujuks ja aidake muuta teadusuuringute hindamise kultuuri oma liikmelisuse filosoofiate ja tavade kaudu, kasutades samal ajal DORA-lt ja GRC-lt saadud teadmisi. Akadeemiatel kui traditsiooniliselt eliitorganisatsioonidel on siin eriline roll – neid tuleks julgustada laiendama oma valimis- ja valikukriteeriume, et kajastada laiemat ja pluraalsemat arusaama teadustöö kvaliteedist ja mõjust, et kajastada seda pluralismi (ja rohkem kaasatust ja mitmekesisust) nende liikmeskonnas.

2.2: Stimuleerida piirkondlikku koostööd ja juhtimist. Julgustage GYA liikmete ja riiklike noorteakadeemiate piirkondlikke võrgustikke, IAP piirkondlikke akadeemiate võrgustikke ja ISC piirkondlikke teabekeskusi kaaluma ALLEA juhatuse jäljendamist. algatus, mis on kohandatud nende endi kontekstile.

MEEDE 3: Looge strateegilised partnerlussuhted võtmerühmadega.

Teadusuuringute hindamise reformi eest vastutavad kolm peamist osalist on valitsused, teadusuuringute rahastajad ja ülikoolid. GYA, IAP ja ISC võivad kumbki aidata teadlaskonda kaasata nende jõupingutustesse reformida ja praegu eksisteerivaid lahknevusi ületada.

3.1: Tehke koostööd GRC juhtkonnaga, et uurida koos töötamise viise – peamiselt selleks, et ergutada liikmeid ja nende vastavaid GRC riiklikke esindajaid uurima, kuidas nende teadusringkonnad saaksid kaasata.

3.2: Teha koostööd ülemaailmsete ja piirkondlike ülikoolide võrgustikega, nagu Rahvusvaheline Ülikoolide Assotsiatsioon (IAU), et töötada välja uusi koolitusvahendeid teadlaskonna jaoks; Kasutage advokaatidena kõrgkooli juhtimist GYA, IAP ja ISC kollektiivses liikmeskonnas.

3.3: Ühendage liikmesasutused DORA stipendiumiriikides (Argentiina, Austraalia, Brasiilia, Colombia, India, Jaapan, Holland, Uganda ja Venezuela) DORA stipendiumijuhtidega, et jagada ideid ja potentsiaalselt laiendada neid kohalikke algatusi.

3.4: luua suhteid juhtivate rahvusvaheliste arenguagentuuridega, kes juba rakendavad uuenduslikke ja mõjusaid strateegiaid teadusuuringute hindamiseks madala ja keskmise sissetulekuga riikides ning vähim arenenud riikides.

3.5: Tehke koostööd UNESCOga, et aidata kujundada selle raames võetud riiklikke teadusuuringute hindamise kohustusi Soovitus avatud teaduse kohta.

MEEDE 4: anda intellektuaalne juhtimine teadusuuringute hindamise tuleviku osas.

Teadusuuringute hindamise reformi konkreetsetele ja kiireloomulistele väljakutsetele keskendumine on hädavajalik. GYA, IAP ja ISC ning sarnased rahvusvahelised võrgustikud saavad tugineda oma vastavatele kokkukutsumise volitustele, oma liikmete intellektuaalsele kaalule ja mõjuvõimule ning sidemetele peamiste valijaskondadega.

4.1: kutsuge koos võtmeringkondadega kokku mitme sidusrühma arutelufoorumid või "Transformation Labs", et läbi mõelda ja rakendada teadusuuringute hindamise reform – kaasata kõrgkoolide ja nende ülemaailmsete (nt IAU ja IARU) ja piirkondlike võrgustike (nt LERU ja AAU) juhid [107 ]), teiste hulgas teadusuuringute rahastajad (sh GRC riikide esindajad), rahvusvahelised arendusagentuurid ja juhtivad kirjastajad. Koguge selle töö rahastamiseks uusi või rakendage olemasolevaid ressursse (mõned esialgsed ideed leiate lisast D).

4.2: Töötada välja uudne uuring teadusuuringute hindamise tulevase arengu olulise aspekti kohta, nagu (1) tehnoloogiliste edusammude mõju teadusuuringute hindamisele ja vastastikusele eksperdihinnangule (sealhulgas nii kasutamine kui kuritarvitamine) ning kuidas need võiksid tulevikus areneda ja ( 2) vastastikuse eksperdihinnangu süsteemi reformimine laiemalt (selle läbipaistvuse, avatuse, suutlikkuse, tunnustamise ja koolituse osas). Mõlemad küsimused on teadmiste ja teaduse usaldusväärsuse lahutamatud osad.

Kõigi nende jõupingutuste keskmes peaksid olema kolm peamist asja:

• Teadusuuringute ja teadlaste hindamiskriteeriumide laiendamine traditsioonilistest akadeemilistest mõõdikutest kaugemale, et hõlmata mitut uurimistöö väljundit ja funktsiooni, sealhulgas kvantitatiivseid kriteeriume, mis võimaldavad mõõta teadustöö sotsiaalset mõju.

• Kõrgkoolide juhtide ja teadustöö rahastajate julgustamine võtma kasutusele ja edendama neid uusi hindamiskriteeriume teadustöö kvaliteedi ja väärtuse mõõdikutena.

• koostöö nende juhtidega teadlikkuse tõstmise ja teadlaste tulevaste põlvkondade koolituse uute vormide kallal, et anda neile vajalikud oskused suhtlemiseks ja tõhusaks suhtlemiseks poliitikakujundajate, avalikkuse ja muude võtmerühmadega; ning edendada mitmekesisust ja kaasatust teadusettevõttes.

Käesoleva töö autorid järeldavad, et võrgustikud nagu GYA, IAP ja ISC koos teiste võtmerühmadega ja neid toetades võivad aidata luua sidusat, osaluspõhist, ülemaailmset algatust, et mobiliseerida teadusringkondi, ülikoole ja muid kõrgharidusasutusi selle tegevuskava järgi ning kaaluda kuidas rakendada uusi viise teadusuuringute hindamiseks ja rahastamiseks, et muuta see tõhusamaks, õiglasemaks, kaasavamaks ja mõjukamaks.

Lae

Selle artikli autoriteks on GYA-IAP-ISC ulatuse määramisrühma liikmed, kes töötasid vaheldumisi 2021. aasta maist kuni 2023. aasta veebruarini (täpsemalt lisas A):

• Sarah de Rijcke (esimees, Holland)

• Clemencia Cosentino (USA)

• Robin Crewe (Lõuna-Aafrika)

• Carlo D'Ippoliti (Itaalia)

• Shaheen Motala-Timol (Mauritius)

• Noorsaadah Binti A Rahman (Malaisia)

• Laura Rovelli (Argentiina)

• David Vaux (Austraalia)

• Yao Yupeng (Hiina)

Töörühm tänab Tracey Elliotti (ISC vanemkonsultant) koordineerimis- ja koostamistöö eest. Täname ka Alex Rushforthi (Teadus- ja tehnoloogiauuringute keskus (CWTS), Leideni ülikool, Holland) ja Sarah Moore (ISC) täiendava panuse ja toe eest.

Töörühm tänab ka kõiki, kellega käesoleva töö (lisa B) koostamisel konsulteeriti, kes andsid aega ja jagasid oma seisukohti teadusuuringute hindamisel oma riigis ja regioonis, ning GYA poolt nimetatud retsensente, IAP ja ISC:

• Karina Batthyány, Ladina-Ameerika sotsiaalteaduste nõukogu (CLACSO) tegevdirektor (Uruguay)

• Richard Catlow, Londoni ülikooli kolledži (Ühendkuningriik) teadurprofessor

• Sibel Eker, Radboundi ülikooli (Holland) abiprofessor

• Encieh Erfani, rahvusvahelise teoreetilise füüsika keskuse (Iraan, Itaalia) teadlane

• Motoko Kotani, asepresident, Riken (Jaapan)

• Pradeep Kumar, Witwatersrandi ülikooli (Lõuna-Aafrika) professor ja vanemteadur

• Boon Han Lim, Tinku Abdul Rahmani ülikooli (UTAR) dotsent (Malaisia)

• Priscilla Kolibea Mante, Kwame Nkrumahi teadus- ja tehnoloogiaülikooli (KNUST) vanemlektor (Ghana)

• Alma Hernández-Mondragón, Mehhiko Teaduse Edendamise Ühingu (AMEXAC) president (Mehhiko)

• Khatijah Mohamad Yusoff, Putra Malaisia ​​ülikooli (UPM) vanemprofessor (Malaisia)

1. UNESCO. 2021. UNESCO teadusaruanne: võidujooks targema arengu ajaga (1. peatükk). UNESCO. https://unesdoc.unesco.org/ark:/48223/pf0000377250

2. Kuninglik Selts. (2012). Teadus kui avatud ettevõte. Kuningliku Seltsi teaduspoliitika keskus. https://royalsociety.org/~/media/policy/projects/sape/2012-06-20-saoe.pdf

3. Haustein, S. ja Larivière, V. 2014. Bibliomeetria kasutamine uurimistöö hindamisel: võimalused, piirangud ja kahjulikud mõjud. I. Welpe, J. Wollersheim, S. Ringelhan, M. Osterloh (toim.), Incentives and Performance, Cham, Springer, lk 121–139.

4. Macleod, M., Michie, S., Roberts, I., Dirnagi, U., Chalmers, I., Ioadnnidis, J., Al-Shahi Salman, R., Chan., AW ja Glasziou, P. 2014 Biomeditsiinilised uuringud: väärtuse suurendamine, jäätmete vähendamine. The Lancet, Vol. 383, nr 9912, lk 101–104.

5. Bol, T., de Vaan, M. ja van de Rijt, A. 2018. The Matthew effect in science rahastamis. Proceedings of the National Academy of Sciences of the United States of America, Vol. 115, nr 19, lk 4887–4890.

6. Rahvusvaheline Teadusnõukogu. 2021. Teadusrekordi avamine: teadusliku avaldamise muutmine teaduse jaoks digiajastul. Pariis, Prantsusmaa, ISC. https://doi.org/10.24948/2021.01

7. Müller, R. ja de Ricke, S. 2017. Indikaatoritega mõtlemine. Akadeemiliste tulemusnäitajate episteemiliste mõjude uurimine bioteadustes. Research Evaluation, Vol. 26, nr 3, lk 157–168.

8. Ansede, M. 2023. Maailma üks enim tsiteeritud teadlasi Rafael Luque on 13 aastaks palgata tööst vabastatud. El Paίs. https://english.elpais.com/science-tech/2023-04-02/one-of-the-worlds-most-cited-scientists-rafael-luque-suspended-without-pay-for-13-years. html

9. IAP. 2022. Võitlus röövellike akadeemiliste ajakirjade ja konverentsidega. Trieste, Itaalia, IAP. https://www.interacademies.org/publication/predatory-practices-report-English

10. Elliott, T., Fazeen, B., Asrat, A., Cetto, AM., Eriksson, S., Looi, LM and Negra, D. 2022. Perceptions on the prevalence and impact of predatory akadeemilised ajakirjad ja konverentsid: ülemaailmne uurijate uuring. Learned Publishing, Vol. 3, nr 4, lk 516–528.

11. Collyer, TA 2019. „Salaami viilutamine” aitab karjääri teha, kuid kahjustab teadust. Nature Human Behaviour, Vol. 3, lk 1005–1006.

12. Abad-García, MF 2019. Plagiaat ja röövellikud ajakirjad: oht teaduslikule terviklikkusele. Anales De Pediatría (ingliskeelne väljaanne), kd. 90, nr 1, lk 57.e1–57.e8.

13. Omobowale, AO, Akanle, O., Adeniran, AI ja Adegboyega, K. 2013. Perifeerne stipendium ja välismaise tasulise kirjastamise kontekst Nigeerias. Current Sociology, Vol. 62, nr 5, lk 666–684.

14. Ordway, D.-M. 2021. Akadeemilised ajakirjad ja ajakirjanikud säilitavad uurimistöö tagasivõtmiste käsitlemisel desinformatsiooni. Ajakirjaniku allikas. https://journalistsresource.org/home/retraction-research-fake-peer-review/

15. Curry, S., de Rijcke, S., Hatch, A., Pillay, D., van der Weijden, I. ja Wilsdon, J. 2020. The Changing Role of Funders in Responsible Research Assessment: Progress, Obstacles and tee edasi. London, Ühendkuningriik, Research on Research Institute.

16. Globaalne põhjaosa viitab üldiselt tööstusriikidele või arenenud majandustele, nagu on määratlenud ÜRO (2021), samas kui globaalne lõuna viitab äsja industrialiseerunud või industrialiseerumis- või arengujärgus olevatele majandustele, mis on sageli praegused. või endised kolonialismi subjektid.

17. Akadeemiatevaheline partnerlus. 12. sessioon: Võitmine suuremast kaasamisest: mitmekesisuse ja akadeemilise kultuuri suhe. IAP. https://www.interacademies.org/page/session-12-winning-greater-inclusion-relation-between-diversity-and-academic-culture

18. Global Young Academy. Teadusliku tipptaseme töörühm. Berliin, Saksamaa, GYA. https://globalyoungacademy.net/activities/scientific-excellence/

19. ISC. 2021. Teaduse vallandamine: jätkusuutlikkuse missioonide täitmine. Pariis, Prantsusmaa, ISC. doi: 10.24948/2021.04

20. ISC. 2022. Väljavõte Peter Gluckmani kõnest Endless Frontier Symposium. Pariis, Prantsusmaa. ISC. https://council.science/current/blog/an-extract-from-peter-gluckmans-speech-to-the-endless-frontier-symposium/

21. Belcher, B., Clau, R., Davel, R., Jones, S. and Pinto, D. 2021. Transdistsiplinaarse uurimistöö planeerimise ja hindamise tööriist. Integratsiooni ja juurutamise ülevaated. https://i2insights.org/2021/09/02/transdisciplinary-research-evaluation/

22. Belcher, BM, Rasmussen, KE, Kemshaw, MR ja Zornes, DA 2016. Teadustöö kvaliteedi määratlemine ja hindamine transdistsiplinaarses kontekstis. Research Evaluation, Vol. 25, nr 1, lk 1–17.

23. Wilsdon, J. et al. 2015. Metric Tide: Aruanne sõltumatu ülevaate kohta Role of Metrics in Research Assessment and Management. HEFCE.

24. UNESCO. UNESCO soovitus avatud teaduse kohta. Pariis, Prantsusmaa, UNESCO. https://unesdoc.unesco.org/ark:/48223/pf0000379949

25. UNESCO allikas paljastas, et see töö on praegu ootel, kuna arutelus domineerivad vaid vähesed ja see ei pruugi paljudega kokku puutuda: soovituste väljatöötamisele peab eelnema ulatuslik dialoog.

26. Barroga, E. 2020. Uuenduslikud vastastikuse eksperdihinnangu strateegiad. Journal of Korean Medical Science, Vol. 35, nr 20, lk e138.

27. Woods, HB et al. 2022. Innovations in peer review in scholarly publishing: meta-kokkuvõte. SocArXiv, doi: 10.31235/osf.io/qaksd

28. Kaltenbrunner, W., Pinfield, S., Waltman, L., Woods, HB ja Brumberg, J. 2022. Innovating peer review, reconfiguring scholarly communication: Anlytical overview of congoing peer review innovation activities. SocArXiv, doi: 10.31235/osf.io/8hdxu

29. Holm, J., Waltman, L., Newman-Griffis, D. ja Wilsdon, J. 2022. Head praktikad masinõppe ja tehisintellekti kasutamisel teadust rahastavate organisatsioonide poolt: Insights from a Workshop Series. London, Ühendkuningriik, Research on Research Institute. https://doi.org/10.6084/m9.figshare.21710015.v1

30. Procter, R., Glover, B. ja Jones, E. 2020. Research 4.0 Research in the Age of Automation. London, Suurbritannia, DEMOS.

31. Baker, M. 2015. Nutikas tarkvara leiab psühholoogiatöödes statistilisi vigu. Loodus, https://doi.org/10.1038/nature.2015.18657

32. Van Noorden, R. 2022. Teadlased kasutavad tehisintellekti vastastikuse eksperdihinnangu analüüsimiseks. Loodus 609, 455.

33. Severin, An., Strinzel, M., Egger, M., Barros, T., Sokolov, A., Mouatt, J. ja Muller, S. 2022. Arxiv,

34. Gadd, E. 2022. AI-põhised tsiteerimise hindamise tööriistad: hea, halb või inetu? Bibliomaag. https://thebibliomagician.wordpress.com/2020/07/23/ai-based-citation-evaluation-tools-good-bad-or-ugly/

35. Foltýnek, T., Meuschke, N. ja Gipp, B. 2020. Akadeemiline plagiaadi tuvastamine: süstemaatiline kirjanduse ülevaade. ACM Computing Surveys, Vol. 52, nr 6, lk 1–42.

36. Quach, K. 2022. Kirjastajad kasutavad tehisintellekti, et püüda kinni halbade teadlaste andmetest. Register. https://www.theregister.com/2022/09/12/academic_publishers_are_using_ai/

37. Van Dis, E., Bollen, J., Zuidema., van Rooji, R ja Bockting, C. 2023. ChatGPT: viis uurimistöö prioriteeti. Nature, Vol. 614, lk 224–226.

38. Chawla, D. 2022. Kas tehisintellektil peaks olema roll teadustöö kvaliteedi hindamisel? Loodus, https://doi.org/10.1038/d41586-022-03294-3

39. Cyranoski, D. 2019. Tehisintellekt valib Hiinas toetuste ülevaatajaid. Nature, Vol. 569, lk 316–317.

40. Mike, T. 2022. Kas masinõppega saab hinnata avaldatud akadeemiliste ajakirjade artiklite kvaliteeti? Quantitative Science Studies, Vol. 3, nr 1, lk 208–226.

41. Chomsky, N., Roberts, I. ja Watumull, J. 2023. ChatGPT valelubadus. New York Times. https://www.nytimes.com/2023/03/08/opinion/noam-chomsky-chatgpt-ai.html

42. Selgita. 2022. Teadustöö hinnang: päritolu, evolutsioon, tulemused. Selgitada. https://clarivate.com/lp/research-assessment-origins-evolutions-outcomes/

43. Blauth, TF, Gstrein, OJ ja Zwitter, A. 2022. Tehisintellekti kuritegevus: ülevaade AI pahatahtlikust kasutamisest ja kuritarvitamisest. IEEE Access, Vol. 10, lk 77110–77122.

44. Castelvecchi, D. 2019. AI pioneer: „Väärkohtlemise ohud on väga reaalsed”. Loodus, doi: https://doi.org/10.1038/d41586-019-00505-2

45. Jordan, K. 2022. Akadeemikute arusaamad teadustöö mõjust ja kaasamisest suhtluse kaudu sotsiaalmeedia platvormidel. Õppimine, meedia ja tehnoloogia, doi: 10.1080/17439884.2022.2065298

46. ​​Wouters, P., Zahedi, Z. ja Costas, R. 2019. Social media metrics for new research assessment. Glänzel, W., Moed, HF, Schmoch U., Thelwall, M. (toim.), Springer Handbook of Science and Technology Indicators. SpringerLink.

47. Rafols, I. ja Stirling, A. 2020. Indikaatorite kujundamine hindamise avamiseks. Teadustöö hindamisest saadud arusaamad. ResearchGate, doi: 10.31235/osf.io/h2fxp

48. Rich, A., Xuereb, A., Wrobel, B., Kerr, J., Tietjen, K., Mendisu, B., Farjalla, V., Xu, J., Dominik, M., Wuite, G ., Hod, O. ja Baul, J. 2022. Tagasi põhitõdede juurde. Halle, Saksamaa, Global Young Academy.

49. Jong, L., Franssen, T. ja Pinfield, S. 2021. Excellence in the Research Ecosystem: A Literature Review. London, Ühendkuningriik, Research on Research Institute.

50. Hatch, A. ja Curry, S. 2020. Uurimiskultuur: uurimistöö hindamisviisi muutmine on keeruline, kuid mitte võimatu. eLife, Vol. 9, lk. e58654.

51. IAP. 2022. Võitlus röövellike akadeemiliste ajakirjade ja konverentsidega. Trieste, Itaalia, IAP.

52. Hicks, D., Wouters, P., Waltman, L., de Rijcke, S. ja Rafols, I. 2015. Bibliometrics: The Leiden Manifesto for research metrics. Nature, Vol. 520, lk 429–431.

53. Publons. 2018. Global State of Peer Review. London, Suurbritannia, Clarivate. https://doi.org/10.14322

54. Kovanis, M., Porcher, R., Revaud, P. ja Trinquart, L. 2016. Ajakirjade vastastikuse eksperdihinnangu globaalne koorem biomeditsiinilises kirjanduses: tugev tasakaalustamatus kollektiivses ettevõttes. PLoS ONE, Vol. 11, nr 11, lk. e0166387.

55. Forrester, B. 2023. Tüdinenud ja läbipõlenud: "vaikne loobumine" tabab akadeemilisi ringkondi. Nature, Vol. 615, lk 751–753.

56. Hatch, A. ja Curry, S. 2020. Uurimiskultuur: teadusuuringute hindamisviisi muutmine on keeruline, kuid mitte võimatu. eLife, Vol. 9, lk. e58654.

57. Moher, D., Bouter, L., Kleinert, S., Glasziou, P., Har Sham, M., Barbour, V., Coriat, AM, Foeger, N. ja Dirnagi, U. 2020. Hong Kong Teadlaste hindamise põhimõtted: teadustöö terviklikkuse edendamine. PLoS Biology, Vol. 18, nr 7, lk. e3000737.

58. Wilsdon, J., Allen, L., Belfiore, E., Campbell, P., Curry, S., Hill, S., Jones, R., Kain, R. ja Kerridge, S. 2015. The Metric Tide: Aruanne sõltumatu ülevaate kohta mõõdikute rollist teadusuuringute hindamisel ja juhtimisel. doi:10.13140/RG.2.1.4929.1363

59. Curry, S., Gadd, E. ja Wilsdon, J. 2022. Meetrilise mõõna rakendamine: Ühendkuningriigi vastutustundliku uurimistöö hindamise näitajad, infrastruktuurid ja prioriteedid. London, Ühendkuningriik, Research on Research Institute.

60. Looduse toimetus. 2022. Toetage Euroopa julget visiooni vastutustundlikust teadusuuringute hindamisest. Nature, Vol. 607, lk. 636.

61. Teadusuuringute hindamise deklaratsioon (DORA). https://sfdora.org/about-dora/

62. Hicks, D., Wouters, P., Waltman, L., de Rijcke, S. ja Rafols, I. 2015. Bibliometrics: The Leiden Manifesto for research metrics. Nature, Vol. 520, lk 429–431.

63. Curry, S., Gadd, E. ja Wilsdon, J. 2022. Meetrilise mõõna rakendamine: Ühendkuningriigi vastutustundliku uurimistöö hindamise näitajad, infrastruktuurid ja prioriteedid. London, Ühendkuningriik, Research on Research Institute. https://rori.figshare.com/articles/report/Harnessing_the_Metric_Tide/21701624

64. DORA. San Francisco deklaratsioon teadusuuringute hindamise kohta. https://sfdora.org/read/

65. DORA. Tööriistad uurimistöö hindamise edendamiseks. DORA. https://sfdora.org/project-tara/

66. DORA. DORA kogukonna kaasamise toetused: akadeemilise hindamise reformi toetamine https://sfdora.org/dora-community-engagement-grants-supporting-academic-assessment-reform/

67. Ebanormid. SCOPE teadusuuringute hindamise raamistik. https://inorms.net/scope-framework-for-research-evaluation/

68. Enormid. SCOPE raamistik. https://inorms.net/scope-framework-for-research-evaluation/

69. Torfin, S. 2018. Research Quality Plus. Rahvusvaheline Arenguuuringute Keskus. https://www.idrc.ca/en/rqplus

70. Reid, C., Calia, C., Guerra, C. ja Grant, L. 2019. Ethical Action in Global Research: A Toolkit. Edinburgh, Šotimaa, Edinburghi Ülikool. https://www.ethical-global-research.ed.ac.uk/

71. Valters, C. 2014. Muutuste teooriad rahvusvahelises arengus: suhtlemine, õppimine või vastutus? Aasia sihtasutus. https://www.alnap.org/system/files/content/resource/files/main/jsrp17-valters.pdf

72. Fraser, C., Nienaltowski, MH, Goff, KP, Firth, C., Sharman, B., Bright, M. ja Dias, SM 2021. Responsible Research Assessment. Ülemaailmne Teadusnõukogu. https://globalresearchcouncil.org/news/responsible-research-assessment/

73. Ülemaailmne Teadusnõukogu. GRC vastutustundliku uurimistöö hindamine. Youtube. https://www.youtube.com/watch?v=CnsqDYHGdDo

74. Curry, S., de Rijcke, S., Hatch, A., Dorsamy, P., van der Weijden, I. ja Wilsdon, J. 2020. The Changing Role of Funders in Responsible Research Assessment. London, Ühendkuningriik, Research on Research Institute. https://doi.org/10.6084/m9.figshare.13227914.v1

75. Ülemaailmne Teadusnõukogu. Vastutav teadusuuringute hindamise töörühm. GRC. https://globalresearchcouncil.org/about/responsible-research-assessment-working-group/

76. Global Young Academy. Teaduslik tipptase. GYA. https://globalyoungacademy.net/activities/scientific-excellence/

77. Adams, J., Beardsley, R., Bornmann, L., Grant, J., Szomszor, M. ja Williams, K. 2022. Research Assessment: Origins, Evolution, Outcomes. Teadusinformatsiooni Instituut. https://clarivate.com/ISI-Research-Assessment-Report-v5b-Spreads.pdf

78. DORA. Allikateek. https://sfdora.org/resource-library

79. Saenen, B., Hatch, A., Curry, S., Proudman, V. ja Lakoduk, A. 2021. Reimagining Academic Career Assessment: Stories of Innovation and Change. DORA. https://eua.eu/downloads/publications/eua-dora-sparc_case%20study%20report.pdf

80. Teadusuuringute hindamise edendamise koalitsioon (CoARA). https://coara.eu/

81. CoARA. 2022. Teadusuuringute hindamise reformimise leping. https://coara.eu/app/uploads/2022/09/2022_07_19_rra_agreement_final.pdf

82. Looduse toimetus. 2022. Toetage Euroopa julget visiooni vastutustundlikust teadusuuringute hindamisest. Nature, Vol. 607, lk. 636.

83. Avatud ja universaalne teadus. OPUS Home – avatud ja universaalse teaduse (OPUS) projekt. https://opusproject.eu/

84. Vergoulis, T. 2023. GraspOS Moving Forward to a Responsible Research Assessment. OpenAIRE. https://www.openaire.eu/graspos-moving-forward-to-a-more-responsible-research-assessment

85. Euroopa Teadusnõukogu. 2022. ERC teadusnõukogu otsustab muuta 2024. aasta konkursikutsete hindamisvorme ja -protsesse. ERC. https://erc.europa.eu/news-events/news/erc-scientific-council-decides-changes-evaluation-forms-and-processes-2024-calls

86. Kõik Euroopa Akadeemiad. 2022. ALLEA avaldus Euroopa akadeemiate teadusuuringute hindamise reformimise kohta. ALLEA. https://allea.org/wp-content/uploads/2022/10/ALLEA-Statement-RRA-in-the-Academies.pdf

87. Eurodoc, MCAA, YAE, ICoRSA ja GYA. 2022. Ühisavaldus ELi nõukogu järelduste kohta teadusuuringute hindamise ja avatud teaduse rakendamise kohta. Zenodo, doi: 10.5282/zenodo.7066807.

88. Overlaet, B. 2022. Teekond mitmemõõtmelise akadeemilise karjääri suunas – LERU raamistik teadlaste hindamiseks. LERU, Leuven, Belgia. https://www.leru.org/files/Publications/LERU_PositionPaper_Framework-for-the-Assessment-of-Researchers.pdf

89. Kuninglik selts. CV teadlastele. https://royalsociety.org/topics-policy/projects/research-culture/tools-for-support/resume-for-researchers/

90. Grove, J. 2021. Kas jutustavad CVd räägivad õiget lugu? Times Higher Education (THE). https://www.timeshighereducation.com/depth/do-narrative-cvs-tell-right-story

91. RICYT. Teadlased tööhõivesektori järgi (FTE) 2011–2020. app.ricyt.org/ui/v3/comparative.html?indicator=INVESTEJCSEPER&start_year=2011&end_year=2020

92. CLACSO. 2020. Teadusliku uurimistöö hinnangu hindamine. Ladina-Ameerika ja Kariibi mere piirkonna teadusuuringute hindamise ümberkujundamine Ladina-Ameerika uuringute hindamise foorumist (FOLEC). CLACSO, Buenos Aires, Argentina. https://www.clacso.org/wp-content/uploads/2020/05/FOLEC-DIAGNOSTICO-INGLES.pdf

93. CLACSO. 2021. Hindamissüsteemide ümberkujundamise suunas Ladina-Ameerikas ja Kariibi mere piirkonnas, Vahendid uute hindamispoliitikate edendamiseks. Ladina-Ameerika teadusuuringute hindamise foorumi (FOLEC) sari. CLACSO, Buenos Aires, Argentina. https://www.clacso.org/wp-content/uploads/2022/02/Documento-HERRAMIENTA-2-ENG.pdf

94. Gras, N. 2022. Arenguprobleemidele orienteeritud uurimistöö hindamise vormid. Ladina-Ameerika ja Kariibi mere riikide riiklike teadus- ja tehnoloogiaorganisatsioonide ning kõrgharidusasutuste praktikad ja väljavaated. FOLEC. CLACSO, Buenos Aires, Argentina. 2022-07-27_Report Forms-of-research-assessment.pdf ENG.pdf (dspacedirect.org)

95. CLACSO on piirkonna sotsiaalteaduste nõukogu ning sotsiaalselt olulise ja vastutustundliku teaduse juhtiv meister. Ladina-Ameerika teadusuuringute hindamise foorum (FOLEC) on piirkondlik arutelu ja heade tavade jagamise ruum ning töötab välja piirkondlikke suuniseid teadusuuringute hindamiseks, et neid põhimõtteid toetada. Mõlemad tagavad tugeva piirkondliku juhtpositsiooni.

96. SGCI. Teadustoetuste nõukogude algatus (SGCI) Sahara-taguses Aafrikas. https://sgciafrica.org/

97. SGCI. Tijssen, R. ja Kraemer-Mbula, E. 2017. Poliitika lühikirjeldus: Perspectives on research excellence in the Global South – hindamine, monitooring ja hindamine arengumaade kontekstis. SGCI. https://sgciafrica.org/wp-content/uploads/2022/03/Policy-Brief-Perspectives-on-research-excellence-in-the-Global-South_-Assessment-monitoring-and-evaluation-in-developing- country-contexts.pdf

98. Tijssen, R. ja Kraemer-Mbula, E. 2018. Research excellence in Africa: Policies, perceptions, and performance. SGCI. https://sgciafrica.org/research-excellence-in-africa-policies-perceptions-and-performance/

99. Tijssen, R. ja Kraemer-Mbula, E. 2018. Research excellence in Africa: Policies, perceptions, and performance. Teadus ja avalik poliitika, kd. 45 nr 3, lk 392–403. https://doi.org/10.1093/scipol/scx074

100. SGCI. Hea tava juhis teaduskonkursside kvaliteedi kohta. https://sgciafrica.org/eng-good-practice-guideline-on-the-quality-of-research-competitions/

101. NRF. NRF korraldab strateegilisi kohtumisi, et edendada teaduspartnerlusi Aafrikas – Riiklik Teadusfond

102. Belcher, BM, Rasmussen, KE, Kemshaw, MR ja Zornes, DA 2016. Teadustöö kvaliteedi määratlemine ja hindamine transdistsiplinaarses kontekstis, Research Evaluation, Vol. 25, lk: 1–17, https://doi.org/10.1093/reseval/rvv025

103. ARIN. 2020. Teadustehnoloogia ja innovatsiooni (STI) mõõdikud – Aafrika teadusuuringute ja mõjude võrgustik (arin-africa.org)

104. McLean R., Ofir Z., Etherington A., Acevedo M. ja Feinstein O. 2022. Research Quality Plus (RQ+) – Evaluating Research Differently. Ottawa, Rahvusvaheline Arenguuuringute Keskus. https://idl-bnc-idrc.dspacedirect.org/bitstream/handle/10625/60945/IDL-60945.pdf?sequence=2&isAllowed=y

105. International Academy for Monitoring and Evaluation

106. DORA. TARA armatuurlaud. https://sfdora.org/tara-landing-page/

107. IARU, Rahvusvaheline Teadusmahukate Ülikoolide Assotsiatsioon; LERU, Euroopa Teadusülikoolide Liiga; AAU, Aafrika Ülikoolide Liit