Майбутнє оцінки досліджень: синтез поточних дискусій і подій

Динамічна та інклюзивна дослідницька система надзвичайно важлива як для науки, так і для суспільства для просування фундаментальних знань і розуміння та вирішення все більш нагальних глобальних проблем. Але дослідницька система перебуває під тиском через зростаючі очікування з боку багатьох учасників (включно з спонсорами, урядами та видавничою галуззю), напруженість між динамікою конкуренції та співпраці, розвивається система наукової комунікації, агресивна – інколи – індустрія видавництва та аналітики даних і обмежені ресурси. Дослідницьке підприємство має керувати цими вимогами та напругою, зберігаючи при цьому якість досліджень, підтримуючи цілісність досліджень, будучи інклюзивними та різноманітними та захищаючи як фундаментальні, так і прикладні дослідження.

Протягом останнього десятиліття цей тиск на наукову систему та її потреба в оперативному реагуванні супроводжувалися більш критичними роздумами щодо систем оцінки досліджень і вимірювання ефективності. Хоча відповідні, залежні від контексту методології для оцінки якості та впливу досліджень є важливими, активізувалися дебати щодо широкомасштабних, складних і неоднозначних впливів поточних критеріїв і показників оцінки на якість і культуру дослідження, якість доказів, що інформують про політику, пріоритети в дослідженнях та їх фінансування, індивідуальні кар'єрні траєкторії та добробут дослідників. У деяких частинах світу зростає визнання того, що вузький і спрощений набір оціночних метрик і показників не дають задовільного відображення якості, користі, цілісності та різноманітності досліджень. Регулярно використовувані (часто журнальні) показники не враховують важливі додаткові виміри високоякісних досліджень, такі як наставництво, обмін даними, залучення громадськості, виховання наступного покоління вчених, виявлення та надання можливостей для недостатньо представлених груп. Крім того, що питання неправильного застосування показників і показників є надто вузьким за обсягом, воно також спотворює стимули для досягнення, ставить у невигідне становище деякі дисципліни (включно з життєво важливими міждисциплінарними та міждисциплінарними дослідженнями) і підживлює хижацькі та неетичні практики публікацій.

Кампанії з обмеження неправильного застосування показників, розширення критеріїв якості та більш систематичної трансформації дослідницької культури за допомогою маніфестів і заяв, принципів і реформ створили основу для глобальної дискусії щодо необхідності реформування оцінки досліджень. Ці голоси зараз закликають перейти від маніфестів до дій. Це відбувається на фоні трансформаційних зрушень у способах проведення досліджень і комунікації. Розвиток відкритих дослідницьких структур і соціальних медіа, перехід до місійно-орієнтованої та трансдисциплінарної науки, зростання відкритого експертного оцінювання та трансформаційного потенціалу штучного інтелекту (ШІ) та машинного навчання вимагає нового мислення щодо того, як оцінюються дослідження та дослідники. .

На цьому тлі в Глобальна молода академія (GYA), Міжакадемічне партнерство (IAP) і Міжнародна наукова рада (МНК) об’єднали зусилля, щоб проаналізувати дискусії та події в оцінці досліджень у всьому світі, залучаючи дослідницьку групу вчених і серію регіональних консультацій. Нові підходи розробляються та тестуються вищими навчальними закладами та спонсорами досліджень у деяких частинах світу, і деякі з них включені в цей документ. В інших частинах світу ці дебати та дії зароджуються або навіть відсутні. Оскільки дослідницькі системи розвиваються різними темпами, існує ризик розбіжності та фрагментації. Така розбіжність може поставити під загрозу однорідність, необхідну для співпраці в дослідженнях і сприяння мобільності дослідників між різними географічними регіонами, секторами та дисциплінами. Однак єдиний розмір не може підійти для всіх, і існує потреба в контекстно-залежних зусиллях для реформування оцінювання, визнаючи місцеві проблеми.

Цей дискусійний документ, зосереджений на дослідженнях у державному секторі та оцінці досліджень і дослідників, є глобальним у своїй перспективі та охоплює порядок денний, у якому зазвичай домінують події в Європі та Північній Америці: регіональні перспективи та приклади національного розвитку та інституційних реформ є виділено. Глобальне та колективне членство GYA, IAP та ISC представляє широкий перетин дослідницької екосистеми, чиї різноманітні мандати можуть сприяти справжнім системним змінам. Цей документ намагається послужити стимулом для GYA, IAP та ISC – як платформ для взаємного навчання, експериментів та інновацій – для роботи зі своїми членами, іншими науковими установами та ключовими групами по всьому світу, щоб ініціювати та просувати розмови та мобілізувати більш інклюзивний характер. і спільні дії.

Рекомендації для GYA, IAP і ISC та їхніх членів (див. розділ 5) структуровані навколо їхніх ролей як прихильників, прикладів, новаторів, спонсорів, видавців, оцінювачів і співавторів, із орієнтовними часовими рамками для дій. Безпосередньо ці дії включають створення простору для обміну уроками та результатами відповідних ініціатив на сьогоднішній день (для створення спільноти практиків); у середньостроковій перспективі спільне скликання багатосторонніх форумів з ключовими зацікавленими сторонами для переробки та впровадження оцінки досліджень у практичний, контекстно-залежний та інклюзивний спосіб; і, в довгостроковій перспективі, заохочення до нових досліджень, які сприяють мисленню про майбутнє, чутливому до швидкого розвитку технологій ШІ, методологій експертної оцінки та реформ, а також засобів комунікації.

Команда Глобальна молода академія (GYA), Міжакадемічне партнерство (IAP) і Міжнародна наукова рада (МНК) об’єдналися у 2021 році, щоб проаналізувати виклики, дискусії та події в оцінюванні/оцінці досліджень у всьому світі, у різних дослідницьких культурах і системах, а також дослідити способи, за допомогою яких вони можуть брати участь і впливати на переосмислення оцінки/оцінки досліджень для 21 століття, у відкритий та інклюзивний спосіб.

Було скликано міжнародну дослідницьку групу (Додаток A), щоб дослідити сферу та порадити трьом організаціям щодо того, як вони можуть посилити існуючі зусилля щодо реформування оцінки досліджень. Центральним у цій роботі була передумова про те, що (1) узгоджена ініціатива під керівництвом дослідників дасть світовій дослідницькій спільноті сильніший голос у формуванні майбутнього оцінки досліджень і (2) є переваги «оцінювання разом з оцінюваними»; таким чином, допомагаючи намітити шлях до стійких, системних змін у культурі та практиках оцінювання.

Доповнюючи кабінетне дослідження, наприкінці 2021 року було проведено серію регіональних консультацій з експертами, визначеними групою дослідження та партнерами. Документ для обговорення є основним результатом цієї роботи. Він призначений для того, щоб служити проспектом для дослідницьких розмов з багатьма зацікавленими сторонами, не в останню чергу з глобальною дослідницькою спільнотою.

Практики оцінювання досліджень служать багатьом цілям і проводяться кількома зацікавленими сторонами. Вони використовуються для оцінки дослідницьких пропозицій для прийняття рішень про фінансування, дослідницьких статей для публікації, дослідників для найму чи просування по службі та ефективності науково-дослідних установ та університетів. Ця стаття зосереджена переважно на оцінці дослідників і досліджень і не охоплює інституційну оцінку чи рейтинг, хоча всі ці сфери оцінки нерозривно пов’язані. Сучасна практика в значній мірі покладається на кількісні показники, які здебільшого базуються на журналах, такі як фактор впливу журналу (JIF), кількість публікацій, кількість цитувань, h-індекс і показник впливу статті (AIS). Інші показники включають цільовий дохід від грантів, показники внеску (наприклад, фінансування досліджень або розмір дослідницької групи), кількість зареєстрованих патентів і, нещодавно, показники соціальних мереж (раніше «альтметрики»), такі як поширення чи завантаження в соціальних мережах. Разом ці показники суттєво впливають на репутацію інституцій, дослідницьких груп та окремих осіб, програми індивідуальних і спільних досліджень, кар’єрні траєкторії та розподіл ресурсів.

За останні два десятиліття глобальні інвестиції в дослідження та розробки (НДДКР) зросли втричі – приблизно до 2 трильйонів доларів США на рік. Лише за останні роки витрати на дослідження та розробки зросли найшвидше з середини 1980-х років приблизно на 19% (ЮНЕСКО, 2021) [1]. Ці додаткові інвестиції в дослідження приносять із собою культуру підзвітності, яка чинить тиск на дослідницькі установи та окремих осіб і може у відповідь породжувати відхилення або спотворені стимули. Це також призвело до більших прагнень: підтримувати якість і зменшувати витрати на дослідження, помилки та неефективність; максимізувати включення та різноманітність; оптимізувати дослідження як глобальне суспільне благо; а також сприяти більш відкритому та залученому науковому дослідженню. Без реформ якість досліджень, цілісність, різноманітність і корисність знаходяться під загрозою.

Кількісні показники можуть становити важливу частину оцінки дослідження під час переходу до більш відкритої, підзвітної та орієнтованої на громадськість системи дослідження (Королівське товариство, 2012) [2]. Але вони також частково відповідальні за підживлення дослідницької культури «публікуй або знищи», яка існує в усьому світі, що має шкідливий вплив на якість результатів досліджень, цілісність і надійність дослідницьких систем і різноманітність дослідницьких спільнот (наприклад, Haustein and Larivière, 2014) [3]. Це пов’язано з тим, що метрики використовуються установами, політиками та спонсорами досліджень як проміжні показники якості дослідження, але вони є мірою результатів, а не якості або впливу дослідження як такого. Таким чином, ці учасники роблять багато для встановлення соціального та культурного контексту, в якому відбуваються дослідження, а системи винагороди та просування в академічних колах формують вибір науковців на всіх етапах їхньої кар’єри (Маклеод та ін., 2014) [4].

«Використання бібліометричних індексів... як проксі-метрик продуктивності дослідників є зручним індексом оцінювання, але глибоко помилковим. Більшість з них постійно зосереджується на особистих досягненнях, применшує підтримку досліджень через зацікавленість університету в метриках із високим ступенем впливу, змушує всіх «ставити галочки» та відповідати, в той час як вони відіграють важливу роль у викривленні ринку журнальних публікацій. Існує нагальна потреба в реформах».

Відкриття Record of Science (2021), Міжнародна наукова рада

Інша спільнота зацікавлених сторін, яка володіє величезною владою та впливом на наукову комунікацію та виробництво знань, – це видавничий сектор. Журнальні показники стали потужним стимулом для публікацій у комерційних журналах і можуть стимулювати поведінку, яка може мати серйозні побічні ефекти. Замість того, щоб оцінювати результати дослідження на основі його наукової цінності, сприйняття якості журналу, в якому воно публікується, зазвичай приймається як доказ наукової якості, що сприяє висококомерційному видавничому ринку, заснованому на репутації, а не на науці. Витрати на відкритий доступ здебільшого пов’язані з оплатою авторської обробки (APC): вона може бути непомірно високою, особливо в деяких частинах світу, створюючи перешкоди для публікації досліджень для дослідників із бідними ресурсами та потенційно ризикуючи розпадом міжнародної наукової спільноти. Ризики все більшої залежності від комерційних постачальників та їхніх умов використання на всіх етапах дослідницького процесу створюють вагомі аргументи для некомерційних альтернатив. Крім того, оскільки бібліометричні показники стали домінуючим джерелом стимулів в університетах, вони зменшили цінність освітньої та інших форм наукової роботи (таких як викладання та політичні поради). Оскільки системи оцінювання досліджень, як правило, надають перевагу тим, хто отримує великі гранти та публікує публікації в журналах із високим імпакт-фактором, є дані, які свідчать про те, що дослідники, які вже досягли успіху, мають більше шансів досягти успіху знову («ефект Метью», Бол та ін., 2018) [5].

Коли наукові публікації стають засобом оцінювання, а не комунікації, це ставить у невигідне становище тих, хто вирішив повідомити про свої дослідження іншими значущими способами (Звіт ISC за 2021 рік) [6]. Це включає спільні результати (і, мабуть, основну валюту) Глобальної молодої академії (GYA), Міжакадемічного партнерства (IAP) і Міжнародної наукової ради (ISC): звіти, робочі документи, спільні заяви, редакційні статті, новини та вебінари . Деякі дисципліни також знаходяться в невигідному становищі: наприклад, дослідники в галузі інженерії та комп’ютерних наук, де (зазвичай швидше) спілкування через конференції та їхні матеріали є важливими; і ті, хто займається гуманітарними та соціальними науками, зазвичай використовують монографії, книги та професійні журнали.

Інші обирають публікацію в науково-дослідницьких або місцевих журналах, або не можуть дозволити собі публікувати свої дослідження (незважаючи на високу якість) у журналах відкритого доступу з високими імпакт-факторами (і супутніми високими APC); останнє ставить у невигідне становище тих у країнах з низьким рівнем доходу, особливо дослідників на початку кар’єри (ECR). Ці самі дослідники перебувають під сильним тиском щодо штатних академічних посад, і їх поведінка сильно зумовлена ​​кількісними критеріями, які використовують агенції фінансування досліджень та інституційні ради з найму та просування по службі. Спокуса мислити показниками (Мюллер і де Рійке, 2017) [7], і навіть «гра» системи, є реальністю для всіх дослідників у всьому світі (напр. Ansede, 2023) [8].

Прояви цієї гри включають використання дослідниками (свідомо чи ненавмисно) використання хижацьких журналів і конференцій для збільшення кількості своїх публікацій (IAP, 2022 [9]; Elliott et al., 2022 [10]), самоцитування та фальсифікація рецензій, плагіат, інфляція імпакт-факторів і «нарізка салямі» (поділ великого дослідження, про яке можна було б повідомити в одній дослідницькій статті, на менші опубліковані статті) (Collyer, 2019) [11]. Під тиском у дослідників може виникнути спокуса вдатися до хижацьких послуг з єдиною метою отримати ступінь доктора філософії, бути прийнятим на роботу або просуватися по службі або отримати фінансування своїх дослідницьких проектів (наприклад, Абад-Гарсія, 2018 [12]; Омобовале та ін., 2014) [13]. Наукові кола, що керуються показниками, і академічні видавничі системи керують підступними стимулами: де дослідник публікує важливіше, ніж те, що він публікує.

Вплив на якість і цілісність досліджень викликає величезне занепокоєння. Останніми роками кількість відкликаних наукових статей різко зросла через недобросовісну поведінку в дослідженнях і публікаціях, а також через погані або шахрайські набори даних. Журналам може знадобитися від місяців до років, щоб відкликати ненадійне дослідження, до того часу воно вже може бути цитовано багато разів і бути загальнодоступним (Ордвей, 2021) [14].

Переважання оцінювання досліджень, керованих показниками, є однозначним, і в усьому світі існують відмінні тенденції, коли справа доходить до реформи оцінювання, що може залишити частину дослідницької спільноти позаду. У своєму аналізі глобального ландшафту оцінки досліджень (Каррі та ін., 2020 [15]; схоже, що багато дослідницьких і фінансових установ у країнах/регіонах із високим рівнем доходу починають включати ширший набір показників, таких як якісні показники «впливу», тоді як бібліометричні дані залишаються переважаючими в установах «Глобального Півдня» [16]. ], по всіх дисциплінах. Без більш інклюзивних дій існує ризик розбіжності національних систем оцінювання, що потенційно може призвести до ще більшої системної упередженості та потенційної несумісності в системах досліджень, оцінки, фінансування та публікації. Це, у свою чергу, може перешкоджати міжнародній дослідницькій співпраці та мобільності дослідників. Створюючи перешкоди для співпраці між північчю та півднем, це також може перешкоджати супутньому зміцненню дослідницьких екосистем на Глобальному Півдні – надійна оцінка досліджень зміцнює дослідницькі екосистеми та довіру до них, зменшує ймовірність витоку мізків і допомагає створити міцний людський капітал для сталого розвитку розвитку. Тим не менш, універсальні версії того, що є хорошою продуктивністю, породжують форми поведінки, які не обов’язково сприяють досконалості, справедливості, прозорості та включеності. Вимірювання досягнень учених, які процвітали у сприятливому середовищі з багатими ресурсами, де багато можливостей, так само, як і ті, хто боровся з викликами та долав перешкоди у ворожому та несприятливому середовищі, у кращому випадку є сумнівним (GYA, 2022) [17]. Багато вчених відчувають історичну та географічну відчуженість від дослідницького співтовариства, значною мірою через те, як їх оцінюють протягом їхньої кар’єри. У разі виключення деяких форм дослідження та неспроможності використовувати різноманітність ідей у ​​всьому світі існує ризик того, що поточні практики оцінки досліджень сприятимуть культурі мейнстриму/послідовників домінуючих західних моделей.

Дослідники в країнах з низьким рівнем доходу та на ранніх етапах своєї кар’єри потребують голосу, щоб вони могли допомогти сформувати нові моделі оцінювання з урахуванням контексту, які відповідатимуть меті та враховуватимуть виклики, з якими вони стикаються щодня. денна основа. GYA та зростаюча кількість національних молодих академій дають ECR цей голос і Робоча група GYA з наукової досконалості [18] пропонує свої погляди на реформу оцінки досліджень (див. текст нижче).

Погляди спільноти дослідників на початку кар’єри

Дослідники на початку кар’єри (ECR) особливо стурбовані практикою оцінки досліджень, тому що їхні кар’єрні перспективи та досягнення їхнього наукового плану надзвичайно залежать від того, як їх оцінюють. Це інформує про фінансування, наймання та просування по службі способами, які не завжди сприймаються як чесні та справедливі.

Хоча очевидно, що рішення щодо фінансування та людських ресурсів впливають на склад робочої сили дослідників, не завжди визнається, що через свій вплив на фінансування оцінка досліджень формує стимули для установ та дослідників продовжувати певну дослідницьку траєкторію, працювати. у певній сфері або приєднатися до одних мереж замість інших. Таким чином, оцінка досліджень формує розвиток самої науки, і це особливо справедливо у зв’язку з її непропорційним впливом на перспективи та очікування ECR.

Незважаючи на те, що наука є глобальним підприємством, деякі вчені стикаються з вищими бар’єрами для входу та взаємодії з дослідницьким співтовариством через те, де вони народилися, свою особистість чи соціально-економічне походження. Це питання організації наукової індустрії, а не оцінки дослідження як такої, але багато ECR вважають, що критерії оцінки не повинні закривати реальність досвіду дослідників і не повинні нав’язувати єдині та стандартизовані критерії для різних ситуацій.

Дослідження, проведене Робочою групою наукової досконалості GYA (майбутня доповідь), показує, що оцінка досліджень може визначатися більше науковою політикою країни, ніж культурними чи науковими дебатами. Зосереджуючись на критеріях просування до повного професора (або еквівалента) в академічних колах, звіт показує, що національні політики та інституції, як правило, мають спеціальні документи, що встановлюють їхні критерії для оцінки досліджень. Замість того, щоб охоплювати великий і різноманітний набір критеріїв, які можуть бути використані для формування всебічного уявлення про дослідника, ці документи, як правило, зосереджуються на одному вимірі чи пріоритеті. Наприклад, деякі документи зосереджені на оцінці службової діяльності дослідника (наприклад, викладання та наставництва) або деякі на накопиченій роботі дослідника (наприклад, з точки зору кількості журнальних статей) – але рідко обидва.

Це відкриття має два основні наслідки. По-перше, що оцінка дослідження є ієрархічною та йде зверху вниз. Це створює ризик, оскільки і метрики, і якісні методи часто ігнорують різноманітність дослідників: як за їхнім минулим, так і за кар’єрним шляхом, і – що не менш важливо – різноманітність їхніх методів та ідей. На противагу цьому, ECR, представлені в GYA, вважають, що було б важливо визнати різноманітність діяльності, яка є необхідною для дослідницького підприємства, і розробити схеми оцінки досліджень, які сприяють різноманітності та плюралізму, а не вимагають відповідності та омологації.

По-друге, відмінності між дисциплінами менш значні, ніж відмінності відповідно до економічного статусу країн, у яких працює дослідник. Країни з нижчими доходами, здається, покладаються на кількісні показники та винагороджують за «продуктивність», тоді як країни з вищими доходами стають все більш відкритими до якісної оцінки впливу. У разі подальшого розвитку цієї розбіжності це може стати додатковою перешкодою для міжнародної мобільності науковців, що особливо важливо для ECR.

На завершення у звіті GYA наголошується, що не існує жодної «срібної кулі»: оцінка дослідження має бути спрямована на цілі оцінки та, зрештою, на цілі установи чи дослідницької політики країни. Оцінювання має передбачати різноманітність профілів і кар’єр дослідників, а також приймати різний фокус залежно від мети оцінювання. Оскільки наука є глобальною та самокритичною розмовою, зовнішнє оцінювання не завжди може бути необхідним. Дійсно, використання та реальна цінність образливих рейтингів (людей, установ, торгових точок чи навіть цілих країн) часто обговорюється.

Сучасні глобальні виклики, багато з яких сформульовані в Цілях сталого розвитку (ЦСР) Організації Об’єднаних Націй (ООН), вимагають трансформаційних, міждисциплінарних і трансдисциплінарних досліджень, які самі по собі вимагають нових модальностей дослідження та співпраці (ISC, 2021) [19]. Актуальність інклюзивних, залучених, трансформаційних, трансдисциплінарних досліджень не відповідає тому, як дослідження підтримуються, оцінюються та фінансуються – щоб дослідження виконали свої обіцянки суспільству, їм потрібні більш відкриті, інклюзивні, контекстно-залежні системи оцінювання (Глюкман, 2022) [20]. Вкорінена поведінка науковців, спонсорів і видавців може ускладнити зміни, так що інвестиції потенційно можуть бути спрямовані далеко від сфер найбільшої потреби.

Зростання міждисциплінарних і трансдисциплінарних досліджень і науки за участю або громадян є важливими подіями та життєво важливими для вирішення глобальних проблем. Оскільки дослідження перетинає дисциплінарні та інституційні межі та залучає ширший набір зацікавлених сторін, включаючи спільноту користувачів для спільного розробки нагальних дослідницьких питань для суспільства, традиційні критерії оцінки академічних досліджень є недостатніми і можуть навіть обмежувати розвиток і використання трансдисциплінарних досліджень (Belcher et al., 2021) [21]. Потрібні більш відповідні принципи та критерії для керівництва міждисциплінарною дослідницькою практикою та оцінкою: ранній приклад системи оцінки якості побудований навколо принципів відповідності, надійності, легітимності та користі (Belcher et al., 2016) [22].

Шляхи, якими дослідження замовляються, фінансуються, проводяться та комунікуються, швидко розвиваються та вимагають прискорення реформи оцінки досліджень. Вони включають наступне:

(1) Перехід до відкритої науки

Рух відкритої науки вимагає супутньої реформи систем оцінки досліджень для підвищення відкритості та прозорості. Багато показників і показників, які використовуються для вимірювання результативності досліджень, самі по собі є непрозорими і часто обчислюються за закритими комерційними дверима. Цей брак прозорості ставить під загрозу автономію дослідницької спільноти – він обмежує можливості для оцінки, тестування, верифікації та вдосконалення дослідницьких показників (Вілсдон та ін., 2015 [23]). Відповідальна оцінка досліджень стає ключовим аспектом глобального руху до відкритої науки, про що свідчить, наприклад, Рекомендація Організації Об’єднаних Націй з питань освіти, науки та культури (ЮНЕСКО) щодо відкритої науки (ЮНЕСКО, 2021 [24]) – який включає розробку Open Science Toolkit для своїх членів, щоб допомогти їм переглядати та реформувати оцінювання своєї дослідницької кар’єри та критерії оцінювання [25].

(2) Розвиток експертної оцінки

Зростання відкритого рецензування – незалежно від того, публікуються звіти про рецензування та/або публічне визначення рецензентів – є важливою подією для оцінки досліджень (Баррога, 2020 [26]; Вудс та ін., 2022 [27]). Зростання інфраструктури даних дозволило видавцям створювати ідентифікатори цифрових об’єктів (DOI) для звітів про рецензування, пов’язувати звіти про рецензування з індивідуальними ідентифікаторами Open Researcher і Contributor ID (ORCID) і публікувати статті як препринти. Кількість препринтів значно зросла під час глобальної пандемії COVID і виявила проблеми, пов’язані з оцінкою досліджень у режимі швидкого реагування. Тим не менш, практики відкритого рецензування – як до, так і після публікації – можуть допомогти порушити контроль, який комерційні видавці мають над дослідницькими комунікаціями та процесами виробництва знань, зменшуючи силу наукового журналу та пов’язаних з ним показників, таких як JIF. Відкриті записи про діяльність експертної оцінки також можуть забезпечити інфраструктуру для документування – і з часом створення більшої цінності – діяльності експертної оцінки, яка є життєво важливою професійною послугою, яка часто залишається непомітною та недооцінюється в рамках академічних оцінок (Кальтенбруннер та ін., 2022 [28]).

(3) Застосування штучного інтелекту та машинного навчання

Технологічний прогрес у сфері штучного інтелекту (ШІ) та машинного навчання, ймовірно, матиме глибокі наслідки для оцінки досліджень, включаючи процеси експертної оцінки, які її підтримують (наприклад, Холм та ін., 2022 [29]; Проктор та ін., 2020 [30]). ШІ вже використовується для оптимізації та посилення експертної оцінки (Природа, 2015 [31]; Природа, 2022 [32]), перевірити якість експертної оцінки (Северин та ін., 2022 [33]), перевірити якість цитування (Гадд, 2020 рік [34]), виявити плагіат (Фолтинек та ін., 2020 [35]), вловити дослідників підробку даних (Куач, 2022 рік [36]) і знайти рецензентів, яких дедалі більше бракує, оскільки ця робота не отримує належної оцінки дослідників. Розмовний штучний інтелект, такий як ChatGPT (Chat Generative Pre-Trained Transformer), має можливість планувати експерименти, писати та завершувати рукописи, проводити рецензування та підтримувати редакційні рішення щодо прийняття чи відхилення рукописів (Природа, 2023 [37]). ШІ також має потенціал для підвищення ефективності експертної оцінки за допомогою алгоритмів, щоб полегшити тягар рецензентів як рецензентів результатів досліджень (Природа, 2022 ). Використання ШІ вже тестується в Китаї для пошуку суддів (Природа, 2019 [39]).

Усі ці програми штучного інтелекту можуть зменшити цей тягар і дозволити досвідченим експертам зосередити свої судження на якості досліджень і більш складних оцінках (Thewall, 2022 [40]). Але вони також ризикують поширювати упередження, оскільки вони є прогностичними технологіями, які посилюють наявні дані, які можуть бути упередженими (наприклад, за статтю, національністю, етнічною приналежністю чи віком): справді, використання ШІ може виграти від глибшого розуміння того, що таке «якість». ' дослідження (Хомський та ін., 2023 [41]; ISI, 2022 [42]).

Проте життєво важливо, що всі форми ШІ та машинного навчання відкриті для зловживань (Блаут та ін., 2022 [43]; Bengio, 2019 [44]). Науковим і дослідницьким спільнотам потрібно буде створити готовність і стійкість до цього, співпрацюючи з керівництвом уряду, промисловості та громадянського суспільства, які керують цим простором.

(4) Розвиток соціальних мереж

Звичайні кількісні вимірювання впливу досліджень не враховують зростання залученості соціальних медіа та дослідників/науковців у соціальних мережах (Йорданія, 2022 [45]). Багато вчених використовують платформи соціальних медіа, щоб залучати спільноти, політиків і громадськість протягом усього життя свого дослідницького проекту; позитивно взаємодіяти з їхніми дослідженнями, тестувати та інформувати їх, а також вносити різноманітні ідеї та внески, а не просто публікувати кінцевий результат як факт, що здійснився для аудиторії-одержувача. Це залучення не підхоплюється звичайними формами оцінки дослідження, але може призвести до ширшого впливу та можливостей охоплення. Показники соціальних мереж («альтметрики») розробляються як внесок у відповідальні показники (Wouters та ін., 2019 [4]) і включити, наприклад, згадки у Twitter або Facebook і кількість підписників на ResearchGate. З одного боку, ці альтметрики можуть допомогти відкрити, створити простір і розширити оцінку (Рафолс і Стірлінг, 2021 [47]), але, з іншого боку, як і інші показники, також можна використовувати безвідповідально та/або розглядати як нав’язування ще одного рівня показників у системах оцінювання.

Виклики реформі оцінювання наукових досліджень є багатьма. Тут проілюстровано кілька найбільш значущих.

Будь-яка реформа, яка передбачає більш якісні заходи, повинна водночас забезпечувати якість фундаментальних і прикладних досліджень. Існують неофіційні докази того, що деякі науковці можуть самі виступати проти реформи, можливо, особливо просунуті кар’єрні дослідники, які процвітали в нинішній системі, тому що вони бояться, що це може сприяти посереднім дослідженням, або що більш якісні форми оцінювання можуть віддавати перевагу прикладним дослідженням над фундаментальними. Реформа критеріїв оцінки досліджень, як правило, базується на переході до місійно-орієнтованих, суспільно впливових досліджень, які звертаються до громадської та політичної підтримки таким чином, як менш відчутні фундаментальні дослідження або дослідження «блакитного неба» не можуть. Дехто стверджує, що для підтримки інновацій необхідне більш тонке тлумачення «цінності» дослідження, оскільки майбутнє вимагає постійних інвестицій у фундаментальні дослідження, керовані цікавістю, і ширшого оцінювання вирішальної ролі, яку вони відіграють у здатності реагувати на глобальні виклики (GYA, 2022 [48]).

Відсутність послідовності у значенні та використанні дослідницької термінології, загалом, є перешкодою для змін. Концептуальна основа для оцінки досліджень не зазнала суттєвих змін з часом, як і мова, що її підтримує: дослідницька система все ще застрягла в старих дихотоміях, таких як «фундаментальна» та «прикладна» наука, і такі терміни, як «вплив», «якість». (некорисно прирівнюється до продуктивності) і «досконалість» не мають чіткого визначення таким чином, щоб уникнути географічних, дисциплінарних, кар’єрних і гендерних упереджень (Jong та ін., 2021 [49]): це може бути особливо гостро в групах прийняття рішень, де бракує різноманітності (Хетч і Каррі, 2020 ) [50].

Подібно до оцінювання, керованого показниками, більш якісні форми оцінювання також недосконалі. Стверджувати, що процеси рецензування та експертне судження є принаймні такими ж важливими, як і бібліометрія, непросто. Вони можуть бути упередженими через брак ясності та прозорості в процесі рецензування. Комітети експертної оцінки, наприклад, піддавалися критиці як механізми, які зберігають усталені форми влади та привілеїв, дозволяючи «мережам старих хлопців» і гомофілії (оцінювачі шукають собі подібних) зберігатися, а також бути вразливими до динаміки групового мислення. Кількісні показники, хоч і недосконалі, розглядаються в деяких частинах світу як захист від непотизму та упередженості. Подібні аргументи можна застосувати до рецензування дослідницьких робіт із використанням більш якісного оцінювання, яке потенційно відкриває двері для інших форм дискримінаційної поведінки.

Відсутність професійного визнання та підготовки до рецензування в будь-якій формі створює перешкоди виконувати функції рецензента, тим самим зменшуючи спроможність. Більше того, оскільки попит перевищує пропозицію, це може створити стимули для зрізання кутів і зниження жорсткості. Потрібні підвищення прозорості експертної перевірки (повністю відкритої, анонімної чи гібридної), навчання, сприяння та винагорода належної практики експертної оцінки; як і подальші дослідження моделей його еволюції в міру диверсифікації результатів досліджень (IAP, 2022 [51]) і технології ШІ прогресують.

Дебати щодо реформи оцінювання наукових досліджень є складними і не подвійними. Якісну та кількісну інформацію часто поєднують у контексті експертної оцінки: такі заяви, як Лейденський маніфест щодо дослідницької метрики (Хікс та ін., 2015 [52]) закликають до «інформованої експертної оцінки», в якій експертне судження підтримується – але не ведеться – належним чином вибраними та інтерпретованими кількісними показниками та якісною інформацією. Дебати щодо оцінки дослідження — це не двійковий вибір інструментів оцінки «якісний проти кількісного», а те, як забезпечити найкраще поєднання багатьох форм інформації.

Нарешті, будь-яка реформа також має бути зручною та практичною. Дослідницька система вже демонструє ознаки розпаду, оскільки обсяг публікацій зростає експоненціально, а тягар рецензування нерівномірно лягає на дослідницьке підприємство (наприклад, Publons, 2018 [53]; Кованіс та ін., 2016 [54]; Природа, 2023 [55]). Журнальні показники та h-індекс разом із якісними поняттями престижу видавця та інституційної репутації можуть забезпечити зручні швидкі шляхи для зайнятих оцінювачів і створити перешкоди для змін, які глибоко вкорінилися в академічному оцінюванні (Хетч і Каррі, 2020 [56]). У деяких країнах кількісні показники вітаються як такі, що забезпечують відносно чіткі та недвозначні шляхи призначення та просування по службі. У «Глобальному Півдні» середні імпакт-фактори регулярно використовуються для відбору кандидатів, і будь-яка альтернатива має бути однаково реалізованою та здатною залучати додаткові ресурси, неминуче необхідні для розширення сфери оцінювання. Зручність використання простих кількісних показників в оцінці досліджень, ймовірно, буде основною перешкодою для змін, а запровадження нових систем оцінювання може навіть створити більшу глобальну несправедливість через брак можливостей або компетенції в деяких країнах.

За останнє десятиліття було видано низку гучних маніфестів і принципів оцінки досліджень, спрямованих на вирішення цих проблем, включаючи Лейденський маніфест (розроблений групою міжнародних експертів), Гонконгські принципи (Moher et al., 2020 [57]) (розроблено на 6-й Всесвітній конференції з доброчесності досліджень у 2019 р.) та Метричний приплив [58] і Використання метричного припливу [59] доповіді (розроблені в контексті огляду британської системи досліджень та оцінки, REF). Існує принаймні 15 окремих заходів, які спонукають ключових зацікавлених сторін – чи то політиків, спонсорів чи керівників вищих навчальних закладів (ВНЗ) – мінімізувати потенційну шкоду від поточних систем оцінювання. Усі ці ініціативи охопили широку аудиторію та є прогресивними у своїй зосередженості на відповідальних показниках як передумові для покращення дослідницької культури та забезпечення рівності, різноманітності, залучення та приналежності до дослідницької спільноти. Але деякі архітектори цих ініціатив все більше стурбовані тим, що, хоча вони й корисні, вони відволікають від відчутних практичних дій: акт підписання є ефективним, лише якщо супроводжується практичним впровадженням (Природа, 2022 [60]).

Зростає підтримка «оцінки відповідального дослідження чи оцінки» та «відповідальних показників» (ДОРА, 2012 [61]; Хікс та ін. 2015 [62]; Вілсдон та ін., 2015) які відходять від суто кількісних показників до ширшого спектру заходів, щоб дозволити дослідникам описати економічний, соціальний, культурний, екологічний і політичний вплив своїх досліджень; щоб врахувати проблеми, які дослідницьке співтовариство цінує: «дані для блага» або «індикатори, орієнтовані на цінності», які стосуються ширших атрибутів (Каррі та ін., 2022 [63]). Останніми роками інноваційні та прогресивні підходи до відповідального оцінювання досліджень були розроблені та впроваджені деякими вищими навчальними закладами та спонсорами досліджень у регіонах і країнах по всьому світу. Деякі з них виділено тут.

З глобальних ініціатив, згаданих вище, Сан-Франциско 2013 рокуДекларація про оцінку дослідження' [64] (DORA) чи не найактивніша глобальна ініціатива. У ньому каталогізовано проблеми, спричинені використанням журнальних показників для оцінки ефективності окремих дослідників, і надано 18 рекомендацій щодо покращення такого оцінювання. DORA категорично не заохочує використання журнальних метрик для оцінки внеску дослідника або під час найму, просування чи фінансування. Станом на середину квітня 2023 року декларацію підписали 23,059 160 підписантів (установ та осіб) у XNUMX країнах, які зобов’язуються реформувати. Зосереджуючись на навігації з внутрішніми проблемами та вродженими упередженнями якісного оцінювання, DORA розвиває Інструменти для попередньої оцінки досліджень (TARA) [65], щоб допомогти застосувати декларацію на практиці: ці інструменти включають інформаційну панель для індексування та класифікації інноваційної політики та практики в оцінюванні кар’єри та набір ресурсів, щоб допомогти у створенні комісії з усунення упереджень і розпізнати різні, якісні форми впливу дослідження.

Крім того, DORA фінансує десять проектів – в Аргентині, Австралії, Бразилії, Колумбії (2), Індії, Японії, Нідерландах, Уганді та Венесуелі – щоб перевірити різні способи просування реформи в оцінці досліджень у місцевому контексті, а також складання прикладів належної практики: наприклад, підвищення обізнаності, розробка нової політики або практики, навчання та практичне керівництво для кандидатів на роботу (ДОРА [66]). Попит на такі гранти був високим – понад 55 заявників із 29 країн – що свідчить про зростаюче визнання необхідності реформ.

Професійні асоціації управління дослідженнями, такі як Міжнародна мережа товариств управління дослідженнями (INORMS), також активно розробляють ресурси для керівництва організаційними змінами, включаючи SCOPE Framework Research Evaluation Group | INORMS – структура INORMS SCOPE для оцінки досліджень [67], який починається з визначення того, що цінується, кого оцінюють і чому (корисний пояснювальний плакат тут [68]).

Сектор міжнародного розвитку запропонував нові перспективи оцінки досліджень, яскравим прикладом чого є Якість досліджень плюс | IDRC – Центр досліджень міжнародного розвитку [69], який вимірює те, що має значення для людей на кінці дослідження. Інструмент Research Quality Plus (RQ+) визнає, що наукові переваги є необхідними, але недостатніми, визнаючи вирішальну роль спільноти користувачів у визначенні того, чи дослідження є актуальним і законним. Він також визнає, що оновлення дослідження та вплив починаються під час процесу дослідження. Дослідницькі програми часто оцінюють міждисциплінарні комісії, до складу яких також входять експерти з розробки поза межами наукових кіл (наприклад, державний департамент чи неурядова організація (НУО)), практики та представники в країні: це підсилює важливість спільноти користувачів/неспеціалістів необхідно зрозуміти дослідження та те, як його можна застосувати на практиці. Дослідження у складних умовах із низьким рівнем доходу чи крихким середовищем можуть супроводжуватися набором етичних інструментів або структурою, розробленою для інформування та підтримки етичних виборів у життєвому циклі дослідження, від початку до розповсюдження та впливу, наприклад Reid et al., 2019 [70]. Підходи «Теорії змін» широко використовуються донорами, неурядовими організаціями та багатосторонніми агентствами в дослідженнях міжнародного розвитку, де заявники повинні чітко сформулювати шляхи впливу, підкріплені системами моніторингу, оцінки та навчання, наприклад Валтерс, 2014 [71]. Академічна дослідницька спільнота потенційно може вчитися у спільноти розробників.

Визнаючи роль спонсорів у формуванні стратегій ВНЗ, Оцінка відповідальних досліджень Глобальної дослідницької ради (GRC). Ініціатива (RRA) [72] заохочує головних спонсорів досліджень у всьому світі працювати над досягненням амбіцій RRA у власному регіональному та національному контексті та розробляти ефективні рамки оцінки для оцінки впливу (пояснювальне відео тут [73]). Введення в експлуатацію робочого документа щодо РРА (Каррі та ін., 2020 [74]), GRC закликав своїх членів запроваджувати принципи RRA та вживати конкретних заходів для їх виконання, а також навчатися один у одного через співпрацю та обмін передовим досвідом. Ан міжнародна робоча група [75] надає керівництво та підтримку членам GRC, допомагаючи їм переходити від руху до дії.

Значною мірою завдяки зусиллям GYA ECR також починають мобілізувати себе навколо цього порядку денного. Його Робоча група з наукової досконалості [76] працює над визначенням дослідницького середовища, сприятливого для «вивільнення цікавості та креативності в науці та сприяння розвитку людського потенціалу через різноманітність та залучення». Їхня робота закликає спільноту ECR кинути виклик визначенням «досконалості», що використовуються їхніми організаціями, взяти участь в ініціативах щодо реформування оцінки досліджень і приєднатися до руху молодих академій. Він також закликає органи фінансування та найму залучати ECR до дебатів щодо оцінки досліджень і визнавати ширшу різноманітність внесків у дослідження та кар’єри в них.

Незважаючи на те, що деякі університети та інші ВНЗ підписали DORA та/або приєдналися до європейського руху (описаного нижче), вони, схоже, не організовуються колективно навколо оцінювання досліджень так, як інші ключові групи.

Проблеми, створені системами оцінювання, які є майже виключно кількісними, здебільшого розглядаються та діагностуються з точки зору «Глобальної Півночі», а «Глобальний Південь» ризикує наздогнати. З ризиком надмірного узагальнення, на «Глобальній Півночі» існують серйозні системні проблеми, пов’язані з відсутністю різноманітності, справедливості та включеності, які посилюються системами оцінювання. На «Глобальному Півдні» бракує місцевого та регіонального визначення того, що є «якістю» та «впливом», системи оцінювання дуже різноманітні (навіть на факультетах одного університету), і відносно мало проблем з статус-кво. У всьому світі проблеми виникають через надмірну увагу до кількісних показників, зв’язку між оцінкою та розподілом ресурсів, висококонкурентної системи фінансування та тиску на публікації, а також ігнорування інших, менш кількісно вимірних аспектів наукового та академічного життя.

Рецензована література з порівняльних досліджень реформи оцінювання наукових досліджень є малою. Рідкісним винятком є ​​порівняння втручань з оцінки досліджень у шести різних географічних регіонах (Австралія, Канада, Німеччина, Гонконг, Нова Зеландія та Великобританія), яке зазначає, що індексована ефективність усіх шести, здається, покращується після кількох типів втручання (принаймні з використанням умовних бібліометричних показників) (ISI, 2022 [77]). DORA надає (переважно інституційні) тематичні дослідження на своїй веб-сторінці (ДОРА [78]) та у звіті (ДОРА, 2021 [79]), покликані надихнути інших діяти, але це переважно європейські приклади.

Тут автори надають регіональні огляди та національні приклади експериментів і реформ для подальшого розуміння – вони не мають на меті бути комплексними чи вичерпними.

Команда Коаліція ЄС з реформування оцінки досліджень [80], або CoARA, схвалена в липні 2022 року, є найбільшою ініціативою з реформування оцінки досліджень у світі. Чотири роки розробки та розробки 350 організаціями в 40 (переважно європейських) країнах, Європейська асоціація університетів і Science Europe (мережа наукових організацій та академій континенту) спільно з Європейською Комісією розробили угоду або набір принципів (а 'шлях реформ'), для більш інклюзивної та відповідальної оцінки дослідження (CoARA, 2022 [81]). Угода зосереджена на трьох рівнях оцінки: установи, окремі дослідники та саме дослідження. Хоча коаліція керується європейськими партнерами, вона має амбіції стати глобальною, і DORA, і GYA вже є підписантами. Підписанти зобов'язуються виділяти ресурси для покращення оцінки досліджень, розробки нових критеріїв та інструментів для оцінки, а також підвищення обізнаності та забезпечення навчання з оцінки досліджень (наприклад, для рецензентів). Ця подія була описана як «найбільш обнадійлива ознака справжніх змін» (Природа, 2022 [82]).

ЄС також фінансує деякі цікаві нові ініціативи, спрямовані на підтримку реформи оцінки досліджень: зокрема, Open and Universal Science (OPUS [83]) – щоб розробити «всеосяжний набір» індикаторів для багатьох дослідницьких процесів і результатів, і таким чином стимулювати європейських дослідників до практики відкритої науки – і простору даних оцінки відкритої науки GraspOS [84] – створити відкритий простір даних для підтримки реформи політики для оцінки досліджень.

Європейська дослідницька рада (ERC), яка підтримує передові дослідження в усіх галузях (з бюджетом у 16 ​​мільярдів євро на 2021–2027 роки), підписала CoARA та внесла зміни до своїх форм і процесів оцінювання, щоб створити більше розповідних описів, включаючи врахування менших традиційні кар’єрні шляхи та «винятковий внесок» у дослідницьку спільноту. Пропозиції оцінюватимуться більшою мірою на основі їх достоїнств, аніж на основі минулих досягнень заявника, і продовжуватимуть оцінюватися комісіями експертної оцінки, що складатимуться з провідних вчених, використовуючи єдиний критерій наукової досконалості (ERC, 2022 [85]).

Також беруть участь деякі європейські академії. Рада в ALLEA [86], Європейська федерація академій наук і гуманітарних наук, що представляє дев’ять із понад 50 національних академій у 40 країнах Європи, підтримала рух CoARA. ALLEA взяла на себе зобов’язання створити спеціальну робочу групу для збору, обміну та популяризації передового досвіду прийому нових стипендіатів Академії та сприяння «значущому культурному обміну» оцінки досліджень на основі принципів якості, цілісності, різноманітності та відкритості. У своєму Заява за жовтень 2022 р ALLEA закликає академії-члени зробити наступне:

1. Визнавати різноманіття внесків у дослідження та кар’єр у них відповідно до потреб та характеру дослідження; у випадку стипендіатів Академії процедури відбору повинні (1) враховувати гендерний баланс та унікальні проблеми дослідників на початку кар’єри, (2) підтримувати різноманіття культур і дисциплін, (3) цінувати різноманітність сфер компетенції та талантів, і (4) сприяти міждисциплінарності та багатомовності.

2. Базувати оцінку дослідження насамперед на якісній оцінці, для якої експертна оцінка є центральною, підкріплюючись відповідальним використанням кількісних показників; оцінка досконалості та впливу роботи кандидатів у стипендіати має базуватися на якісній експертній оцінці, яка відповідає фундаментальним принципам строгості та прозорості та враховує специфіку наукової дисципліни.

3. Відмовтеся від невідповідного використання метрик, заснованих на журналах і публікаціях, в оцінці досліджень; зокрема, це означає відмову від використання таких показників, як журнал імпакт-фактор (JIF), оцінка впливу статті (AIS) та h-індекс як домінуючих показників якості та впливу.

Заява Allea щодо реформування оцінки наукових досліджень у європейських академіях

У їх спільна відповідь [87] до Угоди ЄС і коаліції CoARA, спільнота ECR у GYA також привітала це зобов’язання та запропонувала шляхи реалізації його принципів. До них належать інклюзивні практики, що відображають різноманіття національних особливостей і характеристик дисциплін, причому дослідники всіх етапів кар’єри отримують навчання, стимули та винагороди, причому обов’язкове навчання відкритих наук для дослідників, співробітників і членів комітетів є життєво важливим.

Науково-інтенсивні університети в Європі також підтримали реформу оцінки досліджень як шлях до «багатовимірної» дослідницької кар’єри (Оверлает, Б., 2022 [88]). Вони розробили загальну структуру, щоб надихати та підтримувати університети у визнанні різноманіття внесків у дослідження, освіту та служіння суспільству.

На національному рівні кілька країн зараз пілотують різні моделі оцінювання: наприклад, національні фінансові агентства в Бельгія, Нідерланди, Швейцарія та UK усі використовують «розповідні резюме». Наративні резюме більш цілісно розглядають академічні досягнення: внесок у генерування знань, у розвиток особистості, у ширшу дослідницьку спільноту та ширше суспільство (Королівське наукове товариство [89]). Незважаючи на те, що підтримка таких типів резюме зростає, існує також певне занепокоєння, що вони змушують науковців бути хорошими в усьому, і таким чином ризикують поставити під загрозу глибокий досвід у прагненні отримати статус універсала (Гроув, Дж., 2021 [90]).

Чотири приклади національних дослідницьких систем, які координують загальнонаціональні реформи в професійно-орієнтованому академічному оцінюванні, включені в наступні текстові поля.

Національний приклад: Великобританія

Рамкова система оцінки досліджень Великобританії (REF) вимірює вплив дослідження за двома вимірами: «значущість» (відчутна різниця, яку робить проект) і «охоплення» (кількісно визначена міра, до якої він це робить) (УКРІ). Вплив тут визначається як «вплив на економіку, суспільство, культуру, державну політику чи послуги, здоров’я, навколишнє середовище чи якість життя, зміну чи користь для економіки, навколишнього середовища чи якості життя за межами академічних кіл», але поза цим він дуже відкритий, дисциплінарно- мінливий і, можливо, неоднозначний, наприклад, не враховуючи належним чином залучення громадськості.

REF Великобританії оцінюється в 2022–2023 роках згідно з Програма оцінки майбутніх досліджень вивчити можливі нові підходи до оцінки ефективності досліджень вищої освіти Великобританії, а також розуміння міжнародної практики оцінки досліджень. Наступна ітерація REF, можливо, враховуватиме більш різноманітний набір результатів і, можливо, навіть зменшить їх значення. Поточна модель надає 60% важливості результатам, 25% – впливу досліджень і 15% – дослідницькій культурі/середовищу. Якби вони були зважені більш рівномірно, тоді REF виглядав би зовсім інакше, більше значення приділялося дослідницькій культурі, цілісності дослідження та командній роботі (Гроув, 2020).

Національний приклад: Фінляндія

У 2020 році Федерація наукових товариств Фінляндії координувала робочу групу спонсорів досліджень, університетів і профспілок, які опублікували заяву Належна практика в оцінці досліджень. Це вказівки щодо дотримання відповідального процесу оцінювання окремих науковців, включаючи п’ять загальних принципів оцінювання: прозорість, цілісність, справедливість, компетентність і різноманітність. Належна практика в оцінці наукових досліджень вимагає більшого визнання під час оцінювання академічних внесків окремих осіб у сфері наукової цілісності, освіти та наставництва, а також наукових послуг (наприклад, рецензування). Заява розглядає оцінювання як не просто створення підсумкових суджень: воно також заохочує оцінювачів ділитися відгуками з оцінюваними особами, щоб полегшити зворотній зв’язок і навчання.

Науково-дослідні організації та організації, що фінансують дослідження, взяли на себе зобов’язання запроваджувати передову практику в оцінці досліджень та створювати власні місцеві варіації керівництва, а також розробляється модель резюме національного портфоліо дослідника. Належна практика в оцінці досліджень передбачає регулярні перегляди та вдосконалення.

Національний приклад: Нідерланди

У Нідерландах національна програма визнання та винагороди розпочалася в 2019 році з публікації заяви про посаду Кімната для талантів кожного. Ця загальнонаціональна співпраця між Королівською академією мистецтв і наук Нідерландів (KNAW – член IAP та ISC), спонсорами досліджень, університетами та медичними центрами стверджує, що має відбутися загальносистемна модернізація культур оцінки досліджень. При цьому він викладає п’ять амбіцій щодо змін у процедурах оцінювання: більша різноманітність кар’єрного шляху, визнання індивідуальної та командної продуктивності, пріоритет якості роботи над кількісними показниками, відкрита наука та академічне лідерство.

З 2019 року нідерландські університети почали вводити власні місцеві переклади національного бачення. Водночас фінансові агенції запровадили більш «розповідні» формати резюме та припинили запитувати бібліометричну інформацію, посилаючись на Сан-Франциско DORA як натхнення. Нідерландська дослідницька рада нещодавно перейшла до «на основі доказів» CV в якому може бути використана певна кількісна інформація. KNAW також розробив свій власний трирічний план реалізовувати програму визнання та винагороди всередині компанії. Менеджер програми та команда призначені на повний робочий день для сприяння програмі реформи «Визнання та винагороди», а «Фестиваль визнання та винагороди» щорічно проводиться серед основних зацікавлених сторін реформи для підтримки навчання в масштабах усієї громади.

Нарешті, фінансується грантом DORA Community Engagement Ініціатива Young Scientist in Transition для аспірантів, що базується в Утрехті, розробила новий посібник з оцінювання для докторів філософії, щоб змінити дослідницьку культуру.

Національний приклад: Норвегія

У 2021 році Норвегія, університети Норвегії та Норвезька дослідницька рада опублікували NOR-CAM – інструментарій для визнання та винагороди в академічному оцінюванні. NOR-CAM надає матричну структуру для покращення прозорості та розширення оцінки досліджень і дослідників від вузьких бібліометричних показників. NOR-CAM розшифровується як норвезька матриця оцінки кар’єри та була адаптована з 2017 року. звітом Європейською Комісією, яка представила Матрицю оцінювання кар’єри у відкритій науці. Як і його європейський попередник, NOR-CAM також пропонує шляхи кращої інтеграції практик відкритої науки в оцінювання. Матриця спрямована на те, щоб керувати оцінювачами та кандидатами на академічні посади, заявками на фінансування досліджень та національними оцінювачами, які оцінюють норвезькі дослідження та освіту. Він також покликаний служити загальним посібником для розвитку індивідуальної кар'єри.

Матриця включає шість основних сфер компетенції: результати досліджень, дослідницький процес, педагогічні компетенції, вплив та інновації, лідерство та інші компетенції. Потім матриця надає пропозиції для планування кар’єри та визнання оцінки за кожним із критеріїв – приклади результатів і навичок, засоби документування та підказки для роздумів щодо кожного критерію. Не очікується, що кандидати будуть однаково виконувати всі критерії.

NOR-CAM був створений робочою групою зацікавлених сторін, що займаються дослідженнями та фінансуванням організацій, координованих Університетами Норвегії, що в принципі означає, що він підтримується членами всіх норвезьких університетів. Згодом були проведені семінари за участю норвезьких університетів для спільної розробки способів інтеграції NOR-CAM у процедури оцінювання призначення та просування по службі, а також розробляється «автоматична» система CV для отримання даних із багатьох національних та міжнародних джерел, щоб скоротити адміністративні тягар. Координатори вищезазначених трьох схем реформ на національному рівні регулярно зустрічалися для обміну досвідом і набутими знаннями.

Латинська Америка та Карибський басейн (ЛАК) багато в чому відрізняються від інших частин світу. Тут наука вважається глобальним суспільним благом, а її науково-дослідні та академічні видавничі системи та інфраструктура є державною (фінансованою) і некомерційною: але ці регіональні сильні сторони та традиції ще не відображені в системах оцінювання. Ключовими зацікавленими сторонами, які можуть вплинути на зміни, є національні дослідницькі ради, міністерства науки та головні дослідницькі університети – роль вищих навчальних закладів є життєво важливою, враховуючи, що понад 60% дослідників знаходяться в університетах (РіЦиТ, 2020 [91]). Є потенціал для більш тісного узгодження систем оцінювання з ЦСР і рухами відкритої науки та громадянської науки, які мають процвітаючу традицію в регіоні.

В даний час існує висока фрагментація систем оцінки досліджень на національному, місцевому та інституційному рівнях, що ставить дослідження в конкуренцію з іншими функціями, такими як навчання, розширення та спільне виробництво. Системи оцінки досліджень і нагородження дослідників у LAC загалом віддають перевагу поняттю досконалості, яке ґрунтується на методологіях «Глобальної Півночі», заснованих виключно на імпакт-факторі журналів і рейтингів університетів (CLACSO, 2020 [92]). Визнання різних форм виробництва знань і комунікації, а також різноманітність академічної кар'єри (наприклад, викладання, навчання та наставництво, громадянська наука та публічна комунікація науки) здебільшого відсутні в практиках оцінки досліджень. Це особливо проблематично для дослідників у соціальних та гуманітарних науках, де широко використовуються монографії та місцеві мови (CLACSO, 2021 [93]). Регіональні журнали та показники знецінюються або не визнаються в таких процесах оцінювання. Все це посилюється слабкими інформаційними системами та слабкою сумісністю інфраструктур (особливо у власності громади), недофінансованих, оскільки обмежені кошти спрямовуються на виплати APC за журнали відкритого доступу.

Тим не менш, деякі університети в регіоні починають впроваджувати практику оцінювання, яка використовує комбінацію якісних і кількісних методологій, особливо в оцінці дослідників і місійно-орієнтованих досліджень (Гра, 2022 [94]). Перехід до більш комплексних схем оцінки досліджень вимагатиме спільної розробки більш якісних критеріїв; відповідальне використання кількісних даних і посилення процесів експертної оцінки; поступові зміни, які гармонізують і координують політику та методології щодо спільних принципів відповідальної оцінки досліджень і відкритої науки; нові методології та дані для кращої оцінки міждисциплінарних наукових, екологічних та місцевих питань; спільні, сумісні, стійкі, об’єднані інфраструктури, які підтримують бібліорізноманіття та багатомовність; і ініціативи, спрямовані на активну участь, які розширюють участь громадян і соціальних рухів, а також залучають недостатньо представлені дослідницькі групи.

Для вирішення цих проблем регіон ухвалив набір принципів і вказівок для оцінки досліджень. The CLACSO-FOLEC Декларація принципів оцінки досліджень [95], схвалений у червні 2022 року, має на меті гарантувати та захищати якісну та соціально значущу науку, а також охоплювати принципи DORA та відкритої науки, різноманітність результатів досліджень та наукових кар’єр, цінність регіональних журналів та послуг індексування, а також міждисциплінарності, місцевої мови та корінних знань. На сьогодні вона має понад 220 прихильників і вже є позитивні тенденції у відповідальній оцінці досліджень та приклади реформ. Деякі національні приклади наведено в наступних текстових полях.

Національний приклад: Колумбія

Колумбійські асоціації університетів, університетські видавці, дослідницькі менеджери та мережа науково-технічного менеджменту, фінансовані премією DORA Community Engagement Award, разом з іншими працюють над можливостями та викликами відповідальних показників у Колумбії. Завдяки серії семінарів і консультацій, у тому числі з міжнародними організаціями як критеріями, вони розробили рубрику, щоб допомогти колумбійським установам розробити власні REF. Ця рубрика намагається врахувати виклики, виявлені на місцевому рівні, які – для вищих навчальних закладів – включають відсутність знань про альтернативи оцінки досліджень, природу національної екосистеми оцінки досліджень та опір змінам. А спеціальний веб-сайт було розроблено разом з інфографікою, щоб допомогти дослідникам, а розповсюдження та навчання продовжується по всій країні.

Більш детальна інформація: Колумбійський проект відповідальної метрики: до колумбійського інституційного, методологічного інструменту для оцінки досліджень | ДОРА (sfdora.org)

Національний приклад: Аргентина

Цікава спроба реформи в Національна рада з науково-технічних досліджень (Consejo Nacional de Investigaciones Científicas y Técnicas – CONICET) було створено спеціальну резолюцію для соціальних і гуманітарних наук, яка ставить журнали, індексовані в основному ланцюзі, на один рівень із журналами, індексованими в регіональних базах, таких як SciELO, Редаліци or Latindex-Catálogo. Положення наразі переглядається, щоб роз’яснити деякі неясності щодо його впровадження та розширити його критерії. У свою чергу, у 2022 році Рада директорів CONICET приєдналася до Сан-Франциско DORA, публічно визнавши свою відданість покращенню досліджень шляхом посилення оцінювання та постійного вдосконалення своїх процесів.

Команда Національне агентство сприяння дослідженням, технологічному розвитку та інноваціям (Agencia Nacional de Promoción de la Investigación, el Desarrollo Tecnológico y la Innovavión – AGENCIA I+D+i), відповідно до Міністерство науки, технологій та інновацій, є головним спонсором досліджень у країні завдяки різноманітності та масштабам його надзвичайно конкурентоспроможних конкурсів. Зараз AGENCIA реалізує a програма посилити процеси оцінки досліджень у своїх основних фінансових фондах. Поточні вдосконалення включають винагороду рецензентів, щоб стимулювати їхню прихильність до цих процесів, заохочення до відкритого доступу, оскільки результати проекту мають бути загальнодоступними через публікації чи документи відкритого розповсюдження (відповідно до зобов’язань «Інституційні цифрові репозиторії відкритого доступуНаціональний закон 26.899) та включення аспектів справедливості та інклюзивності через гендерні, недостатньо представлені групи поколінь та/або механізми вирівнювання інституційного зміцнення в процесах оцінки досліджень. Тим не менш, у різних дисциплінарних комітетах навчальний план провідних дослідників, відповідальних за пропозиції, все ще оцінюється їхніми колегами за допомогою показників впливу цитування.

Нарешті, за фінансування гранту DORA на залучення громади, факультет психології Національного університету де ла Плата організував віртуальна подія у вересні 2022 року з оцінювання з психології та соціальних наук, яке залучило понад 640 (переважно студентів) із 12 країн, демонструючи зацікавленість молодих людей на континенті. Ця подія допомогла сформувати чотирирічний план управління факультетом і стане джерелом інформації про реформу академічного оцінювання в іспаномовному контексті.

Національний приклад: Бразилія

У Бразилії оцінка досліджень викликає гострі дискусії серед науково-дослідних установ і дослідників, якщо не уряди штатів і федерального уряду. Однак, незважаючи на найбільшу кількість інституцій, які підписали DORA у світі, прикладів реформи оцінки досліджень напрочуд мало. Після опитування підписантів DORA в країні, інституційних консультацій та публічного заходу, профінансованого грантом DORA на залучення громади, керівництво був підготовлений для керівників університетів, щоб вивчити практики відповідального оцінювання.

Посібник зосереджений на трьох основних діях: (1) підвищення обізнаності про відповідальне оцінювання в усіх його формах; (2) навчання та підвищення кваліфікації оцінювачів і тих, кого оцінюють; і (3) впровадження та оцінка. Наступні кроки полягають у створенні мережі практиків – або десяти університетських офісів розвідки – для внесення змін у практику оцінювання та пілотування контекстно-залежних моделей, а також, зрештою, розробки дорожньої карти для бразильських установ, які бажають внести зміни.

Projeto Métricas (2022). Інституційні виклики та перспективи відповідального оцінювання у бразильській вищій освіті: резюме результатів партнерства Projeto Métricas DORA. Університет Сан-Паулу, Бразилія.

У Північній Америці триває відхід від суто кількісних показників, що прискорюється програмою відкритої науки. Відкрита наука та відкрите рецензування допомагають зробити практику оцінювання більш прозорою, надаючи можливість для саморефлексії та виявлення проблем, наприклад, самоцитування та кумівство під час прийому на роботу, просування по службі та експертної оцінки, а також вроджені гендерні та інші упередження. Тривають дебати щодо необхідності розробки розумніших, інтелектуальних індикаторів і змішаних методів оцінювання з потенціалом для гібридної, конвергентної моделі оцінювання, яка служить фундаментальній науці (поглиблення знань) і прикладній науці (вплив на суспільство).

Існує також визнання того, що університетам потрібен академічний простір і свобода, щоб відмовитися від інструментів, які вони зараз використовують для оцінювання, без будь-яких недоліків «першого учасника», і що спільнота користувачів має бути частиною процесу оцінювання, щоб допомогти оцінити зручність використання знання, його засвоєння та вплив. Але існує також умовний опір змінам («навмисна сліпота») з боку верхньої та нижньої частини дослідницької екосистеми – з боку тих, хто отримує користь від статус-кво, і тих, хто нещодавно увійшов до нього. Дуже небагато університетів США підписали DORA, і новий проект DORA намагається зрозуміти, чому це так (ТАРА). Тим не менш, і в Канаді, і в США є кілька цікавих прикладів національних та інституційних ініціатив, спрямованих на здійснення системних змін (див. наступні текстові рамки).

Національний приклад: США

У США Національний науковий фонд є провідним голосом за зміни через його Посилення впливу досліджень на суспільство програма та супровід ширший інструментарій впливу для дослідників та оцінювачів. Справедливість, різноманітність та інтеграція, включаючи залучення корінного населення та традиційно маргіналізованих громад, є ключовими рушійними факторами. Національні академії наук США, член IAP та ISC, також прагнуть стимулювати широкі реформи, забезпечуючи платформу для обміну інформацією та навчання щодо реформування традиційного CV дослідника (Стратегічна рада НАН України, 2022). Заснований на основі роботи академій США Ініціатива лідерства вищої освіти для відкритих стипендій це когорта з понад 60 коледжів та університетів, які спільними зусиллями сприяють просуванню відкритої наукової діяльності, включаючи переосмислення оцінки досліджень для винагороди за відкритість і прозорість.

Національний інститут здоров'я, наприклад, розробив новий біоскетч (SciENcv) для персоналу в заявках на гранти, щоб мінімізувати системну упередженість і тягар звітності, і в той же час більше керуватися впливом.

Національний приклад: Канада

У Канаді ведуться численні розмови про реформу оцінки досліджень, яку проводить DORA; усі три федеральні науково-дослідні ради є підписантами. Рада природничих наук та техніки має перевизначені критерії якості дослідження, відмовившись від бібліометрії, цитувань та h-індексу, відповідно до принципів DORA: показники якості тепер включають хороші дослідницькі дані та управління доступом до них, справедливість, різноманітність та залучення, а також обов’язки щодо навчання. Дві інші дослідницькі ради, ймовірно, підуть цьому прикладу.

Канадські дослідники, як правило, зосереджуються на «мобілізації знань», навмисних зусиллях, спрямованих на посилення суспільного впливу досліджень, шляхом спільного виробництва зі спільнотами користувачів (ISI, 2022). Research Impact Canada це мережа з понад 20 університетів, яка спрямована на розбудову інституційної спроможності через грамотність впливу, або здатність «визначати відповідні цілі та показники впливу, критично оцінювати й оптимізувати шляхи впливу, а також розмірковувати про навички, необхідні для адаптації підходів у різних контекстах», щоб максимізувати вплив досліджень на суспільне благо.

Варто зазначити, що дуже мало канадських університетів підписали DORA. Головним мотиватором будь-яких змін, ймовірно, буде сприйняття стипендій для корінного населення: це стало моральним імперативом у Канаді.

Системи заохочення та винагороди за дослідження в Африці, як правило, відображають «міжнародні», насамперед західні, норми та конвенції. Африканські інституції намагаються дотримуватися цього під час розробки свого підходу до «якості» та «досконалості» в дослідженнях, але вони не завжди відповідають місцевим знанням і потребам. «Якість», «досконалість» і «вплив» досліджень не є чітко визначеними на континенті, і деякі дослідники не звикли до культури «впливу досліджень».

Системи оцінювання в Африці, як правило, не враховують дослідження для суспільної користі, навчання, нарощування потенціалу, адміністрування та управління дослідженнями. Моделі публікацій не залежать від контексту, а APC створюють перешкоди для результатів африканських досліджень. Реформа систем оцінки досліджень може допомогти виправити асиметрію у внеску африканських досліджень у вирішення суспільних проблем, а також покращити доступ до ресурсів, щоб допомогти африканській дослідницькій спільноті зробити це. Подолання бар’єрів на шляху міжсекторального та міждисциплінарного співробітництва є обов’язковим для забезпечення різноманітності поглядів і систем знань для процвітання та сприяння інтерпретації того, що становить якість досліджень для Африки. У будь-якій реформі необхідно враховувати механізми, які об’єднують місцеві, місцеві та «традиційні» світогляди щодо оцінки якості та досконалості досліджень.

Навколо RRA на континенті будуються міцні партнерські відносини. Фінансується міжнародним консорціумом агенцій розвитку Ініціатива ради з надання наукових грантів (SGCI) [96], залучивши 17 африканських країн, провели дослідження досконалості досліджень в Африці, розглядаючи агенції фінансування науки та оцінку дослідників з точки зору Глобального Півдня (Tijssen і Kraemer-Mbula, 2017 [97], [98]). Він досліджував питання досконалості досліджень в Африці на південь від Сахари та потребу в підході, який розширює поняття досконалості за межі публікацій (Tijssen і Kraemer-Mbula, 2018 [99]); розробка документу-вказівки, який наразі оновлюється, щодо належної практики проведення дослідницьких конкурсів (SGCI [100]). На Всесвітньому науковому форумі у 2022 році під егідою SGCI та GRC Південно-Африканська Республіка Національний науково-дослідний фонд (NRF) і Департамент науки та інновацій зібрали міжнародних і місцевих партнерів для обговорення ролі фінансових установ у просуванні RRA, а також для обміну досвідом, просування передового досвіду та оцінки прогресу в розбудові потенціалу та співпраці (NRF, 2022 [101]).

Команда Африканська мережа доказів [102], панафриканська міжсекторальна мережа з понад 3,000 практиків провела певну роботу з оцінки міждисциплінарних досліджень (Африканська мережа доказів [103]), але ще не зрозуміло, якою мірою це було вбудовано в національні та регіональні системи оцінювання. The Африканська мережа досліджень і впливу [103] працює над системою показників, яка містить набір індикаторів для оцінки якості оцінки науки, технологій та інновацій (STI) в Африці, який він сподівається перетворити на веб-інструмент прийняття рішень, щоб направляти інвестиційні рішення в STI .

На національному рівні почалися поступові зміни – деякі приклади наведено в наступних текстових полях. Інші країни, де агентства з фінансування досліджень беруть на себе провідну роль, включають Танзанію (COSTECH), Мозамбік (FNI) і Буркіна-Фасо (FONRID). Ініціатива GRC RRA виявилася важливою платформою для змін на континенті, як і досвід міжнародного сектору розвитку, особливо IDRC Рамка оцінки якості досліджень (RQ+). [104], з тією відмінністю, що він уже застосований, вивчений і вдосконалений. Базується в Африці Міжнародна академія оцінювання [105] також може надати цікаву можливість.

Національний приклад: Кот-д'Івуар

У центрі Кот-д'Івуару Програма Appui Stratégique à la Recherche Scientifique (PASRES) (Програма стратегічної підтримки наукових досліджень) — це переконання, що досконалість у дослідженні має виходити за межі кількості дослідницьких публікацій і включати вимір «поглинання досліджень». Пристосовуючись до національного контексту, процес оцінювання дослідження ґрунтується на критеріях, пов’язаних з науковою та соціальною значущістю, залученням партнерів, навчанням студентів, мобілізацією знань та здійсненністю. Оцінювальні комісії включають наукових експертів (щоб оцінити якість проведених досліджень), приватний сектор (щоб оцінити економічне збагачення) та інші установи (щоб оцінити культурний і соціальний потенціал дослідження).

PASRES заснував два місцевих журнали (один для соціальних наук і лінгвістики, а інший для навколишнього середовища та біорізноманіття) і покриває всі витрати на публікацію в них. Нарешті, PASRES фінансує заходи з розбудови потенціалу та тематичні конференції, щоб дослідники могли представити свої дослідження приватному сектору та громадянському суспільству.

Додаткова інформація: Уаттара, А. та Сангаре, Ю. 2020. Підтримка досліджень у Кот-д'Івуарі: процеси відбору та оцінки проектів. E. Kraemer-Mbula, R. Tijssen, ML Wallace, R. McLean (Eds.), African Minds, стор. 138–146

PASRES || Program d'Appui Stratégique Recherche Scientifique (csrs.ch)

Національний приклад: Південна Африка

Оцінка досліджень у Південній Африці (SA) переважно зосереджена навколо бібліометрії. З 1986 року, коли Департамент вищої освіти (DHET) запровадив політику виплати субсидій університетам за дослідницькі публікації, опубліковані в журналах акредитованих індексів, випуск університетських дослідницьких публікацій зріс одночасно зі значенням Rand, присудженим за публікацію. Прагнучи забезпечити фінансування досліджень і просунути свою кар’єру, дослідники SA опублікували якомога більше статей, що призвело до збочених і непередбачуваних наслідків.

Академія наук Південної Африки (ASSAf) замовила звіт про наукові публікації в країні (2005–2014) і виявила ознаки сумнівної редакційної практики та хижацьких публікацій (ASSAf, 2019). Використовуючи нюансну систему категоризації, приблизно 3.4% від загальної кількості статей за останні десять років були визнані хижацькими, причому цифри зростали різкіше з 2011 року. Журнали, визнані хижацькими, були включені до DHET як «прийнятні для фінансування». Було встановлено, що вчені були залучені в усіх університетах SA (Mouton and Valentine, 2017).

Звіт ASSAf містить рекомендації на системному, інституційному та індивідуальному рівнях, а відповідні контрзаходи з боку DHET, NRF та деяких університетів, як видається, приборкали хижацьку практику в Південно-Африканській Республіці, причому кількість хижацьких публікацій науковцями Південно-Африканської Республіки (в журналах, акредитованих DHET) досягла піку в 2014–2015 роках. XNUMX і згодом знизився. Дослідники також були занепокоєні тим, що політика DHET в SA перешкоджає співпраці та не визнає внеску окремих осіб у великих дослідницьких групах, що вимагає перегляду схем оцінки ефективності/оцінки досліджень. Використання системи одиниць публікації зараз визнано поганим показником для оцінки якості та продуктивності досліджень, а також для відбору та просування вчених.

Більш детальна інформація:

Академія наук Південної Африки (ASSAf). 2019. Дванадцять років: другий звіт ASSAf про публікації досліджень у Південній Африці та з неї. Преторія, ASSAf.

Mouton, J. and Valentine, A. 2017. Ступінь статей південноафриканського авторства в хижацьких журналах. Південноафриканський науковий журнал, том. 113, № 7/8, С. 1–9.

Mouton, J. та ін. 2019. Якість дослідницьких публікацій Південної Африки. Стелленбош.

2019_assaf_collaborative_research_report.pdf

Національний приклад: Нігерія

Університети Нігерії оцінюють дослідників за трьома основними напрямками: викладання, результативність досліджень і громадські послуги. З них продуктивність дослідження має більшу вагу, з наголосом на опублікованих рецензованих дослідницьких статтях і враховуючи кількість і ролі авторів (перше авторство та/або відповідне авторство) у цих публікаціях. Прагнучи стати більш конкурентоспроможними на глобальному рівні, більшість університетів надають більшого значення журналам, індексованим International Scientific Indexing або SCOPUS, щоб приділити більше уваги якості та міжнародній співпраці; і використовуйте відсоток статей у цих журналах як критерій просування.

Сумним наслідком цього є те, що багатьом дослідникам, особливо гуманітарним наукам, не вистачає належного фінансування та/або можливостей для публікацій у цих журналах. Натомість вони публікують більше рецензій, а не дослідницьких статей, або відчувають потребу залучати впливових старших колег як співавторів через їхній фінансовий, а не інтелектуальний внесок. Плагіат зростає, як і хижацька публікація. Проте загальний глобальний рейтинг нігерійських університетів підвищився, тим самим задовольнивши уряд і фінансові агентства, і розглядається як успішний. Нігерія не єдина в цьому відношенні.

Нігерійська академія наук відновила свій власний рецензований журнал як головний журнал, у якому вчені можуть публікувати (наразі безкоштовно) і отримувати високі оцінки своїх установ.

У регіоні домінують висококонкурентні системи оцінювання на основі кількісних показників, причому англомовні країни зазвичай формують рамки оцінювання, а інші країни наслідують їх приклад. В Австралії, наприклад, існує конкурентна система фінансування, заснована на бібліометрії та рейтингах університетів: «навіть ЦСР перетворюються на показники ефективності». Подібні проблеми існують у Малайзії та Таїланді, і інші країни АСЕАН, ймовірно, підуть за ними. Важливим винятком є ​​Китай, де уряд відіграє значну роль у створенні серйозних системних змін, що може мати серйозні наслідки в усьому світі (див. текстове поле).

Обнадійливо те, що дослідницьке співтовариство в регіоні зростає усвідомлення та занепокоєння щодо обмежень існуючих систем оцінки досліджень та їх загрози чесності досліджень. Незважаючи на те, що ECR, включаючи національні молоді академії та мережу молодих вчених АСЕАН, разом із громадськими рухами все більше залучаються до цього питання, їм важко бути почутими. Уряд і фінансові спільноти, включаючи керівництво університетів, здебільшого відсутні в дебатах: вони надають значення кількісним показникам, але не оцінюють наслідків для досліджень. Дійсно, учасники консультацій повідомляють, що додається більше кількісних критеріїв, оскільки інституції та дослідники починають грати з системою, підживлюючи неправильну поведінку дослідників.

Але є значні можливості для змін, як показано в наступних текстових полях.

Національний приклад: Китай

Зараз найбільш науково-продуктивна країна в світі (Толлефсон, 2018; Statista, 2019), а другий за інвестиціями в дослідження (ОЕСР, 2020), те, що відбувається в Китаї, може вплинути на реальні системні зміни. Нова політика на державному рівні має на меті відновити «науковий дух, якість інновацій та внесок послуг» досліджень і «сприяти поверненню університетів до їхніх первісних академічних цілей» (МОСТ, 2020). Індикатори Web of Science більше не будуть домінуючим фактором для оцінки чи фінансування рішень, як і кількість публікацій і JIF. Публікації у високоякісних китайських журналах будуть заохочуватися та підтримуватися їх розвиток. «Репрезентативні публікації» – 5–10 робіт на вибір, а не вичерпні списки – шукаються в оцінювальних комісіях разом із критеріями, які оцінюють внесок досліджень у вирішення важливих наукових питань, надання нових наукових знань або впровадження інновацій та справжніх досягнень. певної сфери.

У розробці системи оцінки якості та досконалості досліджень, яка більше відповідає власним потребам, найбільша агенція Китаю, що фінансує фундаментальні дослідження, Національний фонд природничих наук Китаю (NSFC), з 2018 року проводить систематичні реформи, щоб відобразити зміни в науці: глобальні зміни наукові ландшафти, важливість трансдисциплінарності, поєднання прикладних і фундаментальних досліджень і взаємодія між дослідженнями та інноваціями (Манфред Горват, 2018), відхід від бібліометрії до системи, яка посилює місцеву актуальність досліджень у Китаї (Чжан і Сівертсен, 2020). Він удосконалив свою систему рецензування для оцінки пропозицій, щоб краще відповідати руйнівним дослідженням, керованим цікавістю, гострим проблемам на кордонах досліджень, чудовій науці, застосованій до економічних і соціальних потреб, і міждисциплінарним дослідженням, що мають справу з великими проблемами. У 2021 році за цими категоріями було подано та розглянуто 85% пропозицій. Нещодавно, у листопаді 2022 року, було оголошено про дворічний пілотний план реформування оцінки талантів у сфері науки та технологій, до якого залучено вісім міністерств, дванадцять науково-дослідних інститутів, дев’ять університетів і шість органів місцевого самоврядування. Його мета полягатиме в дослідженні показників і методів оцінки наукових і технологічних талантів, задіяних у різних частинах інноваційної системи.

Субрегіональний приклад: Австралія та Нова Зеландія

І Австралія, і Нова Зеландія зараз перебувають на важливих етапах. В Австралії поточні одночасні перевірки Австралійської науково-дослідної ради, переговорів про «Досконалість у дослідницькій діяльності в Австралії» та «Золотий відкритий доступ» у сукупності створюють вікно можливостей (Росс, 2022).

Після публічних консультацій щодо майбутнього фінансування науки Нова Зеландія розробляє нову системна програма для майбутнього національної системи досліджень та інновацій. І Австралія, і Нова Зеландія зробили внесок у розробку метричної системи для своїх дослідницьких груп корінного населення (Принципи ДОГЛЯДУ).

Національний приклад: Індія

Центр політичних досліджень Департаменту науки і технологій (DST-CPR) нещодавно провів дослідження оцінки досліджень та їх реформування в Індії, провів семінари з ключовими зацікавленими сторонами (національними фінансовими агентствами, дослідницькими установами та академіями), інтерв’ю та опитування. Було виявлено, що в той час як університети та багато установ, які мають національне політичне значення (наприклад, сільське господарство), зосереджені майже виключно на кількісних показниках, деякі фінансові агентства та установи, такі як Індійські технологічні інститути, також приймають більш якісні заходи. Цей більш якісний підхід у закладах вищого рівня вже слугує для відволікання більшої кількості фінансування на дослідження національних пріоритетів, хоча ще занадто рано говорити про те, чи він має якийсь кількісно визначений вплив на якість та вплив досліджень.

Основним орієнтиром для оцінки є експертна перевірка на основі висновків експертного комітету, але лише після початкового відбору заявок, заснованого виключно на кількісних показниках. З цими комітетами також існують фундаментальні проблеми: брак різноманітності та розуміння відкритих наукових практик, недостатнє врахування впливу досліджень на суспільство, низька спроможність і упередженість. Ці проблеми та методології оцінювання в цілому недостатньо вивчені, і існує нестача рекомендацій та літератури з цього питання.

Тим не менш, зростає усвідомлення необхідності реформування оцінки досліджень. Індійська національна молода академія наук, фінансована грантом на залучення спільноти DORA, співпрацювала з Індійським інститутом науки (IISc) і DST-CPR, щоб дослідити шляхи покращення оцінки досліджень – їхні обговорення були передані ключовим зацікавленим сторонам із з метою стимулювання національного обговорення необхідності реформування та, зрештою, зміни дослідницької культури Індії, щоб її дослідження були більш інноваційними та/або суспільно актуальними. DST-CPR передбачає розробку основи для досягнення досконалості в дослідженні, яка може бути інтегрована в її національну структуру рейтингу інституцій.

Більш детальна інформація:

Баттачарджі, С. 2022. Чи виконує свою роботу те, як Індія оцінює свої дослідження? – Наука про дріт

DORA_IdeasForAction.pdf (dstcpriisc.org).

Сухірадіпта, Б. та Колей, М. 2022. Оцінка досліджень в Індії: що має залишитися, що може бути краще? DST-CPR, IISc.

Національний приклад: Японія

Протоколи оцінки досліджень у Японії дуже розповсюджені: хоча існують «Національні рекомендації щодо оцінки науково-дослідних робіт», видані Радою з питань науки, технологій та інновацій Кабінету міністрів, Міністерством освіти, культури, спорту, науки та технологій (MEXT) та іншими міністерства також розробили власні рекомендації. Крім того, університети та науково-дослідні інститути мають власні системи оцінювання наукових досліджень і дослідників, які, як і в багатьох частинах світу, пов’язані з інституційною ефективністю та розподілом бюджету.

Зростає занепокоєння щодо надмірної залежності від кількісної оцінки. У відповідь Рада науки Японії підготувала рекомендація щодо майбутнього оцінювання досліджень у Японії (2022), закликаючи до меншого наголосу на кількісних і більше на якісних показниках, більше визнання різноманітності досліджень і відповідальності в оцінці досліджень і моніторингу міжнародних тенденцій у реформуванні практик оцінки досліджень. Зрештою, дослідницькі інтереси та просування по службі повинні бути в центрі оцінки дослідження, і потрібно докладати всіх зусиль, щоб запобігти втомі, демотивації та надмірному тиску на дослідників.

Опитування MEXT щодо індикаторів оцінки показало, що JIF є одним із багатьох індикаторів і, як такий, не мав сильного впливу на японські дослідження, хоча це залежить від дисципліни: наприклад, JIF використовується частіше в медичних науках – а менш традиційні дослідницькі заходи, такі як відкриті дані, рідше оцінюються.

Додаткова інформація: РЕКОМЕНДАЦІЯ – На шляху до оцінки досліджень для розвитку науки: виклики та перспективи для бажаної оцінки досліджень (scj.go.jp)

Підсумовуючи, у деяких регіонах, країнах та інституціях спостерігається зростання імпульсу для реформування оцінки досліджень. Приклади, наведені тут, включають загальнонаціональні реформи, створення консорціумів або коаліцій однодумців, які прагнуть змін, орієнтацію/керування окремими секторами та втручання для боротьби зі збоченими стимулами та поведінкою.

Це ще не послідовна та інклюзивна глобальна розмова, і не обов’язково відкрито ділитися практиками та ідеями. Деякі члени GYA, IAP та ISC вже активно працюють у цьому просторі, і можна було б знайти корисні можливості, щоб допомогти їм поділитися своїми знаннями та передовою практикою один з одним і з широким членством. Запуск Глобальної обсерваторії оцінки відповідальних досліджень (AGORRA) Дослідницьким інститутом (RoRI) пізніше в 2023 році забезпечить додаткову платформу для обміну знаннями, для порівняльного аналізу національних і міжнародних систем реформ і прискорення двох- спосіб обміну та тестування хороших ідей у ​​цих системах.

У цьому документі викладено основні рушійні сили, можливості та виклики для реформи оцінки досліджень та зібрано ілюстративні приклади змін, що відбуваються на глобальному, регіональному, національному та інституційному рівнях. Метою цього є мобілізація GYA, IAP та ISC та їхніх відповідних членів як важливих учасників глобальної дослідницької екосистеми.

Спираючись на наукову літературу та пропагандистську роботу за останнє десятиліття, можна зробити п’ять основних висновків.

1. Необхідність переосмислення того, як оцінюються дослідницькі особи, установи та результати, є чіткою та терміновою. Підтримка цілісності та якості досліджень, максимізація різноманітної, інклюзивної та недискримінаційної науки та оптимізація науки для глобального суспільного блага є основними рушійними силами в контексті світу, що швидко змінюється.

2. Швидко розвивається спосіб, у який дослідження замовляються, фінансуються, проводяться та передаються. Перехід до орієнтованої на місію та міждисциплінарної науки, відкритих наукових рамок, розвитку моделей експертної оцінки, використання штучного інтелекту та машинного навчання та стрімкого розвитку соціальних медіа змінюють традиційні способи проведення та комунікації досліджень, вимагаючи нового мислення щодо систем оцінки досліджень а також показники та процеси експертної оцінки, що це лежить в основі. Потрібні додаткові та термінові дослідження, щоб забезпечити ці системи майбутнім.

3. Необхідно створити більш збалансовані системи оцінки досліджень як з кількісними, так і з якісними показниками, які оцінюють численні форми науково-дослідної продукції, процеси та діяльність. Проте заява про те, що якісні процеси рецензування є принаймні такими ж важливими, як і бібліометрія, непроста і ускладнюється тим, що різні частини світу знаходяться на різних етапах розвитку своїх систем оцінювання: у деяких дебати щодо реформи оцінки досліджень є досить просунутими, в інших вони зароджуються або відсутні.

4. Потрібна узгоджена та справді глобальна та інклюзивна ініціатива для мобілізації спільнот ключових зацікавлених сторін для розробки та впровадження узгоджених способів оцінювання та фінансування досліджень; навчання один в одного та в інших секторів (зокрема, у тих, хто фінансує дослідження та агенцій розвитку). Колективні інклюзивні дії щодо трансформаційних змін повинні визнавати взаємопов’язаність, а не інтернаціоналізацію чи універсалізацію, тобто бути чутливими до контексту, усвідомлювати різні проблеми, з якими стикаються різні частини світу, і багату гетерогенність дослідницької екосистеми, водночас забезпечуючи достатню однорідність для забезпечення сумісних досліджень і систем фінансування та мобільності дослідників, щоб мінімізувати розбіжності та фрагментацію. Часткова ексклюзивна розмова ризикує ще більше упередити та поставити в невигідне становище тих, хто історично був виключений.

5. Зміни потрібні на всіх рівнях – глобальному, регіональному, національному та інституційному – тому що показники каскадно проходять через всю дослідницьку екосистему, і всі ці рівні взаємопов’язані. Усі зацікавлені сторони мають відігравати свою роль як партнери, а не противники, включаючи спонсорів, університети, асоціації університетів та науково-дослідних інститутів, міжурядові організації (МГО), уряди та урядові мережі, академії, керівників наукової політики, менеджерів з досліджень та інновацій та окремих дослідників. Членство в GYA, IAP та ISC разом охоплює значну частину цього багатого ландшафту (рис. 1, додаток C).

Рисунок 1: Карта зацікавлених сторін щодо членства GYA, IAP та ISC (Клацніть для перегляду)

Об’єднуюча сила таких організацій, як GYA, IAP та ISC, може допомогти об’єднати різноманітність поглядів і досвіду в більшій частині дослідницької екосистеми: експериментувати з існуючими та новими ініціативами, вчитися на них і спиратися на них. Важливо те, що вони можуть підключатися до ключових зацікавлених сторін у стимулюванні змін – урядів, спонсорів досліджень та університетів, а також життєво важливих глобальних рухів, таких як DORA – щоб допомогти мобілізувати архітектуру акторів. У сукупності вони можуть виконувати функції:

● прихильники – підвищення обізнаності щодо дискусій щодо оцінки досліджень, розробок і реформ у зв’язку з визнанням того, що їхні члени є (i) наставниками та керівниками молодших колег, (ii) керівниками вищих навчальних закладів, (iii) членами правління органів управління фінансуванням і видавництвом та ( iv) радники політиків;

● інноватори – вивчення різних підходів до оцінки фундаментальних і прикладних досліджень інклюзивними та інноваційними способами;

● взірці – зміна власної інституційної культури – оновлення членства, нагород, практик публікацій і конференцій, а також власний приклад;

● оцінювачі – використання ролі членів як на інституційному, так і на індивідуальному рівнях, чия діяльність полягає в оцінюванні дослідників, наукових досліджень та установ, а також тих, хто виконує функції видавництва, редакції та рецензування;

● спонсори – залучення фінансових установ, представлених в ISC, зокрема, та членів, які керують і розподіляють великі національні та міжнародні гранти;

● співробітництво – підтримка вже започаткованих кампаній реформ, наприклад DORA, CoARA ЄС та зобов’язання ЮНЕСКО щодо відкритої науки.

Автори цього документа заохочують GYA, IAP та ISC, а також організації, подібні до них, брати участь у таких способах:

ДІЯ 1: Поділіться знаннями та передовою практикою

У цій статті наведено приклади втручань та інновацій з усього світу. Простір для обміну досвідом і побудови сильної та інклюзивної «коаліції бажаючих» є життєво важливим.

1.1: Забезпечте платформу для членів, які вже є активними в цьому просторі, щоб поділитися своїми знаннями та створити стратегічні зв’язки, особливо на національному рівні. Використовуйте ці приклади, щоб допомогти заповнити Приладова панель DORA [106] навчання та належної практики.

1.2: Огляд і картографування розробок під керівництвом членів у реформі оцінки наукових досліджень, щоб визначити інституційні, національні та регіональні підходи, а також знайти й поділитися передовою практикою. Зберіть тих, хто вже очолював/брав участь у великих національних і міжнародних ініціативах, щоб розвинути адвокацію та навчання серед членів.

ДІЯ 2: Подайте приклад

Членство в GYA, IAP та ISC охоплює багато частин дослідницької екосистеми, і кожна з них може відігравати важливу роль у формуванні успіху вченого.

2.1: Перехід до більш прогресивних методологій оцінки досліджень серед широких членів. Показуйте приклад і допомагайте змінювати культуру оцінки досліджень через власні філософії та практики членства, спираючись на знання DORA та GRC. Академії, як традиційно елітні організації, відіграють тут особливу роль – їх слід заохочувати розширювати власні критерії обрання та відбору, щоб відображати ширше та плюральніше розуміння якості та впливу дослідження, щоб відобразити цей плюралізм (і з це більше залучення та різноманітності) у їхньому членстві.

2.2: Стимулювати регіональну співпрацю та лідерство. Заохочуйте регіональні мережі членів GYA та національних молодих академій, мережі регіональних академій IAP та регіональних координаційних центрів ISC розглянути можливість наслідування правління ALLEA ініціатива, пристосовані до власного контексту.

ДІЯ 3: Побудова стратегічного партнерства з ключовими зацікавленими сторонами.

Трьома основними суб’єктами, відповідальними за проведення реформи оцінки досліджень, є уряди, організації, що фінансують дослідження, та університети. GYA, IAP та ISC можуть допомогти залучити дослідницьке співтовариство до їхніх зусиль щодо реформування та подолання розривів, які існують на даний момент.

3.1: Взаємодія з керівництвом GRC для вивчення способів спільної роботи – по суті, щоб стимулювати членів та їхніх відповідних національних представників GRC досліджувати, як їхні дослідницькі спільноти можуть залучитися.

3.2: Взаємодія з глобальними та регіональними мережами університетів, такими як Міжнародна асоціація університетів (IAU), для розробки нових інструментів навчання для дослідницької спільноти; використовувати керівництво вищого навчального закладу в рамках колективного членства GYA, IAP та ISC як адвокатів.

3.3: З’єднайте установи-члени в країнах, які отримують гранти DORA (Аргентина, Австралія, Бразилія, Колумбія, Індія, Японія, Нідерланди, Уганда та Венесуела) із грантовими лідерами DORA, щоб обмінюватися ідеями та потенційно розширювати ці місцеві ініціативи.

3.4: Налагоджуйте відносини з провідними міжнародними агенціями розвитку, які вже впроваджують інноваційні та ефективні стратегії для оцінки досліджень у країнах із низьким і середнім рівнем доходу та найменш розвинених країнах.

3.5: Співпрацювати з ЮНЕСКО, щоб допомогти сформувати національні зобов’язання щодо оцінки досліджень у рамках ЮНЕСКО Рекомендація щодо відкритої науки.

ДІЯ 4: Забезпечити інтелектуальне лідерство щодо майбутнього оцінювання досліджень.

Зосередження на конкретних і нагальних викликах для реформи оцінки досліджень є обов’язковим. GYA, IAP і ISC, а також міжнародні мережі, подібні до них, можуть спиратися на свої повноваження щодо скликання, інтелектуальну вагу та вплив своїх членів і зв’язки з ключовими групами.

4.1: Спільне скликання з ключовими зацікавленими сторонами низки багатосторонніх дискусійних форумів або «Лабораторій трансформації» для переосмислення та впровадження реформи оцінки досліджень – залучення керівників вищих навчальних закладів та їх глобальних (наприклад, IAU та IARU) і регіональних мереж (наприклад, LERU та AAU [107] ]), спонсори досліджень (включаючи національних представників GRC), міжнародні агентства розвитку та провідні видавництва, серед інших. Залучайте нові або використовуйте існуючі ресурси для фінансування цієї роботи (див. Додаток D для деяких попередніх ідей).

4.2: Розробити нове дослідження щодо важливого аспекту майбутнього розвитку оцінки досліджень, наприклад (1) впливу технологічних досягнень на оцінку досліджень і рецензування (включаючи як використання, так і зловживання), а також те, як вони можуть розвиватися в майбутньому та ( 2) ширше реформування системи рецензування (щодо її прозорості, відкритості, спроможності, визнання та навчання). Обидва питання є невід’ємними для надійності знань і достовірності науки.

В основі всіх цих зусиль мають бути три фундаментальні речі:

• Розширення критеріїв оцінки наукових досліджень і дослідників за межі традиційних академічних показників, щоб включити численні форми результатів дослідження та функції, включаючи кількісні критерії, які можуть вимірювати соціальний вплив дослідження.

• Заохочення керівників вищих навчальних закладів та фінансувальників досліджень прийняти та підтримувати ці нові критерії оцінки як міри якості та цінності досліджень.

• Робота з цими лідерами над новими формами підвищення обізнаності та навчання для майбутніх поколінь дослідників, щоб озброїти їх необхідними навичками для спілкування та ефективної взаємодії з політиками, громадськістю та іншими ключовими групами; а також сприяти різноманітності та включенню в дослідницьке підприємство.

Автори цього документа дійшли висновку, що такі мережі, як GYA, IAP та ISC, разом із іншими ключовими групами та підтримуючи їх, можуть допомогти побудувати узгоджену, спільну глобальну ініціативу для мобілізації дослідницьких спільнот, університетів та інших вищих навчальних закладів навколо цього порядку денного, а також для розгляду як запровадити нові способи оцінювання та фінансування досліджень, щоб зробити їх більш ефективними, справедливими, інклюзивними та результативними.

Завантажити

Авторами цієї статті є члени GYA-IAP-ISC Scoping Group, яка працювала з перервами між травнем 2021 року та лютим 2023 року (докладніше в Додатку A):

• Сара де Рійке (Голова, Нідерланди)

• Клеменсія Косентіно (США)

• Робін Крю (ПАР)

• Карло Д'Іпполіті (Італія)

• Шахін Мотала-Тімол (Маврикій)

• Noorsaadah Binti A Rahman (Малайзія)

• Лаура Ровеллі (Аргентина)

• Девід Во (Австралія)

• Яо Юйпен (Китай)

Робоча група дякує Трейсі Елліотт (старшому консультанту ISC) за її роботу з координації та редагування. Дякуємо також Алексу Рашфорту (Центр науково-технічних досліджень (CWTS), Лейденський університет, Нідерланди) і Сарі Мур (ISC) за додатковий внесок і підтримку.

Робоча група також вдячна всім тим, з ким були проведені консультації під час підготовки цього документу (Додаток B), хто приділяв свій час і поділився своїми поглядами на оцінку досліджень у своїх відповідних країнах і регіонах, а також рецензентам, призначеним GYA, IAP та ISC:

• Каріна Баттіані, виконавчий директор Латиноамериканської ради соціальних наук (CLACSO) (Уругвай)

• Річард Кетлоу, професор-дослідник, Університетський коледж Лондона (Великобританія)

• Сібель Екер, асистент професора, Університет Радбаунд (Нідерланди)

• Encieh Erfani, науковий співробітник Міжнародного центру теоретичної фізики (Іран, Італія)

• Мотоко Котані, виконавчий віце-президент, Riken (Японія)

• Прадіп Кумар, професор і старший науковий співробітник Університету Вітватерсранда (Південна Африка)

• Бун Хан Лім, доцент, Університет Тінку Абдул Рахмана (UTAR) (Малайзія)

• Прісцилла Колібеа Манте, старший викладач Науково-технологічного університету імені Кваме Нкруми (KNUST) (Гана)

• Альма Ернандес-Мондрагон, президент Мексиканської асоціації сприяння розвитку науки (AMEXAC) (Мексика)

• Хатіджа Мохамад Юсофф, старший професор Малайзійського університету Путра (UPM) (Малайзія)

1. ЮНЕСКО. 2021. Науковий звіт ЮНЕСКО: Гонка з часом за розумніший розвиток (розділ 1). ЮНЕСКО. https://unesdoc.unesco.org/ark:/48223/pf0000377250

2. Королівське товариство. (2012). Наука як відкрите підприємство. Центр наукової політики Королівського товариства. https://royalsociety.org/~/media/policy/projects/sape/2012-06-20-saoe.pdf

3. Haustein, S. and Larivière, V. 2014. Використання бібліометрії для оцінки досліджень: можливості, обмеження та побічні ефекти. I. Welpe, J. Wollersheim, S. Ringelhan, M. Osterloh (eds.), Incentives and Performance, Cham, Springer, стор. 121–139.

4. Маклеод, М., Мічі, С., Робертс, І., Дірнагі, У., Чалмерс, І., Йоаднідіс, Дж., Аль-Шахі Салман, Р., Чен., А. В. та Глазіу, П. 2014 Біомедичні дослідження: підвищення цінності, зменшення відходів. Ланцет, том. 383, № 9912, стор. 101–104.

5. Бол, Т., де Ваан, М. та ван де Райт, А. 2018. Ефект Метью у фінансуванні науки. Праці Національної академії наук Сполучених Штатів Америки, том. 115, № 19, стор. 4887–4890.

6. Міжнародна наукова рада. 2021. Відкриття історії науки: як зробити наукові публікації корисними для науки в епоху цифрових технологій. Париж, Франція, ISC. https://doi.org/10.24948/2021.01

7. Мюллер Р. і де Ріке С. 2017. Мислення за допомогою показників. Дослідження епістемічного впливу показників академічної успішності в науках про життя. Оцінка досліджень, вип. 26, № 3, С. 157–168.

8. Ansede, M. 2023. Один із найбільш цитованих учених у світі, Рафаель Луке, відсторонений без збереження заробітної плати на 13 років. El Paίs. https://english.elpais.com/science-tech/2023-04-02/one-of-the-worlds-most-cited-scientists-rafael-luque-suspended-without-pay-for-13-years. html

9. ІАП. 2022. Боротьба з хижацькими науковими журналами та конференціями. Трієст, Італія, IAP. https://www.interacademies.org/publication/predatory-practices-report-English

10. Елліотт, Т., Фазін, Б., Асрат, А., Сетто, А.М., Ерікссон, С., Луї, Л.М. та Негра, Д. 2022. Сприйняття поширеності та впливу хижацьких академічних журналів і конференцій: глобальне опитування дослідників. Learned Publishing, Vol. 3, № 4, С. 516–528.

11. Collyer, TA 2019. «Нарізка салямі» допомагає кар’єрі, але шкодить науці. Природа Поведінка людини, Том. 3, стор. 1005–1006.

12. Abad-García, MF 2019. Плагіат і хижацькі журнали: загроза науковій чесності. Anales De Pediatría (Англійське видання), том. 90, № 1, стор. 57.e1–57.e8.

13. Omobowale, AO, Akanle, O., Adeniran, AI та Adegboyega, K. 2013. Периферійні стипендії та контекст іноземних платних публікацій у Нігерії. Current Sociology, Vol. 62, № 5, С. 666–684.

14. Ордвей Д.-М. 2021. Академічні журнали, журналісти поширюють дезінформацію, розглядаючи спростування досліджень. Ресурс журналіста. https://journalistsresource.org/home/retraction-research-fake-peer-review/

15. Каррі, С., де Рійке, С., Хетч, А., Піллей, Д., ван дер Вейден, І. та Вілсдон, Дж. 2020. Зміна ролі спонсорів у відповідальній оцінці досліджень: прогрес, перешкоди та шлях вперед. Лондон, Великобританія, Дослідницький інститут.

16. Глобальна Північ зазвичай відноситься до індустріалізованих або розвинутих економік, як визначено Організацією Об’єднаних Націй (2021), тоді як Глобальний Південь стосується нових індустріалізованих економік або тих, що перебувають у процесі індустріалізації чи розвитку, і які часто є поточними. або колишні піддані колоніалізму.

17. Міжакадемійне партнерство. Сесія 12: Перемога від більшої інклюзії: зв’язок між різноманітністю та академічною культурою. IAP. https://www.interacademies.org/page/session-12-winning-greater-inclusion-relation-between-diversity-and-academic-culture

18. Global Young Academy. Робоча група наукової досконалості. Берлін, Німеччина, GYA. https://globalyoungacademy.net/activities/scientific-excellence/

19. ISC. 2021. Вивільнення науки: виконання місій заради сталого розвитку. Париж, Франція, ISC. doi: 10.24948/2021.04

20. ISC. 2022. Уривок із виступу Пітера Глюкмана на симпозіумі Endless Frontier. Париж Франція. ISC. https://council.science/current/blog/an-extract-from-peter-gluckmans-speech-to-the-endless-frontier-symposium/

21. Белчер, Б., Клау, Р., Давел, Р., Джонс, С. і Пінто, Д. 2021. Інструмент для міждисциплінарного планування та оцінки досліджень. Статистика інтеграції та впровадження. https://i2insights.org/2021/09/02/transdisciplinary-research-evaluation/

22. Белчер, Б.М., Расмуссен, К.Е., Кемшоу, М.Р. та Зорнес, Д.А. 2016. Визначення та оцінка якості дослідження в міждисциплінарному контексті. Оцінка досліджень, вип. 25, № 1, С. 1–17.

23. Wilsdon, J. та ін. 2015. Метрична хвиля: Звіт незалежного огляду ролі метрики в оцінці та управлінні дослідженнями. HEFCE.

24. ЮНЕСКО. Рекомендації ЮНЕСКО щодо відкритої науки. Париж, Франція, ЮНЕСКО. https://unesdoc.unesco.org/ark:/48223/pf0000379949

25. Джерело ЮНЕСКО показало, що ця робота наразі призупинена, оскільки в дебатах домінують лише деякі та не обов’язково резонує з багатьма: розробці рекомендацій має передувати широкий діалог.

26. Баррога, Е. 2020. Інноваційні стратегії експертної оцінки. Журнал корейської медичної науки, Том. 35, № 20, стор. e138.

27. Вудс, Х. Б. та ін. 2022. Інновації в рецензуванні в наукових публікаціях: мета-резюме. SocArXiv, doi: 10.31235/osf.io/qaksd

28. Kaltenbrunner, W., Pinfield, S., Waltman, L., Woods, HB and Brumberg, J. 2022. Innovating peer review, reconfiguring scholarly communication: An analytical view of ongoing peer review innovation activities. SocArXiv, doi: 10.31235/osf.io/8hdxu

29. Холм, Дж., Волтман, Л., Ньюмен-Ґріффіс, Д. та Вілсдон, Дж. 2022. Належна практика використання машинного навчання та штучного інтелекту організаціями, що фінансують дослідження: висновки з серії семінарів. Лондон, Великобританія, Дослідницький інститут. https://doi.org/10.6084/m9.figshare.21710015.v1

30. Проктер Р., Гловер Б. та Джонс Е. 2020. Дослідження 4.0 Дослідження в епоху автоматизації. Лондон, Великобританія, DEMOS.

31. Бейкер, М. 2015. Розумне програмне забезпечення виявляє статистичні помилки в психологічних роботах. Природа, https://doi.org/10.1038/nature.2015.18657

32. Ван Норден, Р. 2022. Дослідники використовують ШІ для аналізу експертної оцінки. Природа 609, 455.

33. Северін, Ан., Стрінзель, М., Еггер, М., Баррос, Т., Соколов, А., Муатт, Дж. та Мюллер, С. 2022. Arxiv,

34. Гадд, Е. 2022. Інструменти оцінки цитування на основі ШІ: добре, погано чи потворно? Бібліомаг. https://thebibliomagician.wordpress.com/2020/07/23/ai-based-citation-evaluation-tools-good-bad-or-ugly/

35. Foltýnek, T., Meuschke, N. and Gipp, B. 2020. Виявлення академічного плагіату: систематичний огляд літератури. ACM Computing Surveys, Vol. 52, № 6, С. 1–42.

36. Куач, К. 2022. Видавці використовують штучний інтелект, щоб виловлювати поганих вчених, які підтасовують дані. Реєстр. https://www.theregister.com/2022/09/12/academic_publishers_are_using_ai/

37. Ван Діс, Е., Боллен, Дж., Зуідема, ван Руджі, Р. та Боктінґ, К. 2023. ChatGPT: п’ять пріоритетів для дослідження. Природа, вип. 614, стор. 224–226.

38. Чавла, Д. 2022. Чи повинен ШІ відігравати роль в оцінці якості досліджень? Природа, https://doi.org/10.1038/d41586-022-03294-3

39. Сіраноскі, Д. 2019. Штучний інтелект обирає рецензентів грантів у Китаї. Природа, вип. 569, стор. 316–317.

40. Майк, Т. 2022. Чи можна оцінити якість опублікованих наукових журнальних статей за допомогою машинного навчання? Кількісні наукові дослідження, том. 3, № 1, С. 208–226.

41. Хомскі, Н., Робертс, І. і Ватумулл, Дж. 2023. Хибна обіцянка ChatGPT. Нью-Йорк Таймс. https://www.nytimes.com/2023/03/08/opinion/noam-chomsky-chatgpt-ai.html

42. Кларіват. 2022. Оцінка дослідження: походження, еволюція, результати. Clarivate. https://clarivate.com/lp/research-assessment-origins-evolutions-outcomes/

43. Blauth, TF, Gstrein, OJ та Zwitter, A. 2022. Злочини штучного інтелекту: огляд зловмисного використання та зловживання AI. IEEE Access, том. 10, стор. 77110–77122.

44. Кастельвеккі, Д. 2019. Піонер штучного інтелекту: «Небезпека зловживань дуже реальна». Природа, doi: https://doi.org/10.1038/d41586-019-00505-2

45. Джордан, К. 2022. Сприйняття науковцями впливу дослідження та залучення через взаємодію на платформах соціальних мереж. Навчання, медіа та технології, doi: 10.1080/17439884.2022.2065298

46. ​​Воутерс, П., Захеді, З. і Костас, Р. 2019. Показники соціальних мереж для оцінки нових досліджень. Glänzel, W., Moed, HF, Schmoch U., Thelwall, M. (eds.), Springer Handbook of Science and Technology Indicators. SpringerLink.

47. Рафолс, І. та Стірлінг, А. 2020. Розробка показників для відкритого оцінювання. Відомості з оцінки дослідження. ResearchGate, doi: 10.31235/osf.io/h2fxp

48. Річ А., Сюереб А., Врубель Б., Керр Дж., Тієтджен К., Мендісу Б., Фарджалла В., Сю Дж., Домінік М., Вуїт Г. ., Ход, О. та Баул, Дж. 2022. Повернення до основ. Галле, Німеччина, Global Young Academy.

49. Йонг, Л., Франссен, Т. та Пінфілд, С. 2021. Досконалість дослідницької екосистеми: огляд літератури. Лондон, Великобританія, Дослідницький інститут.

50. Хетч, А. та Каррі, С. 2020. Культура дослідження: змінити те, як ми оцінюємо дослідження, важко, але не неможливо. eLife, Vol. 9, стор. e58654.

51. ІАП. 2022. Боротьба з хижацькими науковими журналами та конференціями. Трієст, Італія, IAP.

52. Хікс, Д., Воутерс, П., Уолтман, Л., де Рійке, С. та Рафолс, І. 2015. Бібліометрія: Лейденський маніфест для дослідницької метрики. Природа, вип. 520, стор. 429–431.

53. Публони. 2018. Глобальний стан експертної оцінки. Лондон, Великобританія, Clarivate. https://doi.org/10.14322

54. Кованіс, М., Порчер, Р., Рево, П. і Трінкварт, Л. 2016. Глобальний тягар рецензування журналів у біомедичній літературі: сильний дисбаланс у колективному підприємстві. PLoS ONE, Vol. 11, № 11, стор. e0166387.

55. Форрестер, Б. 2023. Набридло і вигоріло: «тихий вихід» вражає наукові кола. Природа, вип. 615, стор. 751–753.

56. Хетч, А. та Каррі, С. 2020. Дослідницька культура: змінити те, як ми оцінюємо дослідження, важко, але не неможливо. eLife, Vol. 9, стор. e58654.

57. Могер Д., Боутер Л., Клейнерт С., Глазіу П., Хар Шам М., Барбур В., Коріа А.М., Фогер Н. та Дірнагі У. 2020. The Hong Принципи Конга для оцінювання дослідників: сприяння чесності досліджень. Біологія PLoS, Vol. 18, № 7, стор. e3000737.

58. Вілсдон Дж., Аллен Л., Белфіоре Е., Кемпбелл П., Каррі С., Хілл С., Джонс Р., Кейн Р. та Керрідж С. 2015. Метрика Tide: звіт незалежного огляду ролі показників в оцінці та управлінні дослідженнями. doi:10.13140/RG.2.1.4929.1363

59. Каррі, С., Гадд, Е. та Уілсдон, Дж. 2022. Використання метричного припливу: індикатори, інфраструктури та пріоритети для оцінки відповідальних досліджень у Великобританії. Лондон, Великобританія, Дослідницький інститут.

60. Редакція Nature. 2022. Підтримайте сміливе бачення Європи щодо відповідальної оцінки досліджень. Природа, вип. 607, стор. 636.

61. Декларація про оцінку досліджень (DORA). https://sfdora.org/about-dora/

62. Хікс, Д., Воутерс, П., Уолтман, Л., де Рійке, С. та Рафолс, І. 2015. Бібліометрія: Лейденський маніфест для дослідницької метрики. Природа, вип. 520, стор. 429–431.

63. Каррі, С., Гадд, Е. та Вілсдон, Дж. 2022. Використання метричного припливу: індикатори, інфраструктури та пріоритети для оцінки відповідальних досліджень у Великобританії. Лондон, Великобританія, Дослідницький інститут. https://rori.figshare.com/articles/report/Harnessing_the_Metric_Tide/21701624

64. ДОРА. Декларація Сан-Франциско про оцінку досліджень. https://sfdora.org/read/

65. ДОРА. Інструменти для попередньої оцінки досліджень. ДОРА. https://sfdora.org/project-tara/

66. ДОРА. Гранти DORA на залучення спільноти: підтримка реформи академічного оцінювання https://sfdora.org/dora-community-engagement-grants-supporting-academic-assessment-reform/

67. Ненорми. SCOPE Framework for Research Evaluation. https://inorms.net/scope-framework-for-research-evaluation/

68. Ненорми. Структура SCOPE. https://inorms.net/scope-framework-for-research-evaluation/

69. Торфін С. 2018. Якість дослідження плюс. Центр досліджень міжнародного розвитку. https://www.idrc.ca/en/rqplus

70. Reid, C., Calia, C., Guerra, C. та Grant, L. 2019. Етичні дії в глобальних дослідженнях: інструментарій. Единбург, Шотландія, Единбурзький університет. https://www.ethical-global-research.ed.ac.uk/

71. Валтерс, К. 2014. Теорії змін у міжнародному розвитку: комунікація, навчання чи підзвітність? Фонд Азії. https://www.alnap.org/system/files/content/resource/files/main/jsrp17-valters.pdf

72. Фрейзер К., Нієналтовскі М. Х., Гофф К. П., Ферт К., Шарман Б., Брайт М. та Діас С. М. 2021. Оцінка відповідального дослідження. Глобальна дослідницька рада. https://globalresearchcouncil.org/news/responsible-research-assessment/

73. Глобальна дослідницька рада. Оцінка відповідального дослідження GRC. YouTube. https://www.youtube.com/watch?v=CnsqDYHGdDo

74. Каррі, С., де Рейке, С., Хетч, А., Дорсамі, П., ван дер Вейден, І. та Вілсдон, Дж. 2020. Зміна ролі спонсорів у відповідальній оцінці досліджень. Лондон, Великобританія, Дослідницький інститут. https://doi.org/10.6084/m9.figshare.13227914.v1

75. Глобальна дослідницька рада. Відповідальна робоча група з оцінки досліджень. GRC. https://globalresearchcouncil.org/about/responsible-research-assessment-working-group/

76. Global Young Academy. Наукова досконалість. GYA. https://globalyoungacademy.net/activities/scientific-excellence/

77. Адамс Дж., Бердслі Р., Борнманн Л., Грант Дж., Сомсзор М. та Вільямс К. 2022. Оцінка дослідження: походження, еволюція, результати. Інститут наукової інформації. https://clarivate.com/ISI-Research-Assessment-Report-v5b-Spreads.pdf

78. ДОРА. Бібліотека ресурсів. https://sfdora.org/resource-library

79. Saenen, B., Hatch, A., Curry, S., Proudman, V. and Lakoduk, A. 2021. Переосмислення оцінювання академічної кар’єри: ​​історії про інновації та зміни. ДОРА. https://eua.eu/downloads/publications/eua-dora-sparc_case%20study%20report.pdf

80. Coalition for Advancing Research Assessment (CoARA). https://coara.eu/

81. CoARA. 2022. Угода про реформування оцінки досліджень. https://coara.eu/app/uploads/2022/09/2022_07_19_rra_agreement_final.pdf

82. Редакція Nature. 2022. Підтримайте сміливе бачення Європи щодо відповідальної оцінки досліджень. Природа, вип. 607, стор. 636.

83. Відкрита та універсальна наука. OPUS Home – Проект відкритої та універсальної науки (OPUS). https://opusproject.eu/

84. Вергуліс, Т. 2023. GraspOS рухається вперед до більш відповідальної оцінки досліджень. OpenAIRE. https://www.openaire.eu/graspos-moving-forward-to-a-more-responsible-research-assessment

85. Європейська дослідницька рада. 2022. Наукова рада ERC вирішує внести зміни до форм і процесів оцінювання для конкурсів 2024 року. ERC. https://erc.europa.eu/news-events/news/erc-scientific-council-decides-changes-evaluation-forms-and-processes-2024-calls

86. Усі європейські академії. 2022. Заява ALLEA щодо реформування оцінювання наукових досліджень у європейських академіях. АЛЛЕЯ. https://allea.org/wp-content/uploads/2022/10/ALLEA-Statement-RRA-in-the-Academies.pdf

87. Eurodoc, MCAA, YAE, ICoRSA та GYA. 2022. Спільна заява щодо висновків Ради ЄС щодо оцінки досліджень та впровадження відкритої науки. Zenodo, doi: 10.5282/zenodo.7066807.

88. Оверлейт, Б. 2022. Шлях до багатовимірної академічної кар’єри – структура LERU для оцінювання дослідників. LERU, Левен, Бельгія. https://www.leru.org/files/Publications/LERU_PositionPaper_Framework-for-the-Assessment-of-Researchers.pdf

89. Королівське товариство. Резюме для дослідників. https://royalsociety.org/topics-policy/projects/research-culture/tools-for-support/resume-for-researchers/

90. Гроув, Дж. 2021. Чи розповідають описові резюме правильну історію? Times Higher Education (THE). https://www.timeshighereducation.com/depth/do-narrative-cvs-tell-right-story

91. РІЦИТ. Дослідники за сектором зайнятості (FTE) 2011-2020. app.ricyt.org/ui/v3/comparative.html?indicator=INVESTEJCSEPER&start_year=2011&end_year=2020

92. КЛАКСО. 2020. Оцінка оцінки наукових досліджень. На шляху до трансформації оцінки наукових досліджень у Латинській Америці та Карибському басейні Серія від Латиноамериканського форуму з оцінки досліджень (FOLEC). CLACSO, Буенос-Айрес, Аргентина. https://www.clacso.org/wp-content/uploads/2020/05/FOLEC-DIAGNOSTICO-INGLES.pdf

93. КЛАКСО. 2021. До трансформації систем оцінювання в Латинській Америці та Карибському басейні, Інструменти для просування нової політики оцінювання. Серія з Латиноамериканського форуму з оцінки досліджень (FOLEC). CLACSO, Буенос-Айрес, Аргентина. https://www.clacso.org/wp-content/uploads/2022/02/Documento-HERRAMIENTA-2-ENG.pdf

94. Грас, Н. 2022. Форми дослідження, орієнтованого на проблеми розвитку. Практика та перспективи національних науково-технічних організацій і вищих навчальних закладів Латинської Америки та Карибського басейну. ФОЛЕК. CLACSO, Буенос-Айрес, Аргентина. 2022-07-27_Report Forms-of-research-assessment.pdf ENG.pdf (dspacedirect.org)

95. CLACSO є Радою соціальних наук у регіоні та провідним поборником соціально актуальної та відповідальної науки. Латиноамериканський форум з оцінки досліджень (FOLEC) є регіональним простором для дебатів і обміну передовим досвідом, і розробляє регіональні рекомендації щодо оцінки досліджень на підтримку цих принципів. Обидва забезпечують сильне регіональне лідерство.

96. SGCI. Ініціатива рад з надання наукових грантів (SGCI) в Африці на південь від Сахари. https://sgciafrica.org/

97. SGCI. Tijssen, R. and Kraemer-Mbula, E. 2017. Аналітична записка: Перспективи досконалості досліджень на Глобальному Півдні – оцінка, моніторинг і оцінка в умовах країн, що розвиваються. SGCI. https://sgciafrica.org/wp-content/uploads/2022/03/Policy-Brief-Perspectives-on-research-excellence-in-the-Global-South_-Assessment-monitoring-and-evaluation-in-developing- country-contexts.pdf

98. Тійссен, Р. та Кремер-Мбула, Е. 2018. Досконалість досліджень в Африці: політика, сприйняття та продуктивність. SGCI. https://sgciafrica.org/research-excellence-in-africa-policies-perceptions-and-performance/

99. Тійссен, Р. та Кремер-Мбула, Е. 2018. Досконалість досліджень в Африці: політика, сприйняття та продуктивність. Наука і державна політика, Вип. 45 № 3, С. 392–403. https://doi.org/10.1093/scipol/scx074

100. SGCI. Рекомендації з належної практики щодо якості конкурсів досліджень. https://sgciafrica.org/eng-good-practice-guideline-on-the-quality-of-research-competitions/

101. СРН. NRF проводить стратегічні зустрічі для розвитку наукового партнерства в Африці – Національний дослідницький фонд

102. Belcher, BM, Rasmussen, KE, Kemshaw, MR and Zornes, DA 2016. Визначення та оцінка якості дослідження в трансдисциплінарному контексті, Research Evaluation, Vol. 25, стор. 1–17, https://doi.org/10.1093/reseval/rvv025

103. АРІН. 2020. Показники наукових технологій та інновацій (STI) – Африканська мережа досліджень та впливу (arin-africa.org)

104. Маклін Р., Офір З., Етерінгтон А., Асеведо М. та Фейнштейн О. 2022. Якість дослідження плюс (RQ+) – Оцінка досліджень по-різному. Оттава, Центр досліджень міжнародного розвитку. https://idl-bnc-idrc.dspacedirect.org/bitstream/handle/10625/60945/IDL-60945.pdf?sequence=2&isAllowed=y

105. Міжнародна академія моніторингу та оцінки

106. ДОРА. Приладова панель TARA. https://sfdora.org/tara-landing-page/

107. IARU, Міжнародна асоціація науково-інтенсивних університетів; LERU, Ліга європейських дослідницьких університетів; AAU, Африканська асоціація університетів