Будущее оценки исследований: синтез текущих дебатов и разработок

Динамичная и инклюзивная исследовательская система чрезвычайно важна как для науки, так и для общества для продвижения фундаментальных знаний и понимания, а также для решения все более насущных глобальных проблем. Но исследовательская система находится под давлением из-за растущих ожиданий со стороны множества участников (включая спонсоров, правительства и издательскую индустрию), напряженности между динамикой конкуренции и сотрудничества, развивающейся системы научных коммуникаций, агрессивной – временами – издательской индустрии и индустрии анализа данных. и ограниченные ресурсы. Исследовательское предприятие должно справляться с этими требованиями и противоречиями, сохраняя при этом качество исследований, поддерживая их целостность, будучи инклюзивными и разнообразными, а также защищая как фундаментальные, так и прикладные исследования.

За последнее десятилетие это давление на научную систему и необходимость реагирования на нее сопровождались более критическими размышлениями о системах оценки исследований и измерения эффективности. Несмотря на то, что контекстно-зависимые методологии оценки качества и воздействия исследований имеют важное значение, активизировались дебаты о широком, сложном и неоднозначном влиянии нынешних критериев и показателей оценки на качество и культуру исследований, качество фактических данных, информирующих политику, приоритеты в исследованиях и их финансировании, индивидуальные карьерные траектории и благополучие исследователей. В некоторых частях мира растет признание того, что узкий и упрощенный набор оценочных показателей и индикаторов не отражает удовлетворительным образом качество, полезность, целостность и разнообразие исследований. Регулярно используемые показатели – часто основанные на журналах – не могут охватить важные дополнительные аспекты высококачественных исследований, такие как наставничество, обмен данными, взаимодействие с общественностью, воспитание следующего поколения ученых, а также выявление и предоставление возможностей недостаточно представленным группам. Помимо того, что проблема неправильного применения показателей и индикаторов слишком узка по своему охвату, она также рассматривается как искажающая стимулы к достижениям, ставящая в невыгодное положение некоторые дисциплины (включая жизненно важные междисциплинарные и трансдисциплинарные исследования) и подпитывающая хищническую и неэтичную практику публикаций.

Кампании по пресечению неправильного применения показателей, расширению критериев качества и более систематическому преобразованию культуры исследований посредством манифестов и заявлений, принципов и реформ подготовили почву для глобальных дебатов о необходимости реформирования оценки исследований. Эти голоса теперь призывают перейти от манифестов к действиям. Это происходит на фоне трансформационных сдвигов в способах проведения исследований и их распространения. Рост открытых исследовательских рамок и социальных сетей, переход к целенаправленной и трансдисциплинарной науке, рост открытого рецензирования и преобразующий потенциал искусственного интеллекта (ИИ) и машинного обучения требуют нового мышления о том, как оцениваются исследования и исследователи. .

На этом фоне Глобальная молодежная академия (GYA), Межакадемическое партнерство (IAP) и Международный научный совет (ISC) объединили усилия для подведения итогов дискуссий и событий в области оценки исследований во всем мире, опираясь на исследовательскую группу ученых и серию региональных консультаций. Новые подходы разрабатываются и опробуются высшими учебными заведениями и спонсорами исследований в некоторых частях мира, и некоторые из них включены в этот документ. В других частях мира подобные дебаты и действия только зарождаются или даже отсутствуют. Поскольку исследовательские системы развиваются разными темпами, существует риск расхождений и фрагментации. Такое расхождение может поставить под угрозу однородность, необходимую для обеспечения исследовательского сотрудничества и облегчения мобильности исследователей в разных географических регионах, секторах и дисциплинах. Однако один размер не может подойти всем, и существует необходимость в контекстно-зависимых усилиях по реформированию системы оценки, признавая местные проблемы.

Этот дискуссионный документ, в котором основное внимание уделяется исследованиям в государственном секторе и оценке исследований и исследователей, носит глобальный характер и охватывает повестку дня, в которой обычно доминируют события в Европе и Северной Америке: региональные перспективы и примеры национального развития и институциональных реформ выделено. Глобальное и коллективное членство в GYA, IAP и ISC представляет собой широкий срез исследовательской экосистемы, разнообразные мандаты которой могут способствовать подлинным системным изменениям. Этот документ призван послужить стимулом для GYA, IAP и ISC – как платформ для взаимного обучения, экспериментов и инноваций – работать со своими членами, другими научными учреждениями и ключевыми группами интересов во всем мире, инициировать и развивать дискуссии, а также мобилизовать более инклюзивные и совместные действия.

Рекомендации для GYA, IAP и ISC и их членов (см. раздел 5) структурированы вокруг их роли в качестве защитников, образцовых, новаторов, спонсоров, издателей, оценщиков и сотрудников, с указанием ориентировочных сроков для действий. В первую очередь эти действия включают создание пространства для обмена уроками и результатами соответствующих инициатив, реализованных на сегодняшний день (для создания сообщества практиков); в среднесрочной перспективе совместный созыв форумов с участием многих заинтересованных сторон и ключевых групп для перепроектирования и внедрения оценки исследований практически осуществимыми, контекстно-зависимыми и инклюзивными способами; и, в более долгосрочной перспективе, инициирование новых исследований, которые способствуют мышлению о будущем, чувствительным к быстро развивающимся разработкам в области технологий искусственного интеллекта, методологий экспертной оценки и реформ, а также средств массовой информации.

Ассоциация Глобальная молодежная академия (GYA), Межакадемическое партнерство (IAP) и Международный научный совет (ISC) собрались вместе в 2021 году, чтобы подвести итоги проблем, дискуссий и разработок в области оценки исследований во всем мире, в различных исследовательских культурах и системах, а также изучить способы, с помощью которых они могли бы участвовать и влиять на переосмысление оценки исследований для 21 век, открыто и инклюзивно.

Международная исследовательская группа (Приложение А) была созвана для изучения этой области и консультирования трех организаций о том, как они могли бы усилить существующие усилия по реформированию оценки исследований. Центральное место в этой работе занимала предпосылка о том, что (1) согласованная инициатива, возглавляемая исследователями, даст мировому исследовательскому сообществу более сильный голос в формировании будущего оценки исследований и (2) есть преимущества «оценки вместе с оцениваемыми»; таким образом, помогая наметить путь к устойчивым, системным изменениям в культуре и практике оценки.

В дополнение к кабинетному исследованию в конце 2021 года была проведена серия региональных консультаций с экспертами, выбранными аналитической группой, и партнерами. Документ для обсуждения является основным результатом этой работы. Он призван служить проспектом для исследовательских бесед с множеством заинтересованных сторон, не в последнюю очередь с самим мировым исследовательским сообществом.

Практика оценки исследований служит нескольким целям и проводится множеством заинтересованных сторон. Они используются для оценки исследовательских предложений для принятия решений о финансировании, научных работ для публикации, исследователей для найма или продвижения по службе, а также для работы исследовательских институтов и университетов. В данной статье основное внимание уделяется оценке исследователей и исследований и не рассматривается институциональная оценка или ранжирование, хотя все эти области оценки неразрывно связаны между собой. Текущая практика в значительной степени опирается на количественные показатели, в основном основанные на журналах, такие как импакт-фактор журнала (JIF), количество публикаций, количество цитирований, индекс Хирша и показатель влияния статей (AIS). Другие показатели включают в себя целевые показатели дохода от грантов, показатели вклада (например, финансирование исследований или размер исследовательской группы), количество зарегистрированных патентов и, в последнее время, показатели социальных сетей (ранее «альтметрики»), такие как количество репостов в социальных сетях или загрузок. В совокупности эти показатели оказывают глубокое влияние на репутацию организаций, исследовательских групп и отдельных лиц, индивидуальные и совместные исследовательские программы, карьерные траектории и распределение ресурсов.

За последние два десятилетия глобальные инвестиции в исследования и разработки (НИОКР) утроились – примерно до 2 триллионов долларов США в год. Только за последние годы наблюдался самый быстрый рост расходов на НИОКР с середины 1980-х годов — примерно на 19% (ЮНЕСКО, 2021) [1]. Эти дополнительные инвестиции в исследования приносят с собой культуру подотчетности, которая оказывает давление на исследовательские учреждения и отдельных лиц и может в ответ вызвать отклонения или порочные стимулы. Это также привело к росту стремлений: поддерживать качество и сокращать исследовательские потери, ошибки и неэффективность; максимизировать инклюзивность и разнообразие; оптимизировать исследования как глобальное общественное благо; и продвигать более открытую и заинтересованную науку. Без реформ качество, целостность, разнообразие и полезность исследований окажутся под угрозой.

Количественные показатели могут стать важной частью оценки исследований при переходе к более открытой, подотчетной и публичной исследовательской системе (Королевское общество, 2012 г.) [2]. Но они также частично ответственны за подпитку исследовательской культуры «опубликуй или погибнешь», которая существует во всем мире, что оказывает пагубное воздействие на качество результатов исследований, целостность и надежность исследовательских систем и разнообразие исследовательских сообществ (например, Остейн и Ларивьер, 2014 г.) [3]. Это связано с тем, что метрики используются как показатель качества исследований как учреждениями, так и политиками и спонсорами исследований, но они являются мерой результатов, а не качества исследований или их воздействия как такового. Таким образом, эти субъекты во многом определяют социальный и культурный контекст, в котором проводятся исследования, а системы вознаграждения и продвижения по службе в академических кругах формируют выбор ученых на всех этапах их карьеры (Маклауд и др., 2014 г.) [4].

«Использование библиометрических индексов... в качестве косвенных показателей эффективности исследователей является удобным показателем оценки, но глубоко ошибочным. Большинство из них уделяют неустанное внимание индивидуальным достижениям, сокращают поддержку исследований за счет заинтересованности университетов в высокоэффективных показателях, заставляют всех «ставить галочки» и соответствовать, в то время как они играют важную роль в искажении рынка журнальных публикаций. Существует острая необходимость в реформах».

Открытие журнала науки (2021 г.), Международный научный совет

Другим сообществом заинтересованных сторон, обладающим огромной властью и влиянием на исследовательскую коммуникацию и производство знаний, является издательский сектор. Журнальные показатели стали мощным стимулом для публикаций в коммерческих журналах и могут стимулировать поведение, которое может иметь серьезные побочные эффекты. Вместо того, чтобы оценивать результаты исследования по его научным достоинствам, именно воспринимаемое качество журнала, в котором оно публикуется, обычно принимается как свидетельство научного качества, что стимулирует высококоммерческий издательский рынок, основанный на репутации, а не на науке. Затраты на открытый доступ в основном возникают из-за сборов за обработку данных авторов (APC): они могут быть непомерно высокими, особенно в некоторых частях мира, создавая препятствия для публикаций исследований для исследователей с ограниченными ресурсами и потенциально рискуя расколоть международное научное сообщество. Риски все большей зависимости от коммерческих поставщиков и условий их использования на всех этапах исследовательского процесса создают веские аргументы в пользу некоммерческих альтернатив. Кроме того, поскольку библиометрические показатели стали доминирующим источником стимулов в университетах, они снизили ценность образовательной и других форм научной работы (например, преподавания и консультирования по вопросам политики). Поскольку системы оценки исследований имеют тенденцию отдавать предпочтение тем, кто получает крупные гранты и публикуется в журналах с высоким импакт-фактором, есть основания полагать, что исследователи, которые уже добились успеха, с большей вероятностью добьются успеха снова («эффект Мэтью», Бол и др., 2018 г.) [5].

Когда научные публикации становятся средством оценки, а не коммуникации, это ставит в невыгодное положение тех, кто предпочитает сообщать о своих исследованиях другими значимыми способами (Отчет ISC за 2021 год) [6]. Сюда входят общие результаты (и, возможно, основная валюта) Глобальной молодой академии (GYA), Межакадемического партнерства (IAP) и Международного научного совета (ISC): отчеты, рабочие документы, совместные заявления, редакционные статьи, новости и вебинары. . Некоторые дисциплины также находятся в невыгодном положении: например, исследователи в области инженерии и информатики, где важно (обычно более быстрое) общение посредством конференций и их протоколов; и те, кто занимается гуманитарными и социальными науками, которые обычно используют монографии, книги и профессиональные журналы.

Другие предпочитают публиковаться в специализированных или местных журналах или не могут себе позволить публиковать свои исследования (пусть и высокого качества) в журналах открытого доступа с высокими импакт-факторами (и сопутствующими высокими APC); последнее ставит в невыгодное положение жителей стран с низкими доходами, особенно начинающих исследователей (ECR). Эти же исследователи находятся под сильным давлением в поисках постоянных академических должностей, и их поведение сильно обусловлено количественными критериями, используемыми агентствами по финансированию исследований и институциональными советами по найму и продвижению по службе. Соблазн мыслить индикаторами(Мюллер и де Райке, 2017 г.) [7] и даже «играть» в систему является реальностью для всех исследователей во всем мире (например, Анседе, 2023 г.) [8].

Проявления этой игры включают в себя использование исследователями (сознательно или непреднамеренно) хищнических журналов и конференций для увеличения количества своих публикаций. (ИАП, 2022 г. [9]; Elliott et al., 2022 [10]), занимаясь самоцитированием и фальсификацией рецензий, плагиатом, раздуванием импакт-фактора и «нарезкой салями» (разделением большого исследования, о котором можно было бы сообщить в одной исследовательской статье, на более мелкие опубликованные статьи) (Коллайер, 2019 г.) [11]. Под давлением у исследователей может возникнуть соблазн прибегнуть к грабительским услугам с единственной целью — получить докторскую степень, нанять или продвинуть по службе или обеспечить финансирование своих исследовательских проектов (например, Абад-Гарсия, 2018 г. [12]; Омобовале и др., 2014 г.) [13]. Научные круги, основанные на показателях, и системы научных публикаций создают коварные стимулы: то, где исследователь публикует, важнее, чем то, что он публикует.

Влияние на качество и целостность исследований вызывает огромную обеспокоенность. В последние годы количество отозванных научных статей резко возросло из-за нарушений в исследованиях и публикациях, а также плохих или фальсифицированных наборов данных. Журналам могут потребоваться месяцы или годы, чтобы отказаться от ненадежных исследований, и к этому времени они, возможно, уже неоднократно цитировались и стали достоянием общественности (Ордуэй, 2021 г.) [14].

Преобладание оценки исследований на основе показателей является однозначным, и во всем мире наблюдаются разные тенденции, когда дело доходит до реформы оценки, которая рискует оставить часть исследовательского сообщества позади. В своем анализе глобального ландшафта исследовательской оценки (Карри и др., 2020 г. [15]; представлено), похоже, что многие исследовательские и финансирующие учреждения в странах/регионах с более высокими доходами начинают включать более широкий набор показателей, таких как качественные меры «воздействия», в то время как библиометрия остается преобладающей в учреждениях «Глобального Юга» [16 ], по всем дисциплинам. Без более инклюзивных действий существует риск расхождения национальных систем оценки, что потенциально может привести к еще большей системной предвзятости и потенциальной несовместимости в системах исследований, оценки, финансирования и публикаций. Это, в свою очередь, может препятствовать международному исследовательскому сотрудничеству и мобильности исследователей. Создавая барьеры для сотрудничества между Севером и Югом, это может также препятствовать сопутствующему укреплению исследовательских экосистем на Глобальном Юге – надежная оценка исследований укрепляет исследовательские экосистемы и доверие к ним, снижает вероятность утечки мозгов и помогает создать сильный человеческий капитал для устойчивого развития. разработка. Тем не менее, универсальные версии того, что представляет собой хорошая производительность, порождают формы поведения, которые не обязательно способствуют совершенству, справедливости, прозрачности и инклюзивности. Измерение достижений ученых, которые преуспели в благоприятной, хорошо обеспеченной ресурсами среде, где возможностей предостаточно, точно так же, как и тех, кто боролся с проблемами и преодолевал препятствия во враждебной и не поддерживающей среде, в лучшем случае сомнительно (ГЯ, 2022 г.) [17]. Многие ученые ощущают историческую и географическую изоляцию от исследовательского сообщества, во многом вызванную тем, как их оценивали на протяжении всей их карьеры. Исключая некоторые формы исследований и не сумев использовать разнообразие идей в глобальном масштабе, существует риск того, что нынешняя практика оценки исследований будет способствовать формированию господствующей культуры/культуры последователей доминирующих моделей, задуманных Западом.

Исследователи в странах с низкими доходами и на ранних этапах своей карьеры нуждаются в голосе, чтобы они могли помочь сформировать новые модели оценки с учетом контекста, которые соответствуют поставленной цели и учитывают проблемы, с которыми они сталкиваются в повседневной жизни. дневная основа. GYA и растущее число национальных молодых академий дают ECR этот голос, и Рабочая группа GYA по научному совершенству [18] предлагает свои взгляды на реформу оценки исследований (см. текст ниже).

Мнения сообщества начинающих исследователей

Исследователи, начинающие карьеру (ECR), особенно обеспокоены практикой оценки исследований, поскольку их карьерные перспективы и реализация исследовательской программы решающим образом зависят от того, как их оценивают. Это влияет на практику финансирования, найма и продвижения по службе способами, которые не всегда воспринимаются как справедливые и равноправные.

Хотя очевидно, что решения о финансировании и человеческих ресурсах влияют на состав рабочей силы исследователей, не всегда признается, что благодаря своему влиянию на финансирование оценка исследований формирует стимулы для учреждений и исследователей следовать определенной траектории исследований, работать в определенной области или присоединяйтесь к одним сетям вместо других. Таким образом, оценка исследований формирует развитие самой науки, и это особенно верно в отношении ее непропорционального влияния на перспективы и ожидания ECR.

Хотя наука является глобальным предприятием, некоторые ученые сталкиваются с более высокими барьерами при входе в исследовательское сообщество и взаимодействии с ним из-за места их рождения, их идентичности или социально-экономического происхождения. Это вопрос организации научной индустрии, а не оценки исследований как таковой, но многие ECR считают, что критерии оценки не должны быть слепыми к реальности опыта исследователей и не должны навязывать единые и стандартизированные критерии для различных ситуаций.

Исследование, проведенное Рабочей группой по научному совершенству GYA (готовящийся к печати отчет), показывает, что оценка исследований может зависеть больше от исследовательской политики страны, чем от культурных или научных дебатов. Сосредоточив внимание на критериях повышения до профессорской должности (или эквивалентной) в академических кругах, в докладе показано, что национальная политика и учреждения, как правило, имеют конкретные документы, устанавливающие критерии оценки исследований. Вместо того, чтобы охватывать большой и разнообразный набор критериев, которые можно было бы использовать для формирования всестороннего взгляда на исследователя, эти документы, как правило, сосредотачиваются на одном измерении или приоритете. Например, некоторые документы сосредоточены на оценке служебной деятельности исследователя (например, преподавания и наставничества), а некоторые — на накопленной работе исследователя (например, с точки зрения количества журнальных статей), но редко и то, и другое.

Из этого открытия есть два основных следствия. Во-первых, эта исследовательская оценка является иерархической и нисходящей. Это создает риск, поскольку как метрики, так и качественные методы часто игнорируют разнообразие исследователей: как по их образованию и карьере, так и – что не менее важно – разнообразие их методов и идей. Напротив, ECR, представленные в GYA, считают, что было бы важно признать разнообразие видов деятельности, необходимых для исследовательского предприятия, и разработать схемы оценки исследований, которые способствуют разнообразию и плюрализму, а не требуют соответствия и омологации.

Во-вторых, различия между дисциплинами менее значительны, чем различия в зависимости от экономического статуса стран, в которых работает исследователь. Страны с низкими доходами, похоже, полагаются на количественные показатели и вознаграждают «производительность», в то время как страны с более высокими доходами все более открыты для качественной оценки воздействия. Если это расхождение будет развиваться дальше, оно может стать дополнительным препятствием для международной мобильности ученых, что особенно важно для ECR.

В заключение в отчете GYA подчеркивается, что не существует серебряной пули: оценка исследований должна быть ориентирована на цели оценки и, в конечном итоге, на цели учреждения или исследовательской политики страны. Оценка должна учитывать разнообразие профилей и профессий исследователей и принимать разные фокусы в зависимости от цели оценки. Поскольку наука — это глобальный и самокритичный разговор, внешняя оценка не всегда может быть необходимой. Действительно, часто обсуждается использование и реальная ценность оскорбительных рейтингов (людей, учреждений, СМИ или даже целых стран).

Сегодняшние глобальные проблемы, многие из которых сформулированы в Целях устойчивого развития (ЦУР) Организации Объединенных Наций (ООН), требуют преобразующих, междисциплинарных и трансдисциплинарных исследований, что само по себе требует новых методов проведения исследований и сотрудничества (МСК, 2021 г.) [19]. Актуальность инклюзивных, совместных, преобразующих, трансдисциплинарных исследований не соответствует тому, как исследования поддерживаются, оцениваются и финансируются – чтобы исследования могли выполнить свои обещания обществу, им нужны более открытые, инклюзивные, контекстно-зависимые системы оценки (Глюкман, 2022 г.) [20]. Укоренившееся поведение ученых, спонсоров и издателей может затруднить перемены, так что инвестиции потенциально могут быть направлены в сторону от тех самых областей, в которых они наиболее нуждаются.

Рост междисциплинарных и трансдисциплинарных исследований, а также общественной науки является важным событием и имеет жизненно важное значение для решения глобальных проблем. Поскольку исследования выходят за рамки дисциплинарных и институциональных границ и вовлекают более широкий круг заинтересованных сторон – включая сообщество пользователей для совместной разработки неотложных исследовательских вопросов для общества – традиционные критерии оценки академических исследований недостаточны и могут даже ограничивать развитие и использование трансдисциплинарных исследований (Belcher и др., 2021) [21]. Для руководства трансдисциплинарной исследовательской практикой и оценкой необходимы более подходящие принципы и критерии: ранний пример структуры оценки качества построен на принципах актуальности, достоверности, легитимности и полезности (Belcher и др., 2016) [22].

Способы заказа, финансирования, проведения и распространения исследований стремительно развиваются и требуют ускорения реформы оценки исследований. Они включают в себя следующее:

(1) Переход к открытой науке

Движение за открытую науку требует одновременной реформы систем оценки исследований для повышения открытости и прозрачности. Многие из показателей и индикаторов, используемых для измерения эффективности исследований, сами по себе непрозрачны и часто рассчитываются за закрытыми коммерческими дверями. Такое отсутствие прозрачности ставит под угрозу автономию исследовательского сообщества – оно ограничивает возможности оценки, тестирования, проверки и улучшения показателей исследований (Уилсдон и др., 2015 г. [23]). Ответственная оценка исследований становится ключевым аспектом глобального движения к открытой науке, о чем свидетельствует, например, Рекомендация Организации Объединенных Наций по вопросам образования, науки и культуры (ЮНЕСКО) об открытой науке (ЮНЕСКО, 2021 г. [24]) – который включает в себя разработку набора инструментов для открытой науки для его членов, который поможет им пересмотреть и реформировать свою исследовательскую карьеру и критерии оценки [25].

(2) Развитие экспертной оценки

Рост открытого рецензирования – будь то публикация отчетов о рецензировании и/или публичное определение рецензентов – является важным событием для оценки исследований.Баррога, 2020 г. [26]; Вудс и др., 2022 [27]). Рост инфраструктуры данных позволил издателям создавать идентификаторы цифровых объектов (DOI) для отчетов о рецензировании, связывать отчеты о рецензировании с индивидуальными идентификаторами Open Researcher и Contributor ID (ORCID) и публиковать статьи в виде препринтов. Количество препринтов значительно выросло во время глобальной пандемии COVID и выявило проблемы, возникающие при оценке исследований в режиме быстрого реагирования. Тем не менее, практика открытого рецензирования – как до, так и после публикации – может помочь разрушить контроль коммерческих издателей над исследовательской коммуникацией и процессами производства знаний, снижая силу научного журнала и связанных с ним показателей, таких как JIF. Открытые записи о рецензировании могут также обеспечить инфраструктуру для документирования – и со временем приносить большую ценность – рецензирования, которые являются жизненно важной профессиональной услугой, часто невидимой и недооцененной в рамках академических оценок (Кальтенбруннер и др., 2022 г. [28]).

(3) Применение искусственного интеллекта и машинного обучения

Технологические достижения в области искусственного интеллекта (ИИ) и машинного обучения, вероятно, будут иметь глубокие последствия для оценки исследований, включая процессы экспертной оценки, поддерживающие ее (например, Холм и др., 2022 г. [29]; Проктор и др., 2020 г. [30]). ИИ уже используется для оптимизации и усиления экспертной оценки (Природа, 2015 [31]; Природа, 2022 [32]), проверить качество рецензирования (Северин и др., 2022 г. [33]), проверить качество цитирования (Гадд, 2020 г. [34]), выявлять плагиат (Фолтынек и др., 2020 [35]), поймать исследователей, подтасовывающих данные (Квач, 2022 г. [36]) и найти рецензентов, которых все больше не хватает, поскольку эта работа не получает должного признания в исследовательской оценке. «Разговорный ИИ», такой как ChatGPT (генеративный предварительно обученный преобразователь чата), способен разрабатывать эксперименты, писать и завершать рукописи, проводить рецензирование и поддерживать редакционные решения о принятии или отклонении рукописей (Природа, 2023 [37]). У ИИ также есть потенциал для повышения эффективности рецензирования за счет использования алгоритмов, облегчающих бремя рецензентов как рецензентов результатов исследований (Природа, 2022 ). В Китае уже тестируется использование искусственного интеллекта для поиска судей (Природа, 2019 [39]).

Все эти приложения искусственного интеллекта могут снизить это бремя и позволить опытным экспертам сосредоточить свои суждения на качестве исследований и более сложных оценках (Телвалл, 2022 г. [40]). Но они также рискуют распространять предвзятости, поскольку являются прогностическими технологиями, которые подкрепляют существующие данные, которые могут быть необъективными (например, по полу, национальности, этнической принадлежности или возрасту): действительно, использование самого ИИ могло бы выиграть от более глубокого понимания того, что представляет собой «качество». ' исследовать (Хомский и др., 2023 г. [41]; ИСИ, 2022 г. [42]).

Однако жизненно важно, что все формы искусственного интеллекта и машинного обучения открыты для злоупотреблений (Блаут и др., 2022 г. [43]; Бенжио, 2019 [44]). Академическим и исследовательским сообществам необходимо будет повысить готовность и устойчивость к этому, работая с правительством, промышленностью и лидерами гражданского общества, управляющими этим пространством.

(4) Рост популярности социальных сетей

Традиционные количественные меры воздействия исследований не могут объяснить рост активности в социальных сетях и исследователей/ученых в социальных сетях (Иордания, 2022 [45]). Многие ученые используют платформы социальных сетей для вовлечения сообществ, политиков и общественности на протяжении всего срока реализации своего исследовательского проекта; позитивно участвовать в своих исследованиях, тестировать и информировать их, а также привносить разнообразные идеи и вклады, а не просто публиковать окончательные результаты как свершившийся факт для аудитории-получателя. Это участие не поддерживается традиционными формами оценки исследований, но может привести к более широким возможностям влияния и охвата. Метрики социальных сетей («альтметрики») разрабатываются как вклад в ответственные метрики (Воутерс и др., 2019 г. [4]) и включать упоминания в Twitter или Facebook, а также количество подписчиков, например, на ResearchGate. С одной стороны, эти альтметрики могут помочь раскрыться, создать пространство и расширить оценку (Рафолс и Стерлинг, 2021 г. [47]), но, с другой стороны, как и другие показатели, также могут использоваться безответственно и/или рассматриваться как навязывание другого уровня показателей в системах оценки.

Проблемы на пути реформы оценки исследований многочисленны. Здесь проиллюстрированы некоторые из наиболее значимых.

Любая реформа, включающая более качественные меры, должна в то же время гарантировать качество фундаментальных и прикладных исследований. Есть неофициальные свидетельства того, что некоторые ученые могут сами выступать против реформы, особенно продвинутые исследователи, которые преуспели в нынешней системе, потому что они опасаются, что она рискует способствовать посредственным исследованиям, или что более качественные формы оценки могут отдать предпочтение прикладным исследованиям, а не фундаментальным. Реформа критериев оценки исследований, как правило, строится вокруг движения к целенаправленным, социально значимым исследованиям, которые привлекают общественную и политическую поддержку в отличие от менее осязаемых фундаментальных или перспективных исследований. Некоторые утверждают, что для поддержки инноваций необходима более тонкая интерпретация «ценности» исследований, поскольку будущее требует постоянных инвестиций в фундаментальные исследования, основанные на любопытстве, и более широкого понимания решающей роли, которую они играют в способности реагировать на глобальные вызовы (ГЯ, 2022 г. [48]).

Отсутствие последовательности в значении и использовании исследовательской терминологии в целом является препятствием на пути перемен. Концептуальная основа оценки исследований существенно не изменилась с течением времени, как и поддерживающий ее язык: исследовательская система все еще застряла в старых дихотомиях, таких как «фундаментальная» и «прикладная» наука, и таких терминах, как «воздействие», «качество». (бесполезно приравнивается к производительности) и «совершенство» не имеют четкого определения таким образом, чтобы избежать географических, дисциплинарных, карьерных и гендерных предубеждений. (Чонг и др., 2021 г.) [49]): это может быть особенно остро в группах по принятию решений, которым не хватает разнообразия (Хэтч и Карри, 2020 г. ) [50].

Как и оценка, основанная на показателях, более качественные формы оценки также несовершенны. Утверждать, что процессы рецензирования и экспертные оценки не менее важны, чем библиометрия, непросто. Они могут быть предвзятыми из-за отсутствия ясности и прозрачности в процессе экспертной оценки. Комитеты по экспертной оценке, например, подвергались критике как механизмы, которые сохраняют устоявшиеся формы власти и привилегий, позволяя сохраняться «сетям старых мальчиков» и гомофилии (оценщики ищут себе подобных), в то же время будучи уязвимыми для динамики группового мышления. Количественные показатели, какими бы несовершенными они ни были, рассматриваются в некоторых частях мира как защита от кумовства и предвзятости. Аналогичные аргументы можно применить к рецензированию исследовательских работ, при этом использование более качественной оценки потенциально открывает двери для других форм дискриминационного поведения.

Отсутствие профессионального признания и подготовки к рецензированию в любой форме создает препятствия для работы в качестве рецензента, тем самым снижая его потенциал. Кроме того, поскольку спрос превышает предложение, это может создать стимулы для срезания углов и снижения строгости. Требуется повышение прозрачности экспертной оценки (будь то полностью открытая, анонимная или гибридная), а также обучение, поощрение и вознаграждение передовой практики экспертной оценки; как и дальнейшие исследования моделей его эволюции по мере диверсификации результатов исследований (ИАП, 2022 г. [51]) и технологии искусственного интеллекта развиваются.

Дебаты о реформе оценки исследований сложны и не бинарны. Качественная и количественная информация часто объединялась в контексте экспертной оценки: такие утверждения, как Лейденский манифест по показателям исследований (Хикс и др., 2015 г. [52]) призывают к «информированному экспертному обзору», в котором экспертное мнение поддерживается – но не направляется – правильно выбранными и интерпретируемыми количественными показателями и качественной информацией. Дебаты об оценке исследований - это не бинарный выбор инструментов оценки «качественный или количественный», а вопрос о том, как обеспечить наилучшее сочетание нескольких форм информации.

Наконец, любая реформа также должна быть удобной и осуществимой. Исследовательская система уже демонстрирует признаки развала сама по себе, поскольку объем публикаций растет в геометрической прогрессии, а бремя рецензирования распределяется неравномерно по всему исследовательскому предприятию (например, Публикации, 2018 [53]; Кованис и др., 2016 г. [54]; Природа, 2023 [55]). Журнальные показатели и индекс Хирша вместе с качественными понятиями престижа издателя и институциональной репутации могут предоставить удобные пути для занятых оценщиков и создать препятствия на пути изменений, которые глубоко укоренились в академической оценке.Хэтч и Карри, 2020 г. [56]). В некоторых странах количественные показатели приветствуются как обеспечивающие относительно ясные и недвусмысленные пути назначения и продвижения по службе. На «глобальном Юге» для составления короткого списка кандидатов обычно используются средние импакт-факторы, и любая альтернатива должна быть в равной степени реализуемой и способной привлечь дополнительные ресурсы, неизбежно необходимые для расширения масштаба оценки. Удобство использования простых количественных показателей при оценке исследований, вероятно, станет серьезным препятствием на пути перемен, а внедрение новых систем оценки может даже привести к еще большему глобальному неравенству из-за отсутствия потенциала или компетентности в некоторых странах.

За последнее десятилетие был принят ряд громких манифестов и принципов оценки исследований, направленных на решение этих проблем, в том числе Лейденский манифест (разработанный группой международных экспертов), Гонконгские принципы (Moher и др., 2020 [57]) (разработано на 6-й Всемирной конференции по добросовестности исследований в 2019 г.) и Метрический прилив [58] и Использование метрического прилива [59] отчеты (разработанные в контексте обзора системы исследований и оценки Великобритании, REF). Существует по меньшей мере 15 различных усилий, призывающих ключевых заинтересованных сторон – будь то политики, спонсоры или руководители высших учебных заведений (ВУЗов) – минимизировать потенциальный вред существующих систем оценивания. Все эти инициативы достигли широкой аудитории и являются прогрессивными в своем фокусе на ответственных показателях как предпосылке для улучшения исследовательской культуры и обеспечения равенства, разнообразия, инклюзивности и принадлежности к исследовательскому сообществу. Но у некоторых архитекторов этих инициатив растет беспокойство по поводу того, что, хотя они и полезны, они отвлекают от реальных практических действий: акт подписания эффективен только в том случае, если за ним следует практическая реализация (Природа, 2022 [60]).

Растет поддержка «ответственной исследовательской оценки» и «ответственных показателей» (ДОРА, 2012 г. [61]; Хикс и др. 2015 [62]; Уилсдон и др., 2015 г.), которые переходят от чисто количественных показателей к более широкому спектру показателей, позволяющих исследователям описать экономическое, социальное, культурное, экологическое и политическое воздействие своих исследований; для учета проблем, которые ценит исследовательское сообщество: «данные во благо» или «показатели, ориентированные на ценность», которые касаются более широких атрибутов (Карри и др., 2022 г. [63]). В последние годы инновационные и прогрессивные подходы к ответственной оценке исследований были разработаны и опробованы некоторыми вузами и спонсорами исследований в регионах и странах по всему миру. Некоторые из них выделены здесь.

Из глобальных инициатив, упомянутых выше, Сан-Франциско 2013 г.Декларация об оценке исследований[64] (DORA), пожалуй, самая активная глобальная инициатива. В нем каталогизированы проблемы, возникающие при использовании журнальных показателей для оценки работы отдельных исследователей, и даны 18 рекомендаций по улучшению такой оценки. DORA категорически не рекомендует использовать журнальные показатели для оценки вклада исследователя или при поиске работы, продвижения по службе или финансирования. По состоянию на середину апреля 2023 года декларацию подписали 23,059 160 сторон (учреждений и частных лиц) в XNUMX странах, взяв на себя обязательства по проведению реформ. Сосредоточив внимание на решении внутренних проблем и врожденных предубеждений качественной оценки, DORA разрабатывает Инструменты для продвижения оценки исследований (TARA) [65], чтобы помочь реализовать декларацию на практике: эти инструменты включают в себя панель для индексации и классификации инновационных политик и практик в области оценки карьеры, а также набор ресурсов, которые помогут снизить предвзятость состава комитетов и распознать различные качественные формы воздействия исследований.

Кроме того, DORA финансирует десять проектов – в Аргентине, Австралии, Бразилии, Колумбии (2), Индии, Японии, Нидерландах, Уганде и Венесуэле – для тестирования различных способов продвижения реформы в области оценки исследований в их местных контекстах, а также сбор примеров передовой практики: например, повышение осведомленности, разработка новой политики или практики, обучение и практическое руководство для соискателей работы (ДОРА [66]). Спрос на гранты такого рода был высоким – более 55 претендентов из 29 стран – что указывает на растущее признание необходимости реформ.

Профессиональные ассоциации управления исследованиями, такие как Международная сеть обществ управления исследованиями (INORMS), также активно разрабатывают ресурсы для руководства организационными изменениями, включая Группа оценки рамочных исследований SCOPE | INORMS – структура INORMS SCOPE для оценки исследований. [67], который начинается с определения того, что ценится, кого оценивают и почему (полезный пояснительный плакат). здесь [68]).

Сектор международного развития предложил новые перспективы оценки исследований, ярким примером которых является Качество исследований Плюс | IDRC – Центр исследований международного развития [69], который измеряет то, что важно для людей, получающих исследование. Инструмент Research Quality Plus (RQ+) признает, что научные достижения необходимы, но недостаточны, признавая решающую роль сообщества пользователей в определении того, являются ли исследования актуальными и законными. Он также признает, что обновление результатов исследований и влияние на них начинаются в ходе исследовательского процесса. Заявки на исследования часто оцениваются междисциплинарными комиссиями, в состав которых также входят эксперты по развитию из внешних академических кругов (например, из государственного ведомства или неправительственной организации (НПО)), практики и представители внутри страны: это усиливает важность сообщества пользователей/экспертов, не являющихся предметными экспертами. необходимость понимания результатов исследования и того, как их можно применить на практике. Исследования в сложных условиях с низкими доходами или в нестабильных условиях могут сопровождаться набором этических инструментов или структур, предназначенных для информирования и поддержки этического выбора в жизненном цикле исследования, от начала до распространения и воздействия, например Reid et al., 2019 [70]. Подходы «Теории изменений» широко используются в исследованиях международного развития донорами, НПО и многосторонними агентствами, где заявители должны сформулировать пути воздействия, поддерживаемые системами мониторинга, оценки и обучения, например Валтерс, 2014 г. [71]. Академическое исследовательское сообщество потенциально может поучиться у сообщества разработчиков.

Признавая роль спонсоров в формировании стратегий вузов, Оценка ответственных исследований Глобального исследовательского совета (GRC) Инициатива RRA [72] стимулирует крупных спонсоров исследований во всем мире работать над достижением амбиций RRA в их собственных региональных и национальных контекстах и ​​разрабатывать эффективные системы оценки для оценки воздействия (пояснительное видео здесь [73]). Заказ рабочего документа по АРСП (Карри и др., 2020 г. [74]), GRC призвал своих членов внедрить принципы RRA и предпринять конкретные действия для их реализации, а также учиться друг у друга посредством сотрудничества и обмена передовым опытом. Ан международная рабочая группа [75] предоставляет рекомендации и поддержку членам GRC, помогая им перейти от движения к действию.

Во многом благодаря усилиям GYA, ECR также начинают мобилизоваться вокруг этой программы. Его Рабочая группа по научному совершенству [76] работает над определением исследовательской среды, способствующей «высвобождению любознательности и творчества в науке, а также содействию развитию человеческого потенциала посредством разнообразия и инклюзивности». Их работа призывает сообщество ECR бросить вызов определениям «отлично», используемым их организациями, принять участие в инициативах по реформированию оценки исследований и присоединиться к движению молодых академий. Он также призывает финансирующие и нанимающие органы привлекать ECR к дебатам по оценке исследований и признавать более широкое разнообразие вкладов и карьер в исследованиях.

Хотя некоторые университеты и другие вузы подписали DORA и/или присоединились к европейскому движению (описанному ниже), они, похоже, не организуются коллективно вокруг оценки исследований так, как это делают другие ключевые группы.

Проблемы, создаваемые системами оценки, которые почти исключительно количественные, в основном рассматриваются и диагностируются с точки зрения «Глобального Севера», при этом «Глобальный Юг» рискует догнать. Рискуя чрезмерного обобщения, на «Глобальном Севере» существуют серьезные системные проблемы, связанные с отсутствием многообразия, справедливости и инклюзивности, которые усугубляются системами оценки. На «глобальном Юге» отсутствует местное и региональное определение того, что представляет собой «качество» и «воздействие», широко варьируются системы оценки (даже на разных факультетах одного и того же университета) и относительно мало проблем с решением проблем. статус кво. Во всем мире проблемы возникают из-за чрезмерного внимания к количественным показателям, связи между оценкой и распределением ресурсов, высококонкурентной системы финансирования и давления со стороны публикаций, а также игнорирования других, менее поддающихся количественному измерению аспектов исследований и академической жизни.

Рецензируемая литература по сравнительным исследованиям реформы оценки исследований немногочисленна. Редким исключением является сравнение вмешательств по оценке исследований в шести различных географических регионах (Австралия, Канада, Германия, Гонконг, Новая Зеландия и Великобритания), в результате которого видно, что индексированные результаты всех шести, по-видимому, улучшаются после нескольких типов вмешательств (по крайней мере с использованием обычных библиометрических показателей) (ИСИ, 2022 г. [77]). DORA предоставляет (в основном институциональные) тематические исследования на своей веб-странице (ДОРА [78]) и в отчете (ДОРА, 2021 г. [79]), призванные вдохновлять других на действия, но это преимущественно европейские примеры.

Здесь авторы предоставляют региональные обзоры и национальные примеры экспериментов и реформ для дальнейшего понимания – они не претендуют на всеобъемлющий или исчерпывающий характер.

Ассоциация Коалиция ЕС по реформированию оценки исследований [80], или CoARA, одобренная в июле 2022 года, является крупнейшей инициативой по реформе оценки исследований в мире. За четыре года работы и разработки 350 организаций в 40 (в основном европейских) странах Европейская ассоциация университетов и Science Europe (сеть европейских спонсоров науки и академий) совместно с Европейской комиссией разработали соглашение или установили принципов ('реформаторский путь'), для более инклюзивной и ответственной оценки исследований (КоАРА, 2022 г. [81]). Соглашение фокусируется на трех уровнях оценки: учреждения, отдельные исследователи и само исследование. Несмотря на то, что коалиция управляется европейскими партнерами, она имеет амбиции стать глобальной, и DORA и GYA уже подписали соглашение. Подписавшиеся стороны обязуются выделить ресурсы для улучшения оценки исследований, разработки новых критериев и инструментов оценки, а также повышения осведомленности и проведения обучения по оценке исследований (например, для рецензентов). Такое развитие событий было описано как «самый обнадеживающий признак реальных перемен» (Природа, 2022 [82]).

ЕС также финансирует некоторые новые интересные инициативы, направленные на поддержку реформы оценки исследований: в частности, «Открытая и универсальная наука».OPUS [83]) – разработать «комплексный набор» показателей для множества исследовательских процессов и результатов и тем самым стимулировать европейских исследователей практиковать открытую науку – и открытое пространство данных для оценки науки. ГраспОС [84] – создать открытое пространство данных для поддержки реформы политики в области оценки исследований.

Европейский исследовательский совет (ERC), который поддерживает передовые исследования во всех областях (с бюджетом в 16 миллиардов евро на 2021–2027 годы), подписал CoARA и внес поправки в свои формы и процессы оценки, чтобы включить больше описательных описаний, включая учет меньшего количества обычные карьерные пути и «исключительный вклад» в исследовательское сообщество. Предложения будут оцениваться больше по их достоинству, чем по прошлым достижениям заявителя, и будут по-прежнему оцениваться экспертными комиссиями, состоящими из ведущих ученых, с использованием единственного критерия научного совершенства (ЕРК, 2022 г. [85]).

Некоторые европейские академии также принимают участие. Совет ALLEA [86] Европейская федерация академий наук и гуманитарных наук, представляющая девять из более чем 50 национальных академий в 40 европейских странах, поддержала движение CoARA. ALLEA взяла на себя обязательство создать специальную рабочую группу для сбора, обмена и продвижения передового опыта приема новых стипендиатов Академии, а также внести вклад в «значимый культурный обмен» в области оценки исследований, основанный на принципах качества, честности, разнообразия и открытости. В своем Заявление за октябрь 2022 г. ALLEA призывает академии-члены сделать следующее:

1. Признавать разнообразие вкладов и карьер в исследованиях в соответствии с потребностями и характером исследований; в случае стипендиатов Академии процедуры отбора должны (1) учитывать гендерный баланс и уникальные задачи начинающих исследователей, (2) поддерживать разнообразие культур и дисциплин, (3) ценить разнообразие областей компетенции и талантов, и (4) продвигать междисциплинарность и многоязычие.

2. Основывать оценку исследований прежде всего на качественной оценке, для которой экспертная оценка имеет центральное значение, подкрепленной ответственным использованием количественных показателей; оценка мастерства и влияния работы кандидатов-стипендиатов должна основываться на качественной экспертной оценке, которая соответствует фундаментальным принципам строгости и прозрачности и принимает во внимание специфику научной дисциплины.

3. Отказаться от ненадлежащего использования показателей журналов и публикаций при оценке исследований; в частности, это означает отказ от использования таких показателей, как импакт-фактор журнала (JIF), показатель влияния статьи (AIS) и индекс Хирша, в качестве доминирующих показателей качества и воздействия.

Заявление Allea о реформировании оценки исследований в европейских академиях

В их совместный ответ [87] к Соглашению ЕС и Коалиции CoARA, сообщество ECR в GYA также приветствовало это обязательство и предложило способы реализации его принципов. К ним относятся практики, которые являются инклюзивными и отражают разнообразие национальных особенностей и характеристик дисциплин, при этом исследователи всех этапов карьеры получают обучение, стимулы и вознаграждения, при этом жизненно важное значение имеет обязательное обучение по открытой науке для исследователей, сотрудников и членов комитетов.

Научно-интенсивные университеты в Европе также поддержали реформу оценки исследований как пути к «многомерной» исследовательской карьере (Оверлает Б., 2022 г. [88]). Они разработали общую структуру, которая вдохновляет и поддерживает университеты в признании разнообразного вклада в исследования, образование и служение обществу.

На национальном уровне несколько стран в настоящее время апробируют различные модели оценки: например, национальные финансирующие агентства в Бельгии, Нидерланды, Швейцарии и UK все используют «нарративные резюме». Описательные резюме более целостно рассматривают академические достижения: вклад в генерирование знаний, в развитие личности, в более широкое исследовательское сообщество и в общество в целом (Королевское научное общество [89]). Несмотря на растущую поддержку таких типов резюме, существует также некоторая обеспокоенность тем, что они вынуждают ученых быть хорошими во всем и, таким образом, рискуют поставить под угрозу глубокие знания в погоне за универсальным статусом (Гроув, Дж., 2021 г. [90]).

Четыре примера национальных исследовательских систем, которые координируют общенациональные реформы в области академической оценки, ориентированной на карьеру, включены в следующие текстовые поля.

Национальный пример: Великобритания

Британская система оценки исследований (REF) измеряет воздействие исследований по двум измерениям: «значительность» (осязаемая разница, которую приносит проект) и «охват» (измеримая степень, в которой он это делает) (УКРИ). Влияние здесь определяется как «влияние, изменение или польза для экономики, общества, культуры, государственной политики или услуг, здоровья, окружающей среды или качества жизни за пределами академических кругов», но помимо этого оно очень открытое, дисциплинарное. изменчивы и, возможно, неоднозначны, например, не в состоянии адекватно учитывать участие общественности.

REF Великобритании оценивается в 2022–2023 годах в рамках Программа оценки будущих исследований изучить возможные новые подходы к оценке эффективности исследований в сфере высшего образования Великобритании, а также понять международную практику оценки исследований. Следующая итерация REF, возможно, будет учитывать более разнообразный набор результатов и, возможно, даже снизит придаваемое им значение. Текущая модель придает 60% важности результатам, 25% — воздействию исследований и 15% — исследовательской культуре/окружающей среде. Если бы они были более равномерно взвешены, то REF выглядел бы совсем иначе, и большее значение придавалось бы исследовательской культуре, честности исследований и командной работе (Роща, 2020 г.).

Национальный пример: Финляндия

В 2020 году Федерация научных обществ Финляндии координировала рабочую группу из спонсоров исследований, университетов и профсоюзов, опубликовавших заявление. Передовая практика оценки исследований. В нем изложены рекомендации по ответственному процессу оценки отдельных ученых, включая пять общих принципов оценки: прозрачность, честность, справедливость, компетентность и разнообразие. Передовая практика оценки исследований требует более широкого признания при оценке академического вклада отдельных лиц добросовестности исследований, образования и наставничества, а также научных услуг (например, экспертной оценки). В заявлении оценивание рассматривается не просто как выработка обобщающих суждений: оно также призывает оценщиков делиться отзывами с оцениваемыми людьми, чтобы облегчить обратную связь и обучение.

Организации, проводящие исследования, и организации, финансирующие исследования, взяли на себя обязательство внедрить передовую практику оценки исследований и разработать свои собственные местные варианты руководства, а также разрабатывается национальная модель резюме портфеля исследователей. Надлежащая практика оценки исследований предполагает регулярные проверки и уточнения.

Национальный пример: Нидерланды.

В Нидерландах национальная программа признания и вознаграждения началась в 2019 году с публикации заявления о позиции. Место для таланта каждого. Это общенациональное сотрудничество между Королевской Нидерландской академией искусств и наук (KNAW – член IAP и ISC), спонсорами исследований, университетами и медицинскими центрами свидетельствует о необходимости общесистемной модернизации культуры оценки исследований. При этом в нем излагаются пять целей по изменению процедур оценки: большее разнообразие карьерных путей, признание индивидуальных и командных результатов, приоритет качества работы над количественными показателями, открытая наука и академическое лидерство.

С 2019 года голландские университеты перешли к принятию собственных местных переводов заявления о национальном видении. В то же время финансирующие агентства инициировали использование большего количества форматов «нарративных резюме» и прекратили запрашивать библиометрическую информацию, ссылаясь на DORA Сан-Франциско как на источник вдохновения. Голландский исследовательский совет совсем недавно переехал в «доказательное» резюме в котором может быть использована некоторая количественная информация. KNAW также разработал собственную трехлетний план для реализации программы признания и вознаграждения внутри компании. Для содействия реализации программы реформы «Признание и вознаграждение» были назначены постоянный менеджер программы и команда, а также ежегодно проводится «Фестиваль признания и вознаграждения» среди основных заинтересованных сторон реформы в целях поддержки обучения в масштабах всего сообщества.

Наконец, финансируемый грантом DORA Community Engagement, Инициатива «Молодой ученый переходного периода» для аспирантов, базирующаяся в Утрехте, разработала новое руководство по оценке докторов наук, стремясь изменить культуру исследований.

Национальный пример: Норвегия

В 2021 году Норвегия, университеты Норвегии и Норвежский исследовательский совет опубликовали NOR-CAM – набор инструментов для признания и вознаграждения за академические оценки. NOR-CAM обеспечивает матричную структуру для повышения прозрачности и расширения оценки исследований и исследователей от узких библиометрических показателей. NOR-CAM означает «Норвежская матрица оценки карьеры» и была адаптирована на основе опросника 2017 года. отчету Европейской комиссией, которая представила Матрицу оценки карьеры в открытой науке. Как и его европейский предшественник, NOR-CAM также предлагает способы лучшей интеграции практики открытой науки в оценки. Матрица призвана помочь оценщикам и кандидатам на академические должности, подать заявки на финансирование исследований, а также национальным оценщикам, оценивающим норвежские исследования и образование. Он также призван служить общим руководством для индивидуального карьерного роста.

Матрица включает шесть основных областей компетенции: результаты исследований, исследовательский процесс, педагогические компетенции, воздействие и инновации, лидерство и другие компетенции. Затем в матрице представлены предложения по планированию карьеры и признанию оценки по каждому критерию – примеры результатов и навыков, средства документирования и подсказки для размышления по каждому критерию. От кандидатов не ожидается одинаковых результатов по всем критериям.

NOR-CAM была создана рабочей группой заинтересованных сторон, выполняющих исследования и финансирующих организаций, координируемой Университетами Норвегии, что означает, что в принципе она пользуется поддержкой со стороны членов всех норвежских университетов. Впоследствии были проведены семинары с участием норвежских университетов для совместной разработки способов интеграции NOR-CAM в процедуры оценки назначения и продвижения по службе, а также разрабатывается «автоматическая» система резюме для получения данных из множества национальных и международных источников, чтобы сократить административные расходы. груз. Координаторы трех вышеупомянутых программ реформ национального уровня регулярно встречались для обмена опытом и знаниями.

Латинская Америка и Карибский бассейн (ЛАК) во многом отличаются от других частей мира. Здесь наука считается глобальным общественным благом, а ее исследовательские и академические издательские системы и инфраструктура находятся в государственной собственности (финансируются) и являются некоммерческими: но эти региональные сильные стороны и традиции еще не отражены в системах оценки. Ключевыми заинтересованными сторонами, которые могут повлиять на изменения, являются национальные исследовательские советы, министерства науки и ведущие исследовательские университеты. Роль вузов жизненно важна, учитывая, что более 60% исследователей находятся в университетах (РиЦиТ, 2020 [91]). Существует потенциал для более тесного согласования систем оценки с ЦУР, а также с движениями открытой науки и гражданской науки, которые имеют процветающую традицию в регионе.

В настоящее время существует высокая фрагментация систем оценки исследований на национальном, местном и институциональном уровне, что ставит исследования в конкуренцию с другими функциями, такими как обучение, распространение знаний и совместное производство. Системы оценки исследований и премий исследователей в странах Латинской Америки, как правило, отдают предпочтение понятию превосходства, закрепленному в методологиях «Глобального Севера», основанному исключительно на импакт-факторе журналов и рейтингах университетов (КЛАКСО, 2020 [92]). Признание различных форм производства и распространения знаний, а также разнообразие академических профессий (например, преподавание, обучение и наставничество, гражданская наука и публичная коммуникация науки) в значительной степени отсутствуют в практике оценки исследований. Это особенно проблематично для исследователей в области социальных и гуманитарных наук, где широко используются монографии и местные языки (КЛАКСО, 2021 [93]). Региональные журналы и индикаторы обесцениваются или не признаются в таких процессах оценки. Все это усугубляется слабыми информационными системами и слабой функциональной совместимостью инфраструктур (особенно принадлежащих сообществам), которые недостаточно финансируются, поскольку скудные средства направляются на выплаты APC за журналы открытого доступа.

Тем не менее, некоторые университеты в регионе начинают внедрять методы оценки, в которых используется сочетание качественных и количественных методологий, особенно при оценке исследователей и исследований, ориентированных на выполнение миссии (Гра, 2022 г. [94]). Переход к более комплексным схемам оценки исследований потребует совместной разработки более качественных критериев; ответственное использование количественных данных и укрепление процессов экспертной оценки; постепенные изменения, которые гармонизируют и координируют политику и методологии в направлении общих принципов ответственной оценки исследований и открытой науки; новые методологии и данные для лучшей оценки междисциплинарных научных, экологических и местных проблем; общие, совместимые, устойчивые, федеративные инфраструктуры, которые поддерживают библиоразнообразие и многоязычие; и совместные, восходящие проекты, которые расширяют участие граждан и общественных движений и вовлекают недостаточно представленные исследовательские группы.

Для решения этих проблем в регионе принят ряд принципов и руководящих указаний по оценке исследований. Декларация принципов оценки исследований CLACSO-FOLEC [95], одобренный в июне 2022 года, призван гарантировать и защищать качество и социально значимую науку, а также учитывать принципы DORA и открытой науки, разнообразие результатов исследований и исследовательских карьер, ценность региональных журналов и служб индексирования, а также междисциплинарности, местного языка и знаний коренных народов. На сегодняшний день у нее более 220 приверженцев, и уже наблюдаются положительные тенденции в ответственной оценке исследований и примеры реформ. Некоторые национальные примеры представлены в следующих текстовых полях.

Национальный пример: Колумбия

При финансовой поддержке премии DORA за участие в сообществе колумбийские ассоциации университетов, издателей университетов, менеджеров по исследованиям и сеть управления наукой и технологиями, среди прочих, вместе работают над возможностями и проблемами ответственных показателей в Колумбии. Посредством серии семинаров и консультаций, в том числе с участием международных организаций в качестве ориентиров, они разработали рубрику, которая поможет колумбийским учреждениям разработать свои собственные REF. Эта рубрика призвана учесть проблемы, выявленные на местном уровне, которые – для вузов – включают отсутствие знаний об альтернативах оценки исследований, характере национальной экосистемы оценки исследований и сопротивлении изменениям. А специальный веб-сайт был разработан вместе с инфографикой для помощи исследователям, а распространение и обучение продолжают распространяться по всей стране.

Больше информации: Колумбийский проект по ответственным показателям: на пути к колумбийскому институциональному и методологическому инструменту для оценки исследований | ДОРА (sfdora.org)

Национальный пример: Аргентина

Интересная попытка реформ в Национальный совет по научным и техническим исследованиям (Consejo Nacional de Investigaciones Científicas y Técnicas – CONICET) – это создание специальной резолюции по социальным и гуманитарным наукам, которая ставит журналы, индексируемые в основных кругах, на один уровень с журналами, индексируемыми по региональным базам, таким как СайЭЛО, Редалик or Каталог Latindex. Постановление в настоящее время находится на рассмотрении, чтобы прояснить некоторые неясности в его реализации и расширить его критерии. В свою очередь, в 2022 году совет директоров CONICET присоединился к Сан-Франциско DORA, публично подтвердив свою приверженность улучшению исследований путем усиления оценки и постоянного совершенствования своих процессов.

Ассоциация Национальное агентство содействия исследованиям, технологическому развитию и инновациям (Национальное агентство по продвижению исследований, технологическому развитию и инновациям – АГЕНТСТВО I+D+i), под эгидой Министерство науки, технологий и инноваций, является основным спонсором исследований в стране из-за разнообразия и масштаба своих высококонкурентных заявок. В настоящее время AGENCIA реализует программы усилить процессы оценки исследований в своих основных финансовых фондах. Текущие улучшения включают вознаграждение рецензентов для стимулирования их участия в этих процессах, стимулирование открытого доступа, поскольку результаты проекта должны быть переданы в общественное достояние через публикации или документы открытого распространения (в соответствии с обязательствами «Институциональные цифровые репозитории открытого доступаНациональный закон 26.899) и включение аспектов равенства и инклюзивности через гендерные аспекты, недостаточно представленные группы поколений и/или институциональное укрепление механизмов выравнивания в процессах оценки исследований. Тем не менее, в различных дисциплинарных комитетах учебная подготовка ведущих исследователей, ответственных за предложения, по-прежнему оценивается их коллегами с использованием показателей цитируемости.

Наконец, при финансовой поддержке гранта DORA на вовлечение сообщества, факультет психологии Национального университета де ла Плата провел виртуальное событие в сентябре 2022 года на оценивании по психологии и общественным наукам, которое привлекло более 640 (в основном студентов) из 12 стран, что продемонстрировало интерес молодежи на континенте. Мероприятие помогло сформировать четырехлетний план управления факультетом и станет основой для книги о реформе академической оценки в испаноязычном контексте.

Национальный пример: Бразилия

Оценка исследований горячо обсуждается в Бразилии среди исследовательских институтов и исследователей, если не среди правительств штатов и федерального правительства. Однако, несмотря на самое большое в мире количество институциональных сторон, подписавших DORA, примеров реформы оценки исследований на удивление мало. После опроса лиц, подписавших DORA в стране, институциональных консультаций и публичного мероприятия, финансируемого за счет гранта DORA на вовлечение сообщества, инструкция был подготовлен для руководителей университетов для изучения практики ответственной оценки.

Руководство фокусируется на трех основных действиях: (1) повышение осведомленности об ответственной оценке во всех ее формах; (2) обучение и наращивание потенциала специалистов по оценке и тех, кого оценивают; и (3) реализация и оценка. Следующие шаги заключаются в создании сети практиков – или десяти университетских разведывательных служб – для внесения изменений в практику оценки и пилотирования контекстно-зависимых моделей, а также, в конечном итоге, разработки дорожной карты для бразильских учреждений, желающих добиться перемен.

Проект Метрикас (2022 г.). Институциональные проблемы и перспективы ответственной оценки в бразильском высшем образовании: краткий обзор результатов партнерства Projeto Métricas DORA. Университет Сан-Паулу, Бразилия.

В Северной Америке происходит постоянный отход от чисто количественных показателей, ускоренный программой открытой науки. Открытая наука и открытый обзор помогают сделать практику оценки более прозрачной, предоставляя возможность для самоанализа и выявления проблем, например, самоцитирования и кумовства при приеме на работу, продвижении по службе и группах коллегиальной оценки, а также врожденных гендерных и других предубеждений. Продолжаются дебаты о необходимости разработки более разумных, интеллектуальных показателей и смешанных методов оценки с потенциалом гибридной, конвергентной модели оценки, которая будет служить фундаментальной науке (развитие знаний) и прикладной науке (воздействие на общество).

Также признается, что университетам необходимо академическое пространство и свобода, чтобы отказаться от инструментов, которые они в настоящее время используют для оценки, без какого-либо «недостатка первопроходца», и что сообщество пользователей должно участвовать в процессе оценки, чтобы помочь измерить удобство использования знания, их усвоение и влияние. Но существует также условное сопротивление изменениям («преднамеренная слепота») сверху и снизу исследовательской экосистемы – со стороны тех, кто извлекает выгоду из существующего положения вещей, и тех, кто недавно вступил в него. Очень немногие университеты США подписали DORA, и новый проект DORA пытается понять, почему это так (TARA). Тем не менее, как в Канаде, так и в США есть несколько интересных примеров национальных и институциональных инициатив, направленных на системные изменения (см. следующие текстовые вставки).

Национальный пример: США

В США Национальный научный фонд является ведущим голосом за перемены через свою Расширение влияния исследований на общество программа и сопутствующее более широкий инструментарий воздействия для исследователей и оценщиков. Справедливость, разнообразие и инклюзивность, включая привлечение коренных и традиционно маргинализированных общин, являются ключевыми факторами. Являясь членом IAP и ISC, Национальные академии наук США также стремятся стимулировать широкие реформы, предоставляя платформу для обмена информацией и обучения реформированию традиционного резюме исследователя (Стратегический совет НАН, 2022 г.). Рожденный в результате работы академий США, Инициатива лидерства высшего образования по открытым стипендиям представляет собой группу из более чем 60 колледжей и университетов, приверженных коллективным действиям по продвижению открытых стипендий, включая переосмысление оценки исследований для поощрения открытости и прозрачности.

Например, Национальный институт здравоохранения разработал новый биоскетч (НаукаENcv) для персонала, подающего заявки на гранты, чтобы минимизировать системную предвзятость и нагрузку по отчетности и в то же время в большей степени ориентироваться на воздействие.

Национальный пример: Канада

В Канаде ведется множество разговоров о реформе оценки исследований, проводимой DORA; все три федеральных исследовательских совета подписали соглашение. Совет естественных наук и инженерии пересмотренные критерии качества исследований, отказавшись от библиометрии, цитирования и индекса Хирша, в соответствии с принципами DORA: показатели качества теперь включают хорошие исследовательские данные и управление доступом к данным, справедливость, разнообразие и инклюзивность, а также обязанности по обучению. Два других исследовательских совета, вероятно, последуют этому примеру.

Канадские исследователи, как правило, сосредотачиваются на «мобилизации знаний», намеренных усилиях по повышению социального воздействия исследований посредством совместного производства с сообществами пользователей (ИСИ, 2022 г.). Влияние исследований в Канаде представляет собой сеть из более чем 20 университетов, целью которой является наращивание институционального потенциала посредством грамотности воздействия или способности «определять соответствующие цели и индикаторы воздействия, критически оценивать и оптимизировать пути воздействия, а также размышлять над навыками, необходимыми для адаптации подходов к различным контекстам», чтобы максимизировать влияние исследований на общественное благо.

Стоит отметить, что очень немногие канадские университеты подписали DORA. Главным мотиватором любых изменений, скорее всего, станет использование знаний коренных народов: это стало моральным императивом в Канаде.

Системы стимулирования и вознаграждения научных исследований в Африке, как правило, отражают «международные», прежде всего западные, нормы и условности. Африканские учреждения стараются следовать этим принципам при разработке своего подхода к «качеству» и «совершенствованию» исследований, но они не всегда соответствуют местным знаниям и потребностям. «Качество», «совершенство» и «воздействие» исследований не имеют четкого определения на континенте, и некоторые исследователи не привыкли к культуре «влияния исследований».

Системы оценки в Африке, как правило, не учитывают исследования на благо общества, преподавание, наращивание потенциала, администрирование и управление исследованиями. Модели публикаций не зависят от контекста, а APC создают барьеры для результатов исследований в Африке. Реформа систем оценки исследований могла бы помочь исправить асимметрию во вкладе африканских исследований в решение социальных проблем, а также улучшить доступ к ресурсам, которые помогут африканскому исследовательскому сообществу сделать это. Уничтожение барьеров на пути межсекторального и междисциплинарного сотрудничества крайне важно для того, чтобы обеспечить процветание разнообразия взглядов и систем знаний и помочь интерпретировать то, что представляет собой качество исследований для Африки. При любой реформе необходимо учитывать механизмы, которые интегрируют местные, коренные и «традиционные» мировоззрения об оценке качества и передового опыта исследований.

Вокруг RRA на континенте строятся прочные партнерские отношения. Финансируемый международным консорциумом агентств развития, Инициатива советов по научным грантам (SGCI) [96] с участием 17 африканских стран провели исследование передового опыта исследований в Африке, рассматривая агентства, финансирующие науку, и оценку исследователей с точки зрения глобального Юга (Тийссен и Кремер-Мбула, 2017 г. [97], [98]). Он исследовал проблему высокого качества исследований в странах Африки к югу от Сахары и необходимость подхода, который расширяет понятие превосходства за пределы публикаций (Тийссен и Кремер-Мбула, 2018 г. [99]); подготовка руководящего документа, который в настоящее время обновляется, по передовой практике проведения конкурсов научных исследований (СИГИ [100]). На Всемирном научном форуме 2022 года под эгидой SGCI и GRC южноафриканский Национальный исследовательский фонд (НРФ) и Министерство науки и инноваций собрало международных и местных партнеров, чтобы обсудить роль финансирующих агентств в продвижении RRA, а также поделиться опытом, продвигать передовую практику и оценить прогресс в наращивании потенциала и сотрудничестве (NRF, 2022 [101]).

Ассоциация Африканская сеть фактических данных [102], панафриканская межотраслевая сеть, насчитывающая более 3,000 практиков, провела некоторую работу по оценке трансдисциплинарных исследований (Африканская сеть фактических данных [103]), однако степень, в которой это внедрено в национальные и региональные системы оценки, пока не ясна. Африканская сеть исследований и воздействий [103] работает над оценочной картой, включающей набор показателей для оценки качества оценки науки, технологий и инноваций (НТИ) в Африке, которую они надеются превратить в веб-инструмент принятия решений для принятия инвестиционных решений в сфере НТИ. .

На национальном уровне начались постепенные изменения – некоторые примеры приведены в следующих текстовых полях. Другие страны, где агентства по финансированию исследований берут на себя ведущую роль, включают Танзанию (COSTECH), Мозамбик (FNI) и Буркина-Фасо (FONRID). Инициатива RRA GRC оказывается важной платформой для перемен на континенте, равно как и опыт международного сектора развития, в первую очередь IDRC Система оценки качества исследований плюс (RQ+) [104], с тем отличием, что оно уже применялось, изучалось и совершенствовалось. базирующаяся в Африке Международная академия оценки [105] также может предоставить интересную возможность.

Национальный пример: Кот-д'Ивуар

В самом сердце Кот-д'Ивуара Программа Appui Strategique à la Recherche Scientifique (PASRES) (Программа стратегической поддержки научных исследований) – это убеждение в том, что превосходство в исследованиях должно выходить за рамки количества исследовательских публикаций и включать измерение «освоения исследований». Адаптируясь к национальному контексту, процесс оценки исследований основан на критериях, связанных с научной и социальной значимостью, привлечением партнеров, обучением студентов, мобилизацией знаний и осуществимостью. В состав оценочных комиссий входят научные эксперты (для оценки качества проведенных исследований), представители частного сектора (для оценки экономического обогащения) и другие учреждения (для измерения культурного и социального потенциала исследований).

PASRES учредил два местных журнала (один по социальным наукам и лингвистике, а другой по окружающей среде и биоразнообразию) и берет на себя все расходы на публикации в них. Наконец, PASRES финансирует мероприятия по наращиванию потенциала и тематические конференции, чтобы дать исследователям возможность представить свои исследования частному сектору и гражданскому обществу.

Дополнительная информация: Уаттара А. и Сангаре Ю. 2020. Поддержка исследований в Кот-д'Ивуаре: процессы отбора и оценки проектов. Э. Кремер-Мбула, Р. Тийссен, М.Л. Уоллес, Р. Маклин (ред.), African Minds, стр. 138–146.

ПАСРЕС || Программа стратегических научных исследований (csrs.ch)

Национальный пример: Южная Африка

Оценка исследований в Южной Африке (ЮАР) преимущественно сосредоточена на библиометрии. С 1986 года, когда Департамент высшего образования (DHET) ввел политику выплаты субсидий университетам за исследовательские публикации, опубликованные в журналах аккредитованных индексов, выпуск университетских исследовательских публикаций рос одновременно с стоимостью рандов, присуждаемой за публикацию. Стремясь обеспечить финансирование исследований и продвинуться по карьерной лестнице, исследователи ЮАР публиковали как можно больше статей как можно быстрее, создавая извращенные и непредвиденные последствия.

Академия наук Южной Африки (ASSAf) заказала отчет о научных публикациях в стране (2005–2014 гг.) и обнаружила признаки сомнительной редакционной практики и хищнических публикаций (ASSAf, 2019). Используя детальную систему категоризации, примерно 3.4% от общего числа статей за последние десять лет были признаны хищническими, причем с 2011 года эти цифры выросли более резко. Журналы, признанные хищническими, были включены в DHET, «приемлемые для финансирования». Было установлено, что в этом участвовали преподаватели всех университетов ЮАР (Mouton and Valentine, 2017).

В отчете ASSAf содержатся рекомендации на системном, институциональном и индивидуальном уровнях, а последующие контрмеры со стороны DHET, NRF и некоторых университетов, похоже, обуздали хищническую практику в ЮАР, при этом частота хищнических публикаций ученых ЮАР (в журналах, аккредитованных DHET) достигла пика в 2014–2015 гг. XNUMX г. и впоследствии снижается. Среди исследователей также высказывались опасения, что политика DHET в ЮАР препятствует сотрудничеству и не признает вклад отдельных лиц в крупных исследовательских группах, что требует пересмотра схем аттестации/оценки исследований. Использование системы единиц публикаций в настоящее время признано плохим показателем для оценки качества и продуктивности исследований, а также для отбора и продвижения ученых.

Больше информации:

Академия наук Южной Африки (ASSAf). 2019. Двенадцать лет: второй отчет ASSAf об исследовательских публикациях в Южной Африке и за ее пределами. Претория, АССАф.

Мутон Дж. и Валентайн А. 2017. Масштаб статей южноафриканцев в хищнических журналах. Южноафриканский научный журнал, Vol. 113, № 7/8, стр. 1–9.

Мутон Дж. и др. 2019. Качество исследовательских публикаций Южной Африки. Стелленбош.

2019_assaf_collaborative_research_report.pdf

Национальный пример: Нигерия

Университеты в Нигерии оценивают исследователей по трем основным направлениям: преподавание, продуктивность исследований и общественные работы. Среди них более высокий вес имеет продуктивность исследований, при этом особое внимание уделяется опубликованным рецензируемым исследовательским статьям и принимается во внимание количество и роли авторов (первое авторство и/или соответствующее авторство) в этих публикациях. Стремясь стать более конкурентоспособными на глобальном уровне, большинство университетов придают большее значение журналам, индексируемым International Scientific Indexing или SCOPUS, чтобы уделять больше внимания качеству и международному сотрудничеству; и используйте процент статей в этих журналах в качестве критерия продвижения.

К сожалению, следствием этого является то, что многим исследователям, особенно гуманитарным наукам, не хватает надлежащего финансирования и/или возможности публиковаться в этих журналах. Вместо этого они публикуют больше обзорных, а не исследовательских статей, или чувствуют себя обязанными привлекать влиятельных старших коллег в качестве соавторов в силу их финансового, а не интеллектуального вклада. Растет плагиат, равно как и хищнические публикации. Однако общий глобальный рейтинг нигерийских университетов увеличился, что удовлетворяет правительство и финансирующие агентства и считается успехом. Нигерия не одинока в этом отношении.

Нигерийская академия наук восстановила свой собственный рецензируемый журнал в качестве ведущего журнала, в котором ученые могут публиковаться (в настоящее время бесплатно) и получать высокие оценки своих учреждений.

В регионе доминируют высококонкурентные системы оценки, основанные на количественных показателях, при этом англоязычные страны обычно формируют системы оценки, а другие страны следуют их примеру. В Австралии, например, существует конкурентная система финансирования, основанная на библиометрии и рейтингах университетов: «даже ЦУР превращаются в показатели эффективности». Аналогичные проблемы существуют в Малайзии и Таиланде, и другие страны АСЕАН, вероятно, последуют их примеру. Важным исключением является Китай, где правительство играет значительную роль в создании крупных системных изменений, которые могут иметь глубокие глобальные последствия (см. текстовое поле).

Отрадно то, что среди исследовательского сообщества в регионе растет понимание и обеспокоенность ограничениями существующих систем оценки исследований и их угрозой для целостности исследований. Хотя ECR, в том числе Национальные академии молодежи и сеть молодых ученых АСЕАН, вместе с массовыми движениями, все активнее участвуют в решении этого вопроса, им трудно быть услышанными. Правительство и финансирующие сообщества, включая руководство университетов, по большей части не участвуют в дебатах: они придают большое значение количественным показателям, но не осознают их последствий для исследований. Действительно, консультанты сообщают, что добавляется больше количественных критериев, до такой степени, что учреждения и исследователи начинают обманывать систему, подпитывая неправомерные исследования.

Однако существуют значительные возможности для изменений, как показано в следующих текстовых полях.

Национальный пример: Китай

Сейчас самая научно-продуктивная страна в мире(Толлефсон, 2018 г.; Statista, 2019), а второй – по инвестициям в исследования (ОЭСР, 2020 г.), то, что происходит в Китае, потенциально может привести к реальным системным изменениям. Новая политика на государственном уровне направлена ​​на восстановление «научного духа, инновационного качества и вклада» исследований и «содействие возвращению университетов к их первоначальным академическим целям» (МОСТ, 2020). Индикаторы Web of Science больше не будут преобладающим фактором при оценке или принятии решений о финансировании, равно как и количество публикаций и JIF. Будут поощряться публикации в высококачественных китайских журналах и поддерживаться их развитие. «Репрезентативные публикации» – 5–10 избранных статей, а не исчерпывающие списки – рассматриваются в оценочных комиссиях вместе с критериями, которые оценивают вклад исследований в решение важных научных вопросов, предоставление новых научных знаний или внедрение инноваций и подлинные достижения. конкретной области.

Разрабатывая систему оценки качества и совершенства исследований, более отвечающую собственным потребностям, крупнейшее китайское агентство по финансированию фундаментальных исследований, Национальный фонд естественных наук Китая (NSFC), с 2018 года проводит систематические реформы, чтобы отразить сдвиги в науке: изменение глобального мира. научные ландшафты, важность трансдисциплинарности, сочетание прикладных и фундаментальных исследований и взаимодействие между исследованиями и инновациями (Манфред Хорват, 2018 г.), переход от библиометрии к системе, которая усиливает местную актуальность исследований в Китае (Чжан и Сивертсен, 2020 г.). Он усовершенствовал свою систему рецензирования для оценки предложений, чтобы она лучше соответствовала революционным исследованиям, основанным на любопытстве, актуальным проблемам на передовых рубежах исследований, превосходной науке, применяемой к экономическим и социальным потребностям, и трансдисциплинарным исследованиям, решающим серьезные проблемы. В 2021 году по этим категориям было подано и рассмотрено 85% предложений. Недавно, в ноябре 2022 года, был объявлен двухлетний пилотный план реформы оценки талантов в области науки и технологий, в котором участвуют восемь министерств, двенадцать научно-исследовательских институтов, девять университетов и шесть местных органов власти. Его цель будет заключаться в изучении показателей и методов оценки талантов в области науки и технологий, задействованных в различных частях инновационной системы.

Субрегиональный пример: Австралия и Новая Зеландия.

И Австралия, и Новая Зеландия в настоящее время находятся на важном этапе. В Австралии текущие параллельные обзоры Австралийского исследовательского совета, переговоры о выдающихся достижениях в исследованиях в Австралии и золотом открытом доступе в совокупности открывают окно возможностей (Росс, 2022 г.).

После общественных консультаций о будущем финансирования науки Новая Зеландия разрабатывает новый системная программа для будущего своей национальной системы исследований и инноваций. И Австралия, и Новая Зеландия внесли свой вклад в разработку системы показателей для своих исследовательских групп коренных народов (Принципы CARE).

Национальный пример: Индия

Центр политических исследований Министерства науки и технологий (DST-CPR) провел недавние исследования по оценке исследований и их реформе в Индии, проведя семинары с ключевыми заинтересованными сторонами (национальные финансирующие агентства, исследовательские институты и академии), интервью и опросы. Было обнаружено, что, хотя университеты и многие учреждения, имеющие значение для национальной политики (например, сельское хозяйство), сосредотачиваются почти исключительно на количественных показателях, некоторые финансирующие агентства и учреждения, такие как Индийские технологические институты, также принимают более качественные показатели. Этот более качественный подход в ведущих учреждениях уже помогает перенаправить больше средств на исследования по национальным приоритетам, хотя еще слишком рано говорить о том, оказывает ли он какое-либо количественное влияние на качество и воздействие исследований.

Основным критерием оценки является экспертная оценка, основанная на мнении экспертного комитета, но только после первоначальной проверки заявок, полностью основанной на количественных показателях. В этих комитетах также существуют фундаментальные проблемы: отсутствие разнообразия и понимания открытой научной практики, недостаточное внимание к социальным последствиям исследований, а также низкий потенциал и предвзятость. Эти проблемы и методологии оценки в целом плохо изучены, а руководств и литературы по этому вопросу не хватает.

Тем не менее, растет осознание необходимости реформирования оценки исследований. При финансовой поддержке гранта DORA на участие сообщества Индийская национальная молодая академия наук в партнерстве с Индийским институтом науки (IISc) и DST-CPR изучала способы улучшения оценки исследований. Их обсуждения были доведены до сведения ключевых заинтересованных сторон с помощью целью стимулирования общенационального разговора о необходимости реформирования и, в конечном итоге, изменения исследовательской культуры Индии, чтобы ее исследования были более инновационными и/или социально значимыми. DST-CPR планирует разработать систему повышения качества исследований, которая может быть интегрирована в ее национальную систему институционального рейтинга.

Больше информации:

Баттачарджи, С. 2022. Справляется ли то, как Индия оценивает свои исследования, со своей задачей? - Проволочная наука

DORA_IdeasForAction.pdf (dstcpriisc.org).

Сучирадипта Б. и Коли М. 2022. Оценка исследований в Индии: что должно остаться, что может быть лучше? DST-CPR, IISc.

Национальный пример: Япония

Протоколы оценки исследований в Японии широко переданы: хотя существуют «Национальные руководящие принципы оценки НИОКР», выпущенные Советом по науке, технологиям и инновациям при кабинете министров, Министерством образования, культуры, спорта, науки и технологий (MEXT) и другими министерства также разработали свои собственные руководящие принципы. Кроме того, университеты и исследовательские институты имеют свои собственные системы оценки исследований и исследователей, которые, как и во многих частях мира, стали привязаны к институциональной эффективности и распределению бюджетных средств.

Растет обеспокоенность по поводу чрезмерного доверия к количественной оценке. В ответ Научный совет Японии подготовил рекомендация о будущем оценки исследований в Японии (2022), призывая уделять меньше внимания количественным и больше качественным показателям, большему признанию разнообразия исследований и ответственности при оценке исследований, а также мониторингу международных тенденций в реформировании практики оценки исследований. В конечном счете, исследовательские интересы и продвижение должны лежать в основе оценки исследований, и необходимо прилагать все усилия для предотвращения усталости, демотивации и чрезмерного давления на исследователей.

Опрос индикаторов оценки, проведенный MEXT, показал, что JIF является одним из многих индикаторов и, как таковой, не оказал сильного влияния на японские исследования, хотя это зависит от дисциплины: например, использование JIF выше в медицинских науках - а менее традиционная исследовательская деятельность, такая как открытые данные, с меньшей вероятностью будет оценена.

Дополнительная информация: РЕКОМЕНДАЦИЯ – На пути к оценке исследований для развития науки: проблемы и перспективы желательной оценки исследований (scj.go.jp)

В заключение отметим, что в некоторых регионах, странах и учреждениях наблюдается растущий импульс реформы оценки исследований. Примеры, проиллюстрированные здесь, включают общенациональные реформы, создание консорциумов или коалиций институтов-единомышленников, стремящихся к переменам, нацеливание/управление конкретными секторами и меры по борьбе с порочными стимулами и поведением.

Это еще не последовательный и инклюзивный глобальный диалог, а практика и идеи не обязательно делятся открыто. Некоторые члены GYA, IAP и ISC уже проявляют инициативу в этой сфере, и можно было бы найти возможности, которые помогли бы им поделиться своим опытом и передовой практикой друг с другом и с более широким кругом членов. Запуск Глобальной обсерватории ответственной оценки исследований (AGORRA) Научно-исследовательским институтом (RoRI) позднее в 2023 году предоставит дополнительную платформу для обмена знаниями, для сравнительного анализа национальных и международных систем реформ и для ускорения двух- способ обмена и тестирования хороших идей в этих системах.

В этом документе изложены основные движущие силы, возможности и проблемы реформы оценки исследований, а также собраны наглядные примеры изменений, происходящих на глобальном, региональном, национальном и институциональном уровнях. Целью этого является мобилизация GYA, IAP и ISC и их соответствующих членов как важных участников глобальной исследовательской экосистемы.

Основываясь на научной литературе и пропагандистской работе последнего десятилетия, можно сделать пять основных выводов.

1. Необходимость переосмысления того, как оцениваются отдельные исследователи, учреждения и результаты, очевидна и неотложна. Поддержание целостности и качества исследований, максимизация разнообразия, инклюзивности и недискриминации науки, а также оптимизация науки для глобального общественного блага являются основными движущими силами, установленными в контексте быстро меняющегося мира.

2. Способы заказа, финансирования, проведения и распространения исследований стремительно развиваются. Движение к целенаправленной и трансдисциплинарной науке, открытым научным структурам, развивающимся моделям экспертной оценки, использованию искусственного интеллекта и машинного обучения, а также быстрому развитию социальных сетей меняют традиционные способы проведения и распространения исследований, что требует нового подхода к системам оценки исследований. а также показатели и процессы экспертной оценки, лежащие в его основе. Необходимы дополнительные и срочные исследования, чтобы обеспечить безопасность этих систем в будущем.

3. Существует настоятельная необходимость создания более сбалансированных систем оценки исследований с количественными и качественными показателями, оценивающими различные формы результатов, процессов и деятельности исследований. Однако утверждать, что процессы качественной экспертной оценки по крайней мере так же важны, как и библиометрия, непросто, и это еще более осложняется тем, что разные части мира находятся на разных стадиях развития своих систем оценки: в некоторых дебаты о реформе оценки исследований находятся на достаточно продвинутой стадии, у других они зарождаются или отсутствуют.

4. Необходима согласованная, подлинно глобальная и инклюзивная инициатива для мобилизации ключевых сообществ заинтересованных сторон для разработки и внедрения последовательных способов оценки и финансирования исследований; учиться друг у друга и у других секторов (особенно у спонсоров исследований и агентств развития). Коллективные, инклюзивные действия, направленные на преобразовательные изменения, должны будут признавать взаимосвязь, а не интернационализацию или универсализацию, т.е. однородность, обеспечивающая совместимость систем исследований и финансирования, а также мобильность исследователей, чтобы свести к минимуму расхождения и фрагментацию. Частичный, эксклюзивный разговор рискует еще больше предвзято и поставить в невыгодное положение тех, кто исторически был исключен.

5. Изменения необходимы на всех уровнях – глобальном, региональном, национальном и институциональном – поскольку показатели распространяются через всю исследовательскую экосистему, и все эти уровни взаимосвязаны. Все заинтересованные стороны должны играть свою роль в качестве партнеров, а не противников, включая спонсоров, университеты, ассоциации университетов и исследовательских институтов, межправительственные организации (МПО), правительства и правительственные сети, академии, разработчиков научной политики, менеджеров в области исследований и инноваций и отдельных исследователей. Членство GYA, IAP и ISC в совокупности охватывает значительную часть этого богатого ландшафта (рис. 1, приложение C).

Рисунок 1: Карта заинтересованных сторон относительно членства GYA, IAP и ISC (Нажмите, чтобы посмотреть)

Объединяющая сила таких организаций, как GYA, IAP и ISC, может помочь объединить разнообразие взглядов и опыта в большей части исследовательской экосистемы: экспериментировать, учиться на существующих и новых инициативах и развивать их. Что особенно важно, они могут связаться с ключевыми заинтересованными сторонами, инициирующими перемены – правительствами, спонсорами исследований и университетами, а также жизненно важными глобальными движениями, такими как DORA – чтобы помочь мобилизовать архитектуру действующих лиц. В совокупности они могут служить:

● защитники – повышение осведомленности о дебатах, разработках и реформах по оценке исследований в знак признания того, что их члены выступают в качестве (i) наставников и руководителей младших коллег, (ii) руководителей вузов, (iii) членов советов финансирующих и издательских органов управления и ( iv) советники политиков;

● новаторы – изучают различные подходы к оценке фундаментальных и прикладных исследований инклюзивным и инновационным способом;

● образцы – изменение собственной институциональной культуры – обновление своего членства, наград, практики публикаций и проведения конференций, а также подача личного примера;

● оценщики – использование роли членов как на институциональном, так и на индивидуальном уровне, чья деятельность заключается в оценке исследователей, исследований и учреждений, а также тех, кто выполняет издательские, редакционные и рецензирующие функции;

● спонсоры – в частности, привлечение финансирующих агентств, представленных в ISC, и членов, которые управляют и распределяют крупные национальные и международные гранты;

● партнеры – поддержка уже существующих кампаний за реформы, например, DORA, CoARA ЕС и обязательств ЮНЕСКО по открытой науке.

Авторы данной статьи призывают GYA, IAP и ISC, а также подобные им организации действовать следующим образом:

ДЕЙСТВИЕ 1: Обмен знаниями и передовой практикой

В этом документе приводятся примеры вмешательств и инноваций со всего мира. Пространство для обмена опытом и создания сильной и инклюзивной «коалиции желающих» имеет жизненно важное значение.

1.1: Предоставить платформу членам, которые уже активно работают в этой сфере, чтобы делиться своими знаниями и строить стратегические связи, особенно на национальном уровне. Используйте эти примеры, чтобы помочь заполнить Панель управления DORA [106] обучения и передовой практики.

1.2: Изучить и составить карту изменений в реформе оценки исследований под руководством членов, чтобы определить институциональные, национальные и региональные подходы, а также найти и поделиться передовой практикой. Созвать тех, кто уже руководил крупными национальными и международными инициативами или участвовал в них, для расширения пропаганды и обучения среди членов.

ДЕЙСТВИЕ 2: Подавайте пример

Членство в GYA, IAP и ISC охватывает многие части исследовательской экосистемы, и каждый из них может сыграть важную роль в формировании успеха ученого.

2.1: Переход к более прогрессивным методологиям оценки исследований среди широкого круга членов. Подавайте пример и помогайте изменить культуру оценки исследований посредством своей собственной философии и практики членства, используя при этом опыт DORA и GRC. Академии, как традиционно элитные организации, должны сыграть здесь особую роль – их следует поощрять к расширению своих собственных критериев выборов и отбора, чтобы отразить более широкое и плюральное понимание качества и воздействия исследований, чтобы отразить этот плюрализм (и с это больше инклюзивности и разнообразия) в их членстве.

2.2: Стимулировать региональное сотрудничество и лидерство. Поощрять региональные сети членов GYA и национальных молодых академий, региональные сети академий IAP и региональных координаторов ISC рассмотреть возможность подражания Совету ALLEA. инициатива, адаптированные к их собственному контексту.

ДЕЙСТВИЕ 3: Построить стратегическое партнерство с ключевыми заинтересованными сторонами.

Тремя основными субъектами, ответственными за проведение реформы оценки исследований, являются правительства, спонсоры исследований и университеты. GYA, IAP и ISC могут помочь привлечь исследовательское сообщество к их усилиям по реформированию и устранению существующих в настоящее время разногласий.

3.1: Взаимодействовать с руководством GRC для изучения способов совместной работы – по существу, чтобы стимулировать членов и их соответствующих национальных представителей GRC к изучению того, как их исследовательские сообщества могут принять участие.

3.2: Взаимодействовать с глобальными и региональными сетями университетов, такими как Международная ассоциация университетов (МАУ), для разработки новых инструментов обучения для исследовательского сообщества; использовать руководство вузов среди коллективного членства GYA, IAP и ISC в качестве защитников.

3.3: Объединить учреждения-члены в странах, получающих гранты DORA (Аргентина, Австралия, Бразилия, Колумбия, Индия, Япония, Нидерланды, Уганда и Венесуэла) с руководителями грантов DORA для обмена идеями и потенциального расширения этих местных инициатив.

3.4: Налаживать отношения с ведущими международными агентствами по развитию, которые уже внедряют инновационные и эффективные стратегии оценки исследований в странах с низким и средним уровнем дохода и наименее развитых странах.

3.5: Сотрудничать с ЮНЕСКО, чтобы помочь сформировать национальные обязательства по оценке исследований в рамках ее Рекомендации по открытой науке.

ДЕЙСТВИЕ 4: Обеспечить интеллектуальное лидерство в отношении будущего оценки исследований.

Крайне важно сосредоточить внимание на конкретных и неотложных задачах реформы оценки исследований. GYA, IAP и ISC, а также международные сети, подобные им, могут опираться на свои соответствующие полномочия, интеллектуальный вес и влияние своих членов, а также связи с ключевыми группами избирателей.

4.1: Совместно созвать с ключевыми заинтересованными сторонами серию дискуссионных форумов с участием многих заинтересованных сторон или «Лабораторий трансформации» для переосмысления и реализации реформы оценки исследований – привлечь лидеров вузов и их глобальных (например, IAU и IARU) и региональных сетей (например, LERU и AAU [107] ]), спонсоры исследований (включая национальных представителей GRC), агентства международного развития и ведущие издатели, среди других. Привлечь новые или использовать существующие ресурсы для финансирования этой работы (некоторые предварительные идеи см. в Приложении D).

4.2: Разработать новое исследование по важному аспекту будущего развития оценки исследований, например (1) влияние технологических достижений на оценку исследований и экспертную оценку (включая как использование, так и злоупотребление), а также то, как они могут развиваться в будущем и ( 2) более широкое реформирование системы экспертной оценки (с точки зрения ее прозрачности, открытости, потенциала, признания и обучения). Обе проблемы являются неотъемлемой частью надежности знаний и достоверности науки.

В основе всех этих усилий должны лежать три фундаментальные вещи:

• Расширение критериев оценки научных исследований и исследователей за рамки традиционных академических показателей, включив в них разнообразные формы результатов и функций исследований, включая количественные критерии, которые могут измерить социальное воздействие исследований.

• Поощрение руководителей вузов и спонсоров исследований к принятию и развитию этих новых критериев оценки как показателей качества и ценности исследований.

• Работа с этими лидерами над новыми формами повышения осведомленности и обучения будущих поколений исследователей, чтобы вооружить их необходимыми навыками для эффективного общения и взаимодействия с политиками, общественностью и другими ключевыми группами населения; и способствовать разнообразию и инклюзивности в исследовательском предприятии.

Авторы этой статьи приходят к выводу, что такие сети, как GYA, IAP и ISC, вместе с другими ключевыми группами и поддерживая их, могут помочь создать последовательную, основанную на широком участии глобальную инициативу по мобилизации исследовательских сообществ, университетов и других вузов вокруг этой повестки дня, а также рассмотреть возможность как реализовать новые способы оценки и финансирования исследований, чтобы сделать их более эффективными, справедливыми, инклюзивными и результативными.

Скачать

Этот документ был написан членами аналитической группы GYA-IAP-ISC, которая работала с перерывами в период с мая 2021 года по февраль 2023 года (подробнее в Приложении A):

• Сара де Райке (Председатель, Нидерланды)

• Клеменсия Косентино (США)

• Робин Крю (Южная Африка)

• Карло Д'Ипполити (Италия)

• Шахин Мотала-Тимол (Маврикий)

• Нурсаада Бинти А Рахман (Малайзия)

• Лаура Ровелли (Аргентина)

• Дэвид Во (Австралия)

• Яо Юпэн (Китай)

Рабочая группа благодарит Трейси Эллиотт (старшего консультанта ISC) за ее координацию и работу по составлению проекта. Благодарим также Алекса Рашфорта (Центр исследований науки и технологий (CWTS), Лейденский университет, Нидерланды) и Сару Мур (ISC) за дополнительный вклад и поддержку.

Рабочая группа также благодарна всем, с кем консультировались при подготовке настоящего документа (Приложение B), кто уделил свое время и поделился своими взглядами на оценку исследований в своих странах и регионах, а также рецензентам, назначенным GYA, IAP и ISC:

• Карина Баттяни, исполнительный директор Латиноамериканского совета социальных наук (CLACSO) (Уругвай)

• Ричард Кэтлоу, профессор-исследователь Университетского колледжа Лондона (Великобритания)

• Сибель Экер, доцент, Университет Радбаунд (Нидерланды)

• Энси Эрфани, научный сотрудник Международного центра теоретической физики (Иран, Италия)

• Мотоко Котани, исполнительный вице-президент Riken (Япония)

• Прадип Кумар, профессор и старший научный сотрудник Университета Витватерсранда (Южная Африка)

• Бун Хан Лим, доцент Университета Тинку Абдул Рахман (UTAR) (Малайзия)

• Присцилла Колибеа Манте, старший преподаватель Университета науки и технологий Кваме Нкрумы (KNUST) (Гана)

• Альма Эрнандес-Мондрагон, президент Мексиканской ассоциации содействия развитию науки (AMEXAC) (Мексика)

• Хатиджа Мохамад Юсофф, старший профессор Университета Путры Малайзии (UPM) (Малайзия)

1. ЮНЕСКО. 2021. Доклад ЮНЕСКО по науке: гонка со временем за более разумное развитие (глава 1). ЮНЕСКО. https://unesdoc.unesco.org/ark:/48223/pf0000377250

2. Королевское общество. (2012). Наука как открытое предприятие. Центр научной политики Королевского общества. https://royalsociety.org/~/media/policy/projects/sape/2012-06-20-saoe.pdf

3. Остейн С. и Ларивьер В. 2014. Использование библиометрии для оценки исследований: возможности, ограничения и побочные эффекты. И. Велпе, Дж. Воллершейм, С. Рингелхан, М. Остерло (ред.), «Стимулы и результативность», Cham, Springer, стр. 121–139.

4. Маклауд, М., Мичи, С., Робертс, И., Дирнаги, У., Чалмерс, И., Иоаднидис, Дж., Аль-Шахи Салман, Р., Чен., А.В. и Глазиу, П. 2014 г. Биомедицинские исследования: увеличение ценности, сокращение отходов. Ланцет, Том. 383, № 9912, стр. 101–104.

5. Бол Т., де Ваан М. и ван де Райт А. 2018. Эффект Мэтью в финансировании науки. Труды Национальной академии наук Соединенных Штатов Америки, Vol. 115, № 19, стр. 4887–4890.

6. Международный научный совет. 2021. Открытие рекордов науки: создание научных публикаций для науки в цифровую эпоху. Париж, Франция, ISC. https://doi.org/10.24948/2021.01

7. Мюллер Р. и де Рике С. 2017. Мышление с помощью индикаторов. Изучение эпистемического воздействия показателей академической успеваемости в науках о жизни. Оценка исследований, Vol. 26, № 3, стр. 157–168.

8. Анседе, М. 2023. Один из самых цитируемых ученых в мире, Рафаэль Луке, отстранен от работы без содержания на 13 лет. Эль Паис. https://english.elpais.com/science-tech/2023-04-02/one-of-the-worlds-most-cited-scientists-rafael-luque-suspended-without-pay-for-13-years. HTML

9. ИАП. 2022. Борьба с хищническими академическими журналами и конференциями. Триест, Италия, IAP. https://www.interacademies.org/publication/predatory-practices-report-English

10. Эллиот Т., Фазин Б., Асрат А., Четто А.М., Эрикссон С., Луи Л.М. и Негра Д. 2022. Представления о распространенности и влиянии хищнических академических журналов и конференций: глобальный опрос исследователей. Изучаемое издательство, Vol. 3, № 4, стр. 516–528.

11. Коллайер, Т.А. 2019. «Нарезка салями» помогает карьере, но вредит науке. Природа человеческого поведения, Vol. 3, стр. 1005–1006.

12. Абад-Гарсия, М.Ф. 2019. Плагиат и хищнические журналы: угроза научной честности. Anales De Pediatría (английское издание), Vol. 90, № 1, стр. 57.e1–57.e8.

13. Омобовале А.О., Аканле О., Адениран А.И. и Адегбойега К. 2013. Периферийные исследования и контекст платных зарубежных публикаций в Нигерии. Современная социология, Vol. 62, № 5, стр. 666–684.

14. Ордвей, Д.-М. 2021. Научные журналы и журналисты увековечивают дезинформацию при рассмотрении опровержений исследований. Ресурс журналиста. https://journalistsresource.org/home/retraction-research-fake-peer-review/

15. Карри С., де Райке С., Хэтч А., Пиллэй Д., ван дер Вейден И. и Уилсдон Дж. 2020. Меняющаяся роль спонсоров в ответственной оценке исследований: прогресс, препятствия и Путь вперед. Лондон, Великобритания, Научно-исследовательский институт.

16. Под «Глобальным Севером» обычно понимаются промышленно развитые или развитые экономики по определению Организации Объединенных Наций (2021 г.), тогда как под «Глобальным Югом» понимаются экономики, недавно ставшие индустриализированными или находящиеся в процессе индустриализации или развития, и которые часто являются текущими. или бывшие субъекты колониализма.

17. Межакадемическое партнерство. Сессия 12: Победа за счет большей инклюзивности: связь между разнообразием и академической культурой. ИАП. https://www.interacademies.org/page/session-12-winning-greater-inclusion-relation-between-diversity-and-academic-cultural

18. Глобальная Молодёжная Академия. Рабочая группа по научному совершенству. Берлин, Германия, GYA. https://globalyoungacademy.net/activities/scientific-excellence/

19. МСК. 2021. Раскрытие науки: выполнение миссий по устойчивому развитию. Париж, Франция, ISC. дои: 10.24948/2021.04

20. МСК. 2022. Отрывок из выступления Питера Глюкмана на симпозиуме Endless Frontier. Париж, Франция. ISC. https://council.science/current/blog/an-extract-from-peter-глюкманс-speech-to-the-endless-frontier-symposium/

21. Белчер Б., Клау Р., Давел Р., Джонс С. и Пинто Д. 2021. Инструмент для планирования и оценки трансдисциплинарных исследований. Анализ интеграции и внедрения. https://i2insights.org/2021/09/02/transdisciplinary-research-evaluation/

22. Белчер Б.М., Расмуссен К.Е., Кемшоу М.Р. и Зорнес Д.А. 2016. Определение и оценка качества исследований в трансдисциплинарном контексте. Оценка исследований, Vol. 25, № 1, стр. 1–17.

23. Уилсдон Дж. и др. 2015. The Metric Tide: отчет о независимом обзоре роли показателей в оценке исследований и управлении ими. ХЕФСЕ.

24. ЮНЕСКО. Рекомендация ЮНЕСКО по открытой науке. Париж, Франция, ЮНЕСКО. https://unesdoc.unesco.org/ark:/48223/pf0000379949

25. Источник в ЮНЕСКО сообщил, что эта работа в настоящее время приостановлена, поскольку в дебатах доминируют лишь немногие и не обязательно находит отклик у многих: выработке рекомендаций должен предшествовать обширный диалог.

26. Баррога, Э. 2020. Инновационные стратегии экспертной оценки. Журнал корейской медицинской науки, Vol. 35, № 20, стр. e138.

27. Вудс, Х.Б. и др. 2022. Инновации в рецензировании научных публикаций: метарезюме. SocArXiv, doi: 10.31235/osf.io/qaksd

28. Кальтенбруннер В., Пинфилд С., Уолтман Л., Вудс Х.Б. и Брумберг Дж. 2022. Инновационная экспертная оценка, реконфигурация научной коммуникации: аналитический обзор текущей инновационной деятельности по экспертной оценке. SocArXiv, doi: 10.31235/osf.io/8hdxu

29. Холм Дж., Уолтман Л., Ньюман-Гриффис Д. и Уилсдон Дж. 2022. Передовая практика использования машинного обучения и искусственного интеллекта организациями, финансирующими исследования: выводы из серии семинаров. Лондон, Великобритания, Научно-исследовательский институт. https://doi.org/10.6084/m9.figshare.21710015.v1

30. Проктер Р., Гловер Б. и Джонс Э. 2020. Исследования 4.0 Исследования в эпоху автоматизации. Лондон, Великобритания, ДЕМОС.

31. Бейкер, М. 2015. Умное программное обеспечение обнаруживает статистические ошибки в статьях по психологии. Природа, https://doi.org/10.1038/nature.2015.18657

32. Ван Ноорден, Р. 2022. Исследователи используют ИИ для анализа экспертной оценки. Природа 609, 455.

33. Северин Ан., Стринцель М., Эггер М., Баррос Т., Соколов А., Муатт Дж. и Мюллер С. 2022. Arxiv,

34. Гэдд, Э. 2022. Инструменты оценки цитируемости на основе искусственного интеллекта: хорошо, плохо или безобразно? Библиомаг. https://thebibliomagician.wordpress.com/2020/07/23/ai-based-citation-evaluation-tools-good-bad-or-ugly/

35. Фолтынек Т., Меушке Н. и Гипп Б. 2020. Обнаружение академического плагиата: систематический обзор литературы. Обзоры вычислительных систем ACM, Vol. 52, № 6, стр. 1–42.

36. Куах, К. 2022. Издатели используют ИИ, чтобы поймать плохих ученых, подтасовывающих данные. Регистр. https://www.theregister.com/2022/09/12/academic_publishers_are_using_ai/

37. Ван Дис, Э., Боллен, Дж., Зуйдема, ван Руджи, Р. и Боктинг, К. 2023. ChatGPT: пять приоритетов исследований. Природа, Том. 614, стр. 224–226.

38. Чавла, Д. 2022. Должен ли ИИ играть роль в оценке качества исследований? Природа, https://doi.org/10.1038/d41586-022-03294-3

39. Сираноски, Д. 2019. Искусственный интеллект выбирает рецензентов грантов в Китае. Природа, Том. 569, стр. 316–317.

40. Майк, Т. 2022. Можно ли оценить качество опубликованных статей в научных журналах с помощью машинного обучения? Количественные научные исследования, Том. 3, № 1, стр. 208–226.

41. Хомский Н., Робертс И. и Ватумулл Дж. 2023. Ложное обещание ChatGPT. Нью-Йорк Таймс. https://www.nytimes.com/2023/03/08/opinion/noam-chomsky-chatgpt-ai.html

42. Разъясните. 2022. Оценка исследований: истоки, эволюция, результаты. Уточнить. https://clarivate.com/lp/research-assessment-origins-evolutions-outcomes/

43. Блаут Т.Ф., Гстрейн О.Дж. и Цвиттер А. 2022. Преступления в области искусственного интеллекта: обзор злонамеренного использования и злоупотреблений ИИ. Доступ IEEE, Том. 10, стр. 77110–77122.

44. Кастельвекки, Д. 2019. Пионер искусственного интеллекта: «Опасности злоупотреблений вполне реальны». Природа, дои: https://doi.org/10.1038/d41586-019-00505-2

45. Джордан, К. 2022. Представления ученых о влиянии исследований и их участии посредством взаимодействия на платформах социальных сетей. Обучение, медиа и технологии, doi: 10.1080/17439884.2022.2065298.

46. ​​Воутерс П., Захеди З. и Костас Р. 2019. Показатели социальных сетей для оценки новых исследований. Глензель В., Моед Х.Ф., Шмох У., Телуолл М. (ред.), Справочник Springer по индикаторам науки и технологий. СпрингерЛинк.

47. Рафолс И. и Стирлинг А. 2020. Разработка показателей для открытой оценки. Выводы из исследовательской оценки. ResearchGate, doi: 10.31235/osf.io/h2fxp

48. Рич А., Сюреб А., Вробель Б., Керр Дж., Титжен К., Мендису Б., Фархалла В., Сюй Дж., Доминик М., Вуйте Г. ., Ход О. и Баул Дж. 2022. Назад к основам. Галле, Германия, Global Young Academy.

49. Джонг Л., Франссен Т. и Пинфилд С. 2021. Превосходство в исследовательской экосистеме: обзор литературы. Лондон, Великобритания, Научно-исследовательский институт.

50. Хэтч А. и Карри С. 2020. Культура исследований: изменить то, как мы оцениваем исследования, сложно, но возможно. Электронная жизнь, Том. 9, с. е58654.

51. ИАП. 2022. Борьба с хищническими академическими журналами и конференциями. Триест, Италия, IAP.

52. Хикс Д., Воутерс П., Уолтман Л., де Райке С. и Рафолс И. 2015. Библиометрия: Лейденский манифест по метрикам исследований. Природа, Том. 520, стр. 429–431.

53. Публоны. 2018. Глобальное состояние экспертной оценки. Лондон, Великобритания, Clarivate. https://doi.org/10.14322

54. Кованис М., Порчер Р., Рево П. и Тринкварт Л. 2016. Глобальное бремя рецензирования журналов в биомедицинской литературе: сильный дисбаланс в коллективном предприятии. PLoS ONE, Том. 11, № 11, с. е0166387.

55. Форрестер, Б. 2023. Надоело и выгорело: «тихий уход» поражает академические круги. Природа, Том. 615, стр. 751–753.

56. Хэтч А. и Карри С. 2020. Культура исследований: изменить то, как мы оцениваем исследования, сложно, но возможно. Электронная жизнь, Том. 9, с. е58654.

57. Мохер Д., Баутер Л., Кляйнерт С., Гласиу П., Хар Шам М., Барбур В., Кориат А.М., Фогер Н. и Дирнаги У. 2020. The Hong Конг Принципы оценки исследователей: содействие честности исследований. PLoS Биология, Vol. 18, № 7, с. е3000737.

58. Уилсдон Дж., Аллен Л., Бельфиоре Э., Кэмпбелл П., Карри С., Хилл С., Джонс Р., Кейн Р. и Керридж С. 2015. Метрика. Tide: Отчет о независимом обзоре роли показателей в оценке и управлении исследованиями. doi:10.13140/RG.2.1.4929.1363

59. Карри С., Гэдд Э. и Уилсдон Дж. 2022. Использование метрической волны: индикаторы, инфраструктура и приоритеты для ответственной оценки исследований в Великобритании. Лондон, Великобритания, Научно-исследовательский институт.

60. Редакция природы. 2022. Поддержите смелое видение Европы по ответственной оценке исследований. Природа, Том. 607, с. 636.

61. Декларация об оценке исследований (DORA). https://sfdora.org/about-dora/

62. Хикс Д., Воутерс П., Уолтман Л., де Райке С. и Рафолс И. 2015. Библиометрия: Лейденский манифест по метрикам исследований. Природа, Том. 520, стр. 429–431.

63. Карри С., Гэдд Э. и Уилсдон Дж. 2022. Использование метрической волны: индикаторы, инфраструктура и приоритеты для ответственной оценки исследований в Великобритании. Лондон, Великобритания, Научно-исследовательский институт. https://rori.figshare.com/articles/report/Harnessing_the_Metric_Tide/21701624

64. ДОРА. Декларация Сан-Франциско об оценке исследований. https://sfdora.org/read/

65. ДОРА. Инструменты для продвижения оценки исследований. ДОРА. https://sfdora.org/project-tara/

66. ДОРА. Гранты DORA на вовлечение сообщества: поддержка реформы академической оценки https://sfdora.org/dora-community-engagement-grants-supporting-academic-assessment-reform/

67. Инормы. Рамочная система SCOPE для оценки исследований. https://inorms.net/scope-framework-for-research-evaluation/

68. Инормы. Структура ОБЛАСТИ ПРИМЕНЕНИЯ. https://inorms.net/scope-framework-for-research-evaluation/

69. Торфин С. 2018. Качество исследований плюс. Международный исследовательский центр развития. https://www.idrc.ca/en/rqplus

70. Рид К., Калия К., Герра К. и Грант Л. 2019. Этические действия в глобальных исследованиях: набор инструментов. Эдинбург, Шотландия, Эдинбургский университет. https://www.ethical-global-research.ed.ac.uk/

71. Вальтерс, К. 2014. Теории изменений в международном развитии: коммуникация, обучение или подотчетность? Фонд Азии. https://www.alnap.org/system/files/content/resource/files/main/jsrp17-valters.pdf

72. Фрейзер К., Ниеналтовски М.Х., Гофф К.П., Ферт К., Шарман Б., Брайт М. и Диас С.М. 2021. Ответственная оценка исследований. Глобальный исследовательский совет. https://globalresearchcouncil.org/news/responsible-research-assessment/

73. Глобальный исследовательский совет. Ответственная оценка исследований GRC. YouTube. https://www.youtube.com/watch?v=CnsqDYHGdDo

74. Карри С., де Райке С., Хэтч А., Дорсами П., ван дер Вейден И. и Уилсдон Дж. 2020. Меняющаяся роль спонсоров в ответственной оценке исследований. Лондон, Великобритания, Научно-исследовательский институт. https://doi.org/10.6084/m9.figshare.13227914.v1

75. Глобальный исследовательский совет. Рабочая группа по ответственной оценке исследований. ГРЦ. https://globalresearchcouncil.org/about/responsible-research-assessment-working-group/

76. Глобальная Молодёжная Академия. Научное совершенство. ГЯ. https://globalyoungacademy.net/activities/scientific-excellence/

77. Адамс Дж., Бердсли Р., Борнманн Л., Грант Дж., Сомсзор М. и Уильямс К. 2022. Оценка исследований: истоки, эволюция, результаты. Институт научной информации. https://clarivate.com/ISI-Research-Assessment-Report-v5b-Spreads.pdf

78. ДОРА. Библиотека ресурсов. https://sfdora.org/resource-library

79. Саенен Б., Хэтч А., Карри С., Праудман В. и Лакодук А. 2021. Переосмысление академической оценки карьеры: истории инноваций и перемен. ДОРА. https://eua.eu/downloads/publications/eua-dora-sparc_case%20study%20report.pdf

80. Коалиция за продвижение оценки исследований (CoARA). https://coara.eu/

81. КоАРА. 2022. Соглашение о реформировании оценки исследований. https://coara.eu/app/uploads/2022/09/2022_07_19_rra_agreement_final.pdf

82. Редакция природы. 2022. Поддержите смелое видение Европы по ответственной оценке исследований. Природа, Том. 607, с. 636.

83. Открытая и универсальная наука. OPUS Home – Проект «Открытая и универсальная наука» (OPUS). https://opusproject.eu/

84. Вергулис, Т. 2023. GraspOS движется вперед к более ответственной оценке исследований. ОпенЭЙР. https://www.openaire.eu/graspos-moving-forward-to-a-more-responsible-research-assessment

85. Европейский исследовательский совет. 2022. Ученый совет ERC принимает решение об изменении форм и процессов оценки конкурсов 2024 года. ЭРК. https://erc.europa.eu/news-events/news/erc-scientific-council-decides-changes-evaluation-forms-and-processes-2024-calls

86. Все европейские академии. 2022. Заявление ALLEA о реформировании оценки исследований в европейских академиях. АЛЛЕЯ. https://allea.org/wp-content/uploads/2022/10/ALLEA-Statement-RRA-in-the-Academies.pdf

87. Евродок, MCAA, YAE, ICoRSA и GYA. 2022. Совместное заявление о выводах Совета ЕС по оценке исследований и внедрению открытой науки. Зенодо, doi: 10.5282/zenodo.7066807.

88. Оверлает, Б. 2022. Путь к многоплановой академической карьере – система LERU для оценки исследователей. ЛЕРУ, Левен, Бельгия. https://www.leru.org/files/Publications/LERU_PositionPaper_Framework-for-the-Assessment-of-Researchers.pdf

89. Королевское общество. Резюме для исследователей. https://royalsociety.org/topics-policy/projects/research-cultural/tools-for-support/resume-for-researchers/

90. Гроув, Дж. 2021. Рассказывает ли повествовательное резюме правильную историю? Высшее образование Times (THE). https://www.timeshighereducation.com/DP/do-narrative-cvs-tell-right-story

91. РИЦИТ. Исследователи по секторам занятости (ЭПЗ) 2011-2020 гг. app.ricyt.org/ui/v3/comparative.html?indicator=INVESTEJCSEPER&start_year=2011&end_year=2020

92. КЛАКСО. 2020. Оценка научных исследований. Серия «На пути к трансформации оценки научных исследований в Латинской Америке и Карибском бассейне» Латиноамериканского форума по оценке исследований (FOLEC). КЛАКСО, Буэнос-Айрес, Аргентина. https://www.clacso.org/wp-content/uploads/2020/05/FOLEC-DIAGNOSTICO-INGLES.pdf

93. КЛАКСО. 2021. На пути к трансформации систем оценки в Латинской Америке и Карибском бассейне, Инструменты для продвижения новой политики оценки. Серия Латиноамериканского форума по оценке исследований (FOLEC). КЛАКСО, Буэнос-Айрес, Аргентина. https://www.clacso.org/wp-content/uploads/2022/02/Documento-HERRAMIENTA-2-ENG.pdf

94. Гра, Н. 2022. Формы оценки исследований, ориентированных на проблемы развития. Практика и перспективы национальных научно-технических организаций и высших учебных заведений Латинской Америки и Карибского бассейна. ФОЛЕК. КЛАКСО, Буэнос-Айрес, Аргентина. 2022-07-27_Report Forms-of-research-assessment.pdf ENG.pdf (dspacedirect.org)

95. CLACSO является Советом социальных наук в регионе и ведущим поборником социально значимой и ответственной науки. Латиноамериканский форум по оценке исследований (FOLEC) представляет собой региональную площадку для дискуссий и обмена передовым опытом и разрабатывает региональные рекомендации по оценке исследований в поддержку этих принципов. Оба обеспечивают сильное региональное лидерство.

96. СГКИ. Инициатива советов по предоставлению научных грантов (SGCI) в странах Африки к югу от Сахары. https://sgciafrica.org/

97. СГКИ. Тейссен Р. и Кремер-Мбула Э. 2017. Аналитическая записка: Перспективы передового опыта исследований на Глобальном Юге – оценка, мониторинг и оценка в контексте развивающихся стран. СГКИ. https://sgciafrica.org/wp-content/uploads/2022/03/Policy-Brief-Perspectives-on-research-excellence-in-the-Global-South_-Assessment-monitoring-and-evaluation-in-developing- страна-контексты.pdf

98. Тийссен Р. и Кремер-Мбула Э. 2018. Превосходство исследований в Африке: политика, восприятие и эффективность. СГКИ. https://sgciafrica.org/research-excellence-in-africa-policies-perceptions-and- Performance/

99. Тийссен Р. и Кремер-Мбула Э. 2018. Превосходство исследований в Африке: политика, восприятие и эффективность. Наука и государственная политика, Vol. 45 № 3, стр. 392–403. https://doi.org/10.1093/scipol/scx074

100. СГКИ. Руководство по передовой практике в области качества конкурсов исследований. https://sgciafrica.org/eng-good-practice-guideline-on-the-quality-of-research-competitions/

101. НРФ. NRF проводит стратегические встречи для развития исследовательского партнерства в Африке - Национальный исследовательский фонд

102. Белчер Б.М., Расмуссен К.Е., Кемшоу М.Р. и Зорнс Д.А. 2016. Определение и оценка качества исследований в трансдисциплинарном контексте, Research Evaluation, Vol. 25, стр: 1–17, https://doi.org/10.1093/reseval/rvv025.

103. АРИН. 2020. Показатели научных технологий и инноваций (НТИ) – Африканская сеть исследований и воздействия (arin-africa.org)

104. Маклин Р., Офир З., Этерингтон А., Асеведо М. и Файнштейн О. 2022. Качество исследований плюс (RQ+) – оценка исследований по-разному. Оттава, Центр исследований международного развития. https://idl-bnc-idrc.dspacedirect.org/bitstream/handle/10625/60945/IDL-60945.pdf?sequence=2&isAllowed=y

105. Международная академия мониторинга и оценки.

106. ДОРА. Панель управления ТАРА. https://sfdora.org/tara-landing-page/

107. IARU, Международная ассоциация наукоемких университетов; LERU, Лига европейских исследовательских университетов; AAU, Африканская ассоциация университетов