Комитет ICSU по свободе и ответственности в ведении науки (CFRS) обеспокоен тем, что некоторые политики и методы, принятые в настоящее время научными учреждениями и издателями журналов, могут непреднамеренно подрывать целостность научной литературы. Это усугубляется некритическим использованием показателей публикаций в качестве замены независимой экспертной оценки при оценке научной деятельности. Указав на эти опасения организациям-членам МСНС, можно надеяться, что они примут меры для обеспечения качества научных данных и будут способствовать осторожному и критическому подходу к использованию показателей публикаций при оценке исследований.
Проблемы, вызывающие озабоченность:
- При назначении на должность и присуждении грантов основным критерием часто является количество публикаций соискателей и, в частности, количество и предполагаемое влияние публикаций. Это непреднамеренно создает стимулы для дублирующих публикаций, раздельных публикаций, малоценных публикаций и почетного авторства.
- Импакт-факторы журналов дают представление о среднем количестве ожидаемых цитирований статьи в конкретном журнале, но эти цифры легко интерпретировать неправильно. Например, на них может влиять соотношение рецензий и первичных статей. Цитаты для любой отдельной статьи могут быть намного выше или ниже, чем ожидаемые от импакт-фактора.
- Хотя количество цитирований может указывать на качество публикации, это не обязательно так. По-настоящему новые и очень важные статьи могут привлекать мало внимания в течение нескольких лет после их публикации. Неверная статья может привести к многочисленным цитатам из статей, опровергающих ее, а число цитирований может быть завышено за счет самоцитирования. Число цитирований также, как правило, выше для обзоров, чем для первичных статей.
- Ценность, приписываемая публикациям и цитируемости, может заставить ученых публиковать слишком рано или преувеличивать и интерпретировать результаты. Кроме того, в экстремальных ситуациях это может способствовать недобросовестному научному поведению, когда результаты сфабрикованы, фальсифицированы или заимствованы.
- Из-за необходимости публиковаться все больше рукописей направляется в несколько журналов, прежде чем они в конечном итоге будут приняты. Это увеличивает нагрузку на рецензентов, что в конечном итоге снижает тщательность процесса рецензирования. Множественные представления и обзоры одной и той же работы могут задержать сообщение важных результатов, и можно утверждать, что умножение количества обзоров редко предотвращает в конечном итоге публикацию работы низкого качества.
- Все более популярными становятся альтернативные средства публикации в непроверенных или не проверенных экспертами электронных архивах, на индивидуальных или институциональных домашних страницах или в блогах. Хотя эти средства массовой информации открывают новые возможности и повышают общий доступ к публикациям, они также увеличивают доступность менее важной или, возможно, вводящей в заблуждение информации.
CFRS обеспокоен тем, что текущая политика и практика могут оказывать серьезное влияние на качество научной работы в целом и увеличивать нагрузку на рецензентов журналов. Любое ненужное увеличение объема научных публикаций ставит под угрозу надлежащий процесс рецензирования, который необходим для поддержания стандартов точности и целостности.
В дополнение к своей роли в научных публикациях, Комитет считает тщательную и беспристрастную экспертную оценку наиболее важным механизмом оценки качества научной работы и научных проектов. Создание и поддержание хороших процессов рецензирования само по себе является сложной задачей, и признано, что использование количественных показателей и метрик в качестве дополнения к этому процессу может принести пользу. Однако кажущаяся простота и привлекательность таких числовых индексов не должны скрывать их возможности для манипулирования и неправильного толкования, и поэтому их следует использовать с большой осторожностью.
Поскольку нормы количества публикаций, соглашения об авторстве и цитирования различаются от области к области, суждения и политика часто лучше всего принимаются коллегами, имеющими опыт в той же области. CFRS призывает организации-члены МСНС стимулировать обсуждение критериев научной оценки, карьерных показателей и отчетов о публикациях с целью продвижения системы, которая может лучше служить науке в целом. Вместо того, чтобы учиться выживать в культуре «опубликуй или погибни», молодых ученых следует поощрять и поддерживать в создании высококачественных научных сообщений, которые вносят реальный вклад в научный прогресс.
Вопросы для рассмотрения, касающиеся использования метрик при оценке эффективности исследований, включают:
- Каков оптимальный баланс между прямым рецензированием, включая чтение соответствующих статей, и использованием количественных показателей, основанных на записях о публикациях, при рассмотрении заявок на гранты и должности?
- При оценке записей о публикациях и эффективности какой вес следует применять к номеру публикации, h-факторам, импакт-фактору журнала, числу цитирований, первичной публикации по сравнению с рецензией?
- Отметив, что условности значительно различаются от одной области к другой, насколько следует отдавать должное первому авторству, последнему авторству, промежуточному авторству или соответствующему авторству? В некоторых областях распространенность «фантомного авторства» также вызывает серьезную озабоченность*.
- Какую оценку следует отдавать препринтам и другим электронным публикациям, независимо от того, рецензируются они или нет? Должны ли учитываться такие показатели воздействия, как клики, загрузки или ссылки?
- Следует ли ограничивать количество публикаций, засчитываемых для получения грантов или назначений? Например, должны ли учитываться только три лучшие публикации за год? Следует ли вообще наказывать ученых за авторство более, скажем, 20 публикаций в год? [Такие ограничения могут показаться нелогичными, но они помогут продвигать культуру, в которой все авторы действительно вносят свой вклад в публикации, в которых фигурируют их имена.]
- Какое значение следует придавать другим количественным показателям результатов исследований, таким как патентные заявки, выданные патенты или лицензированные патенты?
Комитету известно, что обсуждение многих из этих вопросов уже идет полным ходом в некоторых странах и в некоторых областях науки, но он предлагает распространить дискуссию на все международное научное сообщество. Есть надежда, что благодаря обмену вариантами и стратегиями мировое научное сообщество сможет извлечь пользу из опыта отдельных организаций.
* См., например, Ross et al., JAMA 299, 1800-1812 (2008).
добавление
Пока это заявление разрабатывалось, Международный математический союз опубликовал отчет о статистике цитирования, который представляет собой подробный критический анализ использования данных цитирования для научной оценки. Главный вывод этого отчета таков: хотя иметь одну цифру для оценки качества действительно просто, это может привести к поверхностному пониманию чего-то столь сложного, как исследования. Цифры по своей сути не превосходят здравые суждения.
Отчет о статистике цитирования
Об этом заявлении
Это заявление является обязанностью Комитета по свободе и ответственности в ведении науки (CFRS), который является политическим комитетом Международного совета по науке (ICSU). Он не обязательно отражает взгляды отдельных организаций-членов МСНС.