Укрепление честности исследований: улучшение рецензирования при публикации

Ассоциация тема Недели экспертной оценки 2022 г., 'изучение важности рецензирования для поддержки честности исследований,' своевременно. Пандемия COVID-19 продемонстрировала силу науки. Хотя быстрое распространение научных результатов имело решающее значение, сопровождаются значительными рисками, Австралийская история о гидроксихлорохине является благотворным (но, к сожалению, не единственным) примером того, как плохая наука, плохо анализируемая и сообщаемая, может подпитывать дезинформацию и причинять реальный вред. Столь пристальное общественное и политическое внимание усилило внимание к процессам и практикам, лежащим в основе честности исследований, для которых рецензирование имеет решающее значение.

Традиционно экспертная оценка считается «золотым стандартом» научных публикаций. Однако еще до того, как возникли проблемы, связанные с пандемией, эффективность и устойчивость экспертной оценки ставились под сомнение. Количество отзывов рецензируемых публикаций растет. Многие, такие как печально известное дело Уэйкфилда и недавнее Скандал с гидроксихлорохином в Ланцете, связанный с серьезным мошенничеством, должен был пройти рецензирование и никогда не публиковаться. Они представляют собой серьезные недостатки науки и ее системы обеспечения качества.

Недавняя газета, Повышение целостности исследований: роль и обязанности издательского дела, Международного научного совета проект о будущем научных публикаций, дал две рекомендации по улучшению рецензирования перед публикацией, тем самым укрепив достоверность исследований в опубликованных отчетах:

Разрешить совместную публикацию данных. Многие опровержения основаны на проблемах с данными. Всеобщее принятие совместной публикации документа и лежащих в его основе данных стало бы значительной реформой и, безусловно, устранило бы самые вопиющие случаи мошенничества с данными. Недавний руководство по политике от Управления по научно-технической политике (OSTP) США, требующее, чтобы исследования, финансируемые правительством США, включая данные, были в свободном доступе после публикации к 2025 году. игра-чейнджер. Культура исследований также должна измениться: недавний анализ взглядов исследователей на обмен данными пришли к выводу, что 'многие исследователи говорят, что будут делиться данными, но не.' Журналы и рецензенты должны срочно начать настаивать на том, что принятие требует совместной публикации основных данных. Как утверждает Тим Вайн, основатель DataSeer, возможность тщательного изучения данных может снизить вероятность фабрикации данных и сделать честное исследование «путем наименьшего сопротивления».
Повышение внимания к потенциалу воспроизводимость/воспроизводимость. Как это практикуется в большинстве журналов, рецензирование пытается сбалансировать оценки «новизны» или «важности» результатов и методологической компетентности исследования, о котором сообщается. Целостность исследования может пострадать, когда новизна становится слишком преобладающей. Рецензенты должны в максимально возможной степени обеспечить, чтобы в рецензируемом документе было достаточно подробностей об используемых методах и, при необходимости, доступность данных, чтобы можно было воспроизвести работу и подтвердить или опровергнуть результаты. Рецензирование перед публикацией редко, если вообще когда-либо, является окончательным или окончательным вердиктом. А Отчет Национальной академии США за 2019 г. подчеркнул: 'Повторяющиеся находки сопоставимых результатов, как правило, подтверждают достоверность первоначального научного вывода, и, по тому же принципу, повторяющиеся неудачи в подтверждении ставят первоначальные выводы под сомнение». Эта и другие формы рецензирование после публикации лежат в основе научного процесса. Тем не менее появляется слишком много примеров, например, в этом пример из биологических исследований, чтобы предложить экспертную оценку до публикация терпит неудачу слишком часто, чтобы гарантировать, что это даже потенциально возможно. Рецензенты также должны активно признавать важность повторных исследований и нулевых результатов и поощрять публикацию.

Уместность статистических тестов часто является проблемой, особенно для сложных данных. Тем не менее, многие редакторы не используют статистических экспертов для оценки представленных статей. Другие рецензенты должны без колебаний рекомендовать такой обзор.

Технологии играют важную роль в улучшении рецензирования. Пока инструменты автоматического скрининга пока не может заменить людей-рецензентов, они могут их поддерживать и должны использоваться более активно. Однако одно из наиболее конструктивных применений таких инструментов, как ЭкранIT, вводится авторами перед отправкой для улучшения своей статьи, включая оценку воспроизводимости, как в этом примере экран препринтов COVID-19. Для журналов и рецензентов не будет неразумным спросить, прошла ли представленная статья через такую проверку. Просьба к авторам заполнить предварительную заявку контрольный список было бы еще одним полезным развитием. Такие контрольные списки необходимо будет адаптировать к дисциплинарным различиям, но опять же цель должна состоять в том, чтобы поощрять лучшую практику, а не выявлять злоупотребления служебным положением.

Возможны и желательны другие реформы экспертной оценки. Открытая экспертная оценка в котором рецензенты не сохраняют анонимность, является одним из вариантов. А исследование, проведенное в 2020 г. пришли к выводу, что

"Открытая экспертная оценка… уменьшает предвзятость, повышает прозрачность и надежность процесса судейства. Они возлагают на рецензентов ответственность за прием статей в научные публикации."

Развитие таксономии рецензирования требует активного рассмотрения. Такие таксономии могут обеспечить более объективное ранжирование или присвоение журналов значков, а также практики и качества их рецензирования.

В конечном итоге требуется более фундаментальная — и даже радикальная — реформа научных публикаций, чтобы привести систему в соответствие с восемь принципов, сформулированных Международным научным советом. Это потребует времени и значительных культурных изменений. Пока этого не произойдет, журналы будут по-прежнему необходимы для распространения научных результатов. Таким образом, крайне важно, чтобы все — авторы, рецензенты и редакторы журналов — делали все возможное для улучшения рецензирования и обеспечения максимально возможного доверия опубликованным записям. Неделя экспертных оценок 2022 это возможность продвинуть эту важнейшую повестку дня.