Посилення доброчесності досліджень: покращення рецензування у видавничій діяльності

Команда Тема тижня експертної оцінки 2022, 'вивчення важливості експертної оцінки в підтримці чесності дослідження,' є своєчасним. Пандемія COVID-19 продемонструвала силу науки. Хоча швидке поширення наукових результатів було критично важливим, це було супроводжується значними ризиками, Австралійська історія гідроксихлорохіну є корисним (але, на жаль, не єдиним) прикладом того, як погана наука, погано перевірена та повідомлена, може підживлювати дезінформацію та завдавати реальної шкоди. Така інтенсивна громадська та політична увага посилила увагу до процесів і практик, які лежать в основі доброчесності досліджень, для яких рецензування є критично важливим.

Традиційно експертна оцінка вважався «золотим стандартом» наукового видання. Однак ще до того, як виникли проблеми, викликані пандемією, ефективність і сталість експертної оцінки ставилися під сумнів. Відкликання рецензованих публікацій зростає. Багато, наприклад сумнозвісна справа Вейкфілда і недавнє Ланцетний скандал із гідроксихлорохіном, пов’язаний із серйозним шахрайством, мав бути виявлений під час експертної перевірки та ніколи не публікуватися. Вони представляють значні недоліки науки та її системи забезпечення якості.

Недавня періодична газета, Зміцнення цілісності дослідження: роль та обов’язки видавництва, Міжнародної наукової ради проект про майбутнє наукового видавництва, зробив дві рекомендації щодо покращення експертної оцінки перед публікацією, тим самим зміцнюючи цілісність дослідження в опублікованому записі:

Дозвольте спільну публікацію даних. Багато відкликань ґрунтуються на проблемах із даними. Загальне прийняття спільної публікації статті та базових даних стане суттєвою реформою та, безумовно, усуне найбільш кричущі випадки шахрайства з даними. Останні політичне керівництво Від Управління науково-технічної політики (OSTP) у США вимога, щоб фінансовані урядом США дослідження, включаючи дані, були у вільному доступі під час публікації до 2025 року, має бути змінювач гри. Дослідницьку культуру також потрібно буде змінити: a останній аналіз поглядів дослідників на обмін даними зробив висновок, що 'багато дослідників кажуть, що вони будуть ділитися даними, але цього не роблять.' Журнали та рецензенти повинні терміново почати наполягати на тому, що прийняття вимагає спільної публікації базових даних. Як стверджував Тім Вайн, засновник DataSeer, можливість ретельного аналізу даних може зменшити потенціал фальсифікації даних і зробити чесне дослідження «шляхом найменшого опору».
Збільште увагу на потенціалі для тиражність/відтворюваність. Як практикується в більшості журналів, рецензування намагається збалансувати оцінку «новизна» або «важливість» результатів і методологічної компетентності звітного дослідження. Чесність дослідження може постраждати, коли новизна стає надто переважаючою. Рецензенти повинні якомога більше переконатися, що в досліджуваному документі надано достатньо деталей щодо залучених методів і, якщо необхідно, доступність даних, щоб можна було відтворити роботу та підтвердити або скасувати результати. Експертна рецензія перед публікацією рідко, якщо взагалі є, остаточним чи остаточним вердиктом. А Звіт Національних академій США за 2019 рік підкреслив: 'Повторні відкриття порівнянних результатів, як правило, підтверджують правдивість оригінального наукового висновку, і, відповідно до того ж, повторні невдачі підтвердити ставлять оригінальні висновки під сумнів». Ця та інші форми рецензування після публікації є фундаментальними для процесу науки. І все ж надто багато прикладів з’являється, наприклад, у цьому приклад із біонаукових досліджень, щоб запропонувати рецензування перед тим публікація занадто часто не вдається переконатися, що це навіть потенційно можливо. Рецензенти також повинні активно визнавати важливість реплікативних досліджень і нульові результати та заохочувати публікацію.

Відповідність статистичних тестів часто є проблемою, особливо для складних даних. Тим не менш, багато редактори не залучають експертів-статистів для оцінки поданих статей. Інші рецензенти повинні без вагань рекомендувати такий огляд.

Технології відіграють певну роль у покращенні експертної оцінки. Поки засоби автоматичного скринінгу поки що не можуть замінити рецензентів, вони можуть підтримувати їх і повинні використовуватися активніше. Однак одним із найбільш конструктивних застосувань таких інструментів, як ScreenIT, призначений авторами перед поданням для покращення своєї роботи, включаючи оцінку відтворюваності, як у цьому прикладі екран препринтів COVID-19. Було б нерозумним для журналів і рецензентів запитувати, чи подана стаття проходила через такий екран. Прохання до авторів заповнити попередню заявку Контрольний список було б ще однією корисною подією. Такі контрольні списки потрібно буде адаптувати до дисциплінарних відмінностей, але, знову ж таки, метою має бути заохочення кращої практики, а не виявлення зловживань.

Інші реформи експертної оцінки можливі і бажані. Відкрите рецензування один із варіантів, коли рецензенти не зберігають анонімності. А 2020 дослідження прийшов до висновку, що

"Відкрите рецензування … зменшує упередженість, підвищує прозорість і надійність процесу суддівства. Вони покладають на рецензентів відповідальність за прийняття статей до наукових публікацій."

Розвиток таксономії експертної оцінки вимагає активного розгляду. Такі таксономії могли б дозволити більш об’єктивне ранжування або маркування журналів, а також практики їх рецензування та якості.

Зрештою, необхідна більш фундаментальна — і справді радикальна — реформа наукових публікацій, щоб створити систему відповідно до вісім принципів, сформульованих Міжнародною науковою радою. Для цього потрібен час і значні культурні зміни. Поки цього не станеться, журнали залишатимуться важливими для поширення наукових результатів. Тому вкрай важливо, щоб усі — автори, рецензенти та редактори журналів — робили все можливе, щоб покращити рецензування експертів і забезпечити, щоб опубліковані записи були якомога надійнішими. Тиждень експертної оцінки 2022 це можливість просувати цей важливий порядок денний.