Întărirea integrității cercetării: Îmbunătățirea evaluării inter pares în publicare

tema Săptămânii evaluării de la egal la egal în 2022, "explorarea importanței evaluării inter pares în sprijinirea integrității cercetării,' este oportună. Pandemia de COVID-19 a demonstrat puterea științei. În timp ce diseminarea rapidă a descoperirilor științifice a fost critică, aceasta a fost însoţită de riscuri semnificative. Povestea australiană a hidroxiclorochinei este un exemplu salutar (dar, din păcate, nu singurul) al modului în care știința slabă, prost revizuită și comunicată, poate alimenta dezinformarea și poate provoca un rău real. O astfel de atenție publică și politică intensă a sporit atenția asupra proceselor și practicilor care stau la baza integrității cercetării, dintre care evaluarea inter pares este esențială.

În mod tradițional, evaluare reciprocă a fost considerată „standardul de aur” al publicării științifice. Cu toate acestea, chiar înainte de problemele ridicate de pandemie, eficacitatea și sustenabilitatea evaluării inter pares erau puse sub semnul întrebării. Retractările publicațiilor evaluate de colegi sunt în creștere. Multe, cum ar fi infamul caz Wakefield și recent Scandal de hidroxiclorochină Lancet, care implică o fraudă gravă, ar fi trebuit să fie preluat în evaluarea inter pares și niciodată publicat. Ele reprezintă deficiențe semnificative ale științei și ale sistemului său de asigurare a calității.

Un articol ocazional recent, Consolidarea integrității cercetării: rolul și responsabilitățile publicării, al Consiliului Internațional de Știință proiect privind viitorul publicării științifice, a făcut două recomandări pentru a îmbunătăți evaluarea inter pares înainte de publicare, consolidând astfel integritatea cercetării în înregistrarea publicată:

Obligați copublicarea datelor. Multe retractări se bazează pe probleme de date. Adoptarea universală a copublicării unei lucrări și a datelor care stau la baza ar fi o reformă semnificativă și, cu siguranță, ar elimina cele mai flagrante cazuri de fraudă a datelor. Recent îndrumarea politicilor de la Office of Science and Technology Policy (OSTP) din SUA, să solicite ca cercetarea finanțată de guvernul SUA, inclusiv datele, să fie disponibilă gratuit la publicare până în 2025 ar trebui să fie un joc schimbător. Cultura de cercetare va trebui, de asemenea, să se schimbe: a analiza recentă a opiniilor cercetătorilor cu privire la partajarea datelor a concluzionat că 'mulți cercetători spun că vor împărtăși date, dar nu o fac.' Jurnalele și evaluatorii de la egal la egal ar trebui să înceapă de urgență să insiste că acceptarea necesită co-publicarea datelor subiacente. După cum susține Tim Vine, fondatorul DataSeer, permiterea controlului datelor ar putea reduce potențialul fabricării datelor și faceți din cercetarea sinceră „calea celei mai puține rezistențe”.
Concentrați-vă asupra potențialului pentru replicabilitate/reproductibilitate. Așa cum este practicat de majoritatea revistelor, evaluarea inter pares încearcă să echilibreze evaluările privind „noutatea” sau „importanța” rezultatelor și competența metodologică a studiului raportat. Integritatea cercetării poate avea de suferit atunci când noutatea devine prea predominantă. Arbitrii ar trebui, în cea mai mare măsură posibilă, să se asigure că în lucrarea analizată sunt date suficiente detalii despre metodele implicate și, dacă este necesar, disponibilitatea datelor, astfel încât munca să poată fi replicată și rezultatele confirmate sau invalidate. Evaluarea inter pares înainte de publicare este rareori, dacă este vreodată, un verdict final sau definitiv. A Raport 2019 de la Academiile Naționale din SUA accentuat: 'Descoperirile repetate ale rezultatelor comparabile tind să confirme veridicitatea unei concluzii științifice originale și, în același timp, eșecurile repetate de a confirma pun la îndoială concluziile originale. Aceasta și alte forme de evaluare peer post-publicare sunt fundamentale pentru procesul științei. Cu toate acestea, apar prea multe exemple, cum ar fi acesta exemplu din cercetarea bioștiinței, pentru a sugera această evaluare inter pare înainte Publicarea eșuează mult prea des pentru a se asigura că acest lucru este chiar posibil posibil. De asemenea, recenzenții ar trebui să recunoască în mod activ importanța studiilor replicative și a rezultatelor nule și încurajează publicarea.

Adecvarea testelor statistice este adesea o problemă, în special pentru datele complexe. Totuși, mulți editorii nu folosesc experți în statistică pentru a evalua lucrările trimise. Alți recenzenți nu ar trebui să ezite să recomande o astfel de recenzie.

Tehnologia are un rol de jucat în îmbunătățirea evaluării inter pares. In timp ce instrumente automate de screening nu pot încă înlocui recenzenții umani, aceștia îi pot sprijini și ar trebui să fie utilizați mai activ. Cu toate acestea, una dintre cele mai constructive utilizări ale instrumentelor precum ScreenIT, este de către autori înainte de depunere pentru a-și îmbunătăți lucrarea, inclusiv evaluarea reproductibilității, ca în acest exemplu de un ecran de preprinturi COVID-19. Nu ar fi nerezonabil ca jurnalele și recenzenții să întrebe dacă o lucrare trimisă a trecut printr-un astfel de ecran. Solicitarea autorilor să completeze o pre-depunere Lista de verificare ar fi o altă dezvoltare utilă. Astfel de liste de verificare ar trebui adaptate pentru diferențele disciplinare, dar, din nou, intenția ar trebui să fie de a încuraja o practică mai bună decât de a detecta malpraxisurile.

Alte reforme ale evaluării inter pares sunt posibile și chiar de dorit. Evaluare inter pares deschisă în care recenzenții nu păstrează anonimatul este o opțiune. A 2020 studiu a concluzionat că

"Evaluarea inter pares deschisă... reduce părtinirea, sporește transparența și fiabilitatea procesului de arbitraj. Ei fac recenzorii responsabili pentru acceptarea articolelor pentru publicațiile academice."

Dezvoltarea taxonomii peer review merită o analiză activă. Asemenea taxonomii ar putea permite o clasare mai obiectivă sau o insignă a revistelor și a practicilor și calității lor de evaluare inter pares.

În cele din urmă, este necesară o reformă mai fundamentală – și într-adevăr radicală – a publicării științifice pentru a oferi un sistem în conformitate cu opt principii articulate de Consiliul Științific Internațional. Acest lucru va necesita timp și o schimbare culturală considerabilă. Până când se va întâmpla acest lucru, revistele vor rămâne esențiale pentru diseminarea rezultatelor științifice. Prin urmare, este imperativ ca toți – autorii, recenzenții și editorii de reviste – să facă tot posibilul pentru a îmbunătăți evaluarea de către colegi și a se asigura că înregistrarea publicată este cât mai demnă de încredere. Săptămâna evaluării inter pares 2022 este o oportunitate de a promova această agendă critică.

Michael N. Barber

Michael N. Barber este profesor emerit, AO, FAA, FTSE și membru al Comitetului director pentru proiectul International Science Council viitorul editurii științifice.

Fotografie de Jason Wong on Unsplash