Teadusuuringute terviklikkuse tugevdamine: vastastikuse eksperdihinnangu parandamine kirjastamises

. 2022. aasta vastastikuse eksperdihinnangu nädala teema"uurides vastastikuse eksperdihinnangu tähtsust teadusuuringute terviklikkuse toetamisel,' on õigeaegne. COVID-19 pandeemia näitas teaduse jõudu. Kuigi teaduslike leidude kiire levitamine oli kriitiline, oli see nii millega kaasnevad olulised riskid. Austraalia lugu hüdroksüklorokiinist on hea (kuid kahjuks mitte ainus) näide sellest, kuidas kehv teadus, mida on vähe läbi vaadatud ja edastatud, võib õhutada valeinformatsiooni ja põhjustada tegelikku kahju. Selline intensiivne avalik ja poliitiline tähelepanu on suurendanud keskendumist protsessidele ja tavadele, mis toetavad uurimistöö terviklikkust, mille puhul on eksperdihinnang ülioluline.

Traditsiooniliselt eksperdihinnangu on peetud teaduse avaldamise "kuldstandardiks". Kuid isegi enne pandeemia tõstatatud probleeme seati eksperdihinnangu tõhusus ja jätkusuutlikkus kahtluse alla. Eelretsenseeritud väljaannete tagasivõtmine suureneb. Paljud, näiteks kurikuulus Wakefieldi juhtum ning hiljutine Lanceti hüdroksüklorokiini skandaal, mis hõlmas tõsist pettust, oleks tulnud vastastikuse eksperdihinnangu käigus üle vaadata ja seda poleks kunagi avaldatud. Need esindavad teaduse ja selle kvaliteedi tagamise süsteemi olulisi puudujääke.

Hiljutine aeg-ajalt ilmunud leht, Teadustöö terviklikkuse tugevdamine: kirjastamise roll ja kohustused, Rahvusvahelise Teadusnõukogu teaduskirjastamise tuleviku projektandis kaks soovitust avaldamiseelse eksperdihinnangu parandamiseks, tugevdades seeläbi avaldatud kirje uurimistöö terviklikkust:

Anda volitused andmete kaasavaldamiseks. Paljud tagasivõtmised põhinevad andmetega seotud probleemidel. Paberi ja selle aluseks olevate andmete kaasavaldamise üleüldine kasutuselevõtt oleks märkimisväärne reform ja kõrvaldaks kindlasti kõige räigemad andmepettuste juhtumid. Viimased poliitika juhised USA teadus- ja tehnoloogiapoliitika büroo (OSTP) nõue, et USA valitsuse rahastatud teadusuuringud, sealhulgas andmed, oleksid 2025. aastaks avaldamisel vabalt kättesaadavad, peaks olema mängu-Box. Samuti peab muutuma teaduskultuur: a hiljutine analüüs teadlaste seisukohtade kohta andmete jagamise kohta järeldas, et'paljud teadlased ütlevad, et nad jagavad andmeid, kuid ei tee seda.' Ajakirjad ja vastastikused eksperdihinnangud peaksid kiiresti nõudma, et aktsepteerimine eeldab alusandmete kaasavaldamist. Nagu väitis DataSeeri asutaja Tim Vine, võib andmete kontrollimise võimaldamine vähendada andmete valmistamise ja muuta aus uurimine "väikseima vastupanu teeks".
Suurendage keskendumist potentsiaalile reprodutseeritavus/reprodutseeritavus. Nagu enamikus ajakirjades praktiseerivad, püütakse vastastikuse eksperdihinnanguga tasakaalustada hinnanguid tulemuste "uudsuse" või "olulisuse" ja esitatud uuringu metoodilise pädevuse kohta. Uurimistöö terviklikkus võib kannatada, kui uudsus muutub liiga domineerivaks. Referentsid peaksid võimalikult suures ulatuses tagama, et käsitletavas töös esitataks kasutatud meetodid ja vajaduse korral andmete kättesaadavus piisavalt üksikasjalikult, et tööd saaks korrata ja tulemusi kinnitada või kehtetuks tunnistada. Vastastikune eksperdihinnang enne avaldamist on harva, kui üldse, lõplik või lõplik otsus. A USA riiklike akadeemiate 2019. aasta aruanne rõhutas:'Võrreldavate tulemuste korduvad leiud kipuvad kinnitama esialgse teadusliku järelduse õigsust ja samamoodi seavad korduvad ebaõnnestumised esialgsete järelduste kahtluse alla. See ja muud vormid avaldamisjärgne eksperthinnang on teadusprotsessi põhialused. Ometi kerkib esile liiga palju näiteid, nagu see näide bioteaduste uuringutest, et soovitada vastastikust eksperdihinnangut enne avaldamine ebaõnnestub liiga sageli, et tagada selle võimalikkus. Arvustajad peaksid ka aktiivselt tunnustama replikatiivsete uuringute ja nulltulemuste tähtsus ja julgustada avaldamist.

Statistiliste testide asjakohasus on sageli probleem, eriti keeruliste andmete puhul. Siiski paljud toimetajad ei kasuta esitatud tööde hindamiseks statistikaeksperte. Teised arvustajad ei tohiks kõhklemata sellist arvustust soovitada.

Tehnoloogial on vastastikuse eksperdihinnangu täiustamisel oma roll. Kuigi automaatsed sõelumisvahendid ei saa veel inimülevaatajaid asendada, nad saavad neid toetada ja neid tuleks aktiivsemalt ära kasutada. Küll aga üks konstruktiivsemaid kasutusviise sellistele vahenditele nagu ScreenIT, on autorid enne esitamist oma paberi täiustamiseks, sealhulgas reprodutseeritavuse hindamiseks, nagu selles näites COVID-19 eeltrükkide ekraan. Ajakirjadel ja retsensenditel poleks mõistlik küsida, kas esitatud paber on sellisest ekraanist läbi käinud. Autoritel paluda eeltaotlus täita kontrollnimekiri oleks veel üks kasulik areng. Selliseid kontrollnimekirju tuleks kohandada distsiplinaarerinevuste jaoks, kuid jällegi peaks eesmärk olema pigem julgustada paremat praktikat kui avastada rikkumisi.

Teised vastastikuse eksperdihinnangu reformid on võimalikud ja lausa soovitavad. Avage eksperthinnang mille puhul arvustajad ei säilita anonüümsust, on üks võimalus. A 2020 uuring järeldas, et

"Avatud eksperthinnang … vähendab erapoolikust, suurendab kohtunikuprotsessi läbipaistvust ja usaldusväärsust. Need panevad retsensendid vastutama teaduslike väljaannete artiklite vastuvõtmise eest."

Arendamine vastastikuse eksperdihinnangu taksonoomiad nõuab aktiivset kaalumist. Sellised taksonoomiad võiksid võimaldada ajakirjade ja nende vastastikuse eksperdihinnangu tavade ja kvaliteedi objektiivsemat järjestamist või märgistamist.

Lõppkokkuvõttes on vaja põhjalikumat – ja tõepoolest radikaalsemat – teaduskirjastamise reformi, et luua süsteem, mis oleks kooskõlas kaheksa põhimõtet, mille on sõnastanud Rahvusvaheline Teadusnõukogu. See võtab aega ja märkimisväärseid kultuurilisi muutusi. Kuni seda ei juhtu, jäävad ajakirjad teadustulemuste levitamiseks hädavajalikuks. Seega on hädavajalik, et kõik – autorid, retsensendid ja ajakirjade toimetajad – teeksid kõik endast oleneva, et täiustada vastastikust eksperdihinnangut ja tagada, et avaldatud kirje oleks võimalikult usaldusväärne. 2022. aasta vastastikuse eksperdihinnangu nädal on võimalus seda kriitilist tegevuskava edendada.