Comitetul ICSU pentru Libertate și Responsabilitate în conduita științei (CFRS) este îngrijorat de faptul că unele dintre politicile și practicile adoptate în prezent de instituțiile științifice și de editorii de reviste ar putea să submineze din greșeală integritatea literaturii științifice. Acest lucru este agravat de utilizarea necritică a valorilor de publicare, ca înlocuitor pentru evaluarea independentă de către colegi, în evaluarea performanței științifice. Arătând aceste preocupări organizațiilor membre ICSU, se speră că vor lua măsuri pentru a asigura calitatea înregistrării științifice și pentru a promova o abordare prudentă și critică a utilizării valorilor de publicare în evaluarea cercetării.
Probleme de îngrijorare:
- În efectuarea de numiri în carieră și acordarea de granturi, dosarul de publicare al solicitanților, în special numărul și impactul presupus al publicațiilor, este adesea un criteriu principal. Acest lucru creează din greșeală stimulente pentru publicații duplicate, publicații divizate, publicații de mică valoare și autor de onoare.
- Factorii de impact al jurnalului oferă o indicație a numărului mediu de citări de așteptat pentru o lucrare într-un anumit jurnal, dar aceste cifre sunt ușor interpretate greșit. De exemplu, ele pot fi influențate de raportul dintre recenzii și lucrările primare. Citațiile pentru orice hârtie individuală pot fi mult mai mari sau mai mici decât cele așteptate din factorul de impact.
- Deși numărul de citate poate oferi o indicație a calității unei publicații, acest lucru nu este neapărat așa. Lucrările cu adevărat noi și foarte importante pot atrage puțin atenția timp de câțiva ani după publicarea lor. O lucrare care este incorectă poate genera mai multe citate din lucrări care o resping, iar numerele de citate pot fi umflate prin auto-citare. Numerele de citate tind, de asemenea, să fie mai mari pentru recenzii decât pentru lucrările primare.
- Valoarea atribuită înregistrărilor de publicații și citări îi poate determina pe oamenii de știință să publice prea devreme sau să exagereze și să interpreteze prea mult rezultatele. De asemenea, poate, în situații extreme, să promoveze abateri științifice, în care rezultatele sunt fabricate, falsificate sau plagiate.
- Ca urmare a presiunii de a publica, un număr tot mai mare de manuscrise sunt trimise mai multor jurnale înainte de a fi acceptate în cele din urmă. Acest lucru mărește sarcina asupra recenzorilor, ceea ce diminuează în cele din urmă exhaustivitatea procesului de revizuire. Trimiterile multiple și recenziile aceleiași lucrări pot întârzia comunicarea rezultatelor importante și se poate argumenta că multiplicarea numărului de recenzii împiedică rar publicarea eventuală a lucrărilor de calitate slabă.
- Mijloacele alternative de publicare în arhive electronice neexaminate sau neexaminate de experți, pe pagini de start sau bloguri individuale sau instituționale, devin din ce în ce mai populare. În timp ce aceste mass-media deschid noi posibilități și sporesc accesibilitatea generală la publicații, ele sporesc, de asemenea, disponibilitatea informațiilor mai puțin semnificative sau, eventual, înșelătoare.
CFRS este îngrijorat de faptul că politicile și practicile actuale pot avea efecte grave asupra calității activității științifice în general și crește povara asupra revizorilor de reviste. Orice creștere inutilă a volumului publicațiilor științifice amenință un proces adecvat de revizuire, care este esențial pentru menținerea standardelor de acuratețe și integritate.
Pe lângă rolul său în publicarea științifică, Comitetul consideră că evaluarea inter pares riguroasă și imparțială este cel mai important mecanism pentru evaluarea calității muncii științifice și a proiectelor științifice. Stabilirea și menținerea unor procese bune de evaluare inter pares este, în sine, o provocare și se recunoaște că pot exista avantaje în utilizarea măsurilor cantitative și a valorilor metrice ca completare a acestui proces. Cu toate acestea, simplitatea aparentă și atracția unor astfel de indici numerici nu ar trebui să ascundă potențialul lor de manipulare și interpretare greșită și, prin urmare, ar trebui utilizate numai cu o prudență considerabilă.
Deoarece normele pentru numărul de publicații, convențiile de autor și citările diferă de la un domeniu la altul, judecățile și politica sunt adesea formulate cel mai bine de colegii cu experiență în același domeniu. CFRS îndeamnă organizațiile membre ICSU să stimuleze discuțiile cu privire la criteriile de evaluare științifică, indicatorii de carieră și înregistrările publicațiilor, cu scopul de a promova un sistem care să poată servi mai bine știința în general. În loc să învețe să supraviețuiască într-o cultură „publică sau pier”, tinerii oameni de știință ar trebui să fie încurajați și susținuți să producă comunicări științifice de înaltă calitate, care să aducă o contribuție reală la progresul științific.
Întrebările care trebuie luate în considerare, cu privire la utilizarea valorilor în evaluarea performanței cercetării, includ:
- În evaluarea cererilor pentru subvenții și posturi, care este echilibrul optim între revizuirea directă de către colegi, inclusiv citirea articolelor relevante, și utilizarea măsurilor cantitative bazate pe înregistrările publicațiilor?
- În evaluarea înregistrărilor și performanțelor publicației, ce ponderare ar trebui aplicată numărului publicației, factorilor h, factorului de impact al revistei, numărul citației, publicația primară versus revizuire?
- Observând că convențiile variază considerabil de la un câmp la altul, cât de mult ar trebui acordat primului autor, ultimului autor, autor mediu sau autorului corespunzător? În unele domenii, prevalența „autorului fantomelor” este, de asemenea, o problemă de îngrijorare considerabilă *.
- Ce credit ar trebui acordat pentru pre-tipăriri și alte publicații electronice, indiferent dacă sunt sau nu evaluate de colegi? Ar trebui să se ia în considerare indicii de impact precum clicurile, descărcările sau linkurile?
- Ar trebui să se limiteze numărul de publicații care se bazează pe subvenții sau numiri? De exemplu, ar trebui luate în considerare doar cele mai bune trei publicații pe an? Oare oamenii de știință ar trebui să fie sancționați pentru autor de peste 20 de publicații pe an? [Astfel de limite pot părea contra-intuitive, dar ar contribui la promovarea unei culturi în care toți autorii au contribuit cu adevărat la publicațiile pe care apar numele lor.]
- Ce ponderare ar trebui acordată altor măsuri cantitative ale rezultatelor cercetării, cum ar fi cererile de brevet, brevetele acordate sau brevetele licențiate?
Comitetul este conștient de faptul că discuțiile despre multe dintre aceste probleme sunt deja în curs de desfășurare în unele țări și în unele domenii ale științei, dar sugerează că dezbaterea este extinsă la întreaga comunitate științifică internațională. Prin schimbul de opțiuni și strategii, se speră că comunitatea științifică globală poate beneficia de experiențele organizațiilor individuale.
* A se vedea, de exemplu, Ross și colab., JAMA 299, 1800-1812 (2008).
addenda
În timp ce această afirmație a fost elaborată, Uniunea Internațională de Matematică a publicat raportul Citation Statistics, care este o analiză critică detaliată a utilizării datelor de citare pentru evaluarea științifică. O concluzie principală a acestui raport este: Deși a avea un singur număr pentru a evalua calitatea este într-adevăr simplu, poate duce la o înțelegere superficială a ceva la fel de complicat precum cercetarea. Numerele nu sunt inerent superioare judecăților solide.
Despre această afirmație
Această declarație este responsabilitatea Comitetului pentru libertate și responsabilitate în conduita științei (CFRS), care este un comitet politic al Consiliului internațional pentru știință (ICSU). Nu reflectă neapărat opiniile organizațiilor membre individuale ale ICSU.