ICSU 科学行为自由与责任委员会 (CFRS) 担心科学机构和期刊出版商目前采用的一些政策和做法可能会无意中破坏科学文献的完整性。 在评估科学绩效时,不加批判地使用发表指标作为独立同行评审的替代品,更是雪上加霜。 通过向 ICSU 成员组织指出这些担忧,希望他们采取行动确保科学记录的质量,并促进在研究评估中使用发表指标的谨慎和批判性方法。
关注的问题:
- 在进行职业任命和授予资助时,申请人的发表记录,尤其是发表的数量和预期影响,通常是主要标准。 这无意中为重复出版物、分裂出版物、价值不大的出版物和名誉作者创造了动力。
- 期刊影响因子表明了一篇论文在特定期刊中的平均引用次数,但这些数字很容易被误解。 例如,它们可能会受到评论与主要论文的比率的影响。 任何单篇论文的引用次数都可能远高于或低于影响因子的预期值。
- 虽然引用次数可以表明出版物的质量,但不一定如此。 真正新颖且非常重要的论文在发表后的几年内很可能很少受到关注。 一篇不正确的论文可能会从反驳它的论文中产生多次引用,并且引文数量可能会因自引而膨胀。 评论的引用次数也往往高于原始论文。
- 归因于发表和引文记录的价值可能会迫使科学家过早发表,或者夸大和过度解释结果。 在极端情况下,它还可能助长科学不端行为,导致结果被捏造、伪造或剽窃。
- 由于出版压力,越来越多的手稿在最终被接受之前被提交给多家期刊。 这增加了审稿人的负担,最终降低了审稿过程的彻底性。 同一工作的多次提交和审查可能会延迟重要结果的交流,并且可以说,增加审查的数量很少会阻止最终发表质量差的工作。
- 在未经审查或未经专家审查的电子档案中、个人或机构主页或博客上的替代出版方式正变得越来越流行。 虽然这些媒体开辟了新的可能性并增强了出版物的一般可访问性,但它们也增加了不太重要或可能具有误导性的信息的可用性。
CFRS 担心当前的政策和做法可能会对总体科学工作的质量产生严重影响,并增加期刊审稿人的负担。 科学出版物数量的任何不必要的增加都会威胁到适当的审查过程,这对于保持准确性和完整性标准至关重要。
除了在科学出版中的作用外,委员会还将严格和公正的同行评审视为判断科学工作和科学项目质量的最重要机制。 建立和维护良好的同行评审过程本身就是一个挑战,并且人们认识到,使用定量测量和指标作为这一过程的补充可以带来好处。 然而,这些数字指数表面上的简单性和吸引力不应掩盖其操纵和误解的潜力,因此应谨慎使用它们。
由于出版物编号、作者身份约定和引用的规范因领域而异,因此判断和政策通常最好由具有同一领域专业知识的同行做出。 CFRS 敦促 ICSU 的成员组织促进对科学评估标准、职业指标和出版记录的讨论,以促进一个能够更好地为科学服务的系统。 与其学习在“不发表即灭亡”的文化中生存,不如鼓励和支持年轻科学家进行高质量的科学交流,为科学进步做出真正的贡献。
关于在评估研究绩效中使用指标的问题需要考虑,包括:
- 在判断赠款和职位申请时,直接同行评审(包括阅读相关文章)与使用基于发表记录的量化措施之间的最佳平衡是什么?
- 在评估发表记录和绩效时,发表次数、h 因子、期刊影响因子、引文数、主要发表与评论应采用何种权重?
- 注意到不同领域的约定差异很大,应给予第一作者、最后作者、中间作者或通讯作者多少功劳? 在某些领域,“幽灵署名”的普遍存在也是一个相当受关注的问题*。
- 对于预印本和其他电子出版物,无论它们是否经过同行评审,应该给予什么评价? 是否应考虑点击、下载或链接等影响指数?
- 是否应该限制计入拨款或任命的出版物数量? 例如,是否应该只考虑每年最好的三篇出版物? 科学家是否应该因为每年发表超过 20 篇论文而受到处罚? [这样的限制可能看起来违反直觉,但有助于促进一种文化,在这种文化中,所有作者都真正为出现他们名字的出版物做出了贡献。]
- 对其他研究产出的量化指标,如专利申请、授予的专利或许可的专利,应该给予什么权重?
委员会意识到,在一些国家和一些科学领域,对其中许多问题的讨论已经在进行中,但建议将讨论范围扩大到整个国际科学界。 通过分享选项和策略,希望全球科学界能够从各个组织的经验中受益。
*参见,例如,Ross et al, JAMA 299, 1800-1812 (2008)。
附录
在制定此声明的同时,国际数学联盟发布了引文统计报告,该报告对使用引文数据进行科学评估进行了详细的批判性分析。 这份报告的一个主要结论是:虽然用一个数字来判断质量确实很简单,但它可能会导致对研究这样复杂的事情的理解很肤浅。 数字本身并不优于合理的判断。
关于本声明
本声明由国际科学理事会 (ICSU) 的政策委员会科学行为自由与责任委员会 (CFRS) 负责。 它不一定反映个别 ICSU 成员组织的观点。