文章

不该用期刊评价指标来评科研人员

发稿时间:2017-04-18 17:36:39
来源:澎湃新闻网作者:罗昕

  刚过世的“SCI之父”加菲尔德曾在中国亲自对“利用影响因子来评估科研”等问题作出回应:“用期刊影响因子来评估每个人的科研表现和科研能力,包括他个人的评估,奖金也好,赞助也好,都是不合理的。”

  “按领域加权引用影响指数,世界科研文章的平均水平是1.0,中国科研文章的平均水平为0.8,爱思唯尔发表的中国文章的质量水平与爱思唯尔发表文章的平均质量都为1.3。”4月11日,全球著名出版商、信息服务提供商爱思唯尔(Elsevier)在北京的学术期刊评价圆桌讨论会上向媒体分享了上述数据。

  爱思唯尔全球期刊出版业务总裁菲利普·德哈根(Philippe Terheggen)博士及Scopus内容策略管理负责人维姆·梅斯特(Wim Meester)博士还就全球期刊评价体系、中国期刊的国际影响力、如何用好学术质量评价指标展开讨论。

  “中国40万科研论文、38%中国作者引用的文章来自爱思唯尔旗下期刊。”菲利普称,近几年中国研究者发表文章在全球所占比重不断增加,并逐渐接近美国所占比重。“中国科研人员在国际期刊上发表学术成果,对促进中国科研事业的发展是非常有益的。科研成果越突出,我们就更应该关注对它的评估,并思考如何以更多元的方式进行评估。”

  近几年中国研究者发表文章在全球所占比重不断增加,并逐渐接近美国所占比重。

  “引用”并不是唯一的学术指标

  菲利普表示,目前评估科研影响力最经典、最常用的方式就是看它的被引频次。“引用并不是唯一重要的信息,但它现在仍是比较重要的指标。”

  “不可否认的是,没有哪一项指标是完美的,它们都有不足。”维姆随即介绍,在使用学术指标时,一般有两大黄金原则:第一个原则是在决策过程中既要有定量的指标,又要有定性的评价,比如同行评议、采访调研、对教学工作进行评价;第二个原则是在进行定量分析的时候,不能只使用一种单一的指标,而需要多个指标进行全面评估。

  维姆也展示了爱思唯尔旗下Scopus数据库(全球最大的文摘与索引数据库)的一篮子指标,包括群体(相关编委会及作者)、贡献(发表文章数量)、使用情况(被引用)、学术影响力(如学术成果在学术网站上被提及的次数)及社会影响力(如学术成果在社交媒体上被讨论的次数)等方方面面。

  爱思唯尔旗下Scopus数据库的一篮子指标。

  “这一篮子指标并不是由我们开发,而是各个科研群体长期提出的想法。”维姆称,去年年底,爱思唯尔在这一篮子指标中增添了评价学术期刊质量的CiteScore(CS)指标。CS是指某期刊前3年发表的文献在统计当年的篇均被引频次。

  CS计算公式,分子为出版物连续三年的出版文章在一年里所获得的篇均被引频次,分母为三年内发表文章的所有类型出版物。

  新提出的CS指标,避免影响因子的“可操弄性”

  和我们最熟悉的影响因子(IF)类似的是,CS也为评价学术期刊影响力而生,分子是论文被引频次,分母是文献数量。

  然而两者亦有很大不同。维姆强调,一是CS引证窗口期为3年,IF为2年;二是CS分母为期刊全部文献数量,而IF的分母为可被引文献(学术文本)数量。

  换言之,对于那些发展速度较慢的学科,CS的评价更为公平。CS的分母设定,也避免了上海交通大学科学史与科学文化研究院院长江晓原之前在“破解Nature影响因子神话”中提及的“期刊通过布局文献类型(减少学术文本),人为操弄评价指标”。

  维姆在现场举例清华大学出版的《纳米研究》,该期刊在2015年的CS值为7.87,在中国期刊中目前是最高的。“在页面中,你还可以看到CS之外的指标,比如被引频次、期刊发表文章总数以及其所在的排名百分位。”

  清华大学出版的《纳米研究》在2015年的CS值为7.87,在中国期刊中是最高的。

  “CS的优点一是全面,数据源自Scopus数据库,有超过22000种刊物,不仅涵盖期刊,还包括行业刊物及会议文集等;二是透明,我们网站上所有CS指标都是免费获取的;三是时效性很强,除了有月追踪,新收录的连续出版物在一年后就能获得CS年度值。”维姆透露,推出CS指标后,Scopus数据库每个月的独立访问用户数量(非订阅用户)一度达到七万五千人次。

  “和SNIP、SJR这两个期刊评价指标相比,CS算法更简单。而对比影响因子,CS能弥补它的不足,而且覆盖了更多刊物,更透明。”不过维姆也坦言,CS指标亦有局限性:“我们称一些优秀的科研成果或文献为‘睡美人’。它们在刚发表的时候,可能并没有很多引用。对于这样的学术成果,CS指标并不能很好地去反映它的影响力,所以这时候就要采用其他指标,所以我们强调一篮子指标的重要性。”

  别用“期刊评价指标”来评价科研者

  菲利普也表示,如同“睡美人”一般的学术研究要发挥影响力,可能需要十年、二十年,甚至更长的时间。

  他举例CRISPR技术(基因组编辑工具)早在十年前就被Emmanuelle Charpentier博士提出了,但当时这份研究的影响力比较低,到后来才慢慢提高。菲利普也向澎湃新闻坦言,部分人文学科领域的学术成果还是“引用”这一指标无法体现的。

  “所以,我们不应该仅仅关注引用这一个方面。虽然引用很重要,但它只是我们达到目的的一个工具,真正关键的是我们对其中反映出来的信息的洞察,引用只是次要信息。”菲利普说,人们需要正确使用“引用”指标,并保证指标是透明、全面、综合的。

  “可以说,在指标使用上,我们有很多‘应该做’和‘不应该做’的。”

  在年初,中国学界曾就“影响因子”、“量化评估”等问题展开争议。其实刚过世的“SCI之父”加菲尔德曾在中国亲自对“利用影响因子来评估科研”等问题作出回应:“用期刊影响因子来评估每个人的科研表现和科研能力,包括他个人的评估,奖金也好,赞助也好,都是不合理的。”

  菲利普同样认为学界不应该把对于期刊的评价指标用在评价科研人员上:“比如一个期刊有25%的被引率,但其中有的文章被引次数低很多。如果我们用该期刊的被引频次来评价该期刊的所有作者,显然非常不准确。这对期刊和研究人员也是不公平的。”

  “所以对应不同的评价对象,我们需要有不同的评价指标。”菲利普补充,“使用定量指标的同时也应该结合定性评价,比如同行评议或采访,对定量指标进行补充。”■

友情链接:

中国政府网 国务院新闻办公室 国家发展和改革委员会 人民网 新华网 中国经济体制改革研究会 腾讯网 搜狐网 光明网 中国改革论坛 中国新闻网 澎湃新闻网 凤凰网 经济参考网 人民论坛网 中宏网 千龙网 网易 中国教育新闻网 北青网 中国记协网 求是网 国家互联网信息办公室 央广网 中国青年网 中国经济网 中国日报网 中国人大网 中国网