NIH 同行评议制遭质疑

2015-11-20 08:00 来源:丁香园 作者:郁闷中落寞
字体大小
- | +

1946 年以来,科学业界的同行评审一直左右着美国国立卫生研究院(National Institutes of Health,NIH)联邦基金对生物医学研究项目的资助。自 2003 年以来,NIH 科学基金已大幅缩水;申请人数基数庞大,中签率也越来越低。

而同行评审得分低也是导致科研项目申请失败的一个重要因素。由于同行评审对潜在有影响力的研究项目预判作用弱,因此也越来越多地受到诟病。

Michael S. Lauer 和 Richard Nakamura 两位博士近期在 NEJM 上发表评论文章,深入探讨同行评审的实际意义。

NIH 的科研项目资助之路已长达 70 年,在这个过程中,理想的同行评议框架应该是兼具可行性、客观性、可估量、实用性以及紧密结合研究成果的特质。但从并无圭臬可奉行的现实来看,评估项目的科学效应工作困难可见一斑。此外,现行的同行评审更多从出版发表的角度考虑,而并不是研究成果出发。

两位学者提出了「PQRST」评估方法。P 指代「productivity」,通过注册试验主要成果的发表数量和产出排名靠前文章的数量计算。Q 是「quality」,指研究结果的质量。R 是「reproducibility」,指结果的重现性。S 是「share」,指分享资料或其他资源。T 是「translational」,指成果转化。

但方法依旧有不足之处:过分强调文章发表、引用频次及期刊影响因子会扭曲学者、院校、期刊编辑的发文动机,科研文章质量将堪忧。支持者则认为,这样的评估方法还是具有客观的价值,操作性强。

从过去申请的前 1/3 科研项目而言,同行评审对科学预测并不准确。对这样评议方法的争议也未停止:

1.美国国家心脏、肺和血液研究所(National Heart, Lung, and Blood Institute ,NHLBI)近期的报告显示,通过同行评议筛选出很多优秀的项目,NHLBI R01 的文章引用率比预期高了 2 倍多。尽管同行评审可能无法识别项目投入和产出比是否平衡,但可以帮助筛选更靠谱的项目。

2.同行评审对新项目和革新项目有不同的区分预测能力。一些研究表明,评审者制定的百分比排名可以预测资助项目中文献计量学结果。

3.对文献申请审批的具体操作细则还无定论。有的评审人倾向原始素材和文章引用数量,而另一些则认为出版情况和引用数量是动态的、多变的,尤其在基础研究、转化研究和临床研究领域,收到多方面复杂因素的影响。

4.同行评议意见通常只在项目审议结果出来之后和资助决议之前,而项目执行和修改后的数据和详情未被考虑在内。但现实情况是,NIH 通常会减少预算、缩短项目周期、或出于其他原因要求申报人对项目进行修改。

5.新申报项目并无同行评审分数和引用情况之间的关联选项。而这可能会导致同行评审对革新项目的支持力度大于有风险的新项目,评审工作过于保守。    

6.科学进步是不可预测的、也是重尾分布的(统计学名词,指少数科学研究可以产生巨大影响),因此,同行评审并无法担当起预测科学发展趋势的全部重任。尽管如此,同行评审在跟踪记录、评估革新项目上是值得肯定的。

如何挑选科学研究项目进行资助既需要项目自我评估,也需要外部严格的评估标尺。现有的大型科学研究项目亟需新颖而严谨的评估方法。

首先,选取更有效的评估转化数值对项目实施效果进行评分;采取匿名申报的方式,能削弱年龄、性别等因素的干扰;对新申报项目和革新项目的评议结果、得分、百分排名进行测试。

无论采取何种方法,最终都是为了改善和提高评审工作的科学文化环境。健全的过程有助于推动杰出成果的产出,最终有益于社会的健康、经济和创造力。

编辑: 任悠悠

版权声明

本网站所有注明“来源:丁香园”的文字、图片和音视频资料,版权均属于丁香园所有,非经授权,任何媒体、网站或个人不得转载,授权转载时须注明“来源:丁香园”。本网所有转载文章系出于传递更多信息之目的,且明确注明来源和作者,不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。同时转载内容不代表本站立场。