既然同行评议如此不靠谱，我们还不想点儿其他办法？

 

未经许可请勿转载谢谢撰文 Julia Belluz & Steven Hoffman编译 徐寒易上世纪80年代早期，人们渐渐对同行评议的质量起了疑为此，两位来自康奈尔大学和北达科他大学的研究人员决定做一个小实验来检测一下同行评议过程。

同行评议的目的非常简单：攘除坏科学同行评议者会评阅期刊可能发表的研究，看它们能否发表，是否需要修订理想情况下，审阅者应该是论文所属领域的专家他们会进行有帮助的评论，提出文章的问题和缺陷，或者简单地拒绝因为缺陷而无法发表的论文。

Douglas Peters和Stephen Ceci两位研究人员想测试同行评议过程到底有多么可靠和公正为此，他们选择了12篇2~3年前发表在一些非常挑剔的美国心理学期刊上的论文然后，研究人员将文章作者及其所属大学的名称换掉，接着将同一篇论文投给同一个期刊。

理论上，这些论文的质量依然很高——它们已经发表在权威期刊上了如果审稿过程有效，那么第一次被发表的文章应该被再次接收和发表但Peters和Ceci的发现叫人吃惊不已：差不多90%的同行评议者并不建议发表这些文章。

他们认为其中大部分文章有“严重的方法缺陷”这件事引出了许多令人不安的可能性比如，这件事是否说明期刊会接收有严重缺陷的文章？糟糕的论文会不会成为漏网之鱼，是否取决于评议它们的人是谁？期刊发表一些论文，是不是因为它们出自有名的作者或者有名的机构？不管怎么说，这个实验至少说明同行评议过程是如此前后矛盾，令人不安。

这个发现虽然发表在30多年前，但现在依然没有过时从那时起，其他研究人员也发现了同行评议存在的越来越多的问题，这不禁让人怀疑科学家最初为何要设置这种评议系统同行评议常常忽略大问题对同行评议进行过分析的研究人员常常发现，在排除低质量的论文上，同行评议并不比随机选择的效果好多少——或者说，同行评议其实行不通。

其他一些研究和综述也得到了相似的结论同行评议失败的原因，与其他人为过程失败的原因非常类似通常，论文的评议者只有少数几人，这些评议者并不会得到回报，他们之所以参与评议，是出于对科学探索的信念，以及想为他们的领域做出贡献。

他们在审阅稿件的时候可能会比较着急，可能他们的专业与论文的领域并不匹配、不能挑出研究的毛病；也可能，他们对论文作者或者所属机构有偏好性审稿通常是一个盲过程——至少对于论文评议人来说是这样的，目的是让评议人给出坦率的反馈。

当然，这也可能会让论文评议人口出狂言，或者让评议人仓促地给出无用的建议（参考著名的推特讨论话题#sixwordpeerreview）《柳叶刀》（Lancet）的编辑Richard Horton认为，同行评议过程是“不公的、不负责任的……有时是无礼的，常常是无知的，偶尔是愚蠢的，通常是错误的。

”更何况，找到合适的同行评议者并得到他们的评论，会减慢科学的进程论文可能在评议人手中被耽搁几个月甚至数年之久，还会耗费大量的社会财富总之，科学家和教授需要把自己研究的时间匀出来批改别人的论文，还得不到工资。

《英国医学杂志》（BMJ）前编辑Richard Smith对此进行了总结：“没有证据表明同行评议‘有用’；反过来，我们却有大量证据指出它的坏处”《柳叶刀》的另一个前编辑Robbie Fox曾经开玩笑说道，他的期刊“有这样一个（评议）系统，那就是把一堆论文往楼下一丢，然后选落地以后垫在最底下的论文发表。

”世界顶级医学期刊的编辑说出这些话，可真不让人舒坦我们是否应当废除同行评议？那么，我们是否应该废除同行评议呢？我们就这个问题咨询了《新英格兰医学杂志》（The New England Journal of Medicine

）现任编辑Jeff Drazen他表示，他知道同行评议过程不完美，这也是为什么他不太依赖同行评议的原因《新英格兰医学杂志》只把同行评议当做审核论文的第一步，用以筛选那些可能会引起读者兴趣、和读者有关系的文章。

一篇论文通过同行评议之后，一个编辑团队会接手同行评议者的工作，他们有许多时间和空间，可以以非常细致的方式来对论文进行评阅和审查因此，期刊的把关者并非同行评议过程，而是高质量的编辑力“（同行评议）与其他事物毫无差别，”Drazen表示，“世上万事万物，有质量很高的，也有质量很低的。

”Drazen可能已经意识到一件真正重要的事，那就是拥有足够资源的期刊编辑可以为科学期刊论文增值，甚至让它们变得“金光闪闪”但究竟有多少期刊真正为论文增值了？可能在全世界数以万计的期刊中，只有10个期刊能做到这点。

《新英格兰医学杂志》在这方面更像是异端而非大流即使是最好的期刊，也会出现愚蠢、犯了可笑错误的文章编辑和同行评议者只是少数，他们是无法通过一个研究理解所有的潜在问题，有时候他们得不到必须的数据，因此无法进行合理的编辑。

想要弄清一篇研究的真实面目，可能需要花费数年，需要许多头脑清晰的人做出判断，一些持相反观点者提出批判关于这一点，我们只需看《柳叶刀》上那篇将自闭症和麻疹-腮腺炎-风疹疫苗联系起来的研究即可那篇论文被撤稿的原因不仅仅是学术作假，更是因为它存在非常多的瑕疵。

对于一些人来说，这就是废除同行评议的原因PubPeer基金会主席Brandon Stell更倾向在网络上进行发表后的同行评议（post-publication），比如他的网站Pubpeer.com，就是做这个的。

在这些网站上，网友的众包（outsourced）评价常会促使已发表论文的进行修订甚至是撤稿“没有理由能阻止我们把所有（与论文相关的）信息立刻发布到网上，并在论文发表后让同行来评议”Stell表示他提出应当废除发表前的同行评议。

他补充道，已经有一些期刊开始这么做了，比如the Winnower但是用别的体系（比如发表后的同行评议）来替代有缺陷的系统（传统的发表前的同行评议）不能完全解决这个问题像PubPeer一类的网站是非常棒的进步，但是我们无法确定，比起传统评议，它们是否在纠错和揪出坏科学方面表现出了明显的优势。

即使存在缺陷，同行评议看起来至少还是比随机挑选论文要好一些虽然同行评议并不完美，但总比完全没有评议要好如果没有同行评议文化，更多的坏科学可能会趁机而入复杂问题的复杂解决方案Stell提到了另一种伟大发明：类似Biorxiv这样的网站。

一旦研究人员预备发表论文，并准备好在同行评议和发表前接受来自四面八方的公开评论，他们就能在网上“预印”(pre-print)他们的论文这相当于在发表过程中增加了一步，在同行评议、以及论文发表前增加另一个过滤问题的机会。

追踪期刊撤稿的网站Retraction Watch的医学记者Ivan Oransky对此有一个更为整体性的看法他并不认为发表后的同行评议应该代替传统的同行评议，而应成为一个附加项“发表后的同行评议并不是新奇事物，在过去它常在私底下进行，只是作者或者大型的科学团体是得不到评议者的反馈。

”Oransky谈道类似PubPeer的网站将这个过程变得开放和透明，因此这种发表后的同行评议应该得到加强“我们别再骗自己说‘文章只要发表就能成为科学真理’了”他补充道我们认为解决方法已经近在眼前如果研究人员能在一个反复检查并攘除错误和坏科学的过程中不断审视研究的质量和准确性，科学应该会变得更好。

因特网让一切变得容易传统的同行评议只是其中一环，预印评论（即预印后得到的网上评论）、发表后的同行评议、以及（如果有可能的话）能力高超的期刊编辑，都能对评议过程进行补充在这种完美的系统成型之前，我们能做一件让同行评议变得更好的事。

我们需要调整我们对同行评议的预期目前来看，许多人以为同行评议意味着“这篇文章很棒，值得信赖！”事实上，同行评议只意味着“少数科学家阅读了这篇文章，且并没有发现它的任何问题，但这不意味着你可以把这篇文章当成真理！只有时间能给出答案”。

像期刊编辑一类的知情人士早就对同行评议系统的缺陷心知肚明现在是时候让公众也接受这一点，并支持那些能让这种系统变得更好的方法原文链接：http://www.vox.com/2015/12/7/9865086/peer-review-science-problems。

转载请先联系newmedia@huanqiukexue.com,或者给010-85325871-803打电话这里是“科学美国人”中文版《环球科学》关爱科研人的微信号“科研圈”，点击阅读原文，可以看我们都推送些啥。

免责声明：本站所有信息均搜集自互联网，并不代表本站观点，本站不对其真实合法性负责。如有信息侵犯了您的权益，请告知，本站将立刻处理。联系QQ：1640731186