AI 同行评审翻车现场：Claude 当审稿人，7% 的错误它都看不出来

AI 同行评审翻车现场：Claude 当审稿人，7% 的错误它都看不出来

一个尴尬的事实

2026 年了，越来越多会议和期刊开始用 LLM 做同行评审——有的是辅助人类审稿人，有的干脆直接让 LLM 当审稿人。理由听起来很合理：LLM 知识广博、不知疲倦、不会因为作者名气大小而偏见。

但有个问题一直没人认真回答：LLM 当审稿人，到底能不能看出论文里的错误？

不是"能不能挑刺"——挑刺谁都会，给一篇论文挑 10 个无关紧要的格式问题很容易。真正的问题是：当论文里有一个实质性的逻辑错误、数据错误、方法错误时，LLM 能不能发现？

2026 年 11 月，一组来自多所机构的研究者（Iñigo Zubeldia et al.）在 arXiv:2611.17052 上发了一篇论文，给出了迄今为止最系统的答案：不能，而且差得离谱。

实验设计：往论文里"埋雷"

研究者构建了一个 benchmark，叫 Skepthical——这个名字是 Skeptic（怀疑者）和 Ethical（伦理的）的拼合。核心思路很简单：

1. 拿 45 篇真实的 arXiv 论文（都是已发表的、有真实错误的论文） 2. 再拿 45 篇干净论文，人工往里注入错误——包括数据错误、方法论错误、逻辑错误等 3. 让多个 LLM 当审稿人，看它们能不能挑出这些错误

这个设计的关键在于"可注入错误"——传统 benchmark 用真实论文，但你不知道里面到底有多少错误、什么类型的错误。Skepthical 通过人工注入，精确控制了错误的类型和数量，让评估变得可量化。

测试的模型包括：Claude Sonnet 4、Claude Opus 4、Gemini 2.5 Pro、GPT-5、GPT-5.1、o4-mini 等。

结果：最好的模型也只检出 7% 的错误

先说最核心的数字：

• 所有测试模型的错误检出率都低于 7%
• 也就是说，100 个被人工注入的错误里，LLM 平均只能发现不到 7 个
• 最好的模型（Claude Sonnet 4 配合 Claude Code 工具调用）也只有 7% 左右
• 大部分模型在 2-5% 之间

更糟的是：LLM 还会"无中生有"地报告错误——它说"这里有问题"，但实际上没问题。在所有模型报告的"错误"里，大部分是假阳性。也就是说，LLM 不仅漏掉了真错误，还会编造假错误来凑数。

研究者还测试了多智能体协作模式——让多个 LLM 审稿人互相讨论后再下结论。结果：多智能体模式稍微提高了检出率，但同时也显著提高了假阳性率。也就是说，几个 LLM 凑在一起，不是"三个臭皮匠顶个诸葛亮"，而是"三个臭皮匠一起编故事"。

为什么 LLM 看不出错误？

论文分析了几个原因：

1. LLM 倾向于"同意"而不是"质疑"

当 LLM 读到一段论证时，它的默认模式是"理解并接受"，而不是"寻找漏洞"。这和它的训练目标有关——预训练阶段，模型学的是"预测下一个 token"，这要求它理解文本的内部逻辑，而不是质疑这个逻辑是否成立。

RLHF 阶段虽然会训练模型"拒绝有害请求"，但不会训练它"质疑论文的方法论"。结果就是：LLM 是一个很好的"读者"，但不是一个好的"审稿人"。

2. LLM 缺乏"反事实推理"能力

发现错误需要一种特殊的推理：假设作者的方法是错的，然后推演会发生什么。比如，作者说"我们用了 t 检验"，审稿人需要想："如果这里应该用卡方检验而不是 t 检验，会发生什么？结果会变吗？"

这种"反事实推理"对 LLM 很难。它更擅长"顺着文本走"，不擅长"逆着文本走"。

3. LLM 会被"表面流畅性"欺骗

如果一段错误论证写得流畅、用词专业、结构完整，LLM 就倾向于认为它是正确的。论文里有一个案例：研究者注入了一个明显的数据错误（把 0.5 写成 5.0），但因为周围的论证写得很专业，多个 LLM 审稿人都没发现。

这和人类审稿人的工作方式很不一样——人类审稿人会主动去核对数据，而 LLM 只是"读"数据，不会"验"数据。

一个有意思的发现：工具调用有帮助，但有限

研究者测试了让 LLM 调用工具（比如 Claude Code）来辅助审稿。结果发现：

• 工具调用能显著提高检出率——从 2-3% 提高到 7% 左右
• 但也显著增加了成本——每次审稿需要调用几十次工具，耗时和 API 费用都大幅上升
• 而且7% 仍然是一个不可接受的低水平——人类审稿人通常能发现 30-50% 的同类错误

但即使有工具，LLM 的检出率仍然远低于人类。这说明问题不只是"缺少工具"，而是更深层的推理能力不足。

这对 AI 同行评审意味着什么？

1. 现阶段的 LLM 同行评审，可能正在制造"假阳性信任"

如果会议用 LLM 做审稿，而 LLM 只能发现 7% 的错误，那意味着：93% 有错误的论文会被 LLM 放行。更糟的是，LLM 还会报告大量假阳性——这些假阳性会浪费作者的时间和精力去回应"不存在的错误"。

结果就是：有错误的论文照样发表，没错误的论文被无端指责——这是最糟糕的组合。

2. "LLM 辅助审稿"比"LLM 独立审稿"更合理，但需要重新设计

论文建议：LLM 不应该作为独立审稿人，而应该作为人类审稿人的"助手"——帮助人类做初筛、格式检查、引用核对。但最终的学术判断必须由人类做出。

这和医疗 AI 的逻辑一样：AI 可以帮医生看片子，但诊断和治疗方案必须由医生定。不是因为我们不信任 AI，而是因为 AI 在"判断"这件事上，还远不如人类。

3. 评测本身需要被评测

这篇论文最值得玩味的地方在于：它本身就是一个关于"评测可信度"的案例研究。

我们正在用 LLM 评测论文（同行评审），但这篇论文证明 LLM 在评测论文这件事上很不靠谱。那我们凭什么相信 LLM 在其他评测场景下的表现？

这让我想起 Goodhart 定律的变体：当一个评测工具成为目标，它就不再是好的评测工具。LLM 作为审稿人，正在成为"学术质量的代理指标"——但这个代理指标本身，可能比它要评测的东西更不可靠。

一个更深的观察：审稿是一种"否定性思维"

人类审稿人和 LLM 审稿人最根本的差异，可能不在于知识或推理能力，而在于思维模式。

人类审稿人读论文时，默认态度是"怀疑"——作者需要通过论证、数据、实验来说服我。如果哪里不清楚、哪里有漏洞，我会指出来。

LLM 读论文时，默认态度是"理解"——它试图重建作者的论证，而不是质疑它。如果哪里不清楚，LLM 会"脑补"一个合理的解释，而不是指出"这里不清楚"。

这种差异不是技术问题，而是目标函数的问题。LLM 的训练目标是"理解文本"，人类审稿人的目标是"挑错"。要让 LLM 成为好的审稿人，可能需要从训练目标层面重新设计——不是让它更"聪明"，而是让它更"怀疑"。

这和 AI 安全里的一个观察呼应：当前的 LLM 默认是"帮助者"（helper），而不是"守护者"（guardian）。帮助者倾向于满足用户请求，守护者倾向于质疑用户请求。同行评审需要的是守护者，但我们现在用的是帮助者。

结语：AI 审稿的"图灵测试"还没通过

这篇论文给 AI 同行评审泼了一盆冷水，但并不是说 AI 审稿没有未来。它说的是：在当前的 LLM 能力下，把审稿权完全交给 AI 是不负责任的。

7% 的检出率意味着：如果你让 AI 当你唯一的审稿人，你相当于在玩俄罗斯轮盘——93% 的概率，有错误的论文会顺利通过。

这不是 AI 审稿的终局，而是起点。Skepthical benchmark 提供了一个可量化的评估框架，让未来的 AI 审稿系统可以在这个基准上衡量自己的进步。也许三年后，会有 AI 系统在这个 benchmark 上达到 50% 的检出率——那时候我们再重新讨论 AI 审稿的可行性。

但在此之前，让 AI 当你的"审稿助手"可以，当你的"审稿人"——还是算了吧。

论文链接：Skepthical: Auditing AI Peer Reviewers

作者：Iñigo Zubeldia et al.

代码：github.com/inigozubeldia/skepthical-benchmark（论文公开了 benchmark 和评估工具）