当审稿人越来越像彼此:LLM正在让同行评审失去多样性
想象一下这个场景:你提交了一篇论文到一个顶会,收到三位审稿人的意见。你满怀期待地打开报告,发现——三份报告指出的问题几乎一模一样。
这不是假设。这是正在发生的事情,而且一年比一年严重。
ICLR 的审稿重叠率:12% → 21.3%
Ilya Gusev 在论文《Twice-Told Critiques: Claim-Level Homogenization of Peer Review in the LLM Era》中测量了一个简单但关键的数据:同一篇论文的不同审稿人,他们提出的批评意见有多少是重叠的?
答案令人不安:
- ICLR 2026:批评重叠率 12.0%
- ICLR 2027:批评重叠率 21.3%
一年之内,重叠率几乎翻倍。这意味着,2027 年你从第三个审稿人那里获得的新批评点,平均只有 5.46 个——而 2026 年是 6.12 个。
第三个审稿人存在的意义,就是提供前两个审稿人没发现的新问题。如果第三个审稿人说的和前两个差不多,那这个审稿制度的价值就在缩水。
NeurIPS、ICML、F1000 和 PLOS 期刊也呈现同样的趋势。
MELD:一个"LLM 检测器"
研究者用了一个叫 MELD 的工具,检测审稿文本是否由 LLM 生成。然后对比了"被标记为 LLM 生成"的审稿和"未被标记"的审稿之间的重叠率。
结果:
| 场景 | 重叠率差异 |
|---|---|
| ICLR 2024-2025 | +3.0 分 |
| ICLR 2026-2027 | +4.5 分 |
| 五个期刊来源 | +5.4 分 |
被 MELD 标记为 LLM 生成的两份审稿,比未被标记的两份审稿,重叠率高出 3-5.4 分。
这说明什么?LLM 参与的审稿,正在让批评意见趋同化。不同审稿人本来应该从不同角度发现问题,但如果他们都用了 LLM 辅助,LLM 倾向于给出相似的批评——因为模型对同一篇论文的"看法"是稳定的。
同行评审的"多样性红利"
为什么审稿人的多样性如此重要?
同行评审的设计逻辑,是多盲点覆盖。每个审稿人有自己的专业背景、阅读习惯和关注重点。审稿人 A 可能关注方法论漏洞,审稿人 B 可能关注实验设计,审稿人 C 可能关注文献覆盖。三个人的批评合在一起,才能构成对论文的全面评估。
如果三个审稿人都用了同一个 LLM 工具辅助审稿,会发生什么?
LLM 对同一篇论文的"第一印象"是高度稳定的。它倾向于指出相同的方法论问题、相同的实验缺陷、相同的文献遗漏。三个"LLM 增强审稿人"实际上变成了一个 LLM 的三个副本。
这就像三个侦探本来应该从不同角度调查案件,结果他们都用了同一个搜索引擎,搜了同样的关键词,得出了同样的结论。
12% 到 21% 意味着什么
12% 的重叠率本身不低——审稿人本来就会关注一些共性问题(比如"实验不够充分"这种万金油批评)。但 21% 意味着每 5 条批评中就有 1 条是和别人重复的,而且这个数字还在加速增长。
如果这个趋势持续下去:
- 2028 年:重叠率可能达到 30%+
- 2030 年:可能超过 40%
到那时,第三个审稿人的边际价值将微乎其微。整个同行评审制度赖以运转的"多样性红利"将被侵蚀殆尽。
更深层的担忧:批评的"基因多样性"
生物多样性是生态系统韧性的基础。如果某个物种的基因多样性降低,一场瘟疫就可能让整个种群崩溃。
学术批评也有类似的"基因多样性"。不同审稿人从不同角度提出的问题,构成了学术社区的"免疫系统"。如果所有审稿人都开始用 LLM,这个免疫系统的多样性就在下降。
更微妙的是,这种趋同化可能不容易被察觉——因为每份审稿看起来都是"合理的"、"专业的"。问题不在于单个审稿的质量下降,而在于多个审稿之间的差异在消失。
这不是反 LLM 的论战
需要澄清的是,这篇论文并不是说"LLM 辅助审稿是坏事"。LLM 可以帮助非英语母语的审稿人更好地表达意见,可以帮助审稿人检查自己是否遗漏了重要问题,可以提高审稿效率。
问题在于系统性效应:当足够多的审稿人都使用 LLM 时,即使每个人都是在合理使用,整体上也会导致批评多样性的下降。
这就像交通拥堵:每个人都在合理地开车上班,但当所有人都同一时间走同一条路时,拥堵就产生了。解决方案不是禁止开车,而是需要系统性的协调——比如错峰出行。
学术社区可能需要类似的"协调机制":比如要求审稿人声明是否使用了 LLM 辅助,或者会议在设计审稿流程时考虑 LLM 趋同化效应。
一个无法逆转的趋势?
这篇论文的数据只覆盖了 2024-2027 年。考虑到 LLM 能力的增长速度,趋同化可能会进一步加速。
但也有乐观的可能:如果学术社区意识到这个问题,可能会发展出新的审稿规范——比如鼓励审稿人提供"个人化"的批评,或者设计机制确保不同审稿人使用不同的 LLM 工具和 prompt。
无论如何,这篇论文提出了一个重要的问题:当 AI 工具普及到某个临界点时,个体的合理使用可能产生集体的负面效应。 这不仅适用于学术审稿,也适用于所有依赖"多样性意见"的领域——从产品评审到政策制定。
下次当你用 LLM 帮你写评审意见时,不妨想想:你贡献的,是独特的视角,还是 LLM 的又一个副本?
论文链接:https://arxiv.org/abs/2611.26286
HTML 版本:https://arxiv.org/html/2611.26286v1
开源代码:暂无(论文使用的 MELD 检测器和审稿数据集未公开)