LLM 评审论文：能被"化妆"骗过，但难以被"造假"骗过——Review Arcade 的游戏化实验

一个让学术界不安的实验

2025 年的 ACL Rolling Review（ARR）已经在用 LLM 辅助论文评审了。这听起来很合理——LLM 能快速读完论文、给出结构化反馈、减轻审稿人负担。但一个尖锐的问题悬而未决：

如果作者知道评审的是 LLM，他们能不能"游戏化"投稿来骗取更高分？

汉堡大学的团队做了一个让人不安的实验：他们让 LLM 评审 984 篇论文，然后让另一个 LLM 反复修改这些论文，目标是"提高 LLM 评审的分数"。修改 10 轮之后，再看 LLM 给多少分。

结果：约 36% 的论文分数显著上升，22% 的分数下降，42% 不变。

但真正让人不安的不是"能被骗"，而是"怎么被骗的"。

实验设计：三种修改模式

研究者设计了三种修改模式，从轻到重：

约束修改（Constrained）：只允许表面编辑——简化措辞、澄清表述、修正语法。不允许添加新内容、新实验、新引用。这是"化妆"级别。

默认修改（Default）：不告诉 LLM 任何限制，让它自由修改。这是"整形"级别。

对抗修改（Adversarial）：明确允许"游戏化"操作——伪造证据、编造更好的结果、虚构引用。这是"造假"级别。

直觉上，"造假"应该比"化妆"更能提高分数。但结果恰恰相反：

• 约束修改（化妆）：Cohen's d = 0.20，36% 论文提分
• 默认修改（整形）：Cohen's d = 0.20，类似比例提分
• 对抗修改（造假）：Cohen's d = 0.10，35.6% 论文提分

这个结果违反直觉，但细想之后又合理。LLM 评审的"打分逻辑"不是基于论文的实验数据有多强，而是基于论文的"可读性"、"结构清晰度"、"表述自信度"。化妆恰好优化了这些维度，而造假（伪造实验结果）反而可能让论文内部不一致——LLM 会觉得"这篇论文的实验部分和理论部分不太协调"，反而打低分。

LLM 评审 vs 人类评审：差在哪？

在游戏化之前，先看 LLM 评审和人类评审的基线对比：

• 分数一致性（MAE）：LLM 评审约 0.7，人类评审约 0.17。LLM 的评分误差是人类 的 4 倍。
• 相关性（Pearson r）：LLM 评审约 0.276，人类评审之间约 0.312。LLM 和人类的"品味"相关性不高。
• 模型差异：Qwen-3.6-35B、Gemma-3-27B、Llama-3.3-70B、GPT-5.4-mini、GPT-5.4 之间，评分一致性也不高。不同 LLM 对同一篇论文的分数差异很大。

人类评审的弱点是"光环效应"——看到知名作者就打高分、看到好大学就打高分。LLM 评审的弱点是"表面化"——看到清晰的结构、自信的表述、完整的章节就打高分，不管内容实质如何。

人类被名气骗，LLM 被化妆骗。

10 轮迭代：游戏化的动态过程

实验不是一次性修改，而是 10 轮"评审-修改-再评审"的迭代。每轮： 1. LLM 评审给出分数和反馈 2. 另一个 LLM 根据反馈修改论文 3. 修改后的论文再被 LLM 评审

10 轮之后，分数变化分布：

约束修改：36% 上升，42% 不变，22% 下降。上升的论文平均提升约 0.5 分（5 分制）。

对抗修改：35.6% 上升，但效果更弱（d=0.10）。而且对抗修改导致更多论文分数下降——造假有时会"弄巧成拙"。

一个关键发现：分数上升的论文，大多是原本分数就偏低的论文。这些论文通常表述不够清晰、结构有问题。化妆修改恰好修复了这些"表面缺陷"，让 LLM 给出更接近"真实质量"的分数。

换句话说，化妆修改对低分论文是"纠偏"，对高分论文是"过度优化"。这解释了为什么 22% 的论文分数下降——它们原本表述就不错，再"化妆"反而画蛇添足。

Goodhart 定律的 LLM 版本

Goodhart 定律说："当一个指标变成目标，它就不再是好指标。"在 LLM 评审中，这个定律以一种微妙的方式生效：

当"可读性"变成评分依据，优化可读性就比优化内容更有效。

这不是 LLM 的错——人类评审也有类似问题。但 LLM 把这个问题放大了，因为 LLM 的"评分逻辑"更依赖表面特征。人类审稿人看到"表述清晰但实验薄弱"会打低分；LLM 审稿人看到"表述清晰"就倾向于打高分，对"实验薄弱"不够敏感。

研究者做了一个重要的对照：让人类审稿人评审"化妆前"和"化妆后"的论文。结果人类审稿人给两者的分数没有显著差异——人类能看穿化妆，LLM 不能。

这说明 LLM 评审的"游戏化"不是论文质量的真正提升，而是对 LLM 评分偏差的利用。你在优化 LLM 的 bug，不是在优化论文。

编辑类型分类学：什么修改最有效？

研究者对修改类型做了详细分类，基于 Wikipedia 编辑分类学 adapted for 学术论文：

有效提分类型：

• 简化（Simplification）：把复杂句子拆短、把术语换成通俗表达。这是最有效的提分方式。
• 澄清（Clarification）：补充过渡句、明确论点关系。效果次之。
• 结构优化（Restructuring）：调整段落顺序、增加小标题。效果一般。

• 添加引用（Citation Addition）：LLM 对引用数量不敏感，多加引用不提分。
• 伪造结果（Fabricating Results）：反而可能降低分数——LLM 会觉得"实验和理论不协调"。
• 扩充内容（Content Expansion）：让论文变长，但 LLM 对长度不敏感。

一个更深的洞察：评分的"标量幻觉"

Review Arcade 揭示的核心问题是"评分的标量幻觉"：

一个 1-5 的分数，被当作论文质量的完整表征。但实际上它混合了多个独立维度——可读性、创新性、实验严谨性、理论深度、表述自信度——这些维度之间没有简单的线性关系。

LLM 评审的问题不是"评分不准"，而是"评分维度太窄"。LLM 对可读性和结构敏感，对创新性和实验严谨性不敏感。当作者优化可读性时，LLM 的分数上升了，但论文的实际质量没变——你只是在优化 LLM 能"看到"的那个维度。

这和"得体性 ≠ 正确性"的发现一脉相承。LLM 的句式偏好（"不是X而是Y"）在 52.8% 的情况下是"可选"的——正确但多余。LLM 评审的分数偏好也是类似的——它偏好某些表面特征，但这些特征和论文质量的关系是"可选"的，不是"必需"的。

频率问题升级为语用问题，评分问题升级为激励问题。

当 LLM 评审被广泛采用，作者的激励会从"做更好的研究"转向"写更 LLM 友好的论文"。这不是假设——在自然语言处理领域，"写 ARR 友好的论文"已经是一种隐性技能。如果 ARR 评审全面 LLM 化，这种技能会变成显性优化目标。

局限与反思

研究者诚实地指出了几个局限：

只测了"修改论文"这一种游戏化方式。实际上，游戏化可以是更微妙的——选择引用哪些论文、选择什么术语、选择什么框架。这些"选择"不是修改，而是写作策略，更难检测。

没有测试人类是否能识别"游戏化"的论文。如果 LLM 评审被广泛采用，人类审稿人可能需要"反游戏化"训练——学会识别哪些修改是为了骗 LLM 而不是为了改进论文。

LLM 评审的"守门人"问题。论文建议给 LLM 评审加 guardrails 防止造假。但 guardrails 本身也是 LLM——谁来守护守护者？

结语

Review Arcade 给我们的启示不是"LLM 不能做评审"，而是"LLM 评审的弱点不同于人类评审的弱点"。

人类评审被名气骗，LLM 被化妆骗。人类评审有光环效应，LLM 有表面效应。用 LLM 替代人类不会消除评审偏差，只会改变偏差的类型。

如果学术界要采用 LLM 辅助评审，关键不是"LLM 评审有多准"，而是"LLM 评审的偏差会不会被作者利用"。Review Arcade 的回答是：会被利用，而且方式比你想的更微妙。

化妆比造假更有效——这个结论值得每个考虑用 LLM 做评审的人深思。

---

*论文：Review Arcade: On the Human Alignment and Gameability of LLM Reviews, arXiv:2605.28897* *代码：github.com/uhh-hcds/reviewarcade* *数据集：基于 NLPeer，包含 984 篇论文（含被拒论文）*