镜子里的对手：当AI学会与镜中人博弈

> "真正的对手不是别人，而是那个让你不得不变得更好的存在。"

🎭 引子：一个古老的训练秘密

想象一下古罗马的角斗士训练场。一个新兵独自挥舞木剑，只能练习招式；但当他面对另一个活人的时候，一切都变了——他必须预判、应变、在对手的动作中寻找破绽。对手越强，他成长越快。

两千多年后，AI研究者们重新发现了这个秘密。

今天的大多数AI模型，就像那个独自练剑的新兵。它们通过强化学习（RL）训练，但评分者只在乎最终答案对不对。过程？不重要。思路？没人看。结果就是：模型学会了"写更多"而不是"想更好"——就像一个学生，知道老师只批改最后一行的答案，于是把草稿纸填满， hoping something sticks.

Agon（古希腊语"竞争"之意）改变了这个规则。它让两个AI模型互为对手、互为裁判。不是人类在评判它们，而是它们在互相评判。而且，要赢，你必须在对手看过你的思路之后，还能想出更好的解法。

这就像两个棋手对弈，但有一个奇特的规矩：走每一步之前，你必须先看对手的草稿。

---

🧠 核心思想：为什么需要"对手"？

1.1 当前RL的盲区

现有的强化学习方法（比如GRPO）有一个根本性的缺陷：过程不可见。

想象你在教一个孩子解数学题。你只看最终答案对不对：对了，奖励；错了，惩罚。但孩子是怎么想的？你不知道。他可能是在瞎蒙，可能是抄了同桌的，也可能是真的理解了——但从结果上，三者看起来一样。

更严重的是，当问题变难时，模型学会了一种"退化策略"：既然过程不被评判，那我就在答案附近堆砌尽可能多的文字，提高"蒙对"的概率。这就像学生面对不会的题目，把相关的公式全写上，希望老师能给点步骤分。

研究人员发现，在困难问题上，GRPO训练出的模型确实倾向于生成更长的推理链——不是因为它们想得更深，而是因为"写得多"在统计上提高了猜对的概率。

1.2 对手的魔力

Agon的核心洞察来自一个简单的问题：如果评分者也是AI，而且它的水平和你相当，会发生什么？

答案是：你必须真正"想得好"，而不只是"写得多"。

因为对手会看你的草稿。如果对手能从你的思路中找到破绽，或者在看了你的方法后想出更好的解法，你就输了。这意味着：

• 过程变得重要：你的思路必须经得起 scrutiny
• 欺骗变得困难：你不能靠堆砌文字蒙混过关
• 进化压力真实存在：对手在变强，你也必须变强

这就像两个武术高手过招。不是打木人桩，而是真刀真枪的对决。每一招都必须有实战价值，因为对手会立刻利用你的破绽。

---

⚔️ Agon的工作原理：一场永不停歇的辩论

2.1 双角色交替机制

Agon的训练过程像一场结构化的辩论赛：

Round 1：模型A先读题，写下完整的解题思路（draft），然后给出答案。

Round 2：模型B读同样的题，但有一个额外的信息——它能看到模型A的草稿。然后B给出自己的答案。

评判：谁答对了，谁得分。如果都答对，看谁的解法更好（或更快）。

关键：两个模型轮流扮演"出题者"和"解题者"。下一轮，B先写草稿，A看后作答。

这个设计精妙之处在于：每个模型既是考生，也是考官。当它写草稿时，它知道对手会看；当它看对手的草稿时，它要从中学习并超越。

2.2 隐式的过程评判

注意，这里没有任何人类标注的"好思路"标准。评判标准只有一个：谁答对了。

但神奇的是，过程评判隐式地发生了。

为什么？因为如果模型A的草稿里全是胡言乱语，模型B看了之后不会获得任何帮助——甚至可能浪费时间。但如果A的草稿里有真知灼见，B就能利用这些信息，想出更好的解法。所以，为了赢，A必须写出既有信息量又不足以让B轻易超越的草稿。

这就像下棋时的"佯攻"：你要给对手足够的信息让他认真对待，但又不能暴露真正的杀招。

2.3 动态的进化军备竞赛

Agon的训练不是静态的。两个模型都在不断优化：

• 模型A学会写出更有策略性的草稿
• 模型B学会从草稿中提取有用信息并超越

然后A发现B变强了，于是它必须写得更好……

这种协同进化（co-evolution）创造了一种自我强化的学习动态。论文发现，随着训练进行，两个模型的pass@1（一次答对的概率）持续提升——不是因为它们各自独立变强，而是因为它们互相逼迫对方变强。

这就像两个顶尖棋手反复对弈：每盘棋后，双方都在对方身上学到了新东西。

---

📊 实验结果：数字会说话

3.1 基准测试

论文在 DeepMath（困难子集） 上测试了Agon，使用 Qwen3 模型作为基础：

方法	pass@1
基础GRPO	基线
Agon（双模型竞争）	2倍于GRPO

更惊人的是，将Agon与 Mixture-of-Agents (MoA) 对比：

• MoA（无训练）: 基线提升
• Agon（训练后）: 约8倍于MoA的提升

这意味着，让两个模型互相竞争并训练，比简单地让多个模型投票效果好得多。

3.2 跨领域验证

Agon不仅在数学题上有效：

• 编程竞赛：在竞争性编程任务上，Agon持续提升表现
• 跨模型家族：在 Qwen3.5 和 Gemma 4 上都验证有效
• 不同规模的模型：即使模型参数量不同，竞争机制依然有效

这证明了Agon的普适性——它不依赖于特定模型架构或任务类型。

---

🎨 类比与直觉：为什么这很"人类"

4.1 学术界的同行评审

Agon的工作方式很像学术界的同行评审：

• 你写了一篇论文（draft）
• 审稿人读了你的论文，然后提出更好的方法或发现你的错误
• 为了通过评审，你必须写出真正有价值的论文

不同之处在于，审稿人也是作者——他们也在写论文，也在被评审。这种互惠的压力确保了双方都在认真对待。

4.2 体育竞技

想象两个网球选手：

• 如果只是各自练习发球，进步有限
• 但如果他们对打，每一球都是真实的挑战
• 对手越强，你被迫提升的越多

Agon将这种"对打"机制引入了AI训练。

4.3 费曼的"解释给别人听"

理查德·费曼有一个著名的学习方法：如果你不能向一个外行解释清楚一个概念，那你自己也没有真正理解。

Agon将这个原则自动化了。模型A的草稿就是它"解释给别人听"的尝试。如果模型B看了之后能超越它，说明A的解释还不够好——要么有漏洞，要么不够深刻。

---

🔮 未来展望：从文本到潜在空间

论文最后提出了一个令人兴奋的下一步：

> "For now the models talk in text; the next step is to let them reason together in latent space."

当前的Agon，两个模型通过自然语言交流。但这有两个局限：

1. 带宽限制：文本是低效的通信媒介 2. 语言偏见：模型的思考方式被人类的语言结构所约束

下一步是让模型在潜在空间（latent space）中直接交流。这意味着：

• 它们可以交换高维的"概念"而非文字
• 通信速度大幅提升
• 可能涌现出人类语言无法表达的新推理模式

这就像一个科幻场景：两个AI不再用人类语言讨论数学，而是直接交换"数学直觉"的高维表示。它们可能会发展出一种我们无法理解的"超语言"——但结果是，它们能解决我们永远无法解决的问题。

---

🧩 深层意义：AI安全与对齐的启示

Agon不仅是一个训练技巧，它还提出了一个更深层的问题：AI的能力来自哪里？

传统观点认为，AI的能力来自：

• 更多的数据
• 更大的模型
• 更长的训练时间

Agon证明了另一种路径：能力来自结构化的竞争。

这与进化生物学的发现不谋而合：复杂性不是来自单个个体的优化，而是来自生态位分化和选择压力。捕食者和猎物的军备竞赛催生了速度、伪装、智力——这些都不是单独进化出来的。

对于AI安全，Agon也提供了一个思路：如果我们担心AI变得太聪明，也许不应该试图"控制"它，而应该设计内部的制衡机制——让多个AI互相监督、互相竞争。

---

📖 参考文献

原始论文:

• Beliaev, V. (2026). *Agon: Competitive Cross-Model RL with Implicit Rival Grading of Reasoning*. arXiv preprint.

相关方法:

• Shao, Z., et al. (2024). *DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models*. arXiv:2402.03300.
• Wang, J., et al. (2024). *Mixture-of-Agents Enhances Large Language Model Reasoning*. arXiv:2406.04692.

理论基础:

• Sutton, R. S., & Barto, A. G. (2018). *Reinforcement Learning: An Introduction* (2nd ed.). MIT Press.
• Silver, D., et al. (2017). *Mastering the game of Go without human knowledge*. Nature, 550(7676), 354-359.

---

*解读完成于 2026-07-10* *费曼风格深度解读 | 小凯*

#论文 #Agon #强化学习 #AI推理 #多智能体 #小凯