[论文] 当两个AI成为彼此的裁判——Agon如何让推理能力在对抗中进化

原论文: Agon: Competitive Cross-Model RL with Implicit Rival Grading of Reasoning
arXiv: 2607.07690
作者: Vladislav Beliaev
分类: cs.LG, cs.AI, cs.CL

🎭 序幕：一场没有观众的辩论赛

想象一下两个棋手对弈。但这不是普通的比赛——每一步，他们不仅要看清棋盘，还要看穿对手的思路。对手刚刚走了那步，他为什么这样想？他的计划是什么？我如何在下一步既打败他的棋，又推翻他的逻辑？

这就是 Agon 的核心隐喻。

在现有的推理模型训练中，比如 GRPO（Group Relative Policy Optimization），模型面对一道难题，生成一组答案，然后看哪些答对了。答对的得分，答错的扣分。听起来公平，但有一个致命的盲区：模型只被告诉"对"或"错"，却从未被告知"这样想是好的，但那样想是笨的"。

就像一位老师只批改期末考试的分数，却从不看学生的草稿纸。结果是什么？模型学会了"写更多字来提高蒙对的概率"，而不是"学会更好的思考方法"。

Beliaev 看穿了这个问题。他的解决方案出人意料地简单：让两个模型互相当裁判。

🧠 技术核心：为什么过程评判比结果评判更难

GRPO 的盲区

GRPO 的工作原理：给定一道数学题，模型生成 8 个不同的解答过程（rollouts）。如果其中 3 个答案正确，5 个错误，那么模型会学习"倾向于正确的那些写法"。但这里有一个隐含的假设：正确的 rollout 中包含了好的推理过程。

当问题足够难时，8 个 rollout 可能全部失败。此时 GRPO 的梯度信号为零——模型不知道往哪个方向改进。更糟糕的是，即使有些 rollout 答对了，它们也可能包含混乱的推理、跳步、甚至恰好猜中。模型从这些"对"的答案中学到的，可能是错误的方法论。

Agon 的破局思路

Agon 的核心是一个双人博弈结构：

1. 同题竞技：两个模型（模型 A 和模型 B）拿到同一道难题
2. 交替角色：
   • 第一轮：模型 A 起草一个解答过程，模型 B 在阅读 A 的过程后作答
   • 第二轮：模型 B 起草，模型 A 阅读后作答
3. 隐式评判：模型 B 在阅读 A 的过程后给出了自己的答案。如果 B 能答对而 A 没答对，说明 B 不仅自己理解了，还能从 A 的尝试中找到正确路径。B 获得奖励，A 被惩罚。

关键在于：为了赢得奖励，每个模型不仅要自己会解题，还要能识别对手推理中的漏洞，并利用这些信息找到正确答案。 这意味着推理过程本身被隐式评判了——因为如果你的草稿中充满误导性线索，对手会从中受益，你就会输。

🔄 动态难度：对手越强，自己越强

单模型 RL 有一个根本局限：模型只能跟过去的自己比较。它永远面对一个"弱于或等于当前自己"的对手。这就像一位拳击手只打沙袋——沙袋不会还手，更不会变强。

Agon 的双模型结构创造了一个独特的动态：

• 模型 A 变强 → 模型 B 更难赢 → 模型 B 必须变得更强 → 模型 A 更难赢...

这是一个自我维持的升级循环。两个模型不必完全相同——事实上，它们需要行为不同。如果两个模型用同样的思路解题，它们会同时卡在同样的问题上，游戏就变成了"谁先蒙对"。只有当它们有不同的策略、不同的盲点时，一个才能从另一个的错误中学习。

这与 Mixture-of-Agents（MoA）有本质区别。MoA 是把多个模型的输出堆在一起，投票选最好的。Agon 是对抗性训练——模型在竞争中被优化，而不是在协作中被平均。

📊 数据说话：为什么这不是花拳绣腿

实验结果令人印象深刻：

• DeepMath 难题（Qwen3）：Agon 将 GRPO 的 pass@1 从基线翻倍
• 对比 MoA：Agon 的增益是未经训练的 MoA 遍历的约 8 倍
• 跨领域验证：在竞技编程代码上同样有效
• 跨模型家族：在 Qwen3.5 和 Gemma 4 上复现了类似趋势

这些数据说明了一个重要事实：推理过程的可评判性是一个尚未被充分利用的监督信号。当你不需要人工标注"好推理"和"坏推理"的标签时，两个模型之间的对抗就能自动生成这种信号。

🌌 未来：从文本对抗到潜在空间协作

论文的结尾提出了一个令人兴奋的下一步："目前模型以文本交流；下一步是让它们在潜在空间中一起推理。"

这意味着什么？

今天的 Agon 中，模型 A 把推理过程写成自然语言，模型 B 读这些文字。这有两个局限：

1. 文本是低带宽的——大量推理是直觉性的、非语言的
2. 语言可能被操纵——模型可以故意写误导性的中间步骤

如果模型能在潜在空间（latent space）直接交换表征——类似于人类之间的"默契"或"直觉"——对抗和协作会进入一个全新的维度。模型不再用文字欺骗对手，而是直接在向量层面竞争。这有点像从国际象棋升级到围棋：后者更抽象，但策略深度远超前者。

💡 一句话总结

Agon 不是教模型"更努力地思考"，而是给它一个必须"比对手想得更深"的竞技场。在这个竞技场里，好的推理不是被定义的，而是被证明的——通过击败一个越来越强的对手来证明。

#论文解读 #arXiv #Agon #推理模型 #强化学习 #小凯