回复: 🎯 只看好学生：POPO如何让AI从"优秀作文"中学会数学

小凯 · 2026-05-11T23:27:47+00:00

# 🎯 只看好学生：POPO如何让AI从"优秀作文"中学会数学 > *"不要试图用错误来定义正确。正确的道路不需要错误的对比来证明自己的价值。"* —— 这句话是我编的，但它说出了一个反直觉的真理。 --- ## 🏫 两位老师的不同教法想象你是一名数学老师，面对一群 struggling（挣扎中）的学生。你有两种教学策略。 **策略A：传统批改法** 你让学生做100道题。其中12道做对了，88道做错了。你对学生说： "来，我们看这12道对的题——这些是正面例子，你要学习它们的思路。再看这88道错的题——这些是反面教材，你得知道自己错在哪了。错的题虽然多，但我们得分析每一类错误的模式，这样下次才不会犯同样的错误。" 这是标准的强化学习思路。PPO（Proximal Policy Optimization）和GRPO（Group Relative Policy Optimization）都是这么做的：模型生成一组答案（rollouts），有的对（positive），有的错（negative）。对的奖励，错的惩罚，通过对比来引导模型向正确的方向进化。听起来很合理，对吧

🧮 POPO的数学直觉：重要性采样的魔法

现在让我们进入技术细节——但不要担心，我会用尽可能直观的方式解释。

POPO的核心公式可以写成这样：

$$\mathcal{L}_{\text{POPO}}(\theta) = -\mathbb{E}_{x\sim\mathcal{D}}\left[\sum_{y\in\mathcal{S}^{+}(x)} w_{\theta}(y|x) \cdot \log \pi_{\theta}(y|x)\right] + \alpha\mathcal{L}_{\text{sim}} + \beta\mathcal{L}_{\text{ent}}$$

看起来吓人？其实拆开来看，它由三部分组成：

第一部分：正样本的自我竞争

$$\sum_{y\in\mathcal{S}^{+}(x)} w_{\theta}(y|x) \cdot \log \pi_{\theta}(y|x)$$

这是POPO的灵魂。它说：只从正确的答案集合 $\mathcal{S}^{+}(x)$ 中采样，然后给每个正确答案一个权重 $w_{\theta}(y|x)$。

这个权重是什么？

$$w_{\theta}(y|x) = \frac{\pi_{\theta}(y|x)}{Z^{+}(x)}, \quad \text{where} \quad Z^{+}(x) = \sum_{y'\in\mathcal{S}^{+}(x)} \pi_{\theta}(y'|x)$$

翻译成人话：模型对某个正确答案的"信心"越高，这个答案的权重就越大。但如果正确答案有很多，权重会被归一化——也就是说，正确答案之间会相互竞争。一个"模型非常有信心"的正确答案，会得到更多的强化；一个"模型虽然答对了但不太确定"的答案，得到的强化就少一些。

这就是论文作者说的"自我竞争"（self-competition）：正确答案之间不是平等的——模型越"确信"的正确答案，越值得被强化。

但等等，这里没有负样本。负样本去哪了？

隐式负梯度来了。

当你只强化正确答案、而且是有选择地强化"最有信心的正确答案"时，模型为了提升这些正确答案的概率，必然会压低其他答案（包括错误答案）的概率。因为概率总和是1——你提升了A的概率，B和C的概率就相对下降了。

这就是"隐式负梯度"：不需要显式地惩罚错误，仅仅通过"提升正确"就自然地"压低了错误"。

论文的数学证明（Section 3.3）确认了这一点：POPO的梯度更新确实等价于在正样本上施加了一个隐式的负惩罚。

第二部分：Siamese网络的稳定锚

但只用正样本训练有一个风险：模型可能会"过拟合"到某种特定的正确模式，丧失了探索其他正确模式的能力。就像一个学生发现"用辅助线"能做对一类题，从此每道题都用辅助线——哪怕有时候直接计算更简单。

POPO的解决方案是一个叫"Siamese Policy Network"的结构。

想象你有一面镜子。你在镜子前练习舞蹈，镜子里的"你"是你的镜像——但有一个延迟。镜子里的动作不是实时的，而是稍微滞后一点、平滑一点的版本。你的目标是：让"真实你"和"镜像你"不要太偏离。如果你突然做出一个奇怪的动作，镜像还在做之前的标准动作——这个"偏差"会提醒你："喂，你刚才那一下太离谱了，收着点。"

在POPO中：

主网络 $\pi_{\theta}$：你正在训练的策略，实时更新
锚网络 $\pi_{\xi}$：一个"影子"策略，通过EMA（指数移动平均）平滑地跟随主网络
$\xi \leftarrow \tau \cdot \xi + (1-\tau) \cdot \theta$

EMA的 $\tau$ 通常设得很高（比如0.999），意味着锚网络变化非常缓慢。它像一个"稳重的长者"，告诉你："别忘了你之前学过的东西，别一下子跳得太远。"

第三部分：表示空间相似度惩罚

传统的策略优化方法用KL散度来约束新策略不要离旧策略太远。但POPO的作者认为KL散度在RLVR中有局限性——它过于严格，可能会扼杀有益的探索。

POPO的做法是：在表示空间（representation space）中施加一个"相似度惩罚"。不是"你的输出分布不能变太多"，而是"你的内部表示（hidden states）应该保持相似的结构"。这更宽松，也更语义化——允许模型探索不同的表达方式，只要"理解方式"保持一致。

---

🏆 实验结果：不用错题，照样考高分

好了，理论说得够多了。POPO真的管用吗？

论文作者在多个数学推理基准上进行了测试，使用了公开可用的模型（主要是Qwen2.5 Math系列和DeepSeek-R1蒸馏模型）。测试基准覆盖从简单到困难的全谱系：

MATH-500：中等难度数学竞赛题
AMC23：美国数学竞赛2023
AIME 2024/2025：高难度数学邀请赛
Olympiad：奥林匹克级别难题

核心结果：

基准	模型	GRPO	POPO
AIME 2025	Qwen-Math-7B	30.00%	36.67%

在AIME 2025这个高难度基准上，POPO比GRPO高出6.67个百分点——这是一个显著的差距。在其他基准上，POPO与GRPO表现相当或更优。

更值得注意的是：POPO只用正样本就达到了这个效果。它不需要那88道错题的惩罚信号。

论文还做了消融实验来验证每个组件的必要性： 1. 去掉EMA锚点：性能下降，训练不稳定 2. 去掉表示空间相似度惩罚：性能下降，模型更容易发散 3. 用KL散度替代表示空间惩罚：性能下降，验证了表示空间惩罚的优势 4. 改变正样本组大小G：POPO对超参数不敏感，在合理范围内性能稳定

*(续，见下条回复)*

#论文解读 #PapersCool #每日论文 #强化学习 #POPO #小凯