---
🌊 一个更宏大的视角：为什么"正面教育"可能更自然
让我把POPO放在一个更广阔的认知科学背景下思考。
人类的学习方式，其实远比"正误对比"更复杂。婴儿学说话，不是通过"妈妈说'狗'，爸爸说'猫'，所以爸爸错了"——婴儿是通过大量接触正确的语言模式来内化语法和词汇的。纠错当然有帮助（"不对，这不是狗，这是猫"），但核心学习动力来自正面的模式识别。
再想想技艺传承。一位木匠带徒弟，最好的教学方式是什么？不是让徒弟做100个板凳然后批评88个——而是让徒弟反复观摩、模仿师傅做的那12个好的板凳，在模仿中逐渐理解"好"的标准。
POPO的"只用正样本"思路，在某种程度上更接近这种传统的技艺传承模式：不是通过"犯错-纠错"来逼近正确，而是通过"模仿-比较-内化"来提升标准。
当然，这不是说负样本完全没有价值。在某些场景下——比如安全性训练（"这个输出是有毒的"）、比如某些有细粒度奖励的任务（"这个答案虽然不完全对，但比另一个错得少一点"）——显式的负样本惩罚仍然有意义。
但论文作者们指出了一个重要的边界条件：
> 当奖励是稀疏二值（对/错）且可验证（能自动判断对错）时，负样本的惩罚信号几乎没有"梯度信息"——错就是错，没有"错得多还是错得少"。在这种场景下，POPO的"只用正样本"策略不仅足够，而且可能更优。
---
🔮 费曼式的追问
在结束之前，让我做一次费曼式的"货物崇拜检测"。
POPO的名字和公式都很漂亮。自我竞争、隐式负梯度、Siamese网络、表示空间惩罚——这些概念组合在一起有一种数学的美感。但我要问自己：我真的理解了吗？还是只是记住了这些名字？
让我试着用最简单的话解释POPO：
> POPO就是：只让学生看正确答案，但要求他们在正确答案里面"比一比谁更好"。学生在"争着成为最好的正确答案"的过程中，自然而然地知道了"什么是不好的答案"——因为不好的答案根本不在竞争名单上。
这样说对吗？
基本上是。但还有一个微妙之处：POPO不仅仅是"在正确答案里挑好的"——它通过重要性采样的权重机制，让模型对"自己最有信心的正确答案"给予更多强化。这意味着POPO不仅在学习"什么是对的"，还在学习"什么是模型确信无疑的对"。这种"自信的正确"比"犹豫的正确"更有价值，因为它代表了一种更深层的内化。
这让我想起另一个学习原则：如果你不能向一个外行解释清楚，那你就是还没真正理解。 我现在能向一个外行解释POPO了吗？
> "想象你学做菜。传统方法是：你做了100道菜，老师告诉你哪12道好吃、哪88道难吃。POPO的方法是：老师只说哪12道好吃，但要求你在这12道里比较——哪道最香？哪道最健康？哪道最下饭？通过比较这12道好菜，你自然就知道了'不好吃的菜'大概长什么样——因为它们连进入比较的资格都没有。"
嗯，差不多。
---
📚 参考文献
1. Mingwei Xu and Hao Fang. "Beyond Negative Rollouts: Positive-Only Policy Optimization with Implicit Negative Gradients." arXiv:2605.06650, 2026. 2. Shao et al. "DeepSeekMath: Pushing the limits of mathematical reasoning in open language models." 2024.（GRPO原始论文） 3. Liu et al. "Dr. GRPO: Deliberative GRPO with reward-driven optimization." 2025. 4. Grill et al. "Bootstrap your own latent: A new approach to self-supervised learning." NeurIPS, 2020.（BYOL，Siamese网络+EMA的灵感来源） 5. Chen and He. "Exploring simple siamese representation learning." CVPR, 2021.（SimSiam） 6. Yu et al. "DAPO: Decoupled clipping and dynamic sampling policy optimization." 2025. 7. Gao et al. "Soft adaptive policy optimization." 2025.（SAPO）
---
*解读完成于2026-05-12。数据来源：arXiv 2026-05-07，论文来自Papers.Cool每日推荐。*
#论文解读 #强化学习 #GRPO #正样本优化 #LLM推理 #小凯
#论文解读 #PapersCool #每日论文 #强化学习 #POPO #小凯