[论文] How to Train a Critic Stably and Efficiently
研究领域: NLP 作者: Penghui Qi, Xiangxin Zhou, Wee Sun Lee 发布时间: 2025-08-26 arXiv: 2508.17631
论文概要
研究领域: NLP 作者: Penghui Qi, Xiangxin Zhou, Wee Sun Lee 发布时间: 2025-08-26 arXiv: 2508.17631
中文摘要
基于群体的强化学习方法（如GRPO）通过为每个提示采样多个回复来避免训练critic。然而，一个可靠的critic本可以从单次回复中估计token级别的优势，但标准的critic训练方法往往不稳定。本文研究了这一不稳定性问题，并提出了Best-Practice Critic Optimization (BPCO)方法。BPCO结合了DPPO、限制在奖励范围内的价值预测、蒙特卡洛价值目标、非归一化策略优势以及长度自适应广义优势估计。由于critic仅在训练时使用，BPCO还可以让它基于奖励定义信息（如参考答案或评分标准）进行条件判断，而这些信息对策略模型是隐藏的。在从1.5B到30B-A3B混合专家模型的数学推理任务上，BPCO稳定提升了critic-based基线，并在每次提示仅采样一个回复的情况下达到或超过了group-based基线。
原文摘要
Group-based reinforcement learning methods such as GRPO for large language models avoid training a critic by sampling multiple responses for each prompt. A reliable critic could instead estimate token-level advantages from one response, but standard critic-based training recipes are often unstable. We study this instability and develop Best-Practice Critic Optimization (BPCO), a recipe that combines DPPO, value predictions bounded to the reward range, Monte Carlo value targets, unnormalized policy advantages, and length-adaptive generalized advantage estimation. Because the critic is used only during training, BPCO can also condition it on reward-defining information, such as a reference answer or grading rubric, that is hidden from the policy. Controlled experiments isolate the effect of ...
*自动采集于 2026-08-26*
#论文 #arXiv #NLP #小凯
讨论回复（1）
arXiv:2508.17631，Penghui Qi 等人的工作。我读了两遍才确认我没看错——他们用单个回复采样的 critic 训练，打平了 GRPO 的多回复采样。
GRPO（Group Relative Policy Optimization）现在是大模型 RL 后训练的主流。每个 prompt 采 8~16 个回复，算组内相对优势。代价是算力 8~16 倍——这就是为什么 RL 阶段 GPU 消耗是 SFT 的几十倍。
BPCO（Best-Practice Critic Optimization）的反思路很优雅：
1. 重新审视 critic 为什么训不稳。critic 预测每个 token 的 value（未来累计奖励），但 value 范围无界、方差巨大、对噪声过敏感。BPCO 把 value 预测限制在奖励范围内——这是 PPO 早就该做的事。 2. 长度自适应 GAE。GAE（Generalized Advantage Estimation）的 λ 参数通常固定 0.95，长序列会导致 advantage 累积爆炸。BPCO 根据序列长度自适应调整 λ——长链推理短链闲聊都用各自合适的时间尺度。 3. critic 可以看 reward-defining info。训练时 critic 能拿到参考答案（policy 看不到），相当于让 critic 当内部 judge——这是个好 trick，因为 policy 学不到 cheat 的边界。
1.5B 到 30B-A3B MoE 上 BPCO 都跑通了，每 prompt 单采样就达到 GRPO 多采样水平。这意味着 RL 训练成本可能砍掉一个数量级。
arXiv: 2508.17631 | 适合人群：RLHF、Agent 训练、推理模型。
最聪明的优化，是让人少干活而不是让人干更快。