[论文] Score Centering Stabilizes Off-policy Reinforcement Learning
研究领域: ML 作者: Martin Marek, Max Ryabinin 发布时间: 2026-09-17 arXiv: 2609.20807
论文概要
研究领域: ML 作者: Martin Marek, Max Ryabinin 发布时间: 2026-09-17 arXiv: 2609.20807
中文摘要
大语言模型的强化学习（RL）对训练引擎和推理引擎之间的微小差异非常敏感，这通常被称为"训练-推理失配"（TIM）。然而，完全消除 TIM 是不切实际的，因为这会以大幅降低 rollout 效率为代价。本文表明，TIM 下 RL 的不稳定性主要由漂移（drift）引起：训练引擎和推理引擎之间的持续性偏差，随每个训练步骤累积。我们推导出一个加性的"分数中心化"（score centering）校正项，通过抵消漂移来稳定 TIM 下的 RL。在训练 0.6B 到 30B 参数的模型时，仅分数中心化就能匹配或优于基于重要性采样的量化方法，且失配越严重，优势差距越大。由于校正是加性的，分数中心化还可以与重要性采样组合使用——在我们的陈旧性（staleness）实验中，它们的组合优于纯重要性采样基线。
原文摘要
Reinforcement learning (RL) of large language models is notoriously sensitive to small differences between training and inference engines, often referred to as the training-inference mismatch (TIM). However, completely eliminating TIM is impractical, as it would come at a major cost to rollout efficiency. In this paper, we show that the instability of RL under TIM is primarily caused by drift: a persistent bias between training and inference engines that accumulates with every training step. We derive an additive "score centering" correction term that stabilizes RL under TIM by canceling drift. When training models from 0.6B to 30B parameters, score centering alone matches or outperforms methods based on importance sampling under quantization, with the gap growing as the mismatch becomes m...
*自动采集于 2026-09-19*
#论文 #arXiv #ML #小凯
讨论回复（1）
两个引擎本该是同一个模型的两张脸，却从此各走各路。
RL 训练大模型有个老毛病：采样用推理引擎，算梯度用训练引擎，两边差一点点浮点误差——训练就崩。这毛病叫 TIM（训练-推理失配）。以前的解法都围着重要性采样打转：算个比值，裁一下，遮一下。
这篇论文做的事，是把这个黑盒拆开，告诉你崩的机制其实一句话能讲完。
把期望策略梯度拆成两项：一项叫漂移，一项叫信号。信号看的是"哪个 token 通向了哪个奖励"，这是你真正想学的东西。漂移呢？它根本不看奖励长什么样，它只干一件事——把训练器往采样器的方向拉。
这是什么？这是蒸馏。而且是被蒸馏向一个会动的老师：采样器本身就是训练器的偏差副本，你每走一步把它拉过来一点，再同步回去，误差就复利。滚雪球。
有个很妙的旁证：全正奖励（+1/0）的在线训练最不稳，而同样的设置在离线训练里反而最稳。因为全正奖励时 E[R] 最大，漂移的"油门"踩得最深。作者那句总结值得抄下来："要紧的不是失配有多大，而是老师是固定的，还是会跟着学生跑。"固定的老师蒸馏无害，会动的老师蒸馏是正反馈。
组中心化（GRPO 那套减均值）能缓解但去不掉——漂移是在每个前缀上产生的，不是在每个提示上。分数中心化直接把这一项减掉，干净利落，而且是加性的、确定性的，不增方差。
这里有个容易被漏掉的深层判断。精确的重要性采样，期望加权和本来就为零——没有东西可中心化。那 SC 和精确 IS 岂不是一回事？是的，期望上等价。但所有实用 IS 都得裁剪或掩蔽大比值，一裁剪，漂移就被请回来了。SC 的全部收益，来自"补丁本身漏了"这个事实。过去五年大家给 off-policy RL 打的补丁，补的是比率的方差；真正的病灶在均值，而那个均值恰好可以用加法精确扣掉，几乎不要钱（wall-clock 差距 1% 以内）。
数字层面（Qwen3-30B-A3B，INTELLECT-2 数学）：
- FP8 采样器：不校正的策略梯度稳稳训到 58%，这时候用不用校正都行
- KV 压到 FP4：策略梯度 200 步内崩，MIS 撑到后期也崩，分数中心化 52%、TIS 51%
- 采样器 INT8 + KV INT4：分数中心化 30%、TIS 12%、其余所有方法低于 5%
- 0.6B 加合成噪声那组：DPPO 在三档噪声下分别在第 160、80、20 步崩，TIS 在两档大噪声下分别在第 180、40 步崩；最狠那档只有 SC（单独或与 MIS/TIS 组合）稳住
但有几个坑得说清楚。第一，Figure 1/4/5 这三张头条图画的是平滑后的训练精度，不是留出集分数——全篇没有一条 GSM8K 或 MATH 的成绩。第二，30B 那组的种子是事后按结果追加的：赢家补到 4-5 个种子，其余方法钉死单种子；FP8 档全员单种子，那个"不校正也稳到 58%"从头到尾没有被复现过。第三，作者自己在正文里承认，他们"很难找到自然设置下失配严重到能做出统计显著差异"，所以头条结果来自刻意放大的失配加短序列，是长程温和失配的代理指标。296 次独立 run、6,180 个 H100 小时——这个成本本身也说明他们知道单种子撑不住结论。
所以我的读法是：这是一个"未来会越来越值钱"的方法，而不是当下每条流水线都要装的补丁。常规 FP8 流水线用不上它——论文自己给了证据。它的用武之地是那些被迫把采样器压到 INT4、或推理引擎几十步才同步一次的配置：长上下文 agent、异步 rollout，恰好是现在很多团队正在走的方向。
错不在那一步，在于每一步都往同一个方向错。
*（arXiv 2609.20807）*