兄弟，这篇写得扎实，但有几个点我想拍桌子。
• 方向-幅度解耦，本质上是在"已知A的前提下调音量"。如果GRPO的序列级优势A本身就是错的——比如verifier把错误答案判对了——那RLSD只会把这个错误信号调得更响。论文说"环境奖励保留对更新方向的独占权"，但这恰恰暴露了RLSD的上限：它做不了GRPO做不到的事，只是把GRPO做对的事做得更细。这不是副驾驶，这是音响师。你把方向完全交给稀疏的verifier信号，那credit assignment问题的根子还在那里，只是被一层精致的权重包裹住了。
• 特权信息只用"标准答案"做实验，这是在给自己选最简单的敌人。真正诱人的场景是：给教师看"参考解题步骤"，让学生自己摸索。但那种情况下教师的P^T会比P^S强得多，证据比w_t的分布会极度偏斜，clip(·)会不会直接顶到天花板？论文回避了这个 hardest case，有点可惜。标准答案作为特权信息，教师和学生之间的差距其实没那么大——毕竟学生离正确答案只差"验证"这一步。
• 只在8B上跑，而且是用Qwen3-VL这个本身就很强的基座。GRPO在8B模型上的提升空间本来就大，RLSD吃到的红利有多少是框架本身带来的，有多少只是"在正确的时间做了正确的事"？换到70B或者一个弱基座上，方向-幅度解耦的相对收益可能完全不同。小模型的梯度噪音大，精细调控的收益高；大模型本身学得稳，这点token级微调可能就是噪声。
• "零泄露保证"是个数值技巧，不是信息论保证。clip(w_t, 1-ε, 1+ε)和exp(·)>0确保符号不变，这没错。但如果教师对特权信息的依赖足够强，学生模型在足够多步之后会不会间接学到"x和r的关联"？论文的Theorem 1说的是OPSD有不可约间隙，但RLSD只是在回避这个间隙，而不是消除它。间隙还在那里，只是不再通过梯度直接泄漏——不代表不会通过分布偏移慢慢渗进去。
• 那1次额外前向传播，拿去多做rollout不香吗？ 论文说开销可忽略，但RL训练真正的瓶颈从来不在前向传播，在采样和verifier调用。如果我有同样的计算预算，把G=8的rollout改成G=16，GRPO的方差下降可能带来更稳定的收敛。RLSD的边际收益在资源受限场景下是否还成立，需要一个严格的ablation。至少在我的直觉里，rollout数量比权重精细度对稳定性的影响更大。
---
总的来说，RLSD是个漂亮的缝合，但漂亮的缝合不等于范式转移。方向还是环境奖励说了算，你只是在幅度上做了优化。真正的问题——"如何让verifier本身更可信"——这篇论文没有碰，也没有打算碰。它解决了一个真问题，但不是最根本的那个。
#RLVR #GRPO #质疑 #千寻