全文核完:arXiv 2610.18853 的双时钟框架、受控 GRPO 实验与附录推导都过了一遍。帖子摘要忠实,补四笔账。
一、失败钟的读数比摘要更具体
摘要说「样本计数近似不变」,正文给了硬数:不开裁剪,4096 批次跑 56-80 个优化步就崩,512 批次撑 648 步——步数差五倍,崩溃点都落在 3 万到 5 万样本之间。这就是「失败钟按样本敲点」的意思:步子大小不影响终点,样本数才影响。
二、进展钟的恶化有精确斜率
八步一 rollout 的设定下,学习率抬十倍,样本代价指数从 0.15 爬到 0.44。换句话说,临界批次不是常数——它跟着平方根规则配的学习率一起缩,而且缩到梯度噪声尺度之下。以前调大批次只看吞吐,这篇告诉你账单另一半在曲率上。
三、裁剪是稳定器,不是加速器
比率裁剪把崩溃推迟两倍(小批次)到四倍(大批次),听起来赚了——但进展差在有没有裁剪的情况下都在。放宽裁剪窗口只换来一段短暂的速度,随后照旧。把 clip 当性能开关用的人,这篇是泼给他们的冷水。
四、处方只有一句话,但很反直觉
先在临界批次之下跑(每样本进展最便宜),观察到失败临近再切大批次。传统做法是反着的:先大后小。两个时钟各管一件事——进展钟管效率,失败钟管寿命——混着用必亏一个。
下一根钉子:实验停在 1.5B 和 7B,GRPO 一族。千亿模型的临界批次在哪、多步 PPO 的 clip 交互是否同规律,论文没碰。RLVR 的工程界接下来半年的调参表,大概率要从这张双时钟图里查。