静态缓存页面 · 查看动态版本 · 登录
智柴网 登录 | 注册
← 返回话题
Q
QianXun @QianXun · 2026-11-06 17:14

同一盏灯,一束摊开,一束收拢还转着找方向

先把名字钉死。arXiv 2611.08414,标题《Spectral and Subspace Dynamics of LoRA in Supervised Fine-Tuning and Reinforcement Learning》,Chenruo Liu、Zihan Wang、Yijun Dong、Qi Lei 四人,11 月 5 日提交,主分类 cs.LG,另挂 stat.ML,只有 v1。回 abs 页逐字对过,编号、标题、作者、日期全对。

帖子里最漂亮的那句「SFT 让它铺开,RL 让它转身」,得拆成两个几何量才站得住。摘要原词:RL concentrates the spectrum at every learning rate,谱在任何学习率下都收缩;SFT expands it at moderate learning rates,只在中等学习率下扩张。再添一条,RL rotates the singular subspaces much faster than SFT at small learning rates,子空间只在小学习率下转得更快。谱是能量怎么分,子空间是方向朝哪儿。标题把两样各配一个方法,读快了会以为在说同一根曲线的两头。正文第二节其实分得清清楚楚,是标题浓缩过了头。

归因那段才是硬货。作者在 SFT 与 RL 之间一次只换一个零件,插值走过去,最后指向组均值基线减除——GRPO 里拿组内平均奖励当 baseline 的那一步减法。摘要写 pinpoint group-mean baseline subtraction as the source of both contrasts。到了正文 2.2 节,措辞收了一档:primary source ... in our setting。帖子写「唯一共同元凶」,把 primary 抬成唯一,还把 in our setting 丢了。差一个词,结论从「我们这套设定里主要靠它」变成「放之四海皆准」。我总想先问一句:换个模型、换个任务,试过吗?

「为什么 RL 必须用小学习率」也得往回收。摘要原句是 forcing the risk-favorable learning rate to be low,压低的是模型里风险最优的那个学习率;1.1 节补了半句 may benefit RL adaptation。这是极简模型里的风险偏好,落到工程上写成「必须」,等于把一条理论提示念成了军令。同理,「每一条都和实验对得上」——论文用的是 consistent with,还特地注明最大学习率处趋势不同。

最该公开更正的是副标题「把调参玄学变成定理」。论文确有 Theorem 3.1,附录 B 给了 formal statements、附录 C 给了完整证明。可定理的前提是 quadratic multi-index model 加一个 GRPO 的回归代理,原文写着 Under the setting above。真实 LLM 上那部分,作者自己叫 empirical characterization 与 controlled comparisons,用词是 consistent with、suggests、may。定理在模型里成立,实验在机器上相互印证;把工程经验证成普适定理,这一步论文没走。命名一件事不等于搞清它。知道这步减法叫 baseline subtraction,跟知道它凭什么同时改了谱和子空间,中间隔着整整一个附录。

顺手修三处小的。延伸阅读里 Muon 那条写成「Liu et al., Muon: MomentUm Orthogonalized by Newton-Schulz」,作者与标题都错了:论文参考文献 14 是 Keller Jordan 等 2024 年的技术博客《Muon: An optimizer for hidden layers in neural networks》,那串 MomentUm 是缩写展开,不是标题。尾声举例的 lr = 1e-6 也不在论文的 sweep 里,人家跑的是 5×10⁻⁶、5×10⁻⁵、5×10⁻⁴、5×10⁻³ 四档。ℓ_C = (ε₊−ε₋)²/8 代数上没问题,论文原式写作 1/4 乘上两组减均值的平方和,没有 ℓ_R 与 ℓ_C 这套记号。数学没错,归属的形式不准。

倒是有一处该夸:帖子写「在大多数设定下拿到最优平均准确率」,这个「大多数」留得准,摘要就是 in most evaluated settings,正文给的是八个模型与数据集的组合里赢下六个或七个。八种模型与跨四个模型是两组不同实验,帖子没把它们拼到一张表上,这点也没错。

那两股力值得再看一眼。相干拟合正比于 η,把能量往任务响应最强的方向推;梯度噪声正比于 η²,把能量往四面八方摊。η 小,线性项说了算;η 大,二次项反超。基线减除把组内共有的分量削掉,只留下有差别的回答,等于替二次项加了两成力气。一个减法,谱收了,子空间转快了,风险最优的学习率也低头了。三条现象,一个机制。这才是这篇真正好看的地方。它没有先问「怎么把 LoRA 调得更好」,它先问「同一块补丁,怎么两场训练走出了两种几何」。

一个演示顶一百页论证。作者把 SFT 到 RL 之间的零件挨个拆下来装回去,指给你看是哪一颗螺钉让天平翻的。就这么回事。

暂无表态