同一个 LoRA，两种命运：SFT 让它铺开，RL 让它转身

——一项把"调参玄学"变成定理的研究

论文：Spectral and Subspace Dynamics of LoRA in Supervised Fine-Tuning and Reinforcement Learning
作者：Chenruo Liu, Zihan Wang, Yijun Dong, Qi Lei（arXiv:2611.08414，2026-11，cs.LG）

一、你每天都在用，但你问过它吗

LoRA 是这个时代被使用最多的微调技术：冻结大模型，只训练一对低秩矩阵 A×B，用它的乘积 ΔW=BA 作为"增量补丁"叠在原权重上。公司里每个跑过 SFT 的工程师、每个搭过 RLHF/GRPO 训练流水线的工程师，都在用它。

但有个问题几乎没人停下来问过：同样是 LoRA，在监督微调（SFT）和强化学习（RL）里，它的行为是一样的吗？

直觉会说"不一样"——实践者早就摸到了一堆经验法则：RL 要用小学习率、SFT 学习率可以大些；RL 训出来模型"变通"了，SFT 训出来模型"背题"了……但这些一直是调参玄学。这篇论文做的事，是把玄学逐条变成定理。

二、两个反差

作者在数学推理任务上（GSM8K、MATH，八种模型：Llama-3.2 与 Qwen2.5 系列）追踪 LoRA 增量 ΔW 的奇异值谱和奇异子空间随训练的演化，发现两个干净利落的反差：

谱的反差：RL 让谱收缩（能量集中到少数方向，有效秩下降）——而且在任何学习率下都如此；SFT 在中等学习率下让谱扩张（能量铺开到更多方向）。

子空间的反差：在小学习率下，RL 的奇异子空间旋转得比 SFT 快得多。

"谱收缩"意味着模型只加固少数几个任务方向；"子空间旋转"意味着补丁在探索新的方向组合。前者像刻碑，后者像探路。为什么两种训练方式会走向两种截然不同的几何命运？

三、侦探式归因：一次只动一个零件

论文最漂亮的方法论在这里。SFT 和 RL 之间隔着一堆差异（数据、损失、采样、基线……），作者把它们逐个替换——在 SFT 与 RL 之间连续插值，一次只引入一个成分——最后锁定：两个反差的唯一共同元凶，是组均值基线减除（group-mean baseline subtraction），也就是 GRPO 类算法里那步"用组内平均奖励作 baseline"的操作。

一步减法，同时制造了两个反差，还附带解释了第三个老经验：为什么 RL 必须用小学习率。一个嫌疑人供出全部三桩案子——这就是好理论的标志。

四、两种力的拔河

机制可以讲成一个物理故事。LoRA 的更新里住着两股力：

• 相干拟合（coherent fitting）：与学习率 η 成正比。它把能量推向任务响应最强的方向——倾向"集中"。
• 梯度噪声反馈（gradient noise feedback）：与 η² 成正比。它把能量向四面八方重新分配——倾向"铺平"。

η 小时线性项主导（集中），η 大时二次项反超（铺平）。学习率就是这场拔河的裁判。

那基线减除做了什么？把组内各响应共有的分量大比例消掉（保留系数 ϑₐ = (1−ρₐ²)/2 < 1/2），而把组内差异的分量基本留下（ϑₒ = (1−ρₐρₒ)/2 > 1/2）。翻译成人话："相似的回答互相抵消，有差别的回答存活下来。" 共享分量的消失削弱了相干拟合，噪声反馈的相对力量上升——于是谱更收缩、子空间转向更快；同时由于最省风险的"拟合预训练方向"通道被压制，冒险（大 η）的代价比上升——学习率必须放小。三条结论，一个机制。

五、二次多指标模型：把直觉钉成定理

以上直觉被一个极简模型严格化：二次多指标模型 f_W(x) = (‖Wᵀx‖² − ‖W‖²_F)/√2，W = W₀ + BA 用 LoRA 更新；GRPO 的一个组被建模为一对相关高斯响应——沿预训练方向正相关（共享 prompt）、沿新方向负相关（组内对比）。两个损失：

• 无基线：ℓ_R = (ε₊² + ε₋²)/4
• 有基线：ℓ_C = (ε₊ − ε₋)²/8

主定理给出三条精确预测：有效秩——无基线时大学习率增、小学习率减，有基线时两头都减；子空间重叠——有基线时更小（旋转更快）；风险偏好反转——无基线时大学习率更优，有基线时小学习率更优。每一条都和实验对得上。

六、从定理到配置表

理解了机制，就能反过来设计。作者提出分阶段定制的 LoRA 配置，核心是一个保持范数的谱平坦化算子 ℳ（Muon 风格）：

• SFT 阶段：谱扩张是好事（适应要铺开到各方向）→ 对 B 的梯度整体施加 ℳ，A 用 Adam；
• RL 阶段：旋转是好事（集中不可避免，就让补丁多探新方向）→ 只对当前子空间之外的正交分量施加 ℳ，子空间之内原样保留——B_{t+1} = B_t + η[P_t D + ℳ((I−P_t)D)]。

在 GSM8K/MATH 上跨四个模型评测，这两个"按定理配方"的配置在大多数设定下拿到最优平均准确率。玄学到配置表的距离，就是理论到工程的距离。

七、尾声：线性与二次的古老拔河

把镜头拉远，这场 η 一次项与 η 二次项的拔河并不陌生——统计物理里它叫信号与涨落，数值分析里它叫收敛与扩散，金融里它叫收益与方差。LoRA 的谱动力学只是它在新舞台上的又一次登场。这篇论文真正的示范意义在于其工作方式：不从"改进 LoRA"的工程冲动出发，而从"两种训练为何几何命运不同"的疑问出发，用控制变量的归因找到单一机制，用极简模型钉成定理，再让定理反向产出更好的配置。理论不是实践的装饰，是实践的上游。

下次你给 RL 训练写 lr = 1e-6 的时候，请记得：这个数字背后站着一个不等式——ϑₐ < 1/2 < ϑₒ。

延伸阅读

1. Liu, Wang, Dong, Lei, Spectral and Subspace Dynamics of LoRA in SFT and RL, arXiv:2611.08414（2026）
2. Hu et al., LoRA: Low-Rank Adaptation of Large Language Models（2021，LoRA 原作）
3. Shao et al., DeepSeekMath（2024，GRPO 组相对基线）
4. Liu et al., Muon: MomentUm Orthogonalized by Newton-Schulz（谱平坦化思想来源）

本文系"智柴·数学底座与前沿交叉"第五季第 3 篇（S5-Round 3）。