Why Muon Outperforms Adam：Muon为什么快？因为曲率"钝"

——耶鲁+NUS+UMN首次从曲率视角解开了Muon的秘密：不是梯度对齐更好，而是二阶惩罚更小

一、引子：Muon的2倍加速，但没人知道为什么

Muon优化器在LLM预训练中比Adam快约2倍。这个结论已经众所周知，但原因一直是个黑箱。

之前的解释方向：

• 联想记忆理论（Bernstein et al. 2025）：Muon的谱归一化更适合记忆稀有token；
• 数据长尾性（Keller et al. 2025）：Muon对不平衡数据更鲁棒。

但这些解释都没有回答一个更根本的问题：Muon在优化 landscape 的几何结构上，到底做了什么不同？

耶鲁、NUS、UMN的团队换了一个角度——曲率（curvature）。用二阶泰勒分解，把单步损失下降拆成"一阶收益"和"二阶惩罚"，Muon的秘密浮出水面。

---

二、核心发现：Muon不是"更努力"，而是"更聪明"

2.1 二阶泰勒分解

单步损失下降：

ΔL ≈ 〈G, Z〉         → 一阶梯度对齐收益
     - 1/2〈Z, H[Z]〉  → 二阶曲率惩罚

在匹配验证损失的对比点上（不是匹配步数，Muon收敛更快）：

• 一阶收益〈G, Z〉：Adam和Muon几乎一样（Figure 1b）；
• 二阶曲率惩罚1/2〈Z, H[Z]〉：Muon显著更小（Figure 1c）。

结论：Muon的单步损失下降更大，不是因为梯度对齐更好，而是因为曲率惩罚更小。

2.2 NDS分解：方向锐度 vs 更新大小

曲率惩罚可以分解为两个因素：

I^(2) = 1/2 · ||Z||_F² · S_F(W; Z)
        ↑              ↑
   更新范数      归一化方向锐度(NDS)

• 更新范数||Z||_F²：Adam和Muon几乎一样（Figure 2b，比值≈1.0）；
• NDS S_F(W; Z)：Adam是Muon的1.76倍（Figure 2c）。

Muon的优势完全来自更低的NDS，而不是更大的更新步长。

---

三、NDS为什么低？谱归一化在做什么

Muon的核心操作：

B_t = μB_{t-1} + G_t
SVD: B_t = U_t S_t V_t^T
谱归一化: O_t = U_t V_t^T  (所有非零奇异值设为相同比例)
更新: Z_t = η_t · O_t

关键：谱归一化丢弃了梯度的大小信息，只保留了方向信息。这相当于对更新方向做了一次"正则化"——不让更新方向太"尖锐"（对某些曲率方向过度敏感）。

NDS低意味着：Muon的更新方向在Hessian曲率上"更平坦"，不会一头扎进高曲率方向然后被弹回来。

---

四、实验：数据越不平衡，Muon优势越大

4.1 Zipf-PCFG合成数据

用可控不平衡度的合成数据（Zipf分布的PCFG），训练9M参数的NanoGPT：

不平衡度 s	Adam NDS	Muon NDS	差距 Δ
0（平衡）	1.63	1.00	0.63
0.5	1.97	1.18	0.92
1（最不平衡）	2.38	1.25	1.13

差距从0.63扩大到1.13——数据不平衡度越高，Muon的NDS优势越明显（1.8倍扩大）。

这解释了为什么Muon在真实语言数据（天然Zipf分布）上表现优异：Adam的NDS被不平衡数据"放大"，Muon对不平衡数据"免疫"。

4.2 层内/层间NDS分解

S_F = S_F^within + S_F^cross
      ↑               ↑
   层内曲率      层间耦合曲率

训练过程中的within-layer占比：

阶段	Muon	Adam
早期	14%	27%
中期	35%	31%
后期	44%	34%

Muon的NDS从"层间主导"逐渐转向"层内主导"——跨层耦合曲率下降更快。Adam的层内/层间比例几乎不变。

层内差距集中在第一层和最深层——这是梯度传播最不稳定的区域，Muon的谱归一化在这里发挥了最大作用。

---

五、理论：异质曲率 + 梯度对齐 = Muon的甜蜜点

5.1 假设验证

LLM的Hessian有结构：

• 低Kronecker秩：W_K, W_V的Hessian用r=3-5即可解释80%能量；W_Q, W_O需要r=7-9（Figure 5）；
• 同时对角化：{A_k}和{B_k}的对角化效率η=0.892/0.845（Figure 6a）；
• 曲率异质性：配对曲率w_i从10⁻²到10⁻⁸，6个数量级，w_1/w_88 ≈ 2.59×10⁶（Figure 6b）；
• 梯度对齐：80%梯度能量集中在30%的正曲率方向（Figure 6c）。

5.2 Theorem 5.5

在具有异质曲率（高曲率组w_H、低曲率组w_L）和梯度向高曲率方向对齐的二次模型上：

(i) Muon的NDS更小：对任意有限步T，

S̄_T^Muon < S̄_T^GD

(ii) Muon的损失更小：如果曲率比ρ=w_H/w_L足够大，且高曲率组占比α<σ_L/(σ_L+σ_H)，则

Q(Y_T^Muon) < Q(Y_T^GD)

直觉：

• GD（和Adam）的更新方向被梯度主导，梯度指向高曲率方向 → 更新方向"尖锐" → NDS高；
• Muon的谱归一化让更新能量在高低曲率方向之间均匀分配 → 方向"钝" → NDS低；
• 当曲率异质性足够强时，均匀分配的优势转化为更低的损失。

Figure 7验证：在二次模型上，Muon vs GD的NDS比=0.09×，损失下降比=5.60×。

---

六、结论：Muon = "钝刀切黄油"

Muon的2倍加速不是因为它"更锋利"，而是因为它更钝——谱归一化让更新方向在高曲率 landscape 上更平滑，减少了被Hessian"弹回"的损耗。

核心机制链： 1. 谱归一化丢弃梯度大小，只保留方向； 2. 更新方向更均匀分布在高低曲率方向； 3. NDS更低，曲率惩罚更小； 4. 单步损失下降更大，收敛更快。

数据不平衡和模型结构（层内/层间曲率分布）放大了这个优势。预训练数据中稀有token的Zipf分布、transformer层间的梯度传播特性，恰好是Muon的"甜蜜点"。

这个解释为优化器设计提供了新视角：不是让更新更"准"，而是让更新更"钝"——在高曲率 landscape 上，钝刀反而切得更深。 🔪

---

参考与数据来源：

• Wang, S., Zhang, F., Li, J., Bergemann, D., & Yang, Z., "Why Muon Outperforms Adam: A Curvature Perspective", arXiv:2606.04662, 2026
• 机构：National University of Singapore, Yale University, University of Minnesota
• 验证模型：124M NanoGPT on FineWeb; 9M NanoGPT on Zipf-PCFG
• 核心指标：NDS（Normalized Directional Sharpness）
• 关键实验：二阶泰勒分解、NDS分解、层内/层间分解、Zipf-PCFG合成数据

#Muon #Adam #优化器 #曲率分析 #NDS #预训练 #LLM #谱归一化 #小凯深度研究 #论文解读