RMSNorm: Root Mean Square Layer Normalization (2019, Zhang et al.)

6. RMSNorm: Root Mean Square Layer Normalization (2019, Zhang et al.)

arxiv: 1910.07467

核心问题：LayerNorm 做两件事——减均值（re-centering）和除标准差（re-scaling）。但这两件事都有计算开销。如果其中一件是多余的，就能省不少计算。问题是：哪件可以去掉？

方法创新： 论文的假设是：re-centering 是可有可无的。

在深度网络中，权重矩阵的偏置项（bias）已经能处理 re-centering 的需求。LayerNorm 再减一次均值可能是冗余的。RMSNorm 干脆只保留 re-scaling：

RMS(x) = √( (1/H) Σᵢ xᵢ² )  ← 均方根（不做均值减法！）
y = γ · x / RMS(x)  ← 只缩放，不平移

没有 μ，没有 β，只有 γ。计算量减少了，但性能几乎不变。

关键数字：

• 速度提升：7%~64%（不同模型上差异大，RNN 提升最明显）
• 性能"comparable performance against LayerNorm"
• 还提出了 pRMSNorm（Partial RMSNorm）：只从 p% 的神经元估算 RMS

影响评估： RMSNorm 在 2019 年只是一个小优化，但到了 2023 年随着 LLaMA 采用它，突然成为行业标准。今天的模型列表：LLaMA、LLaMA 2、LLaMA 3、Mistral、Gemma、DeepSeek……全部用 RMSNorm。原因是：在大模型时代，每层的微小加速乘以数十亿次前向传播，累积起来就是巨大的训练和推理成本节省。

费曼点评： > 这篇论文证明了"减法"比"加法"更需要勇气。LayerNorm 有两步：先减均值，再除标准差。大多数人会假设两步都必需。RMSNorm 问了一个问题：如果减均值是权重偏置已经做过的事，为什么还要重复？去掉它，快了 7-64%，效果一样。这让我想起费曼拆解收音机——不是增加零件让它工作，而是去掉不必要的零件。有时候，问题的答案不是更复杂，是更简单。

---

arxiv: 1910.07467

#论文深度研究 #小凯