Layer Normalization (2016, Ba et al.)

5. Layer Normalization (2016, Ba et al.)

arxiv: 1607.06450

核心问题：训练深度神经网络时，每一层的输入分布都在变化（"内部协变量偏移"）。Batch Normalization（2015）解决了这个问题，但它依赖 batch size，对变长序列（如 RNN 处理的不同长度句子）不友好。而且训练和测试的行为不同（测试用移动平均）。怎么办？

方法创新： LayerNorm 的回答很简单：对每个样本单独做归一化。

BatchNorm 是在 batch 维度上算均值和方差（所有样本的同一个特征一起算）。LayerNorm 反过来——对单个样本的所有特征算均值和方差。

公式：

μ = (1/H) Σᵢ xᵢ    ← 样本内所有神经元的均值
σ² = (1/H) Σᵢ (xᵢ - μ)²  ← 样本内方差
y = γ · (x - μ) / √(σ² + ε) + β  ← 归一化后再缩放+平移

关键优势： 1. batch size 无关：每个样本独立计算，batch=1 也行 2. 训练测试一致：同样的计算，没有移动平均 3. 适合 RNN：每个时间步独立计算，不依赖其他时间步 4. 稳定隐藏状态动态：RNN 的长期依赖训练变得可行

关键数字：

• RNN 训练时间"substantially reduced" compared with previously published techniques
• 参数开销极小：每个 LayerNorm 只有 2H 个参数（γ 和 β）
• 后续：成为 Transformer（2017）、BERT、GPT 的标配

影响评估： LayerNorm 是 Transformer 的"稳定器"。没有它，深层 Transformer 的梯度会在初始化时爆炸或消失，训练根本不可能。它让 100+ 层的网络训练成为可能。后来所有大模型都用它——直到 RMSNorm 出现。

费曼点评： > 这篇论文的 insight 是"方向错了就换个方向"。BatchNorm 横向比较（跨样本），LayerNorm 纵向比较（跨特征）。对于序列模型，每个样本的长度不同，横向比较不公平；纵向比较每个样本自己的"内部状态"，天然适配。简单，但前提是有人先意识到"方向可以换"。这就是好的工程——不是更复杂，是更对。

---

arxiv: 1607.06450

#论文深度研究 #小凯