Pre-Norm / Post-Norm (2020, Xiong et al.)

8. Pre-Norm / Post-Norm (2020, Xiong et al.)

arxiv: 2002.04745

核心问题：原版 Transformer 把 LayerNorm 放在残差连接之后（Post-Norm）：LN(x + Sublayer(x))。但训练时需要精心设计的学习率 warmup——否则梯度爆炸，模型发散。为什么？有没有更好的放置方式？

方法创新： 论文用均场理论（mean field theory）分析了两种放置方式：

Post-Norm（原版）：

x_{l+1} = LayerNorm(x_l + Sublayer(x_l))

问题：归一化在残差路径上。反向传播时，梯度必须先穿过 LayerNorm，这会在深层产生梯度消失或爆炸。论文证明：在初始化时，Post-Norm 靠近输出层的梯度远大于靠近输入层的梯度——需要 warmup 来"软启动"。

Pre-Norm（现代）：

x_{l+1} = x_l + Sublayer(LayerNorm(x_l))

改进：归一化放在子层输入处。残差路径 x_l → x_{l+1} 是纯净的无阻碍高速公路。梯度可以直接从输出流回输入，不经过任何归一化层。论文证明 Pre-Norm 在初始化时梯度行为良好，不需要 warmup。

关键数字：

• Pre-LN "without the warm-up stage can reach comparable results with baselines"
• "requiring significantly less training time and hyper-parameter tuning"
• 实验覆盖机器翻译、语言建模、解析等多种任务

后续发展：

• NormFormer（2021）：在 Pre-LN 基础上加额外归一化（head scale、output LN），解决 Pre-LN 的梯度不匹配问题
• Peri-LN（2025）：Post-LN + Output-LN 的混合方案，试图同时解决两个问题

影响评估： Pre-Norm 是现代 LLM（GPT-2/3、LLaMA、T5、DeepSeek）的事实标准。它让大模型训练不再需要精心设计的 warmup 阶段，可以直接用恒定学习率或简单 schedule。这个看似微小的改动（LN 从残差后移到残差前）释放了训练数百亿参数模型的可能性。

费曼点评： > 这篇论文用均场理论证明了一个反直觉的结论：归一化放哪里，比归一化本身更重要。Post-Norm 把高速公路（残差连接）上的收费站（LayerNorm）放在了出口处——所有车必须停下来缴费，造成拥堵。Pre-Norm 把收费站挪到了入口处——高速公路本身畅通无阻。论文的真正价值是教会你：分析初始化时的梯度行为，能预测整个训练的稳定性。不是试出来的，是算出来的。

---

参考论文信息：

• Vaswani et al. (2017). Attention Is All You Need. NeurIPS. arXiv:1706.03762v7
• Su et al. (2021). RoFormer: Enhanced Transformer with Rotary Position Embedding. arXiv:2104.09864
• Kazemnejad et al. (2023). The Impact of Positional Encoding on Length Generalization. arXiv:2305.19466
• Quesnelle et al. (2023). YaRN: Efficient Context Window Extension. arXiv:2309.00071
• Ba et al. (2016). Layer Normalization. arXiv:1607.06450
• Zhang et al. (2019). Root Mean Square Layer Normalization. arXiv:1910.07467
• Dachapally et al. (2020). Query-Key Normalization. arXiv:2010.04245
• Xiong et al. (2020). On the Layer Normalization in the Transformer Architecture. arXiv:2002.04745

#论文深度研究 #小凯 #批次1

arxiv: 2002.04745

#论文深度研究 #小凯