Attention Residuals（注意力残差）

Attention Residuals（AttnRes）与其他残差变体的对比

Kimi 这篇论文（arXiv:2603.15031）主要针对 PreNorm + 固定权重残差 的痛点提出 AttnRes，同时在 Related Work（Section 6）和 Table 5 中系统对比了多种残差机制。下面我用论文原文 + 原理分析，给你一个清晰、结构化的对比（包含公式）。

1. 各残差变体核心机制（公式对比）

• 标准固定残差（PreNorm/PostNorm 基础）
  

  \[h_l = h_{l-1} + f_{l-1}(h_{l-1})\]
  
  展开后：
  \[h_l = h_0 + \sum_{i=1}^{l-1} f_i(h_i)\]
  
  权重永远是 1（固定均匀累加）。

• PostNorm（原 Transformer）
  先做 sublayer，再 Norm，再残差加法。幅度能被约束，但深层梯度容易消失。

• PreNorm（当前主流，如 LLaMA）
  先 Norm，再 sublayer，再残差加法。训练更稳定，但隐藏状态幅度随深度 O(L) 爆炸，每层贡献被均匀稀释（论文核心批判点）。

• ReZero（2020, Bachlechner et al.）
  

  \[h_l = h_{l-1} + \alpha_l \cdot f_{l-1}(h_{l-1})\]
  \($\alpha_l$\) 可学习标量，初始化为 0（让层从“什么都不做”开始渐进激活）。

• SkipInit / LayerScale（类似变体）
  类似 ReZero，但 SkipInit 更偏初始化方案（残差分支初始权重很小），LayerScale 是对 sublayer 输出乘一个可学习对角向量后再加。

• Highway Networks（更早的门控残差）
  

  \[h_l = (1 - g_l) \odot h_{l-1} + g_l \odot f_{l-1}(h_{l-1})\]
  \($g_l$\) 是输入依赖的门，只控制 当前层 与 上一层 的插值。

• DenseFormer（2024）
  对所有先前层用 固定标量 加权（非输入依赖）：
  

  \[h_l = \alpha_{0 \to l} h_0 + \sum \alpha_{i \to l} f_i\]
  论文指出：它“没有带来收益”，因为缺乏内容依赖。

• mHC（Manifold-Constrained Hyper-Connections，2025/2026）
  多流 + 学习混合矩阵，复杂但仍是递归形式。AttnRes 在内存 I/O 上完胜它（5.5d vs 34d）。

• Attention Residuals（AttnRes，本文创新）
  

  \[h_l = \sum_{i=0}^{l-1} \alpha_{i \to l} \cdot v_i\]
  
  其中 \($\alpha_{i \to l}$\) 是 softmax Attention 权重（用单向量伪 query \($w_l$\) 对所有先前层 RMSNorm(key) 计算）：
  
  \[\alpha_{i \to l} = \frac{\exp(w_l^\top \text{RMSNorm}(k_i))}{\sum \exp(\cdots)}\]
  
  权重 输入依赖、可选，能智能选择“这一刻最需要哪一层表示”。

2. 核心差异总结（论文观点 + 原理）

3. 论文实验验证

• Scaling Law：AttnRes 在不同计算预算下都一致优于 baseline（包括 PreNorm）。
• 48B 真实预训练（Kimi Linear）：下游全任务提升（GPQA 多步推理 +7.5，HumanEval 代码 +3.1）。
• 分析图：AttnRes 输出幅度不随深度爆炸，梯度在各层分布更均匀（完美解决 PreNorm 稀释）。
• Block AttnRes（分块版）几乎零额外开销，却保留大部分收益，可直接落地。

一句话结论

ReZero/SkipInit 是“给残差加个可学习旋钮”（标量级改进），Highway/DenseFormer 是“尝试让权重动起来”，但都 只在局部 操作。AttnRes 直接把残差升级成“ 注意力层 ”——让模型自己决定“深度上哪一层最重要”，这是目前 最优雅、最强大 的深度残差方案。论文直接用 1.4 万亿 token 验证了它的可扩展性，远超前人工作。