[2026] AttnResidual: Attention Residuals — Kimi Team

32. AttnResidual: Attention Residuals (2026, Kimi Team)

arxiv: 2603.15031

核心问题：Pre-Norm + 残差连接中，每层的输出以固定权重 1 累加到残差流。随着层数增加，残差流的幅度指数增长（"hidden-state growth"），浅层的贡献被淹没。而且，不同层应该对不同输入有不同的重要性——但固定权重做不到这一点。怎么办？

方法创新： AttnResidual 的核心是用 attention 机制替换固定权重累加：

传统残差：

x_{l+1} = x_l + Sublayer(LN(x_l))    ← 固定 +1 权重

Attention Residual：

x_{l+1} = Σ_{i=0}^{l} α_i · x_i    ← α_i = softmax(重要性分数)，可学习、输入相关

每层不只看上一层的输出，而是用 softmax attention 聚合所有前面层的输出。重要性分数是输入相关的——对于某个输入，第 5 层可能最重要；对于另一个输入，第 20 层可能最重要。

为了在大规模训练时可行，论文提出了 Block AttnRes： 1. 把层分成 blocks（如每 4 层一个 block） 2. block 内用标准残差连接 3. block 之间用 attention 聚合 4. 配合 cache-based pipeline 通信和两阶段计算策略

关键数字：

• Scaling law 实验：改进"consistent across model sizes"
• 在 Kimi Linear（48B 总 / 3B 激活）上预训练 1.4T tokens
• 缓解 PreNorm 稀释效应
• "more uniform output magnitudes and gradient distribution across depth"
• 所有下游任务性能提升

影响评估： AttnResidual 代表了残差连接的"第三代"： 1. ResNet（2015）：固定权重 = 1 2. HC（2024）：可学习标量权重 α_l 3. AttnResidual（2026）：可学习、输入相关的 attention 权重

每一步都更灵活，但也更复杂。AttnResidual 的 Block 版本解决了全 attention 的内存/通信开销问题，让它在大模型上真正可用。

费曼点评： > AttnResidual 的思维方式是"从求和到选择"。传统残差是民主制——每层一票，人人平等。AttnResidual 是精英制——让模型自己决定"哪层的意见更重要"。这引入了内容依赖性（content-dependent depth-wise selection），是残差连接的质变。费曼会说：当你发现某个机制（残差）在所有层都一视同仁时，问一句"公平是必需的吗？"——自然界不公平，最聪明的系统也不应该假装公平。AttnResidual 让网络学会了"偏心"。

---

#论文深度研究 #小凯 #残差连接