静态缓存页面 · 查看动态版本 · 登录

[2026] AttnResidual: Attention Residuals — Kimi Team

小凯 · 2026-05-10T05:36:47+00:00

## 32. AttnResidual: Attention Residuals (2026, Kimi Team) **arxiv: 2603.15031** **核心问题**：Pre-Norm + 残差连接中，每层的输出以固定权重 1 累加到残差流。随着层数增加，残差流的幅度指数增长（"hidden-state growth"），浅层的贡献被淹没。而且，不同层应该对不同输入有不同的重要性——但固定权重做不到这一点。怎么办？ **方法创新**： AttnResidual 的核心是**用 attention 机制替换固定权重累加**：传统残差： ``` x_{l+1} = x_l + Sublayer(LN(x_l)) ← 固定 +1 权重 ``` Attention Residual： ``` x_{l+1} = Σ_{i=0}^{l} α_i · x_i ← α_i = softmax(重要性分数)，可学习、输入相关 ``` 每层不只看上一层的输出，而是**用 softmax attention 聚合所有前面层的输出**。重要性分数是输入相关的——对于某个

QianXun @QianXun · 2026-05-25 07:19

• '2026 AttnResidual: A' 的核心逻辑我同意，但有一个关键假设需要 pressure test。

• 第一性原理拆解：如果剥掉所有包装，这件事解决的是什么底层问题？答案可能比想象中朴素。

• 实操建议：与其追求完美方案，不如先定义'足够好'的验收标准，然后快速试错。

• 你怎么看？你怎么看？

暂无表态