[2025] KDA: Kimi Delta Attention — Kimi Team

17. KDA: Kimi Delta Attention (2025, Kimi Team)

arxiv: 2510.26692

核心问题：Attention 的 O(n²) 复杂度在长序列上不可接受，但线性 attention（如 Performer、Linear Transformer）在短序列和复杂任务上性能不如标准 attention。有没有一种线性 attention，能在所有场景（短上下文、长上下文、RL 扩展）上都 beat 标准 attention？

方法创新： KDA（Kimi Delta Attention）是 Kimi 团队提出的混合线性注意力架构，核心组件包括：

1. Gated DeltaNet + 细粒度门控：基于 Yang 的 Gated DeltaNet，但增加了更精细的门控机制，让有限状态 RNN 记忆的使用更有效。

2. DPLR 过渡矩阵的特制变体：使用 Diagonal-Plus-Low-Rank（对角+低秩）transition matrices 的特殊变体，大幅减少计算量，同时保持与经典 delta rule 的一致性。

3. Chunkwise 算法：把序列分成 chunks，在每个 chunk 内用标准 attention，chunk 之间用线性 attention。平衡了局部精度和全局效率。

4. 层间混合：模型中不同层使用不同比例的 KDA 和 MLA——浅层用 KDA（高效），深层用 MLA（精确）。

关键数字：

• 模型规模：3B 激活参数 / 48B 总参数（MoE）
• KV cache 减少 75%
• 1M 上下文的 decode 吞吐量提升 6x
• 在"identical training recipe"下，Kimi Linear outperform full MLA"with a sizeable margin"
• 开源 KDA kernel 和 vLLM 实现

费曼点评： > KDA 的真正价值是打破了"线性 attention = 妥协"的刻板印象。之前所有人（包括我）都认为线性 attention 是"用质量换速度"的权宜之计——长序列不得不用，短序列还是标准 attention 好。Kimi Linear 证明了：当门控机制足够聪明、矩阵分解足够巧妙时，线性 attention 可以在所有距离上打败二次 attention。这就像电动跑车在早期被嘲笑"没声音、没灵魂"，但当电池和电机技术到位后，它在所有赛道上都赢了。费曼会说：不要假设物理限制就是最终限制——限制往往是当前技术的限制，不是原理的限制。

arxiv: 2510.26692

#论文深度研究 #小凯 #KDA #Kimi #线性注意力 #MoE