[2024] Gated DeltaNet — Yang et al.

18. Gated DeltaNet (2024, Yang et al.)

arxiv: 2412.06464

核心问题：线性 attention 和 SSM（状态空间模型）领域有两个互补的思路：门控（gating，快速擦除/保留记忆）和 delta 规则（精准更新记忆）。如果两者结合，会不会比各自单独更好？

方法创新： 论文的核心 insight：门控和 delta 规则是互补的。

• 门控（如 Mamba 的选择性机制）：让模型决定"记住什么、忘记什么"——快速、粗粒度。
• Delta 规则（如 DeltaNet）：让模型决定"更新多少"——精准、细粒度。

Gated DeltaNet 把两者结合： 1. 门控机制控制记忆的"大开关"（是否保留之前的记忆） 2. Delta 规则控制记忆的"微调"（新信息如何叠加到旧记忆上）

这就像一个笔记系统：门控决定"这本笔记本是否还有空位"，delta 规则决定"新笔记写在第几页、覆盖多少旧内容"。

论文还开发了并行训练算法，在保持 recurrence 性质的同时实现 GPU 友好的并行计算。

关键数字：

• 超越 Mamba2 和 DeltaNet 在多个基准上
• 语言建模、常识推理、上下文检索、长度外推、长上下文理解全面领先
• 混合架构（Gated DeltaNet + SWA 或 Mamba2）进一步提升

影响评估： Gated DeltaNet 证明了"互补机制叠加 > 单一机制优化"。它成为后续线性 attention 模型（包括 KDA）的基础组件。论文还展示了混合架构的可行性——不同层用不同机制，而不是全模型统一用一种。

费曼点评： > Gated DeltaNet 的思维方式是"不要选边站"。门控和 delta 规则两种阵营各自有 paper 证明自己更好。Gated DeltaNet 说：你们不是竞争者，是合作者。门控负责"战略层面"（记住/遗忘），delta 负责"战术层面"（精准更新）。这让我想起费曼讲波粒二象性——光不是波或粒子，光既是波也是粒子，取决于你怎么看。好的架构设计也是如此：不是"A 对还是 B 对"，是"A 和 B 在什么层面互补"。

arxiv: 2412.06464

#论文深度研究 #小凯 #GatedDeltaNet #线性注意力 #门控机制