《遗忘的配方》

——在出生那天，调好每种记忆的保质期

论文：DAMI: Dual-Axis Memory Initialization for Enhanced Long-Context Retrieval in Gated Linear Attention（arXiv:2610.41994，2026-10-30）
作者：Zhangchi Feng（SpeedAI；北京航空航天大学）、Harry Jiang、Ray Zhang、Richong Zhang（通讯作者，北航）
写作参照：费曼的讲法（从生活常识一寸寸逼近抽象）、伽莫夫《物理世界奇遇记》式的思想实验笔法。

🍼 一个奇怪的观察

先从一个奇怪的观察说起。

如果你训练一只能记住上下文的 AI 模型——具体说，是那种用"门控线性注意力"（Gated Linear Attention）的模型，Mamba-2、RWKV-7 这一家族——然后训练完之后，你去检查它体内那些控制"遗忘速度"的参数，你会发现一个惊人的事实：它们几乎没动过。

具体地说，有两个关键参数：一个叫 A_log，一个叫 dt_bias。它们在每个"头"（head）里决定了一个核心性质——这个头记住的信息会以多快的速度衰减。训练之前，你给它们随机值；训练之后，你把它们的最终值和初始值做相关性分析，皮尔逊相关系数高达 0.926 到 0.989。

翻译成人话：训练跑了几十亿 token，理论上模型有充分的机会把遗忘速度调整成任何它需要的形状。梯度下降每次迭代都在更新参数，几千步、几万步下来，什么形状调不出来？但实际上，初始化的形状基本原封不动地保留了下来。训练更像是在初始值的附近做微调，而不是推翻重来。

这不是某个模型的怪癖。作者们在五种不同的门控线性注意力架构上验证了这个现象——GDN、KDA、GDN2、Mamba-2、RWKV-7，五种架构、不同的训练数据、不同的超参数，全部如此。Pearson 相关系数最低 0.871，最高 0.989。在所有情况下，训练后的参数都紧密围绕着初始值。

这个观察引出了一个朴素但深刻的问题：**如果训练改变不了多少，那初始化的质量不就是决定性的吗？**就像一个人的母语口音——成年后很难改，但如果你在出生那天就给他一个好的语言环境，他终身受益。

DAMI（Dual-Axis Memory Initialization，双轴记忆初始化）就是这个"好的语言环境"。它不修改训练过程，不增加任何可训练参数，不改变模型的架构和状态更新规则。它只是在训练开始之前，给模型的每个头、每一层，精心配置好遗忘速度的"出厂设置"。结果：长上下文检索准确率提升 5.29 到 16.71 个百分点，在 55 个任务-长度组合的对比中拿下 42 个最佳，而通用语言能力几乎无损。

🧠 第一章：先理解"会遗忘的记忆"

在讲配方之前，先理解这种记忆的工作原理。这不是学术细节——它是整篇文章的思想地基。

Transformer 的记忆是一块无限的黑板：每个 token 都写上去，想查什么查什么。但黑板的代价是空间和时间——上下文越长，黑板越大，查找越慢。一千万 token 的上下文，黑板上写满了字，找一个特定的词得从头看起。

门控线性注意力家族——包括 Gated DeltaNet、Mamba-2、RWKV-7 等——换了一个思路：**黑板上的旧字迹会自己褪色。**每个时刻，状态（state）按一个规则更新：新信息写进来，旧信息乘以一个衰减因子——小于 1 的数。乘一次，淡一点；乘 N 次之后，几乎看不见了。

这种"会褪色的记忆"有一个根本优势：状态的大小是固定的。不管序列是一千 token 还是一百万 token，记忆容量就是那几维向量，推理时每步的计算量恒定。但代价也很明显：容量有限意味着必须压缩，压缩意味着遗忘。关键问题不是"会不会遗忘"——答案是一定会——而是遗忘得有没有章法。

衰减因子的具体值由什么决定？在 Gated DeltaNet（门控 DeltaNet，这些架构的共同祖先）里，它取决于三个量的乘积：A_log 控制的基础衰减率、softplus(z + dt_bias) 控制的输入依赖调制、以及激活函数的贡献。其中 A_log 和 dt_bias 是核心——A_log 是这支笔的墨水质量，出厂就定了，写着写着会以固定速度褪色；dt_bias 是书写力度，你按多重取决于你写什么内容——当前 token 的内容能在多大程度上改变遗忘行为。

每个"头"（head）有自己的一套 A_log 和 dt_bias，各自负责不同类型的记忆。这就带来了一个设计问题：**这些头的遗忘速度应该怎么分配？**如果所有头的衰减速度都一样，那它们实际上在做同一件事——浪费了多样性。如果随机分配，可能有的头衰减太快、有的太慢，覆盖不均匀。怎么分配才是最优的？

📉 第二章：文本的物理学——为什么幂律是线索

什么样的遗忘才算有章法？答案藏在文本本身的统计结构里。这是 DAMI 论文最迷人的部分——它把物理学和语言学的知识带到了深度学习的初始化设计中。

2017 年，Lin 和 Tegmark 在一篇叫《Critical Behavior from Deep Learning》的论文中发现了一个惊人的事实：自然语言中的互信息——两个相距 k 个 token 的片段之间的统计关联强度——随距离呈幂律衰减。大致是 k 的 -0.5 到 -0.9 次方。

幂律衰减意味着什么？意味着"关联以稳定的比率缓慢减弱"：距离翻一倍，关联按一个固定比例缩减，无论你在哪个距离尺度上。这和指数衰减有本质的不同。指数衰减是"昨天和前天差别巨大"——近处密、远处疏，断崖式下跌。幂律衰减是"无论你看近处还是远处，衰减的形状都一样"——就像分形，放大任何局部，形状都类似。

人话版本：**语言中信息的关联跨越是极其不均匀的，但这种不均匀性是自相似的。**相邻两个词的关联最强；相隔十词的关联弱一些；相隔千词、万词的关联，仍然存在但更加稀薄。一部小说在第一段提到一个人名，第五百段再次出现时你还得认出来——这种跨越数千 token 的"远程依赖"确实存在，只是概率较低。而语言中大量存在的短程依赖（语法、指代、话题延续）构成了幂律的近端。

这就给记忆设计指了一条路。如果你的遗忘曲线是指数形的——单一时间尺度——你只能在一个狭窄的范围内做得好。就像一支只有一种粗细的笔，写小字嫌粗，写大字嫌细。但如果你能同时使用多支笔，每支有不同的褪色速度，而且速度之间呈几何级数分布，你就能覆盖从"刚才"到"很久以前"的全部范围。

数学上有一个优美的结果支持这个直觉。Beylkin 和 Monzón 在 2010 年证明：幂律函数可以被表示为一组指数函数的混合——把足够多的、时间尺度按几何级数分布的指数衰减加权求和，就能得到幂律形状的衰减。后来 PoST（Pretraining-on-Test）论文用这一定理来初始化线性注意力的衰减参数。DAMI 沿用了这个理论基础，但把它推进了一步——不只是头的维度做几何分布，还在层的维度做了敏感度配置。这是"双轴"中第一轴的由来。

具体配置：6 个头的时间尺度从 1 个 token 到 4096 个 token，按约 5.28 倍的比例递增——{4096, 776.05, 147.03, 27.86, 5.28, 1}。最短的头负责"刚才发生的事"——语法结构、最近的指代、当前的对话轮次。最长的头负责"很久以前埋下的伏笔"——第一段提到的人名，第五百段再次出现时你还得认出来。

这和人类记忆的工作方式有一种奇妙的对应。认知科学早就知道，人类记忆不是一个统一的系统：工作记忆持续几秒，情景记忆持续几天到几年，语义记忆持续一生。没有哪个单一的时间尺度能同时做好这三件事——你需要一整排不同保质期的储物格。

🎛️ 第三章：第二轴——层的维度上，谁该敏感谁该迟钝

DAMI 的"双轴"不只是头的维度。第二个维度更精妙，也更反直觉：沿网络的深度，配置不同的输入敏感度。

先解释什么是"输入敏感度"。dt_bias 控制的是"输入内容能在多大程度上改变遗忘行为"。用数学说，敏感度是 Softplus 激活函数在 z + dt_bias 处的导数（斜率）。导数大——softplus 曲线陡峭——说明遗忘行为强烈依赖于输入：模型在仔细看内容后决定"这个重要，别忘了"或"这个是噪声，快速忘掉"。导数小——曲线平缓——说明遗忘行为基本是预设的：不管输入是什么，都按固定速度衰减。

DAMI 的做法是让这个敏感度沿网络深度呈低—高—低的分布。以 18 层的网络为例：底层（第 1-6 层）敏感度目标约 0.25，中层（第 7-12 层）目标约 0.75，高层（第 13-18 层）又回到约 0.25。

为什么？作者的解释结合了文本的结构和状态的稳定性，每一步都有明确的直觉支撑。

底层应该迟钝。 底层的职责是处理局部的、词汇级别的模式——词性标注、短语结构、词形变化。这些模式对位置和内容的基本编码不应该太受具体输入内容的干扰。想象一个刚入职的档案管理员——他的工作是按标准格式给每份文件贴标签，不需要判断文件的内容重要性，只需要稳定、一致、不出错。如果底层太敏感，状态会随输入剧烈波动，破坏了稳定的 token 级表示，上层拿到的就是一份"字迹模糊、涂改过多"的档案。

中层应该敏感。 中层的职责是从内容中提取"什么值得记住"。当输入中出现重要实体、关键事件、数字、专有名詞时，中层需要有能力快速调整写入强度——"这个要记住！"——同时决定哪些噪声可以快速遗忘。敏感的层才能做这个判断，就像有经验的编辑知道哪些段落要加粗、哪些可以删掉。

高层应该再次迟钝。 高层负责长期信息的保持和整合。如果高层也高度敏感，早期写入的重要信息会随着后续输入的变化而被逐步改写——长期记忆最忌的就是频繁的背景改写。每一批新输入都带有一点随机性，如果高层每次都根据新输入调整遗忘行为，早期信息的"笔迹"就会被慢慢抹掉。迟钝的高层把已确认的内容"封存"起来，不再随意改动——就像档案馆的最后把关人，确认了卷宗的真实性后盖章封存，此后不再打开修改。

用速记的比喻串起来：初级速记员用统一的格式记录（底层迟钝），中级速记员根据内容重要性调整详略（中层敏感），高级速记员把确认过的内容归档封存，不再随意改动（高层迟钝）。三层各司其职，整个系统才能既有灵活性又有稳定性。

🧪 第四章：配方的调制方式——不用梯度，用测量

DAMI 如何设置这些参数？不是用梯度下降——那是在训练中做的事。DAMI 用的是一种校准（calibration）方法，灵感来自 Mishkin 和 Matas 2016 年的 LSUV（Layer-Sequential Unit-Variance）方法。LSUV 的思想是：逐层做前向传播，测量每层的实际输出统计量（方差），然后调整权重使得输出方差接近 1——不需要反向传播，只需要测量和调整。

DAMI 把这个思想推广到了衰减参数的校准。过程分两步，逐层进行，用少量真实数据做前向传播，完全不需要反向传播：

第一步：定 dt_bias。 对每个头，用二分搜索（bisection）找到一个 dt_bias 值，使得该头的敏感度（Softplus 导数）恰好等于目标值。目标值由层的位置决定——底层 0.25、中层 0.75、高层 0.25。就像调音响的均衡器：放一段测试音乐，拧旋钮，直到频率响应曲线达到目标形状。二分搜索只需要 log₂ 次迭代就能收敛——对 0.25 到 0.75 这样的范围，大约十几次前向传播就能找到精确值。

第二步：定 A_log。 在 dt_bias 已定的情况下，统计该层输入激活 z 的实际分布，计算 softplus(z + dt_bias) 的期望值，然后令 A_log = -log(τ) - log(E[softplus(z + dt_bias)])，其中 τ 是该头的目标时间尺度。这一步的直觉是：A_log 定义的是"名义上的衰减率"，但实际衰减率是名义值乘以输入激活的贡献。只有在实际数据分布下做校正，才能让每个头的有效衰减时间尺度精确等于目标值——不是名义上等于，而是在真实数据的统计特性下等于。

关键性质：整个过程不引入任何新的可训练参数，不改变状态更新规则的数学形式，不改变训练流程。它只是一个更好的起点——但这个起点经过精心设计，与文本的幂律统计结构和网络的层级分工对齐。

扩展到其他架构。 DAMI 的核心思想是通用的，但每种架构有自己的参数化方式，需要针对性的适配。对 GDN 和 GDN2，它们使用通道级的 dt_bias（每个通道有自己的书写力度），DAMI 在每个目标敏感度附近用 centered perturbations（标准差 0.03 的小幅随机扰动）初始化不同的通道，让它们在目标值附近有一定的多样性。对 Mamba-2，它有 42 层、16 个头，DAMI 重新采样了时间尺度分布。对 RWKV-7，它用 sigmoid 门控，DAMI 配置了 160 个冻结的尺度。这些适配不需要修改架构代码——只需要在初始化时替换默认值。

📊 第五章：数字不说谎

实验设置：五种门控线性注意力架构——GDN、KDA、GDN2、Mamba-2、RWKV-7——每种约 100M 参数，训练 5B token，上下文长度 4k。对比基线：随机初始化（Random）和 PoST（当前最强的初始化基线，来自预训练-测试论文）。这个规模不大不小——足够得出统计上显著的结论，又不至于贵到无法做 45,000 次以上的对比。

RULER 基准的"大海捞针"（NIAH）结果——这是长上下文检索能力的核心测试，在长序列中随机位置插入一个"针"（特定事实），然后在序列末尾提问：

55 个"任务 × 长度"组合的对比中，DAMI 拿下 42 个最佳。五个架构、两个基线、55 个组合——这个一致性不是偶然的。即使在测试长度达到 8K（训练长度的两倍）时，DAMI 在 4 种架构上仍然持续提升 NIAH-1 的表现——几何时间尺度的泛化能力超出了训练范围。这意味着 DAMI 的优势不是"过拟合到 4k 训练上下文"，而是一种更根本的能力提升。

消融实验揭示了配方的协同本质，这是全文最精彩的表格之一。完整 DAMI 在 GDN 上得分 44.36，随机初始化基线 30.42——提升 14 分，已经很好了。但当你做"部分随机化"时，结果令人意外：只随机化 A_log（保留 dt_bias 的敏感度配置），得分暴跌到 22.80——比完全随机还差 8 分！只随机化 dt_bias（保留 A_log 的时间尺度配置），得分 26.33——也比完全随机差。

怎么理解这个反直觉的结果？**两个轴必须联合配置，单独保留任何一个而打乱另一个，结果比什么都不做更糟。**原因在于：A_log 和 dt_bias 通过乘积共同决定有效衰减率。如果你精心配置了敏感度曲线（dt_bias）但随机化时间尺度（A_log），每个头的有效衰减率偏离目标值的幅度更大——因为精心配置的 dt_bias 放大了 A_log 随机化的影响。反之亦然。这就像调音——如果你把弦的张力调准了但琴码的位置是乱的，声音比不调还难听。只有两者同时调准，才能发出和谐的声音。

时间尺度的覆盖范围也很关键：覆盖 1-4096 得 44.36，覆盖 1-2048 降到 29.07，1-1024 只有 23.13。长端的覆盖决定了"大海捞针"的极限距离——你需要至少有一个头能记住 4096 个 token 之前的事，否则那个范围内埋的针就是不可见的。

而如果保持覆盖 1-4096 不变，把几何级数换成线性等距，NIAH-1 从 64.35 跌到 62.40（小幅下降），但 NIAH-2 从 35.59 崩到 5.65（几乎归零）。**几何分布不是任意选择——它是逼近幂律衰减的必要结构。**线性分布的头之间能力差异太小，大量头集中在相似的时间尺度上，浪费了多样性。

敏感度曲线的形状也很重要：DAMI 的低-高-低得到 44.36，而高-低、低-高、高-低-高等替代方案只有 26.85 到 32.85。低-高-低不是任意的审美选择——它是匹配网络层级功能的结构性设计。

通用能力几乎无损。 这是 DAMI 最可贵的性质——很多提升检索能力的方法会伤害模型的通用语言能力，就像在钢琴上把一个键调准了却让其他键走音。DAMI 在 WikiText 困惑度、WinoGrande（常识推理）、ARC（推理）、OpenBookQA（开放域问答）、Social IQa（社交推理）等 30 项通用评测中，与随机初始化基线大体持平，其中 17 项领先。它不是在用通用能力换检索能力——它只是在帮模型更快找到它本来就需要的配置。

真实世界检索（2K 上下文的实际文档检索）中，DAMI 与基线也基本持平，Mamba-2 上平均从 3.89 提升到 4.28。短上下文任务中，因为上下文本身就在各头的有效范围内，初始化带来的优势不明显——这是符合预期的，不是缺陷。

🪞 第六章：诚实的边界

DAMI 的局限和它本身一样清晰：

它解决的是检索——在正确的时间找到正确的信息——而不是推理。如果模型找到了针但不会用针缝衣服，DAMI 帮不上忙。检索和推理之间的鸿沟需要其他技术来填补——比如更好的注意力机制、更强的中间表示、或者检索增强生成。

它依赖的理论基础——幂律衰减——来自自然语言的统计结构。对于代码、DNA 序列、结构化数据、音乐信号等其他模态，衰减曲线可能不同。代码的远程依赖模式不同于自然语言——变量引用可以跨越整个文件，但语法结构的约束更强。DNA 序列有自己的统计特性。几何时间尺度谱的比例常数（约 5.28）可能需要为每种模态重新设计。好在 DAMI 的校准方法是通用的——换一批数据，重新跑一遍二分搜索就行。

它目前的验证规模是 100M 参数和 4k 训练上下文。在更大的模型和更长的训练上下文中，最优的比例常数是否需要调整，是一个开放问题。但考虑到"训练后参数与初始值高度相关"这一发现在五个架构上的一致性，没有理由认为大模型会免疫于这个现象——参数越多，每个参数在训练中获得的"个体关注"就越少，初始化的影响反而可能更强。

🔬 第七章：为什么训练推不开初始化的门？

回到开头那个奇怪的观察：为什么训练几十亿 token 之后，A_log 和 dt_bias 仍然紧贴初始值？理解这个现象的原因，比现象本身更有价值。

一个可能的原因是梯度尺度的不对称。在门控线性注意力中，A_log 和 dt_bias 通过乘积影响衰减率，然后影响状态，然后影响输出，然后影响损失。这个影响链条很长——每一步都在稀释梯度的幅度。相比之下，嵌入矩阵、输出头这些参数离损失只有一两步，梯度信号强得多。在实际的训练中，远离损失的参数收到的梯度更新本身就小——不是因为它们不重要，而是因为梯度在经过多层非线性变换后自然衰减。

另一个原因是参数化的隐性约束。A_log 以对数形式参数化——实际的衰减率是 exp(A_log) 的某个函数。对数参数化在优化上有一个已知的性质：当 A_log 的绝对值较大时，exp 函数的梯度非常小——参数被困在一个"平坦区"，无论收到什么梯度信号都很难移动。这就好比把音响的音量旋钮设计成了对数刻度——在低声区每转一格变化很大，在高声区几乎没区别。

第三个原因可能与任务的不敏感性有关。在训练分布上，大多数 token 的依赖距离都很短——语言的幂律统计意味着远程依赖虽然存在但相对稀少。对于短程依赖，几乎所有合理的衰减率都能工作——衰减快一点慢一点，对下一个 token 的预测影响不大。只有当任务真正考验远程检索（比如 NIAH）时，衰减率的选择才变得关键。但如果训练数据中的远程信号不够强，梯度就不会给这些参数足够的"推动力"去改变。

这三个原因加在一起，构成了一个"初始化决定论"的完整论证：梯度小、参数化受限、任务信号弱——三者合力，使得训练后参数基本保持初始形状。DAMI 没有试图对抗这个局面（比如设计更好的优化器或损失函数），而是接受它，然后问：**如果初始化的影响不可避免，我们能不能把初始化做到最优？**这是一个务实的、工程导向的思路——不与优化动力学的基本性质对抗，而是利用它。

🔭 尾声：出生那天的礼物

DAMI 论文最打动人的地方，不是它提升了多少分，而是它揭示的一个事实：**训练并不总是像我们认为的那样强大。**有时候，那个决定模型终身行为的旋钮，在你按下"开始训练"的那一刻就已经被拧好了。

这不是说训练不重要——参数确实在训练中得到了精细调整，损失确实在下降，能力确实在涌现。但调整的范围是有限的，是围绕初始值展开的局部探索。如果初始值落在了一个糟糕的盆地，训练很难跳出来。如果初始值已经对齐了问题的结构，训练就能在正确的方向上加速收敛。

所以，也许最好的模型不是"训练出来的"，而是"接生出来的"——在它的参数第一次见到数据之前，就把遗忘的配方写进它的基因里：有的记忆保质期一天，有的一个月，有的一年。底层的记忆钝感而稳定，中层的记忆敏锐而灵活，高层的记忆深沉而持久。而所有的记忆，从出生的第一天起，就知道自己该在什么时候褪色。

这不是一篇关于如何记住更多的论文。这是一篇关于如何遗忘得更有智慧的论文。

参考文献

1. Feng, Z., Jiang, H., Zhang, R., & Zhang, R. DAMI: Dual-Axis Memory Initialization for Enhanced Long-Context Retrieval in Gated Linear Attention. arXiv:2610.41994, 2026.
2. Yang, S., Wang, L., Shen, H., et al. Gated Delta Networks: Improving Mamba2 with Delta Rule. ICLR 2025.（GDN 架构）
3. Peng, B., et al. RWKV-7 "Goose": Extremely Fast Transformer-Alternative with Hybrid Attention. arXiv:2503.14456, 2025.
4. Gu, A., & Dao, T. Mamba: Linear-Time Sequence Modeling with Selective State Spaces. COLM 2024.
5. Lin, H. W., & Tegmark, M. Critical Behavior from Deep Learning: A Hidden Dimension in Natural Language. arXiv:1712.06556, 2017.（文本互信息的幂律衰减——DAMI 的物理学基础）
6. Beylkin, G., & Monzón, L. Approximation by Exponential Sums Revisited. Applied and Computational Harmonic Analysis, 2010.（幂律的指数混合表示）
7. Mishkin, D., & Matas, J. All You Need Is a Good Init. ICLR 2016.（LSUV 逐层校准——DAMI 的方法论灵感）
8. Hsieh, C.-P., et al. RULER: What's the Real Context Size of Your Long-Context Language Models?. COLM 2024.（NIAH 基准）
9. Xiao, Y., et al. Pretraining-on-Test for Effective Long-Context Augmentation. arXiv:2509.14739, 2025.（PoST 几何谱初始化——DAMI 的最强基线）
10. Bai, Y., et al. Segmentation of DNA Sequences and Power-Law Statistics. Physical Review Letters, 1992.（DNA 序列的幂律统计——跨模态的参考）
11. Waleffe, R., et al. An Empirical Study of Mamba-based Language Models. 2024.（线性注意力族的实证分析）
12. Thirion, B., et al. NARCCAP Temperature Extremes: (long-range dependence in natural phenomena). Journal of Climate, 2018.（自然现象中的长程依赖统计特性）

#每日论文 #paperscool #线性注意力 #长上下文 #初始化