没有注意力的模型，为什么也有"注意力黑洞"（2611.08303）

没有注意力的模型，为什么也有"注意力黑洞"

——Mamba 首 token 吸引现象的数学证明

论文：*First-Token Attraction in Mamba Dynamics*

作者：T. T. Nguyen 等 6 人（arXiv:2611.08303，2026-11，cs.AI）

一、一桩悬案

用过 Transformer 的人多少听说过那个怪现象：无论你问什么，模型总是把不成比例的注意力砸在第一个 token 上——哪怕那只是个句号或占位符。研究者给它起了个形象的名字：attention sink（注意力黑洞）。

主流解释带着一股"会计学"味道：softmax 强制所有注意力权重加起来等于 1，总有多余的权重需要找个地方倾倒，而第一个 token 因为"谁都不用它"成了天然的垃圾场。按这个解释，黑洞是 softmax 的副产品——架构的会计制度的产物。

Mamba 的横空出世给了这桩悬案一个天然的对照组。Mamba 是状态空间模型（SSM）：没有 softmax，没有必须归一的权重，token 之间的相互作用系数是一般矩阵——不保证正、不保证对称、什么保证都没有。按"会计学"理论，这里不应该有黑洞。

实验说：有。 而且这篇论文证明：这不是 bug，不是巧合，是动力系统的定理。

二、第一个 token 的"特权"

要理解黑洞为什么必然出现，先看因果性的一个朴素推论：第一个 token 是全序列里唯一"听不见别人说话"的 token。

它的状态更新只涉及它自己（论文里的干净写法：dx₁/dt = A₁₁·P(x₁) = 0）——于是 x₁ 要么纹丝不动，要么滑向少数几个离散吸引子（实验里主要是"单热"方向：只有一个分量非零的单位向量）。而后续每一个 token 的动力学方程里，都写着对 x₁ 的引用。

换句话说：第一个 token 成了整个系统的参考系。 所有人都在动，但所有人运动的描述都相对它展开。一个不动的参考点，在动力系统里有一个更锋利的名字——吸引子。

三、正性不在了，定理怎么办

证明的障碍是真实的：分析注意力动力学的既有工具（半球 Lyapunov 方法、Shub 型 genericity）全都依赖"相互作用系数是正标量"——Mamba 的矩阵系数把这条路堵死了。

作者的替代方案是本文在数学上最漂亮的一步：不去证明系数是正的，而是证明动力学自己长出了等效的正性。他们研究交互变量 ⟨xᵢ(t), S_BC x_j(t)⟩ 构成的高维"不变盒"——从正的盒子里出发的轨迹永远出不去（用 ODE 解的唯一性做反证）；再用一个"锋利的出口时间论证"恢复出有效符号确定性。架构缺的保证，被方程的几何补上了。

接下来的收敛证明像一场层层推进的战役：先把 L 个 token 的系统约化到两两配对，再用不变盒封住逃逸路径，用归纳法逐层推进，最后处理最微妙的一步——证明那些"正交漂移"的平衡态全是鞍点，吸引盆测度为零。结论（对几乎每一处初始化）：

所有 token 以指数速率向 ±x₁(0) 聚拢：∑ᵢ|xᵢ(t) − sᵢx₁(0)| ≲ e^(−C₀t)，sᵢ ∈ {±1}。

注意那个 ±1——它精确预言了实验里观察到的"单热化"：token 不是随便聚拢，而是沿着参考方向或其反向列队。

四、预言与验证

在 Falcon-Mamba-7B 上的检验干脆利落：逐层测量隐藏的"注意力"矩阵，早期层 token 分布还算均匀，随深度增加，几乎所有 token 对第一个 token 的集中度持续上升，在最后几层占压倒性优势。理论说"吸引随深度累积"，实验的 sink 曲线就随深度爬升。简化 Mamba-2 模块里，多数首 token 确实收敛到了单热方向——±x₁ 的预言逐字兑现。

这是注意力黑洞现象第一次在状态空间模型中被观测并被证明。它说明黑洞不是 softmax 的会计制度造出来的——它是因果结构本身的产物：只要序列动力学的每个成员都引用一个"听不见别人"的初始成员，聚集就会发生，无论系数是标量还是矩阵，无论有没有归一化。

五、余响：参考系、吸引子与"垃圾场理论"的退场

回头看，"softmax 权重必须找个地方倾倒"的垃圾场理论解释了现象的存在，却没解释现象的必然。新证明给出的图景更根本：黑洞是吸引子，不是垃圾桶。 首 token 之所以吸走一切，不是因为"总得有人兜底"，而是因为它是唯一不动的人——而不动的参考点天然是终点。

这件事的余响超出 Mamba：论文的框架直接延伸到因果注意力、经典时间序列模型等更广的序列动力学。而对工程师，它留下一个具体的问题：既然 token 聚拢向首 token 是深层 SSM 的普遍命运，那么 KV 缓存、量化、长上下文设计里那些"首 token 特殊"的经验补丁，是不是都该按吸引子理论重新审视？

费曼式的回答永远是：先弄清它是什么，再决定拿它怎么办。这一次，"它是什么"有了答案——一条带指数收敛率的定理。

延伸阅读

1. Nguyen et al., *First-Token Attraction in Mamba Dynamics*, arXiv:2611.08303（2026） 2. Gu, Dao, *Mamba: Linear-Time Sequence Modeling with Selective State Spaces*（2023，Mamba 架构） 3. Xiao et al., *Efficient Streaming Language Models with Attention Sinks*（2023，Transformer 侧 sink 现象与 StreamingLLM） 4. Falcon-Mamba-7B（TII，2024，本文实验平台）

*本文系"智柴·数学底座与前沿交叉"第五季第 5 篇（S5-Round 5）。*