所有 token 终将聚成两簇:一个在万维空间中证明的数学定理

想象一座山。山顶有一个球,山脚也有一个球。你把第三个球放在山坡上的任意位置,松手——它会滚。往上推一把,它会滚向山顶;往下推一把,它会滚向山脚。只有当你把它放在山脊上一个极其精确的、不稳定的平衡点时,它才会停留。

目录
  1. ⛰️ 山是什么:token 动力学
  2. 🎯 猜想:两簇的预言
  3. 🚧 为什么难:当所有的常规武器都失效
  4. 🔨 新武器:流动中的不稳定性
  5. 📐 分层抑制:高维空间中的维度约减
  6. 🏔️ 移动山顶的物理直觉
  7. 🔁 复发性坍缩:记忆不会消失
  8. ✅ GQA 实验:当理论遇见实践
  9. 🔬 假设有多强?
  10. 🌌 这一切意味着什么
  11. 🔭 未竟之路
  12. 📚 参考文献

——一个在万维空间中证明的数学定理

想象一座山。山顶有一个球,山脚也有一个球。你把第三个球放在山坡上的任意位置,松手——它会滚。往上推一把,它会滚向山顶;往下推一把,它会滚向山脚。只有当你把它放在山脊上一个极其精确的、不稳定的平衡点时,它才会停留。

现在想象那座山的山顶会动。

有时候山顶向北移,有时候向南移。球被甩来甩去,有时候困在山腰的一个凹陷处,有时候被突然移动的山顶抛向一个方向。但如果山顶最终停下来——哪怕停得很慢——球最终会滚向两个极端之一:山顶或山脚。

这就是今天的故事。上海交通大学、东北大学、越南科学院、新加坡国立大学和巴斯大学的五位数学家,把这个"山顶移动"的直觉变成了严格的数学定理——并且用这个定理解决了一个悬而未决的猜想:在大语言模型的因果注意力机制中,所有 token 最终都会聚成两簇。

⛰️ 山是什么:token 动力学

先把故事翻译成数学。

Transformer 模型的每一层都可以看作一个动力学系统。输入的 token 是高维空间中的向量——嵌入维度通常是几百到几千。每一层的注意力机制对这些向量做一次更新:每个 token 看看自己前面的所有 token,计算一个注意力权重,然后把自己的表示更新为前面 token 的加权平均。

如果你把层数想象成时间——第 0 层是初始时刻,第 1 层是下一个时刻,以此类推——那么 token 的演化就是一个连续时间的动力学系统。这个观察来自 Geshkovski 等人 2023 年的开创性工作:把 Transformer 的离散层更新看作一个常微分方程(ODE)的离散化。

具体到因果注意力(causal attention),每个 token 只能关注它前面的 token——这是自回归生成的核心约束。对应的 ODE 是:

∂ₜxᵢ(t) = Pₓᵢ(t) (Σⱼ≤ᵢ aᵢⱼ(t) V(t) xⱼ(t))

其中 xᵢ(t) 是第 i 个 token 在时间 t 的表示,aᵢⱼ(t) 是注意力权重,V(t) 是值矩阵(value matrix),Pₓᵢ(t) 是投影算子,确保 token 的表示始终在单位球面上。

这个方程描述了 token 在球面上的运动——就像我们的球在山上滚。

🎯 猜想:两簇的预言

2024 年,Karagodin 等人在 NeurIPS 上提出了一个猜想。他们观察到:在因果注意力的动力学中,token 似乎总是收敛到两个簇——具体地说,收敛到值矩阵 V 的最大特征值 λ_max 对应的特征向量的两个方向:+ξ_max 和 -ξ_max。

用山的语言:球要么停在山顶,要么停在山脚。

他们的猜想 1.1 陈述如下:假设 Q、K、V 是任意的时间无关矩阵,V 有 d 个不同的正特征值,λ_max 是最大特征值,ξ_max 是对应的单位特征向量。那么对于几乎任意初始条件,因果注意力动力学收敛到两簇配置:

lim_{t→∞} xᵢ(t) ∈ {-ξ_max, ξ_max},对所有 i = 1, ..., L。

这个猜想在直觉上是合理的——它已经在实验中被反复观察到——但没有人证明过。这就像你观察了一万座山,每一座山上的球都滚向了山顶或山脚,但你不知道这是否是一个定理,还是仅仅是巧合。

🚧 为什么难:当所有的常规武器都失效

证明这个猜想之所以困难,是因为所有的标准技术都用不上。

Lyapunov 方法失效。 经典的收敛性证明通常构造一个 Lyapunov 函数——一个随时间单调递减的"能量"——然后证明系统收敛到这个能量的最小值。但在两簇的情况下,这个能量函数不是单调的——它有时候上升,有时候下降,就像球在滚动过程中被移动的山顶抛来抛去。

Schub 型通用性论证失效。 Karagodin 等人自己对单簇情况(所有 token 收敛到同一个簇)使用了基于 Schub 通用性定理的论证——一种利用矩阵特征向量的代数性质来证明收敛性的方法。但这个论证不适用于两簇的情况,因为两簇的动力学更加复杂。

稳定性流形定理失效。 标准的做法是在不动点附近线性化系统,然后应用稳定性流形定理——证明所有初始条件最终都会被吸引到不动点。但我们的系统是非自治的(Q(t)、K(t)、V(t) 随时间变化)且非单调的,你不能简单地在不动点附近线性化。

单簇 vs 两簇。 之前的理论工作(Karagodin 等人对单簇的证明、Abella 等人用 Lyapunov 函数和输入到状态稳定性的证明)都集中在单簇情况——所有 token 收敛到同一个方向。但实验观察到的现象是两簇——token 分成两组,分别收敛到 +ξ_max 和 -ξ_max。两簇在理论上比单簇困难得多,因为它的动力学更加非单调、更加复杂。

🔨 新武器:流动中的不稳定性

Nguyen、Pham、Do、Nguyen 和 Vo 的突破是引入了一个全新的分析框架,他们称之为"流动中的不稳定性"(instability within the flow)。

这个框架的直觉来自物理系统中的一个经典现象:一个小球在一个移动的山的斜坡上滚动。

当山顶不动时,小球不可避免地滚向两个稳定的不动点之一——山顶或山脚。对应于 token 收敛到 +ξ_max 或 -ξ_max。

但如果山顶移动——哪怕移动得很慢——情况就完全不同了。小球可能被移动的山顶"困"在一个中间位置,形成一个内部簇(interior cluster)——不是收敛到 ±ξ_max,而是停留在一个由时间依赖参数决定的位置。

关键的问题是:山顶移多快会困住小球?答案是:如果山顶的移速趋近于零——即 r'(t) → 0——那么只有一个特殊的轨迹会被困住,所有其他轨迹都会逃逸到 ±1。这就是定理 3.1 的内容。

形式化地,考虑一个标量 ODE:

x'(t) = (1 - x²) h(x) g(t, x) + w(t, x)

其中 g(t, r(t)) = 0 定义了移动的"山顶" r(t)。如果 h(x) > 0,∂g/∂x ≥ c₀ > 0,r'(t) → 0,且扰动 w(t, x) 渐近消失,那么:至多存在一条内部轨迹 x*(t) 不收敛到 ±1;对于几乎任意初始条件,x(t) → ±1。

这个定理的关键洞察是:移动的山顶可以维持至多一条持续的内部路径。所有其他路径——无论初始位置如何——最终都会被驱赶到两极。这条唯一的例外轨迹是"测度为零"的——在随机初始条件下,你几乎不可能恰好落在它上面。

📐 分层抑制:高维空间中的维度约减

"流动中的不稳定性"框架解决了最后一个 token 在主导方向上的收敛问题。但在此之前,还有一个更基本的问题需要回答:高维空间中,token 的演化是否真的需要所有 d 个维度?

直觉上,答案应该是否定的。一个在几千维空间中运动的 token,其长期行为不太可能需要所有维度——大多数维度应该会逐渐衰减,只有少数主导方向存活。但直觉和证明之间隔着一条鸿沟。

答案是:不需要。token 的轨迹会自发地塌缩到二维。

这个"维度约减"现象是论文最核心的理论贡献之一。在形式上,他们证明了两个定理。

定理 2.2(分层抑制机制):对于每个层级 ℓ ∈ {2, ..., d},定义误差-横向比 κ_ℓ(t) = ε_{L-1}(t) / R_ℓ(t),其中 ε_{L-1} 是前 L-1 个 token 的残差误差,R_ℓ 是第 ℓ 到第 d 个横向坐标的能量。如果 κ_ℓ(t) → 0,那么系统会进入以下两种状态之一:

(i) 主导横向方向:存在一个指标 k,使得所有 j ∉ {1, k} 的坐标 y_j(t) → 0,轨迹收敛到由 {e₁, e_k} 张成的二维不变子空间。

(ii) 递归抑制:坐标 y_ℓ(t) → 0,剩余的横向向量 (y_{ℓ+1}, ..., y_d) 保持非平凡,然后在下一个层级 ℓ+1 上重复同样的机制。

迭代这个约减过程,最终只剩下唯一一个存活的横向坐标 y_k,轨迹塌缩到由 (y₁, ..., y_{ℓ-1}, y_k) 张成的低维不变子系统。

这个定理的直觉是"专家选择"——坐标被逐一测试,任何持续活跃的方向必须最终胜出。不同坐标有不同的"生长优势"——由值矩阵 V 的特征值排序决定。就像在一个生态系统中,竞争力最强的物种最终淘汰所有其他物种一样,在嵌入空间中,方向优势最强的坐标最终抑制所有其他坐标。

但这个定理有一个微妙之处:它依赖于误差-横向比 κ_ℓ(t) 趋近于零。这意味着前 L-1 个 token 的残差误差必须比第 L 个 token 的横向能量衰减得更快。如果误差衰减太慢——前 L-1 个 token 还没有稳定——那么抑制机制就无法启动,token 可能被卡在混合状态中。

定理 2.3(维度约减机制):假设前 L-1 个 token 已经收敛到 ±e₁,且条件 (6) 对第 L 个 token 成立。那么存在一个有限集合 S,使得对于几乎任意初始条件,轨迹收敛到某个 y* ∈ S。而且,如果 y* ≠ ±e₁,那么 y* 必须位于一个二维坐标平面上,形式为 (α₁, 0, ..., 0, α_ℓ, 0, ..., 0),其中 α₁² + α_ℓ² = 1——只有第一和第 ℓ 个坐标非零。

换句话说,不管嵌入空间的维度是多少——几百维还是几千维——token 的最终配置只存在于一个二维平面上。这是一个真正的、严格的维度约减现象。

这个定理的深层含义是:在 Transformer 的深层,token 的表示不是一个"高维空间中的点",而是"一个二维平面上的一个点"。这个二维平面由两个方向张成:主导方向 e₁(最大特征值对应的特征向量)和某个存活下来的横向方向 e_k。token 在这个平面上做一维运动——沿着单位圆 S¹ 滑动——直到停在某个固定点。

而且,这个二维塌缩不是近似的——它是精确的。证明使用了复分析工具,表明在 𝕊¹ 上可能的长时极限点集合必然是离散的。因此,token 表示必须收敛到一个单一固定配置——它不能永远沿着圆旋转。

🏔️ 移动山顶的物理直觉

让我们回到山的比喻,看看它在数学中是如何运作的。

考虑一个最小的玩具模型:

x'(t) = (1 - x²)(x - r(t))

其中 x ∈ (-1, 1),r(t) ∈ (-1, 1) 是移动的山顶。

当 r(t) ≡ r₀ 是常数时,分析很简单:x = ±1 是稳定的不动点(球在山顶或山脚),x = r₀ 是不稳定的不动点(球在精确平衡的山脊上)。几乎所有初始条件都收敛到 ±1。

但当 r(t) 快速移动时——比如在 -1 和 1 之间振荡——球可能无法跟上山顶的运动。它被"困"在中间位置,因为每当它开始向一个方向滚动时,山顶已经移到了另一个方向。

这个现象在物理中很熟悉——叫做绝热跟踪失效。如果参数变化太快,系统无法绝热地跟随参数变化,从而被困在一个非平衡状态中。

但在我们的设定中,关键条件是 r'(t) → 0——山顶的移动速度趋近于零。如果山顶足够慢,球最终会追上它,被推到 ±1。但如果山顶 oscillates——比如 r(t) = sin(t)——那么 r'(t) = cos(t) 不趋近于零,球可能永远被困在中间。

这个微妙的区别——山顶的最终静止 vs 持续振荡——正是定理 3.1 的核心。它告诉我们:在什么条件下,内部簇是暂时的(最终会坍缩到两极),在什么条件下,它是持久的(形成一个真正的、稳定的内部吸引子)。

🔁 复发性坍缩:记忆不会消失

最后一个理论结果是最令人惊奇的。

定理 4.2:假设前 L-1 个 token 已经收敛到 ±ξ_max。考虑第 L 个 token 在时间依赖的值矩阵 V(t) 和查询-键乘积 T(t) = Q(t)ᵀK(t) 下的演化。那么除了一条例外轨迹外,每一个解都复发性地趋近主导态 ±ξ_max:

x_L(t_n) → ±ξ_max 沿着某个子序列 t_n → ∞。

"复发性"(recurrence)意味着:token 可能不会单调地收敛到 ±ξ_max——它可能在途中偏离、徘徊、甚至短暂地远离——但它会反复地回到 ±ξ_max 附近,无穷多次。

用日常语言:旅人可能迷路,可能走回头路,可能绕远路——但他终究会回到正途。这种"递归性回归"不同于单调收敛——它允许 token 在中间过程中探索、犹豫、甚至暂时性地偏离方向,但最终它会被拉回来。

论文称之为"既视感效应"(déjà vu effect):过去的主导信息不是被永久遗忘,而是在无限深度极限中一次又一次地重新出现。就像你走进一个房间忘了要拿什么,走回门口想起来了——token 在深层中可能"忘记"了早期的方向信息,但在更深的地方又"想起来"。

这种现象在物理中有对应:受驱耗散系统中的"复发性"——系统在长期运行中会无数次地返回到初始状态附近。它是遍历理论(ergodic theory)中 Poincaré 回归定理的一个类比。Poincaré 回归定理说:在一个有限体积的动力系统中,几乎所有轨道都会无限次地返回到初始位置的任意小邻域。我们的结果是这个思想在注意力动力学中的一个版本:token 的轨迹不是一条头也不回的直线,而是一条螺旋——它可能暂时远离中心,但总会转回来。

这个定理的条件——λ_max > 0——也是精确的。定理 4.3 证明了当 λ₁ < 0 时,存在非空的初始条件开集使得 token 不收敛到 ±e₁,而是收敛到某个内部点。这证明了 λ_max > 0 不仅是充分条件,而且是必要的——你不能用更弱的条件替换它。

定理 4.3 的构造是明确的:取 L = d = 2,Q = K = I₂,V = diag(λ₁, λ₂),λ₂ < λ₁ < 0,x₁(t) ≡ e₁。然后可以找到一个非空开集 U ⊂ 𝕊¹,使得对于所有 x₂(0) ∈ U,x₂(t) 收敛到一个不在 {±e₁} 中的点。这是一个"内部簇"的显式构造——它表明当值矩阵的最大特征值为负时,两簇的预测确实失败,而失败的方式是 token 停留在一个中间位置。

✅ GQA 实验:当理论遇见实践

理论结果很漂亮,但在实际的 Transformer 中成立吗?

研究者在 GQA(Grouped-Query Attention) 层上做了系统的实验验证。GQA 是 Multi-Head Attention 的一个变体,在 LLaMA、Mistral 等现代大模型中广泛使用。它比标准的 MHA 更高效——多个查询头共享同一个键值头——同时保持了竞争力。选择 GQA 作为验证对象是有意义的:它是当前最流行的注意力变体,也是理论框架的一个非平凡扩展。

实验设置:取一个预训练的 GQA 层,在输入序列上运行动力学,观察 token 的演化是否如理论预测的那样收敛到两簇。

结果确认了理论预测:token 确实聚成了两簇,簇的方向与值矩阵的最大特征向量对齐。而且,两簇的分离程度——即簇间距离与簇内距离之比——与 λ_max 的大小正相关。λ_max 越大,两簇分得越开;λ_max 接近零,两簇开始融合。

一个有趣的细节是:在实际 GQA 层中,Q(t)、K(t)、V(t) 随时间变化——因为它们是输入的函数。但理论假设它们渐进稳定(收敛到固定值)。实验表明,即使参数矩阵不完全静止,只要它们的变化速度足够慢,两簇的预测仍然成立。这为理论的实际适用性提供了支持——它表明"渐进稳定"这个假设在实际的注意力计算中近似成立。

研究者还验证了值矩阵 V 的重要性。通过对比实验,他们发现:如果随机化 V——用随机正交矩阵替换——两簇的行为消失;如果只扰动 V 而不改变其特征结构,两簇保持。这确认了 V 的特征向量确实是两簇方向的"锚"——不是因为 V 的具体数值,而是因为它的谱结构。

此外,实验还观察到了内部簇的存在——某些 token 没有收敛到 ±ξ_max,而是停留在一个中间位置。这与定理 3.1 的预测一致:至多一条例外轨迹。在实际模型中,内部簇的出现频率取决于参数矩阵的时间变化率——变化越快,内部簇越多;变化越慢,内部簇越少。

这些实验结果为理论框架提供了坚实的实证基础。它们表明,两簇不是一个仅在理想化数学模型中出现的幻影,而是在实际的注意力计算中可以观察到的真实现象。

🔬 假设有多强?

论文也坦率地讨论了假设的强度和局限性。

对称性和时不变特征空间。 假设 2.1 要求 V(t) 是对称矩阵,有 d 个不同的特征值,且特征空间不随时间变化。这覆盖了 Karagodin 等人的权重绑定设置——因此产生了猜想 1.1 的证明——但在实际的 Transformer 中,V 通常不是对称的,特征空间也会随输入变化。

研究者明确指出:"假设 4.1 在实际预训练 Transformer 中不太可能精确成立。"但他们也指出,这个假设覆盖了之前理论工作的所有设置,并且允许参数矩阵随时间变化——这是之前工作没有做到的。

分块结构的查询-键矩阵。 假设 4.1 要求 T(t) = Q(t)ᵀK(t) 有特定的分块结构——第一行/列与其余部分解耦,且有一个反对称的块 B(t)。这个结构在实际的 Transformer 中不一定成立,但它足以捕捉两簇动力学的核心机制。

二维塌缩的普适性。 维度约减定理(2.2 和 2.3)是论文最普适的结果——它们不依赖于 Q 和 K 的具体形式。这意味着,无论注意力机制如何计算权重,只要值矩阵的特征值满足排序条件,token 就会塌缩到低维结构。这为理解 Transformer 的表示提供了一个全新的视角:高维嵌入空间中的 token 轨迹实际上是在低维流形上运动的。

🌌 这一切意味着什么

回到开头的山。

这篇论文告诉我们:在 Transformer 的每一层,token 像球在山上滚。它们从山坡上的任意位置出发——初始的嵌入向量——在注意力的推动下运动。大多数球最终停在山顶或山脚(两簇),少数被困在山腰(内部簇),但被困的球只有一条特殊的路径——其他所有球最终都会找到自己的路。

这个结论不仅仅是一个数学上的好奇心。它暗示着 Transformer 内部的表示可能远比我们想象的更低维——token 在概念空间中不是自由运动的点,而是被约束在一个低维的流形上。这对模型的压缩、蒸馏、解释都有着直接的影响。

它也告诉我们:token 的"记忆"不会消失。 复发性坍缩定理意味着,token 可能暂时偏离主导方向——在深层中被其他信息"拉走"——但它会反复地回到 ±ξ_max。过去的方向信息不是被抹去了,而是被周期性地重新激活。这对于理解 Transformer 如何处理长距离依赖——如何在第 100 层仍然"记得"第 1 层的信息——提供了一个动力学的解释。

最后,"流动中的不稳定性"框架本身就是一个贡献。它不仅仅适用于这个特定的问题——它是一个分析非自治、非单调动力学系统的一般工具。在物理中,类似的框架已经被用来研究从流体力学到等离子体物理的各种现象。在深度学习中,它可能被用来分析其他随时间变化的参数——比如学习率调度、渐进式训练、课程学习等——对系统动力学的影响。

🔭 未竟之路

论文标记了几个未解决的问题。

内部簇的分类。 定理 3.1 告诉我们至多有一条例外轨迹不收敛到 ±1,但它没有告诉我们这条轨迹在哪里。在实际模型中,内部簇对应什么样的语义?它们是否是某些"中间概念"的表示——既不是正方向也不是反方向,而是某种折中?

时间依赖参数的严格分析。 论文允许 Q(t)、K(t)、V(t) 随时间变化,但要求它们渐进稳定。在训练或推理过程中,参数矩阵可能不收敛——它们的长期行为如何影响 token 的聚类?特别是,如果参数矩阵是周期性的或混沌的,token 是否会进入某种非收敛的周期轨道或混沌吸引子?

多层的级联。 论文分析的是单层注意力。在多层 Transformer 中,每一层的输出是下一层的输入——层与层之间形成了级联。每一层的两簇如何影响下一层?多层之间的交互是否会导致更复杂的聚类行为——比如四簇、八簇,或者更复杂的吸引子?

实际模型的验证。 论文在 GQA 层上验证了理论预测,但还没有在完整的、预训练的大模型上做端到端的验证。在完整的模型中——有多头注意力、FFN、残差连接、层归一化——两簇的预测是否仍然成立?多层之间是否会引入新的聚类模式?

这些问题的答案将决定"两簇定理"的最终意义:它是一个仅存在于理想化数学模型中的美丽结果,还是 Transformer 工作方式的一个深刻描述?

但无论答案如何,这篇论文已经为注意力机制的研究提供了一个新的语言——不是统计学的、不是经验性的,而是动力学的。在这个语言中,token 是粒子,层数是时间,值矩阵是力场,收敛是吸引子。这个语言可能不够用——所有的物理类比最终都会断裂——但它至少是一个开始。在大语言模型的黑盒中,我们终于有了一张地图——即使那张地图只画了两个点。

至少现在,我们知道了一件事:那些token——在万维空间中运动的十万个点——最终只会去两个地方。而在那之前,它们翻山越岭,走遍了整个山谷。

📚 参考文献

  • Nguyen, T. T., Pham, D.-T., Do, H.-S., Nguyen, T. M., & Vo, T. N. (2026). *Two-Clustering Regime of Token Dynamics in Causal Attention*. arXiv:2611.18088. Shanghai Jiao Tong University, Northeastern University, Vietnam Academy of Science and Technology, National University of Singapore, University of Bath.
  • Karagodin, A., et al. (2024). *Clustering in Causal Attention Masking*. NeurIPS 2024.
  • Geshkovski, B., et al. (2023). *A Dynamical Systems Perspective on Transformer Architectures*. Preprint.
  • Geshkovski, B., et al. (2024). *The Emergence of Clusters in Self-Attention Dynamics*. Preprint.
  • Abella, A., et al. (2025). *Stability and Convergence of Causal Attention Dynamics*. Preprint.
  • Vaswani, A., et al. (2017). *Attention Is All You Need*. NeurIPS 2017.
  • Zhang, Y., & Sennrich, R. (2019). *Root Mean Square Layer Normalization*. NeurIPS 2019.
  • Ainslie, J., et al. (2023). *GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints*. arXiv:2305.13245.
#每日论文推荐 #论文解读 #AI论文 #注意力机制 #动力学系统 #数学证明 #理论AI #论文推荐第053期

暂无表态

想参与讨论或点赞?登录后使用完整功能

讨论回复(0)

暂无回复,登录后可参与讨论
合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens