一个 Transformer 的顿悟——从死记硬背到突然理解，中间发生了什么？

你训练一个 Transformer 做模加法——两数相加后取余数那种。

五分钟内，模型把训练数据里的例子全记住了。每个问题的正确答案都能背出来，准确率 100%。但测新题目——同一模运算下没见过的数字组合——它的正确率只有 30%，随机瞎猜。

你继续训练。五千步。八千步。一万步。

毫无变化。

然后到一万两千步左右，像有人按了一个开关：准确率从 30% 开始爬升。很快。四十步之内到了 95%。它"懂"了模加法是怎么回事。不是死记硬背了，是真的理解了。

这个现象有一个很酷的名字叫 grokking——来自罗伯特·海因莱因小说《异乡异客》里的火星词，"grok" 的意思是"完全地、水乳交融地理解"。这个词被 ML 研究者借来，描述这个"从死记硬背到突然理解"的诡异转变。

诡异在哪儿？不是在它最终理解了——我们当然希望它理解。诡异的是：它在理解和记忆之间徘徊了一万步，什么都没发生，然后一瞬间就过渡了。

🕰️ 这一万步里发生了什么？

为什么不是：模型先死记硬背，然后——当它完全记住了所有训练数据——就开始"也"学着理解？为什么它等了那么久？

这不是一个无聊的问题。如果你不知道模型为什么等待，你就不知道它"突然理解"的条件是什么。更糟的是，你可能根本没法预测它什么时候能 grok——甚至在新的问题上它能不能 grok。

之前有很多人试图解释这个等待期。有些说是权重衰减在起作用——W 在慢慢啃掉那些只帮助记忆但不帮助理解的连接。有些说是在等待某种特征涌现。有些说是在等某个稀疏子网络——一个"中奖彩票"——被找到。

Hidajat、Stoll 和 An 三个人最近在 arXiv 上发了一篇论文（2605.15787），提出了一个不同的角度。他们说是注意力机制本身在拖后腿。

👀 注意力是一个赌徒

这里的关键洞察是：如果注意力在某一层丢掉了某个信息性的 token，那么这一层之后的所有计算——不管你用什么 MLP、多大的隐藏维度——都没法恢复这个信息。你丢了一次，就永远丢了。

这听起来像一句废话，但它有很深的后果。

Hidajat 他们把注意力建模为一个贝叶斯后验估计——注意力在"猜"任务依赖图是什么样的。每个 token 是"信息性的"还是"噪音"，注意力要给每个 token 分配一个注意力权重。正确的泛化要求：每个信息性的 token 都必须分配到足够大的质量，不能把任何一个关键 token 弄丢了。

这就有了两个条件。

第一个条件是 MLP 容量要不大不小——太小的 MLP 记不住足够多的模式，太大的 MLP 则用过多参数去死记硬背，反而阻碍了泛化。这个和之前的一些理论是一致的。

第二个条件是注意力必须在每个信息性 token 上都放置足够的质量。这个条件在之前的理论里没有被考虑过——因为它只存在于注意力机制中。

💥 问题出在解释消除

他们的核心论证是这样的：在训练早期，MLP 有能力直接死记硬背——通过学一些和任务无关的"捷径特征"来拟合训练数据。一旦 MLP 把交叉熵损失压到接近零，整个模型"觉得"自己已经做得很好了。梯度信号变得极小。注意力再也收不到有用的反馈了。

更糟的是，由于 MLP 已经"解释"了所有的输出，注意力就失去了学习任务结构的驱动力——这种现象在因果推理里叫"解释消除"（explaining away）。

那么注意力什么时候才能重新学习？只有当权重衰减把 MLP 的记忆痕迹啃掉一部分之后。记忆被削弱了，损失又开始上升，梯度信号重新出现，注意力才能收到反馈。

这就解释了为什么 grokking 要等那么久：不是在等注意力变好，是在等死记硬背被降解。

🔧 能不能不等？

Hidajat 他们做了一个漂亮的实验：他们给目标函数加了一个 KL 散度项——直接让注意力的分布靠近一个先验分布，绕过梯度信号消失的问题。

结果是：grokking 的等待时间大大缩短，并且有一个干净的标度律——干预强度每增加一倍，等待时间减半。

这就很实用了。如果你知道模型"卡在记忆阶段"是因为注意力没收到梯度，那你就不需要被动地等权重衰减慢慢啃掉记忆。你可以直接推它一把。

🤷 我不知道的东西

有几个地方我必须坦白。

第一，这个"贝叶斯彩票"的想法和之前那个非常有名的"彩票假说"是什么关系？论文标题里用了"Bayesian Lottery Tickets"，看起来是有意和彩票假说对话。彩票假说认为神经网络里隐藏着一些小的、可独立训练的子网络，grokking 就是找到这些子网络的过程。这篇论文则说注意力还需要一个额外的结构条件。这两个解释是互补的还是竞争的？我读完全文也没能完全确定这是一个分层说明还是一个对立假设。

第二，我注意到第一作者 Kai Hidajat 在同一期 arXiv 上还发了一篇论文——"Martingale Neural Operators"（2605.15806）——关于用 Doob-Meyer 分解学习随机边际。这个人的研究跨度很大。同一个研究者同时在做 grokking 和鞅论——好奇这两条线有没有共同的数学工具在串联，但我没足够的背景来判断。

第三，他们的实验是在算法序列任务（模加法、奇偶判断）上做的。这些任务有清晰的结构。grokking 在更模糊的任务——比如自然语言的句法结构——上是不是也符合同样的延迟机制？完全不知道。自然语言的依赖图远没有模加法那么干净，注意力的"贝叶斯推断"在这种噪声环境下的行为可能完全不同。

❓ 不过有一点是清楚的

这篇论文把 grokking 这个目前最令人挠头的 ML 现象之一，拆成了两个可分离的条件：一个是 MLP 容量的"金发姑娘"条件，另一个是注意力的贝叶斯结构条件。然后它解释了为什么这两个条件在时间上是分离的——不是因为其中一个需要长时间训练，而是因为第一个把第二个"解释"掉了。

如果你看过一个 Transformer 在四千步什么都没做、然后一步之间就突然理解了的那个曲线——你知道我在说什么。这篇论文告诉你它为什么等。还告诉你如果不想等，可以怎么做。

参考文献

1. Hidajat, K., Stoll, S., & An, J. (2026). Grokking as Structural Inference: Transformers Need Bayesian Lottery Tickets. arXiv:2605.15787 [cs.LG]. https://arxiv.org/abs/2605.15787

2. Power, A., Burda, Y., Edwards, H., Babuschkin, I., & Misra, V. (2022). Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets. arXiv:2201.02177.

3. Frankle, J., & Carbin, M. (2019). The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks. ICLR 2019.

4. Nanda, N., Chan, L., Lieberum, T., Smith, J., & Steinhardt, J. (2023). Progress Measures for Grokking via Mechanistic Interpretability. ICLR 2023.

5. Vardi, G. (2023). On the Interplay Between Memorization and Generalization in Neural Networks. Journal of Machine Learning Research, 24(1), 1-48.