Relational Attention：把注意力拆成两个，七个月大婴儿能做到的事Transformer终于也会了

一个七个月大婴儿能做到的事，Transformer 做不到

想象你正在听一个小朋友讲故事。她说："小明推了小红，然后她哭了。"

你立刻知道：推人的是小明，哭的是小红。这个判断需要两步——第一步，识别"谁做了什么"（词汇层面的对象信息）；第二步，搞清楚"谁对谁做了什么"（结构层面的关系信息）。

听起来简单得不能再简单。发展心理学告诉我们，七个月大的婴儿就能做到——他们能从音节序列中抽象出 ABA 或 ABB 的结构模式，并把它推广到全新的音节上。

但标准 Transformer 做不到这件事。至少，在数据量有限的条件下做不到。

原因藏在注意力机制的数学结构里。在标准自注意力中，query-key 点积同时承担了两个职责：编码 token 之间的关系（谁指向谁），以及路由 value 向量（传递什么内容）。关系信息和对象信息被搅在了同一个矩阵乘法里。你没法只改"谁对谁做了什么"而不改"谁是什么"。

这就像一个厨房里只有一个搅拌机——蔬菜、调料、肉类全扔进去一起搅。你想要分开炒？做不到。

两个注意力，各管各的

Relational BabyLM 的核心改动是：把一个注意力拆成两个。

第一个叫自注意力（self-attention），负责对象级特征的路由——"这个词的语义特征是什么"。第二个叫关系注意力（relational attention），专门处理结构关系——"这个词和上下文中其他词的关系是什么"。

这就是 Dual Attention Transformer（DAT）。它的灵感来自形式语义学的一个经典分工：词汇语义负责词项对句子真条件的贡献（对象级），组合语义负责结构对意义的贡献（关系级）。Montague 在 1970 年代就提出了这个分工，但直到 2026 年才有人把它做成 Transformer 架构。

论文还引入了一个叫 Next-Latent Prediction（NextLat）的训练目标。标准的 next-token prediction 让 hidden state 预测下一个 token，但 NextLat 让 hidden state 压缩历史信息成一个"密集信念状态"——不预测下一个词，而是预测下一个 hidden state。这迫使模型把历史压缩得更紧凑，而不是依赖短距离的模式匹配。

RoPE 当符号库用，零参数

DAT 还有一个精巧的设计：符号检索机制。关系注意力需要一个"符号库"来表示离散的结构位置。之前的做法是学习一个可训练的符号库——额外参数。这篇论文用 RoPE（旋转位置编码）直接充当符号库，零额外参数，效果却和学习出来的符号库一样好。

这有点像用经纬度系统替代城市名——经纬度不是学出来的，但它能精确定位任何城市。RoPE 的旋转编码本来是给位置编码用的，这里被"借用"来做结构符号，省了一整个参数矩阵。

BabyLM 挑战：用孩子的数据量训练

BabyLM 2026 挑战赛的规则很简单：只用 100M 词的训练数据。这是什么概念？GPT-3 用了 5000 亿词，是 BabyLM 的 5000 倍。一个英语母语的孩子到 13 岁大约听到 100M 词。BabyLM 问的是：如果数据量被限制到人类水平，模型还能学到什么？

这正是检验归纳偏置的绝佳场景。数据少的时候，架构的先验假设比堆数据更重要。

结果：

在 strict track（100M 词）上，他们的最佳模型在 55 个参赛系统中排名第 6，NLP 任务子集排名第 3，并且拿到了 strict track 上最高的 EWoK 分数。EWoK 是什么？它测试的是模型对世界知识的理解，而不是纯粹的语法模式。换句话说，DAT 不只是学会了语法，它学会了"理解"。

架构是老大，目标是老二

论文有一个很诚实的发现：架构是主导因素，训练目标是次要因素。

DAT 的三种关系注意力变体（full RA、RCA、DisRCA）在 10M 词时表现差不多，到 100M 词时 full RA 才拉开差距。这说明关系注意力的具体实现方式不是关键——关键是有没有把关系和对象分开。

NextLat 目标确实有帮助——它提高了 7 个 SuperGLUE 任务中的 5 个，并且更好地预测了人类阅读时间的方差。但它的贡献比架构改动小。

这给了一个设计启示：先把架构的归纳偏置搞对，再优化训练目标。在数据受限场景下，架构的先验假设比训练技巧更重要。

一个更深的暗示

这篇论文触及了一个根本问题：Transformer 的自注意力是不是"正确"的归纳偏置？

标准自注意力的设计假设是：所有 token 之间的关系都应该通过同一个 query-key-value 矩阵来计算。这在数据无限时没问题——模型有足够的数据来学习如何解耦。但在数据有限时，这种纠缠就成了瓶颈。

人类大脑显然不是这么工作的。神经科学证据表明，大脑的"什么"通路（ventral stream）和"怎么做/在哪里"通路（dorsal stream）是物理分离的。七个月大的婴儿能做关系抽象，不是因为他们学了足够多的数据，而是因为他们的大脑从出生就把这两类信息分开处理了。

DAT 把这个生物学先验编码进了 Transformer 架构。结果证明，这个先验确实有用——尤其在数据稀缺的时候。

这和整个 LLM 领域的"scaling is all you need"叙事形成了一个有趣的对照。当 scaling 遇到瓶颈时，也许该回头看看：哪些人类认知的归纳偏置还没被编码进我们的架构里？

---

论文: Relational Attention for Data-Efficient Language Modeling

作者: Adrian Brasoveanu (UC Santa Cruz), Ece Takmaz (Utrecht University), Jakub Dotlačil (Utrecht University)

发表: BabyLM 2026 Challenge