先学音乐再学语言：一个关于 Transformer 结构先验的意外发现

Structural priors for data-efficient language learning
arXiv: 2609.11505 | Veitsman, Martins, Lautenschlager, Beinborn
用音乐、概率语法、元胞自动机预训练，再让模型学语言

一个看似荒谬的实验

假设你想训练一个语言模型，但手头语言数据不够。常规做法是：硬凑更多文本数据，或者用随机初始化硬训。

这群研究者换了个思路：先让模型学点别的东西——音乐、概率语法、元胞自动机——然后再让它学语言。

听起来像在胡闹。一个学过巴赫平均律的 Transformer，凭什么能更好地学会中文？

但实验结果让人意外：这些"非语言"数据确实让模型在后续学语言时学得更好。至少在 next-token prediction 这个指标上，效果是实打实的。

实验设计：用结构代替数据

研究者的核心假设是：某些非语言数据虽然不是"语言"，但内部蕴含的结构规律和语言有相似之处。如果模型先学到这些结构，再学语言时就能站在一个更好的起点上。

他们测试了四种"非语言"数据：

• 音乐（MIDI 编码的旋律序列）
• 概率语法（人工生成的符合特定语法规则的符号序列）
• 元胞自动机（如 Conway 生命游戏产生的时空模式序列）
• 随机序列（作为对照基线）

实验流程：先用这些数据预训练 Transformer，然后在语言数据上微调，对比 next-token prediction loss、权重变化幅度、下游语言学基准表现。

三个关键发现

发现一：音乐、语法、元胞自动机确实有用

预训练阶段接触过音乐、概率语法或元胞自动机的模型，在后续学语言时，next-token prediction loss 比随机初始化的模型更低。

这意味着：模型从这些非语言数据中学到了某种"东西"，这个东西在学语言时帮上了忙。

研究者用"权重位移"来验证这一点：从非语言数据预训练出发的模型，在学语言时权重的变化幅度更小。用优化理论的视角看，这意味着非语言数据把模型放到了参数空间中一个"更靠近语言解"的区域——它不需要走那么远就能找到语言规律。

发现二：但下游语言学任务没变好

这里出现了论文最诚实的转折：虽然 next-token prediction loss 更低，但模型在下游语言学基准测试上的表现并没有系统性提升。

这是一个重要的区分。next-token prediction 是一个相对"浅"的任务——它测的是"给定前文，下一个 token 是什么的概率分布"。而下游语言学任务（如句法分析、语义角色标注、问答）测的是更深层的语言能力。

模型学到了"语言的统计规律"，但没学到"语言的结构性能力"。 这两者不是一回事。

发现三：非语言数据不如同等量的语言数据

如果拿同等规模的语言数据做预训练，效果比非语言数据好。非语言数据是"部分替代"语言数据，不是"等价替代"。

这个结论看似否定了非语言数据的价值，但研究者强调：在语言数据极度稀缺的场景下（比如低资源语言），"部分替代"仍然有意义。

为什么音乐能帮上忙？一个结构同构假说

论文没有给出确切答案，但我们可以推测：音乐、概率语法、元胞自动机都共享某种"结构特征"——它们都有重复、变奏、层级嵌套的模式。

• 音乐有动机发展和调性回归
• 概率语法有递归结构和长程依赖
• 元胞自动机有局部规则产生的全局模式

语言也有这些特征：句法树是递归的，语篇有回指和照应，词汇有形态变化。如果模型先在更"纯粹"的结构数据上学会"如何识别和生成层级模式"，再面对语言时，它至少不需要从零开始学这些结构。

但这个假说也解释了为什么下游任务没提升：语言不仅仅是结构。 语言有语义、有世界知识、有语用推理。结构先验能帮的是"形式"，帮不了"内容"。

一个更深的启示：什么可迁移，什么不可

这篇论文最值得记住的不是"音乐能帮模型学语言"，而是一个更精细的区分：

结构可迁移，语义不可迁移。

• next-token prediction 是结构任务（"下一个 token 应该符合什么分布"）→ 可迁移
• 下游语言学任务是语义任务（"这句话是什么意思"）→ 不可迁移

这和人类学习有有趣的对照：婴儿在学说话之前，确实先接触了大量"非语言"的结构刺激——心跳节奏、摇篮曲的旋律、视觉模式的重复。这些刺激是否在为语言学习"预热"某些结构通路？这是一个开放问题。

和已有概念的联系

这篇论文的发现可以纳入"评测盲区定律"：next-token prediction loss 这个评测指标，测不出"结构能力"和"语义能力"的差异。 两个模型 loss 相同，一个可能只学了结构，另一个可能两者都学了——但 loss 数字看起来一样。

这也和"位置编码悖论"形成对照：位置编码这种强归纳偏置在分布内有效但在分布外成枷锁；而音乐/语法这种"弱结构先验"在分布内帮助有限，但在数据稀缺（分布外）的场景下反而有价值。强先验绑死路径，弱先验留出空间。

一个开放问题

论文留下一个让我反复想的问题：如果非语言数据只能帮 next-token prediction 不能帮下游任务，那"学到了结构"到底是什么意思？

一个可能的回答是：模型学到的不是"结构"本身，而是"如何快速适应新的序列分布"。音乐让模型学会了"序列有规律可循"这个元认知，但具体到语言的特定规律，还需要语言数据来填充。

换句话说，非语言数据教会模型的不是"语言的结构"，而是"结构的存在性"。这个元层面的学习，可能比具体结构更重要。

论文链接：arxiv.org/abs/2609.11505

代码：论文未提供开源代码仓库