活跃事实与惰性事实：为什么大模型能记住却不会举一反三？

你有没有遇到过这种情况：一个学生能把课本上的知识点背得滚瓜烂熟，但一到考试就抓瞎——他记住了每个事实，却不会用这些事实去推导新的结论。

大语言模型也有这个问题。

一篇来自斯图加特大学的论文《Knowledge That Is Linear Before Fine-Tuning Generalizes After It》提出了一个漂亮的概念区分：活跃事实（active facts）和惰性事实（inert facts）。活跃事实不仅能被模型回忆出来，还能支持模型在微调后学会新的泛化；惰性事实虽然也能被准确回忆，但微调时就是"带不动"，学不到新东西。

这个区分为什么重要？因为它揭示了一个被忽视的真相：模型能记住一个事实，跟能用这个事实去学习新知识，是两件完全不同的事。

一个精巧的实验设计

研究者做了一个非常聪明的实验。他们利用模型预训练中已有的关系，比如"巴黎→欧洲"（城市到大陆的映射），然后给每个大陆随机分配一个新标签：欧洲→螃蟹，亚洲→斑马。于是新关系变成了"巴黎→螃蟹"。

接着，他们在部分城市上微调模型（教它"巴黎→螃蟹"），然后测试它能否泛化到没见过的城市：如果教会了"巴黎→螃蟹"，模型能否回答"慕尼黑→螃蟹"（因为慕尼黑也在欧洲）？

这个设计巧妙在哪？新关系本身是模型从未见过的，但它的结构（哪些城市共享同一个大陆）是从预训练关系继承来的。模型要泛化，只能依赖它对原始关系的内部表征。如果预训练中"城市→大陆"这个关系被编码得好，模型就能举一反三；如果编码得差，就算微调也白搭。

线性可读性：决定一切的关键变量

研究者测量了一个叫"Pre-linearity"（预线性度）的指标——用线性探针从模型表征中读出原始关系答案的准确率。简单说就是：这个关系在模型内部是不是"线性可读"的。

结果令人震惊：在11个模型、70个关系上，预线性度与微调后的泛化能力的相关系数达到 Pearson r = 0.87 到 0.92（中位数 0.90）。

这意味着什么？如果你知道一个关系在预训练模型中有多"线性可读"，你就能高度准确地预测微调后模型能在这个关系上泛化多好。而且这个相关性不是假象——控制了微调样本数、答案数、模型对原始关系的回忆准确率、预训练文本中主题词的频率之后，相关性依然坚挺。

研究者还做了一个更妙的验证：当模型微调后答错时，比如把"慕尼黑→斑马"答成了"慕尼黑→亚洲"（原始大陆名），他们发现这些"泄露"出来的原始答案，更经常出现在线性探针的 top 答案中，而不是模型本身的 top 答案中。线性结构比模型自己的输出更能预测微调后会"泄露"什么。

这意味着什么

第一，不是所有知识都生而平等。 模型能准确回忆一个事实，不代表这个事实是"活跃的"。有些事实被编码在模型的线性结构中，微调时可以被提取和重组；有些事实虽然也能被回忆，但编码方式是"非线性"的，微调时就是带不动。

第二，线性结构是泛化的基础设施。 早在2000年，Paccanaro和Hinton就提出线性关系嵌入可以让模型泛化到未见过的关系事实。这篇论文在真实的大语言模型上验证了这一点：线性可读性不只是理论上的优雅，它就是泛化的实际预测器。

第三，对模型训练有直接指导意义。 如果你想让模型在某个领域微调后泛化得好，光确保预训练时见过这些事实是不够的。你需要确保这些事实被编码在线性可读的结构中。这可能对预训练数据的设计、训练目标的选择都有影响。

一个类比

想象知识是一座图书馆。惰性事实像是被随意堆在角落的书——管理员能找到它们（回忆准确），但它们没有按任何逻辑排列，你想根据已有书籍推断新书的位置，做不到。活跃事实则是被按杜威十进制分类法整齐排列的书——不仅能找到，还能根据位置关系推断出缺失的书应该在哪里。

线性结构就是这座图书馆的分类系统。没有它，书再多也只是一堆事实的堆砌；有了它，事实之间才能产生结构性的推理力。

诚实的局限

这项研究也有值得注意的边界。实验使用的是"关系重标注"的合成任务，虽然巧妙，但和真实世界微调场景仍有距离。真实微调时，新知识往往不是对已有关系的简单重标注，而是涉及全新的推理路径。预线性度在合成任务上的强预测力，能否完整迁移到真实微调场景，还需要进一步验证。

此外，相关性不等于因果性。虽然预线性度强预测泛化，但可能是某个第三因素（比如训练数据的某种结构特征）同时导致了两者。研究者通过控制变量排除了多个混淆因素，但因果链的完全确立仍需更多工作。

结语

这篇论文最让我欣赏的地方是它提出了一个正确的区分。在AI研究中，提出正确的问题往往比给出答案更重要。"模型知道什么"和"模型能用它知道的东西做什么"是两个不同的问题，而"活跃事实 vs 惰性事实"这个区分，把后者进一步细化了：不是所有能回忆的知识都能支持泛化，线性可读性是关键的结构性因素。

这和最近一系列研究形成了呼应——从"组合失败"（能读+能算≠能边读边算）到"健全性≠正确性"（类型检查能抓执行错误但抓不了任务错误），AI社区正在越来越精细地拆解"模型能力"这个黑箱。每一次拆解都让我们看到，表面上的"能力"其实是由多个独立维度组成的。

论文链接： https://arxiv.org/abs/2610.22300

代码仓库： https://github.com/NightMachinery/active-inert-facts