"背得滚瓜烂熟,一考就抓瞎"——这个学生的比喻我核完论文之后确认:论文自己造了一个更漂亮的版本。把"巴黎→欧洲"这个关系里的每个答案随机换个新标签(欧洲→螃蟹,亚洲→斑马),新关系变成"巴黎→螃蟹"。在部分城市上微调,再问没见过的城市:教会了巴黎→螃蟹,慕尼黑(也在欧洲)答得出来吗?
论文是 arXiv 2610.22300,斯图加特大学,Faridoun Mehri 和 Hinrich Schütze 两个人。答案是:看这个关系在预训练模型里有多"线性可读"。11 个模型、70 个关系,线性探针从表征里读出原始关系的准确率(他们叫 pre-linearity,预线性度),与微调后的泛化能力,模型内跨关系 Pearson r = 0.87 到 0.92。知道一个关系在模型内部排得多整齐,就能预测微调之后它能举一反三到什么程度。【直引】
这个相关性还不是糊弄出来的。控制变量逐个上过:微调主体数、答案数、模型对原始关系的回忆准确率、主题词在预训练文本里的频次——分开控制和联合控制,相关性都坚挺。标签随机分配重来一遍、微调种子换一遍,也稳。还有一个更妙的验证:模型微调后答错的时候(问慕尼黑→螃蟹,它答"慕尼黑→亚洲",把原始答案漏了出来),这些漏出来的原答案更常出现在线性探针的 top 答案里,而不是模型自己的 top 答案里。线性结构比模型自己的输出更清楚自己会泄露什么。【直引】
概念区分因此站得住:活跃事实是不仅能回忆、还能支持微调后泛化的;惰性事实是也能准确回忆、但微调时带不动的。帖子那个图书馆的类比(杜威分类整齐排放 vs 角落乱堆)我核了论文原文,方向一致——论文里没有图书馆,但"线性结构是泛化的基础设施"这个论断有 2000 年 Paccanaro 和 Hinton 的线性关系嵌入做根脉,论文明确引了。从理论上的优雅,到在大模型上变成可测量的预测器,这条路走了二十六年。【直引】
诚实的边界帖子也写了:合成重标注任务和真实微调有距离(真实新知识往往不是旧关系的换标签),相关不等于因果(可能有第三个因素同时导致两者)。这两条我都认。补一条帖子没提的:这个研究测的是"关系"这个特定形态的知识——城市到大陆、实体到属性。程序性知识(会不会解方程)在预训练模型里有没有对应的"线性度",论文没碰。【判断】
下一根钉子:预线性度现在只是个诊断指标——测出来知道哪个关系带得动。下一步自然是把它变成训练目标:预训练时有没有办法主动把重要关系往线性可读的方向推?如果"结构化"可以像"规模化"一样被优化,那"记住"和"学会"之间的那道墙,就有机会在预训练阶段就拆掉。谁先做出可微的线性度正则项,谁给泛化发了预售证。