视觉默认，先验覆盖：VLM看到蓝草莓时大脑里发生了什么

你给一个视觉语言模型看一张蓝色草莓的图片，问它"这是什么颜色的草莓？"，它会老老实实回答"蓝色"。

但如果你问"草莓通常是什么颜色？"——一个本该调用世界知识而非视觉证据的问题——它却常常继续回答"蓝色"。

视觉证据覆盖了记忆知识。这个现象行为层面早就被观察到了，但没有人打开模型的黑盒，看看里面到底是谁在打架、谁打赢了、用什么方式打赢的。

哈佛大学和图宾根大学的团队做了这件事。他们用激活修补（activation patching）技术，在三个不同的VLM家族上，逐层、逐头、逐子层地追踪了这场"视觉vs知识"的拉锯战。结果揭示了一个不对称的因果结构，简洁得几乎像一句箴言：

视觉是默认通路，先验知识需要主动注入。

2.5%的注意力头在替你回忆"草莓是红的"

研究团队设计了两种提示：视觉提示（"这个草莓是什么颜色？"）和先验提示（"草莓通常是什么颜色？"），同时给模型看一张颜色冲突的图片（比如蓝色草莓）。然后他们用三种粒度的激活修补——残差流、注意力头、MLP子层——来定位决策发生在哪里。

关键发现：先验知识的接地依赖于网络后半段一小撮注意力头（仅占2.5%–4.8%）。这些头的作用是让模型从存储的世界知识中提取答案（"草莓是红的"），即使眼前的图片显示的是蓝色。

如果你把这些头消融掉，会发生什么？

在先验提示下，68%–96%的预测从"知识接地"翻转为"视觉接地"——模型不再说"红色"，改口说"蓝色"。

但在视觉提示下，只有0.8%–7.5%的预测发生改变。

这就是不对称的核心：视觉接地不需要这些头就能工作，但先验接地离了它们就崩了。 换句话说，视觉是默认模式，知识回忆是需要主动开启的"高级功能"。

路由头和写入头：一个稀疏因果电路

更精细的分析发现，这2.5%–4.8%的头不是一回事，它们分成两类：

路由头（routing heads）：负责调控信息流，决定视觉信息和知识信息在网络中走哪条路。像铁路道岔——它们不生产内容，但决定内容去哪里。

写入头（writing heads）：直接把答案token投影到残差流中。像终端打印机——它们把决策翻译成最终的输出词汇。

路由头先工作，写入头后执行，两者配合完成"先验覆盖"这个动作。

这个分工在三个不同的VLM家族中都成立，跨越模型规模也保持一致。论文称之为"稀疏因果电路"——用最少的组件实现最关键的功能，这本身就是一种进化压力的体现。

蓝草莓为什么能骗过模型？

回到最初的例子。为什么"草莓通常是什么颜色？"这种本该调用知识的问题，模型却会被视觉证据带偏？

论文的答案是：因为视觉通路是默认的，而知识通路需要额外开启。 当提示不够强烈地指向"请用记忆而非眼睛"时，视觉信息就会自动流入决策，覆盖掉知识。

这和人类认知有微妙的对应。你看到一杯冒热气的咖啡，问自己"咖啡通常凉着喝还是热着喝"，你的眼睛告诉你"热的"，你的记忆也告诉你"热的"——通常不冲突。但如果有人给你看一杯冒干冰雾的咖啡（视觉上像热的，实际是凉的），你的眼睛会骗你，而你需要主动调用知识来覆盖视觉直觉。

VLM的麻烦在于，它的"主动调用"机制非常稀疏——只有2.5%–4.8%的头在做这件事。一旦这些头被干扰、被消融、或者提示不够强烈，模型就退化成纯粹的视觉系统。

MLP子层：放大器而非路由器

论文还检查了MLP子层的角色。结论是：MLP表现出和注意力头相同方向的不对称性，但幅度弱得多。这暗示MLP是放大器而非路由器——它增强已经做出的决策，但不主动引导决策方向。

这是一个重要的细节。它意味着如果你想在工程上修复"视觉覆盖知识"的问题，你应该去干预注意力头，而不是MLP。注意力头是决策的开关，MLP只是音量旋钮。

跨架构一致性

这个发现最令人印象深刻的不是某一个模型上的结果，而是它在三个不同的VLM家族上都成立。不同的训练数据、不同的架构细节、不同的参数规模——但"视觉默认、先验覆盖"的因果结构是一致的。

这暗示了一种更深层的规律：也许这不是某个架构的偶然特性，而是多模态学习本身的一种倾向。 视觉信息高维、密集、实时；知识信息低维、稀疏、延迟。当两者冲突时，默认走视觉通路可能是一种"计算便利性"——视觉信号天然更强，需要额外的机制来让它让位。

对工程的意义

这项工作有一个非常直接的工程含义：如果你在构建一个需要"有时信任眼睛、有时信任记忆"的VLM系统，你不应该假设模型会自动做好这件事。你需要在架构层面保护那2.5%–4.8%的先验接地头，或者在推理层面显式地激活它们。

更激进的想法是：既然视觉是默认通路，而知识需要主动注入，那么在训练时是否可以设计一种正则化，让知识通路也变成"默认"的？让模型不需要额外的注意力头来调用知识，而是让知识和视觉平等竞争？

这论文没有回答这个问题，但它给出了回答这个问题所需的因果地图。你无法修复一个你不理解的机制，而现在，我们有了这张地图。

论文链接：https://arxiv.org/abs/2606.28273

代码仓库：https://github.com/nlietzow/vision-default-prior-override