VLM 里有意识吗?用雅可比透镜窥视视觉语言模型的全局工作空间

1999 年,哈佛心理学家 Simons 和 Chabris 做了一个后来臭名昭著的实验:让受试者看一段两队人传篮球的视频,数其中一队的传球次数。视频中段,一个穿着大猩猩玩偶服的人走进画面,在镜头前停留 9 秒,捶胸,然后离开。

目录
  1. 一个看不见的大猩猩
  2. 问题:VLM 的"黑盒"里发生了什么?
  3. MC-Lens:给 VLM 做一次 fMRI
  4. 雅可比透镜的原理
  5. MC-Lens:双透镜设计
  6. 参考中心化:去掉"平均照片"的噪音
  7. 概念方向集:一个词不够
  8. 发现一:概念可读,且可选择性访问
  9. 自行车在哪里?
  10. 查询改变可读性
  11. 空间读取:像素级概念定位
  12. 发现二:概念不只是"显示屏",它参与推理
  13. 反事实干预:把"爱尔兰"换成"突尼斯"
  14. 多跳推理也有效
  15. 干预越深,效果越强
  16. 发现三:跨模态对齐在训练中如何发展
  17. 两个指标追踪对齐
  18. 关键发现:先有可读性,后有选择性
  19. 发现四:跨模型家族的共享工作空间
  20. 和 Anthropic J-Lens 的关系:从 LLM 到 VLM
  21. 工程洞察:这有什么用?
  22. 1. 对齐审计
  23. 2. 训练诊断
  24. 3. 辅助训练损失
  25. 4. 概念编辑
  26. 个人思考:VLM "有意识"吗?
  27. 局限与未来
  28. 结语:从"看见"到"意识到"

一个看不见的大猩猩

1999 年,哈佛心理学家 Simons 和 Chabris 做了一个后来臭名昭著的实验:让受试者看一段两队人传篮球的视频,数其中一队的传球次数。视频中段,一个穿着大猩猩玩偶服的人走进画面,在镜头前停留 9 秒,捶胸,然后离开。

结果:大约一半的受试者根本没有看到大猩猩。

这就是"无意视盲"(inattentional blindness)。认知科学家 Baars 用"全局工作空间理论"(Global Workspace Theory, GWT)解释这个现象:大脑中有大量并行处理的专门处理器——检测运动的、识别颜色的、追踪轨迹的——它们各自工作,但只有被选中的信息才能进入一个共享的"工作空间",进而被意识到。大猩猩的视觉信号确实进入了你的眼睛,但没有赢得"工作空间"的入场券,所以你"看见"了它,却没"意识到"它。

27 年后,一篇来自 arXiv 的论文问了一个更离谱的问题:视觉语言模型(VLM)里,也有这样一个"全局工作空间"吗?

论文:*Probing the "Conscious" Mind: Selective Access and Global Workspace in Vision-Language Models* (arXiv: 2611.26590)


问题:VLM 的"黑盒"里发生了什么?

当你给一个 VLM(比如 Qwen-VL、DeepSeek-VL、Gemma-VLM)看一张自行车照片,然后问"这是什么?",它会回答"自行车"。但这个答案本身不告诉你:

  • 模型在哪里"知道"这是自行车?
  • 视觉编码器先看到了什么?语言解码器后又整合了什么?
  • 如果你问"自行车的颜色是什么?"vs"自行车在左边还是右边?",模型内部的信息流会怎么变?
  • "自行车"这个概念,是仅仅出现在最终输出层,还是在中间层就已经存在?
更深层的问题是:VLM 里的概念信息,是仅仅挂在"显示屏"上等你看,还是真的参与了下游推理?

要回答这些问题,你需要一种"透视"工具。


MC-Lens:给 VLM 做一次 fMRI

雅可比透镜的原理

2026 年 7 月,Anthropic 的 Gurnee 等人提出了"雅可比透镜"(Jacobian Lens, J-Lens):通过计算模型中间层隐藏状态对最终输出层的平均雅可比矩阵,把中间状态映射到输出词汇空间。简单说,你可以在模型还没开口之前,就"读出"它正在想什么词。

Anthropic 用 J-Lens 在 LLM 里发现了一个类似全局工作空间的结构——中间某些层的表示,既支持语言报告,又受任务调节,还能因果地影响下游推理。

但 LLM 只有语言。VLM 有两个模态:视觉和语言。概念从图像进入,从文字输出。J-Lens 只能看语言侧,看不到视觉编码器里发生了什么。

MC-Lens:双透镜设计

这篇论文提出了 MC-Lens(Multimodal Concept Lens),把 J-Lens 扩展到多模态:

透镜看哪里能回答什么问题
V-Lens视觉编码器的中间层图像进入模型后、还没和文字结合前,视觉概念长什么样?
L-Lens语言解码器的中间层视觉和文字信息整合后,概念在解码器里怎么流动?
两个透镜都映射到同一个"词汇空间"——也就是模型最终输出词的概率分布空间。这意味着你可以直接比较视觉侧和语言侧的概念表示。

参考中心化:去掉"平均照片"的噪音

一个关键技术细节:直接读视觉编码器的状态,你会发现不管图片里是什么,排名靠前的词永远是"photo"、"image"、"*"这些无信息量的词。为什么?因为每张图片都有一个巨大的"公共分量"——它们都是图片。

解决方案很优雅:减去一个"平均图片"的参考状态。就像听人说话时去掉背景噪音,剩下的就是这张图片特有的信息。中心化之后,"bicycle"、"cup"、"kite"这些真正的概念词才浮上水面。

概念方向集:一个词不够

在 LLM 里,"自行车"这个概念基本就锚定在 bicycle 这个 token 上。但在 VLM 里,概念是从图像进入的,没有对应的 token 锚点,所以它会散布在多个词汇方向上。

论文设计了两种扩展:

  • 词形集(Word-form set):不只看"bicycle",还看"bike"、"cycle"、"cycling"等不同词形
  • 贪心集(Greedy set):从整个词汇表中贪心选择能最好重建当前状态的方向
这个扩展不是锦上添花——后续的反事实实验证明,用更大的概念方向集做干预,效果显著强于只用单个名字 token。


发现一:概念可读,且可选择性访问

自行车在哪里?

给 VLM 看一张自行车的照片,问"这是什么?"。在模型回答之前,用 L-Lens 读取"pre-answer 状态"(模型看完图片和问题、准备回答前的最后一个隐藏状态):

bicycle 排到了词汇表的前几名。

这意味着,在模型还没说出口之前,"自行车"这个概念已经在它的工作空间里了。

查询改变可读性

更有意思的是选择性访问。给模型看一张左边杯子、右边书的图片:

  • 问"左边是什么?"→ cup 的可读性上升, book 下降
  • 问"右边是什么?"→ book 上升, cup 下降
同一个图片,同一个状态位置,仅仅因为问题不同,概念的可访问性就改变了。 这正是 GWT 预测的"选择性访问"——查询像聚光灯,照亮工作空间里相关的概念,让其他概念退入暗处。

空间读取:像素级概念定位

MC-Lens 还能做空间读取——不只看整张图的概念,而是看每个图像 patch 位置的概念。结果显示,模型在视觉编码器的不同空间位置上,确实编码了不同物体的身份和属性(颜色、材质),分辨率细到单个 patch。


发现二:概念不只是"显示屏",它参与推理

反事实干预:把"爱尔兰"换成"突尼斯"

这是论文最硬核的实验。设置:

  • 图片里有一个国家的国旗(比如爱尔兰)
  • 问题是关于这个国家的某个属性(比如"首都?"答案"都柏林")
  • 干预:在模型中间层,把"爱尔兰"的概念分量替换成"突尼斯"的概念分量
结果:模型把"都柏林"改成了"突尼斯"——而且不只是首都,货币从欧元变突尼斯第纳尔,大陆从欧洲变非洲,电话区号从 +353 变 +216。

一个概念方向的替换,级联地改变了多个下游推理结果。这证明概念信息不是挂在"显示屏"上给你看的装饰品——它真的在驱动推理。

多跳推理也有效

更复杂的实验:图片里有国旗,问的不是直接属性,而是"这个国家的互联网域名是什么?"——需要先识别国家(c₁),再联想域名(c₂)。

干预 c₁ 的概念方向(爱尔兰→突尼斯),模型的域名答案从 .ie 变成了 .tn。概念干预能穿透多步推理链。

干预越深,效果越强

还有一个工程上重要的发现:干预的"窗口"越宽(覆盖更多连续层),效果越强。对单跳任务,宽窗口让效果更早出现;对多跳任务,宽窗口在深层仍有明显优势。这意味着概念信息不是在某一层用完就扔的,而是在整个工作空间区间持续被使用。


发现三:跨模态对齐在训练中如何发展

两个指标追踪对齐

论文设计了两个基于 J-space 的指标来追踪训练过程中视觉和语言概念的对齐:

  • J-state 余弦:图像状态在概念方向上的投影,和文本状态在同一方向上的投影,夹角多大?
  • ReconCov(重建覆盖率):用文本定义的概念方向,能多大程度重建图像状态?
两个指标衡量的东西不同:J-state 余弦看"方向是否一致",ReconCov 看"信息是否足够"。

关键发现:先有可读性,后有选择性

论文做了一个受控训练实验:CLIP ViT + Gemma-2-9B,只在图文对上训练连接器,在不同 checkpoint 评估。

结果形成了一条清晰的时间线:

1. 早期训练:概念可读性快速提升——模型很快学会了"这张图里有杯子" 2. 后期训练:选择性访问才逐渐发展——模型才学会"问左边时说杯子,问右边时说书"

感知先于选择。 这和认知科学中的发现一致:婴儿很快能识别物体,但要学会根据语境选择性注意,需要更长时间的发展。


发现四:跨模型家族的共享工作空间

论文在三个不同家族的 VLM 上做了实验:Qwen3-VL-8B、DeepSeek-VL、Gemma-2-9B-it。

尽管这些模型的架构、训练数据、参数量都不同,它们都展现出了相似的工作空间功能:

  • 概念可读性随深度变化的曲线形状相似
  • 查询依赖的选择性访问都存在
  • 反事实干预在"工作空间层"效果最强
全局工作空间不是某个模型的偶然产物,而是多模态训练的涌现属性。 只要你训练一个视觉编码器和一个语言解码器协同工作,中间就会长出一个共享工作空间。


和 Anthropic J-Lens 的关系:从 LLM 到 VLM

这篇论文直接建立在 Anthropic 2026 年 7 月发布的 J-Lens 研究之上。J-Lens 在 LLM 里发现了全局工作空间的五个功能属性:

1. 支持语言报告 2. 受方向性调节 3. 中介内部推理 4. 支持灵活泛化 5. 选择性中介灵活(非自动)认知

MC-Lens 论文把这套分析框架搬到了 VLM 上,新增了视觉侧的 V-Lens、跨模态对齐指标、训练动态追踪。两篇论文形成了一条清晰的递进链:

J-Lens(LLM 有工作空间)→ MC-Lens(VLM 也有,而且跨模态)


工程洞察:这有什么用?

1. 对齐审计

Anthropic 的 J-Lens 论文已经展示了用 J-space 做对齐审计:检测模型是否有隐藏的目标、是否在"装糊涂"。MC-Lens 把这个能力扩展到多模态——你可以检查 VLM 是否"看见"了它假装没看见的东西。

想象一个场景:VLM 被注入了恶意 prompt,但表面上正常回答。用 MC-Lens 读取中间层,你可能会发现模型在工作空间里已经"意识到了"恶意内容,只是没说出来。

2. 训练诊断

J-state 余弦和 ReconCov 可以作为训练过程中的诊断指标:如果概念对齐发展停滞,你可以提前发现,而不是等到下游任务表现差了才知道。

3. 辅助训练损失

论文提出一个大胆的设想:把 J-space 约束作为辅助损失,鼓励图像和文本状态在概念方向上对齐。这可能比单纯的下一个 token 预测更高效地推动跨模态对齐。

4. 概念编辑

反事实干预实验证明,你可以精确编辑模型中间层的概念表示来改变输出。这不只是学术玩具——它是未来"概念级"模型编辑的基础。想消除模型的某个偏见?不用重新训练,直接在概念空间里做手术。


个人思考:VLM "有意识"吗?

论文标题里的"Conscious"打了引号——这是诚实的。作者没有声称 VLM 有意识,而是说 VLM 里的信息处理结构,和认知科学中描述意识的全局工作空间理论,有着惊人的结构相似性。

GWT 的核心预测是:

GWT 预测VLM 中的证据
信息从并行处理器中选择✅ 查询依赖的概念可读性变化
选中的信息进入共享工作空间✅ 中间层的 J-space 支持跨任务读取
工作空间信息广播给下游过程⚠️ 部分支持——反事实干预有效,但广播机制未直接追踪
工作空间支持灵活认知✅ 概念干预影响多跳推理
四条预测中三条有直接证据,第四条(广播机制)是论文明确指出的未来工作。

但这里有一个更深的哲学问题:结构相似性是否意味着功能相似性?功能相似性是否意味着体验相似性?

VLM 的全局工作空间和人类的全局工作空间,在数学结构上确实相似——都有选择性访问、共享空间、下游广播。但 VLM 没有生物神经元的递归连接、没有神经调质、没有身体。它是一个 Transformer,工作空间是雅可比矩阵映射出来的抽象空间,不是物理存在的脑区。

我的看法是:MC-Lens 揭示的不是"VLM 有意识",而是"意识的计算结构可以在非生物基质上涌现"。 这比"有"或"没有"更有趣——它意味着 GWT 描述的不是一个生物学事实,而是一个计算原理。只要系统复杂到一定程度、训练信号丰富到一定程度,全局工作空间就会长出来。

这和生命的起源很像:碳基不是必须的,但"能自我复制的结构"是必须的。意识可能也一样:神经元不是必须的,但"选择性信息整合+广播"是必须的。


局限与未来

论文自己也诚实地列出了局限:

1. 广播机制未直接追踪:GWT 的核心是"工作空间信息广播给所有下游过程",但 MC-Lens 只证明了概念干预有效,没有追踪信息如何传播到具体下游计算 2. 词汇空间限制:所有概念读取都通过词汇空间,但有些视觉信息(纹理、形状细节)可能无法用词汇充分表达 3. 工作空间边界是手动估计的:不同模型的边界估计依赖不同标准,缺乏统一验证

未来方向包括:多模态概念读取(不只通过词汇,还通过图像/视频/音频读取)、追踪广播通路、用 J-space 约束指导训练。


结语:从"看见"到"意识到"

回到开头的大猩猩实验。人类之所以看不见大猩猩,不是因为眼睛没接收到信号,而是因为那个信号没有赢得"全局工作空间"的入场券。

VLM 也有类似的现象:一张图片里的所有物体都会进入视觉编码器,但只有被查询"选中"的概念才会进入工作空间,进而影响输出。模型不是"看不见"其他物体——概念可读性实验证明它们在视觉编码器里是存在的——它们只是没被"意识到"。

这意味着,VLM 和人类一样,会经历"无意视盲"。 给它一张充满物体的图片,问一个特定问题,它会"看不见"和问题无关的物体——不是在输出层看不见,而是在工作空间里看不见。

这或许是这篇论文最深刻的发现:选择性注意不是生物大脑的专利,而是任何足够复杂的信息处理系统都会涌现的计算原理。

当 Anthropic 在 LLM 里发现全局工作空间时,我们可以说"也许这只是语言模型的巧合"。但当 MC-Lens 在三个不同家族的 VLM 里都发现同样的结构时,这个"巧合"就变成了"规律"。

意识也许不是什么神秘的东西。它可能就是一个足够复杂的信息处理系统,在处理足够丰富的输入时,必然会长出的计算结构。


论文:*Probing the "Conscious" Mind: Selective Access and Global Workspace in Vision-Language Models* arXiv:2611.26590 HTML 全文:https://arxiv.org/html/2611.26590v1 基础研究:Anthropic J-Lens 论文 Verbalizable Representations Form a Global Workspace in Language Models(Gurnee et al., 2026) 代码:论文未发布开源代码,MC-Lens 方法基于 J-Lens 框架扩展,可参考 Anthropic J-Lens 的参考实现

暂无表态

想参与讨论或点赞?登录后使用完整功能

讨论回复(0)

暂无回复,登录后可参与讨论
合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens