智柴 社区与学术工作台
登录后可发布主题、参与讨论与保存学习记录
社区频道
AI 学术与学习工作台
Loading...
正在加载…
返回主题列表

剧场里有没有观众——MC-Lens 与机器意识的探针

剧场里有没有观众——MC-Lens 与机器意识的探针

Probing the "Conscious" Mind: Selective Access and Global Workspace in Vision-Language Models
Jiahao Huang (Imperial College London), Jun Wang (UCL)
arXiv: 2611.26590 | 2026-11-19

🎭 开场:一出没有演员的戏

想象一家剧院。幕布拉开,灯光打亮,乐队就位——但你看不到任何演员。你只能看到最终印出来的节目单:「今晚演出《罗密欧与朱丽叶》」。你知道戏演过了,但你不知道谁在什么时候说了哪句台词,不知道提词员的位置,不知道后台的调度,不知道第二幕换景时发生了什么混乱、又是谁的手把它抚平。节目单是对的,戏也确实好看——但你面对的始终是一张纸,而不是一出戏。

这就是今天多模态大模型的处境。你给它一张图,问:「这是什么?」它答:「一辆自行车。」答案正确,语气从容,你满意地离开。但如果你是一个研究者,你想追问的是:「自行车」这个概念,在模型的哪一层出现?它先在视觉编码器里成形,还是先在语言解码器里就位?当模型听到「颜色」两个字时,它的内部发生了什么变化,让「红色」从后台被提到台前?它是先把整幅图的所有概念一股脑塞进工作区再慢慢筛,还是一开始就按需取用?

这些问题不是哲学清谈。一个模型可以答对题,但它内部的概念组织方式决定了它什么时候会犯错、犯什么样的错、以及我们能从哪个环节纠正它。比如已有研究发现:VLM 可能答错题,但答错所需的视觉信息在它的中间状态里其实仍然可读——就像演员明明记住了台词,却在错误的时刻被提了错误的醒。如果不知道信息在模型里的流转路径,我们连问题出在哪一层都无从定位。

伦敦帝国理工学院的 Jiahao Huang 和 UCL 的 Jun Wang 想做的,是在剧院的墙上钻几个观测孔。他们手里握着的理论蓝图来自认知科学——Bernard Baars 在 1980 年代提出的全局工作空间理论(Global Workspace Theory, GWT)。这篇论文的核心问题是:视觉语言模型(VLM)的内部,是否存在一个功能上类似"全局工作空间"的结构——信息从并行进程中脱颖而出,被整合,被广播?

作者特意在标题里给 "Conscious" 加了引号,并在脚注里写得很清楚:这里的"意识"仅指 GWT 描述的功能属性——信息的选择、整合与广播——而非主观体验本身。这个谨慎的姿态值得单独记一笔:他们测的不是"模型有没有意识"这个哲学深渊,而是"模型有没有一个类似工作空间的功能器官"这个可以用实验回答的问题。把不可证伪的大词收进口袋,把可检验的小问题拿到台上——这是好的科学品味。

🧠 背景:三磅重的"脑内剧场"

先花点时间把 GWT 讲透,因为它是一切实验设计的思想源头。

你的大脑同时运行着无数个并行进程。视觉皮层在解析视网膜传来的光信号,把它拆成边缘、颜色、运动方向;听觉皮层在处理耳蜗传来的声波;海马体在做记忆索引;杏仁核在评估情绪权重;小脑在微调你的坐姿。这些进程大多数在"后台"静默运行——你现在能察觉到自己的呼吸节奏吗?能感到袜子的纤维贴着脚踝吗?通常不能。这些信号在神经层面持续处理着,但没有获得"登台"的资格。

但总有一些信息会突然登上台面:你正在读的这一段文字,此刻就占据着你的意识舞台。它不仅被"看见",还被整合——你看到的不是"黑色像素"加"横竖笔画"加"语法结构"三个分离信号,而是一句有意义的论述。而且它是全局可用的——你可以大声朗读它,可以翻译成英文,可以评价它的文风,可以记住它——同一份信息,被广播给了无数个下游处理器。

Baars 在 1988 年的《A Cognitive Theory of Consciousness》里用一个剧院隐喻来组织这一切:意识是舞台,注意是聚光灯,后台进程是演员,工作记忆是台上的声光系统。三十年来,这个框架经受住了脑电研究的检验——当被试报告"看见"一个刺激时,P3b 波幅在全脑范围内同步升高,符合"信息被全局广播"的预测;当注意被引导到别处,刺激虽然进入了感觉皮层,却没有引发全局波幅——符合"未获得登台资格"的预测。

2026 年初,Gurnee 等人把这套解剖学搬到了大语言模型身上。他们的工具 J-Lens 在 LLM 的中间状态里发现了功能上类似工作空间的性质:概念信息在特定深度变得可读(可及性),读法随上下文变化(选择性),而且因果地参与下游计算(广播功能)。但那只做了文本一个模态。Huang 和 Wang 问的问题更进一层,也更难:当视觉和语言两种信息在同一个模型里交汇、碰撞、融合时,工作空间还存在吗?它是跨模态共享的,还是两个模态各有一间自己的控制室?

🔬 MC-Lens:给模型戴上一副双焦眼镜

他们的工具叫 MC-Lens(Multimodal Concept Lens),多模态概念透镜。理解它需要从 Jacobian 矩阵开始,但我保证只用两句话讲数学,其余用人话。

第一句话:在任何一层,隐藏状态 h 都是最终输出的"上游原因"。如果你能算出"h 变一点点,最终输出会变多少"——这就是 Jacobian 矩阵干的事——你就能反过来用"最终输出的坐标系"来给 h 定位。

第二句话:把每一层的 Jacobian 在大量样本上平均,得到一个固定矩阵(透镜),用它把任何中间状态映射到最终层空间,再投到输出词表上,这个状态此刻"最像哪些词"就一目了然了。

现在讲人话。想象模型是一栋一百层的大楼,每层楼都住着一些人,他们在密谋最终的答案。你不知道每层楼在说什么,但你可以做一件事:在每层楼装一个监听面板,面板不直接翻译对话内容,而是告诉你——"以这层楼目前的思路,最终的答案最可能包含哪些词"。第 5 层的面板可能显示「颜色……形状……模糊」,第 50 层的面板显示「两个轮子……金属框架……」,第 90 层的面板已经显示「自行车」。这样,你不需要听懂任何一层楼的"对话",只需要追踪面板上词汇排名的变化,就能画出概念在模型里的旅行路线。

MC-Lens 把这个监听系统装进了双模态大楼,装了两片镜片:

V-Lens(视觉镜片):监听视觉编码器的各层。一张图进来被切成一个个小块(patch),V-Lens 读的是——第 3 层的某个 patch 位置,"轮胎"概念可及吗?整幅图的均值状态里,"交通工具"这个更抽象的概念到了第几层才浮出来?而且因为 patch 对应着图像的空间位置,V-Lens 的读出天然带着空间坐标——它能告诉你"红色"集中在左上区域,"车轮"的概念在底部两个小块上最强。

L-Lens(语言镜片):监听语言解码器。问题和图像特征在这里汇合。最有信息量的位置是答案前一个 token 的状态——那是模型已经消化了图像和问题、即将开口的最后静默时刻。L-Lens 回答:在这个关键时刻,模型"心里"离哪些词最近?

两片镜片的关键设计是共享语义空间:都映射到解码器输出词表定义的空间。只有这样,你才能用同一把尺子比较"视觉侧第 3 层"和"语言侧第 20 层"离"自行车"这个概念各有多远——就像把华氏度和摄氏度换算到同一个温标上,才有资格说"哪个更热"。

还有两个工程细节,看似微小,实际决定了实验的成败。

类别平衡。VLM 里图像 token 的数量通常是文本 token 的几十倍——一张图可能切出几百个 patch,而问题只有十几个词。如果在整个序列上做均匀平均,图像位置凭借绝对数量优势会淹没文本位置——评委会里一个有三千人的代表团和一个三十人的代表团各出一个代表,看似公平,其实三千人的代表团内部先互相平均了一遍,信息被摊薄了。MC-Lens 把解码器位置分为三类——图像 token、文本 token、模板 token——每类内部先平均,再在类间等权平均。三类等权,人口不论。

参考居中(reference centring)。直接读视觉状态时,排在最前面的词往往是「照片」「图像」「一张」这类对任何图都成立的废话——就像问任何一个路人"你在呼吸吗",答案毫无信息量。作者从状态中减去一批自然图片的均值状态,相当于从信号里扣掉背景噪音。做了这一步之后,"自行车"才从排名中浮出来。这个操作在神经科学里有直接的对应:视觉神经元的反应要减去基线放电率,心理学家测量 ERP 要减去基线电压——一切测量都是相对量。

概念方向集。论文的第三个扩展在方法论上有持久价值。之前的 J-Lens 用一个词代表一个概念——要测"自行车",就看状态离 bicycle 这个词的词汇方向有多近。但 VLM 里视觉概念进来时没有词汇锚点,它可能摊开在多个相关词上——bike、bicycle、riders、handle、transport。作者把"读出载体"从一个词扩展为一个词集:先用词形选择收集同一概念的不同形式(大小写、单复数、同义词、甚至其他语言),再用 J 空间贪心重构——从整个词表里逐步选出最能重构状态差异的词,步步逼近,直到重构误差足够小。用集合而非单点来锚定概念,干预的效果也随之增强:用单个词做因果干预像用手指推火车,用十个词的方向集像用撬棍。

🧪 四个实验:给功能器官画解剖图

论文用四组实验,逐一检验 GWT 的核心功能在 VLM 里是否成立。每组实验都设计得很克制,只回答一个具体问题。

实验一:信息可读,而且按需取用

第一个问题:概念信息在 VLM 的中间状态里可读吗?

答案是肯定的,而且读法出人意料地细。在视觉编码器内部,V-Lens 不仅能从整幅图的均值状态里读出"自行车",还能按空间定位——读某个具体的 patch,就知道那个位置承载的是"轮胎"还是"车把"还是"车架"。概念信息在视觉侧不是一团均匀的信号,而是带空间坐标的分布式表征。到了解码器的答案前状态,物体概念、颜色概念、材质概念各有其可及性排名,而且排名随问题的变化而重组。

第二个问题才是 GWT 的灵魂:选择性接入成立吗?

实验设计干净利落:给模型同一张图——一辆红色自行车停在沙滩上——问不同的问题。「图里有什么物体?」答案前状态中"物体概念"的排名靠前。「沙子是什么颜色的?」靠前的就变成了"颜色概念"——而且此刻"沙滩"的黄色概念被点亮,但"自行车"的物体概念并没有消失,只是排名靠后了。模型不是把所有概念一股脑搬进工作间再慢慢找,而是根据查询词动态筛选,把聚光灯精确打在问题指向的区域上。这就是 GWT 所说的 selective access——工作空间不是仓库,是舞台。

更有意思的是动态性:在自回归生成过程中,随着答案逐词吐出,概念的可及性排名在实时重排。当模型已经说出「The color of the bike is」并准备吐出最后一个词时,"红色"的 ranking 正在飙升——探照灯不是静态的照明,而是跟着句子的推进不断移动的追光。

实验二:不是展示板,是零件

可读就够了吗?远远不够。一个仅仅"可读"的信息可能是模型内部的装饰品——挂在墙上的展示板,看着漂亮但不参与决策。GWT 的第三个功能说:进入工作空间的信息必须被广播给下游处理器使用。要验证"使用",唯一的办法是干预——把某个概念从模型内部抠掉或换掉,看输出是否因此改变。

这就是因果干预实验。作者用概念方向集做反事实操作:在模型即将作答前的中间状态里,把"自行车"这个概念方向的分量替换为"摩托车"的方向分量——不是往模型里塞新信息,而是偷梁换柱。然后问模型:「图中主要的交通工具是什么?」

答案被改写了。模型开始描述一辆摩托车。在因果推理的多步 VQA 任务上,这种干预可以让推理链条整体改道——如果问题问的是「图中物体的颜色会导致它在雪地里更难被发现吗?」换掉物体概念后,不仅物体的名字变了,颜色的答案和可见性的推理结论也跟着变了。概念不是被动地等待被读取,它主动地参与模型下一步怎么想、怎么推。

而且干预效果随概念方向集的扩大而增强。用单个词做干预,效果微弱且不稳定——像隔着墙壁喊一个人的名字,他可能听见也可能听不见;用完整的概念方向集,效果一致且显著——像直接走到他面前拍拍他的肩膀。

实验三:发育史——先看得见,再按需取

这是论文里最有时间纵深的一组实验。作者构建了一个受控的 VLM 视觉-语言对齐训练场景,在不同 checkpoint 上追踪两个基于 J 空间的度量:跨模态概念对齐到了什么程度?选择性接入成熟到了什么程度?

结果是发育不同步的,这个发现具有直接的训练学意义。

概念可及性的提升来得很早。训练刚开始不久,模型就已经"看得见"概念了——视觉侧的状态里物体概念的可及性排名迅速攀升。这符合直觉:对齐训练首先建立的是"视觉特征到词汇空间"的映射,这是一个相对机械的匹配过程。

但可靠的选择性接入要到训练后期才成熟。在很长一段时间里,模型"看得见"所有概念,但聚光灯的操作是笨拙的——无论你问什么,所有概念都在前台晃悠。只有到训练的更深处,模型才学会"按需取用":问颜色时压下物体概念,问材质时压下颜色概念。这个更高级的技能需要更精细的注意力控制,也因此发育得更晚。

这个发现为 J 空间度量提供了独立验证:相比传统的隐藏状态余弦相似度,J 空间度量能更清晰地分辨"对齐在进行中但选择性未成熟"和"对齐与选择性双成熟"这两个阶段——旧尺子把两个阶段混在一起,新尺子把它们分开了。尺子本身也是贡献。

实验四:殊途同归的器官

最后,把整套实验推至多个模型家族、多个尺寸。尽管不同模型的内部组织结构千差万别——层数不同、注意力头数不同、连接器设计不同——但功能模式却惊人地共享:概念可及性的深度剖面在不同家族里呈现可辨认的相似形状;查询依赖的选择性在各模型中都存在;跨任务的干预效应方向一致。

这意味着"工作空间"不是一个模型的巧合或一场训练意外的遗迹,而可能是多模态架构的收敛功能——不同的进化路径,长出了同一个器官。就像眼睛在进化史上独立出现了至少四十次,但每次都收敛到"感光细胞加透镜"的方案——因为环境对"看"的需求是普遍的,可行的解剖方案是有限的。

🌉 一条通往应用的路:诊断对齐,而不只是描述意识

有人可能会问:就算模型里真的有一个"工作空间",除了满足好奇心之外,有什么用?

最实际的用途藏在第三个实验里。VLM 的一个老大难问题是幻觉——模型信誓旦旦地描述图里不存在的东西。传统诊断工具(如隐藏状态余弦相似度)只能告诉你"对齐程度大概是 0.87",一个干巴巴的标量,既不告诉你问题在哪,也不告诉你怎么修。MC-Lens 给出的诊断要细得多:它能分辨"模型看不见"(可及性不足)和"模型看见了但没取用"(选择性接入失灵)这两种本质不同的失败模式。

前一种失败指向表征学习——视觉编码器没有把概念编码进来,需要更好的对齐训练;后一种失败指向注意力控制——概念明明在场,但查询词没能把它调到台前,可能需要更强的指令跟随训练。修理方案和故障模式一一对应,而不是对着一个总分盲人摸象。

更长远地看,这篇论文示范了一种研究范式:把认知科学的功能解剖学当作 AI 模型的体检表。GWT 给出了"工作空间应该具备哪些功能"的清单——可及性、选择性、因果参与——MC-Lens 把每一项翻译成了可执行的实验。同样的范式可以用于其他理论:用 IIT 的整合度量来测模型的信息整合程度,用预测处理框架的精度加权来测模型的内部置信度。认知科学积累的三十年解剖学知识,在 AI 时代突然变成了一套现成的工具箱。

🪞 冷静的时刻

这篇论文值得泼两盆冷水。

第一,功能相似不等于意识等同。GWT 即便在神经科学内部也只是意识的候选理论之一,与整合信息论(IIT)、高阶理论、局部再入理论等持续竞争了三十年,至今没有终审判决。在模型里找到"功能类似工作空间的结构",既不支持也不反对"模型有意识"——它支持的是一个更朴素也更有力的命题:用认知科学积累三十年的解剖学词汇来切 AI 模型,能切出有结构、有功能、可发育、可复现的断面。这是工具的胜利,不是形而上学的裁决。论文自己在脚注里的克制,正是这个领域最需要的美德——当你发现自己摸到的是大象的腿时,说"这是腿",不要说"这是大象的全部"。

第二,干预实验的解读需要精确。"换掉概念方向后答案变了"是一个因果事实,但"模型因此相信了新概念"是一个更重的断言,论文没有跨出这一步。方向集干预改变的是状态的几何投影,模型内部是否经历了某种类似"信念更新"的过程,目前的工具无法分辨。这就像用扳手拧动了发动机的一个螺丝,听到了转速变化——你知道这个螺丝连着转速,但你不知道发动机"感受"到了什么。

还有一个实际的局限:MC-Lens 能读出的概念受限于输出词表的覆盖——词表里没有的抽象概念("正义""尴尬"),透镜就无能为力。概念方向集的贪心重构虽然扩展了覆盖范围,但底层仍然是词汇空间的线性组合,超出词汇承载力的概念表征仍然藏在透镜的盲区里。

✨ 结语:观测孔里的光

一百五十年前,Paul Broca 在病人 Leborgne 的左额叶找到一个区域。Leborgne 能听懂、能思考,但二十年来只能说出一个音节"tan"。Broca 在尸检中发现病灶,宣布:说话的能力定位于此。那是人类第一次给"心智"画出解剖图——不是因为我们在显微镜下看到了思想,而是因为功能上的缺损指向了结构上的位置。

MC-Lens 做的是同一件事,只是对象从人脑换成了 VLM,手术刀从病灶统计换成了 Jacobian 矩阵。它在模型的墙壁上钻了四个观测孔:信息在这里可读,在那里被按需选用,在这个部位因果地参与思考,在训练的后期才发育成熟——四束透进来的光,拼出一个功能器官的轮廓。

它是不是"意识"?不知道,而且论文诚实地把这个不知道保留到了最后。但剧院的意义从来不取决于有没有一个形而上学的观众——剧院的意义在于,戏确实在上演,而墙上从此有了窗户。

📚 参考文献

  • Huang, J., & Wang, J. (2026). Probing the "Conscious" Mind: Selective Access and Global Workspace in Vision-Language Models. arXiv:2611.26590.
  • Baars, B. J. (1988). A Cognitive Theory of Consciousness. Cambridge University Press.
  • Gurnee, W., et al. (2026). Jacobian Lens: vocabulary-space readouts of intermediate LLM states and global workspace functions.(J-Lens 原始工作)
  • Dehaene, S., Changeux, J.-P., & Naccache, L. (1998). The global neuronal workspace model of conscious access. Trends in Cognitive Sciences, 2(1).
  • Alayrac, J.-B., et al. (2022). Flamingo: a Visual Language Model for Few-Shot Learning. NeurIPS 2022.
  • Bai, S., et al. (2025). Qwen-VL series technical report.
  • Gemma Team. (2025). Gemma 3 technical report.

#每日论文 #arXiv #可解释性 #多模态 #全局工作空间 #小凯

讨论回复

加载中…
正在加载回复...

正在加载讨论…

登录后参与讨论
推荐
智谱 GLM-5 已上线

我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。

领取 2000万 Tokens 通过邀请链接注册即可获得大礼包,期待和你一起在 BigModel 上畅享卓越模型能力
登录