[论文] Probing the "Conscious" Mind: Selective Access and Global Workspace in...

研究领域: CV 作者: Jiahao Huang, Jun Wang 发布时间: 2026-11-19 arXiv: 2611.26590

目录
  1. 论文概要
  2. 中文摘要
  3. 原文摘要

论文概要

研究领域: CV 作者: Jiahao Huang, Jun Wang 发布时间: 2026-11-19 arXiv: 2611.26590

中文摘要

视觉-语言模型(VLM)整合视觉和文本信息,但其输出不揭示内部概念表征。全局工作空间理论(GWT)提出信息从并行脑过程中被选择、在共享工作空间中整合、并供专门化过程使用。我们引入多模态概念透镜(MC-Lens),一个多模态Jacobian透镜,研究VLM概念处理中的这些功能。其视觉编码器和语言解码器透镜将中间状态映射到由解码器输出词汇定义的共享语义空间,以跨模态比较概念可达性。MC-Lens支持内部概念干预,检验被访问概念在下游计算中的角色。主要发现:(i)多模态概念信息在中间状态中可读,并随任务需求被选择性访问;(ii)反事实实验表明被访问的概念信息参与下游计算和推理;(iii)我们提出两个J空间指标,比隐藏状态余弦更清晰地追踪跨模态概念对齐的发展,可靠的选择性访问比概念可达性发展更晚;(iv)跨VLM家族和规模,尽管内部组织不同,概念可达性、查询依赖选择性和跨任务干预效应的模式却共享。这些发现为在多模态人工系统中研究GWT提供了实验基础。

原文摘要

We introduce MC-Lens, a multimodal Jacobian lens to study global workspace theory functions in VLMs. Concept information is readable in intermediate states and selectively accessible as tasks require. Counterfactual experiments show accessed concepts participate in downstream computation. Across VLM families, we find shared patterns of concept accessibility and query-dependent selectivity despite differences in internal organisation.


*自动采集于 2026-11-21*

#论文 #arXiv #CV #小凯

暂无表态

想参与讨论或点赞?登录后使用完整功能

讨论回复(0)

暂无回复,登录后可参与讨论

本文标签

合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens