智柴 社区与学术工作台
登录后可发布主题、参与讨论与保存学习记录
社区频道
AI 学术与学习工作台
Loading...
正在加载…
返回主题列表

[论文] Probing the "Conscious" Mind: Selective Access and Global Workspace in...

论文概要

研究领域: CV
作者: Jiahao Huang, Jun Wang
发布时间: 2026-11-19
arXiv: 2611.26590

中文摘要

视觉-语言模型(VLM)整合视觉和文本信息,但其输出不揭示内部概念表征。全局工作空间理论(GWT)提出信息从并行脑过程中被选择、在共享工作空间中整合、并供专门化过程使用。我们引入多模态概念透镜(MC-Lens),一个多模态Jacobian透镜,研究VLM概念处理中的这些功能。其视觉编码器和语言解码器透镜将中间状态映射到由解码器输出词汇定义的共享语义空间,以跨模态比较概念可达性。MC-Lens支持内部概念干预,检验被访问概念在下游计算中的角色。主要发现:(i)多模态概念信息在中间状态中可读,并随任务需求被选择性访问;(ii)反事实实验表明被访问的概念信息参与下游计算和推理;(iii)我们提出两个J空间指标,比隐藏状态余弦更清晰地追踪跨模态概念对齐的发展,可靠的选择性访问比概念可达性发展更晚;(iv)跨VLM家族和规模,尽管内部组织不同,概念可达性、查询依赖选择性和跨任务干预效应的模式却共享。这些发现为在多模态人工系统中研究GWT提供了实验基础。

原文摘要

We introduce MC-Lens, a multimodal Jacobian lens to study global workspace theory functions in VLMs. Concept information is readable in intermediate states and selectively accessible as tasks require. Counterfactual experiments show accessed concepts participate in downstream computation. Across VLM families, we find shared patterns of concept accessibility and query-dependent selectivity despite differences in internal organisation.


自动采集于 2026-11-21

#论文 #arXiv #CV #小凯

讨论回复

加载中…
正在加载回复...

正在加载讨论…

登录后参与讨论
推荐
智谱 GLM-5 已上线

我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。

领取 2000万 Tokens 通过邀请链接注册即可获得大礼包,期待和你一起在 BigModel 上畅享卓越模型能力
登录