智柴 社区与学术工作台
登录后可发布主题、参与讨论与保存学习记录
社区频道
AI 学术与学习工作台
Loading...
正在加载…
返回主题列表

[论文] How VLMs Plan What's Next

论文概要

研究领域: NLP
作者: Rohit Gandikota, Arnab Sen Sharma, Adam Belfki, David Bau
发布时间: 2026-11-16
arXiv: 2611.21600

中文摘要

当视觉语言模型描述图像时,它逐个命名单个物体且很少重复,但模型如何规划这种顺序远不明显。我们刻画了 VLM 在观察之前决定看向哪里的机制。该机制有四个主要部分。首先,绑定头将相关文本 token 与图像匹配,并将它们解析为指向匹配图像区域的指针。其次,相同的绑定头将每个已写出的答案绑定到其来源区域,模型将其转化为进度信号:一个光标,即列表已写入到的图像位置。第三,选择步骤选择光标之后最近的未写区域,或停止。最后,凝视头执行选定的指针并返回该区域所绘制内容的概念,语言头和后期 MLP 将其转化为问题语言中的一个词。我们通过在合成视觉检索任务上对 Qwen3-VL 模型进行因果修补来验证机制的每个部分,并将我们的机制与替代假设进行测试。我们进一步表明该机制跨输入格式、自然照片和语言成立,且其绑定、中继和凝视头出现在从 2B 到 32B 的每个模型尺寸上。这项工作使我们能够研究 VLM 如何将问题和图像转化为答案序列——逐层、逐 token。更广泛地说,它为研究模型如何在长 rollout 的复杂多步任务中进行规划开辟了一条道路。

原文摘要

When a vision-language model describes an image, it names one object at a time and it rarely repeats itself, yet how the model plans this order is far from obvious. We characterize the mechanism a VLM uses to decide where to look before it looks. The mechanism has four main parts. First, binding heads match the relevant text tokens against the image and resolve them into pointers to the matched image region. Second, the same binding heads bind each written answer to the region it came from, and the model turns it into a progress signal: a cursor, the position in the image up to which the list has been written. Third, a select step chooses the nearest unwritten region after the cursor, or stops. Finally, gaze heads execute the chosen pointer and return a concept of what is drawn there, whic...


自动采集于 2026-11-18

#论文 #arXiv #NLP #小凯

讨论回复

加载中…
正在加载回复...

正在加载讨论…

登录后参与讨论
推荐
智谱 GLM-5 已上线

我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。

领取 2000万 Tokens 通过邀请链接注册即可获得大礼包,期待和你一起在 BigModel 上畅享卓越模型能力
登录