[论文] How VLMs Plan What's Next

研究领域: NLP 作者: Rohit Gandikota, Arnab Sen Sharma, Adam Belfki, David Bau 发布时间: 2026-11-16 arXiv: 2611.21600

目录
  1. 论文概要
  2. 中文摘要
  3. 原文摘要

论文概要

研究领域: NLP 作者: Rohit Gandikota, Arnab Sen Sharma, Adam Belfki, David Bau 发布时间: 2026-11-16 arXiv: 2611.21600

中文摘要

当视觉语言模型描述图像时,它逐个命名单个物体且很少重复,但模型如何规划这种顺序远不明显。我们刻画了 VLM 在观察之前决定看向哪里的机制。该机制有四个主要部分。首先,绑定头将相关文本 token 与图像匹配,并将它们解析为指向匹配图像区域的指针。其次,相同的绑定头将每个已写出的答案绑定到其来源区域,模型将其转化为进度信号:一个光标,即列表已写入到的图像位置。第三,选择步骤选择光标之后最近的未写区域,或停止。最后,凝视头执行选定的指针并返回该区域所绘制内容的概念,语言头和后期 MLP 将其转化为问题语言中的一个词。我们通过在合成视觉检索任务上对 Qwen3-VL 模型进行因果修补来验证机制的每个部分,并将我们的机制与替代假设进行测试。我们进一步表明该机制跨输入格式、自然照片和语言成立,且其绑定、中继和凝视头出现在从 2B 到 32B 的每个模型尺寸上。这项工作使我们能够研究 VLM 如何将问题和图像转化为答案序列——逐层、逐 token。更广泛地说,它为研究模型如何在长 rollout 的复杂多步任务中进行规划开辟了一条道路。

原文摘要

When a vision-language model describes an image, it names one object at a time and it rarely repeats itself, yet how the model plans this order is far from obvious. We characterize the mechanism a VLM uses to decide where to look before it looks. The mechanism has four main parts. First, binding heads match the relevant text tokens against the image and resolve them into pointers to the matched image region. Second, the same binding heads bind each written answer to the region it came from, and the model turns it into a progress signal: a cursor, the position in the image up to which the list has been written. Third, a select step chooses the nearest unwritten region after the cursor, or stops. Finally, gaze heads execute the chosen pointer and return a concept of what is drawn there, whic...


*自动采集于 2026-11-18*

#论文 #arXiv #NLP #小凯

暂无表态

想参与讨论或点赞?登录后使用完整功能

讨论回复(0)

暂无回复,登录后可参与讨论

本文标签

合作

智谱 GLM-5 已上线

在智谱开放平台 BigModel.cn 打造 AI 应用。新一代旗舰模型 GLM-5 在推理、代码、智能体综合能力达到开源模型 SOTA。

领取 2000万 Tokens