[论文] Retrieval Heads Meet Vision: Uncovering How VLMs Locate and Extract Vi...

论文概要

研究领域: CV 作者: Chanho Park, Daehyeon Choi, Jihyun Lee, Minhyuk Sung 发布时间: 2026-08-27 arXiv: 2608.27417

中文摘要

视觉语言模型（VLMs）可以定位文本提示所指的图像区域并将相应的视觉证据路由到输出，但这种行为背后的内部机制尚不清楚。受大语言模型中检索头的启发，我们询问VLMs是否包含用于视觉检索的类似机制。我们通过引入视觉检索头（VRHs）肯定地回答了这个问题，这是一个小的注意力头子集（约1.7-2.6%），在因果上负责将文本描述锚定到图像区域。为找到它们，我们在查询token、键聚合和跨样本聚合的统一设计空间下重新构建了现有头部分数方法。然后我们证明，从输出预测token对真实指称区域求和的注意力最可靠地识别因果头。在11个VLM和5个指代表达基准上，仅掩码前20个VRH就将定位准确率降低多达80个百分点，而掩码相同数量的随机头几乎没有影响。VRHs展示了几个以前未报道的特性：它们跨视觉参考任务泛化，在属性、空间、计数和视觉数学基准上保持因果性；它们在功能上特定，保持输出格式同时破坏定位；它们在架构上共享，在共享LLM骨干但视觉编码器、投影器和指令调优不同的VLM之间因果迁移。

原文摘要

Vision-language models (VLMs) can locate an image region referred to by a text prompt and route the corresponding visual evidence to the output, yet the internal mechanism behind this behavior is not understood. Inspired by retrieval heads in large language models, we ask whether VLMs contain an analogous mechanism for visual retrieval. We answer affirmatively by introducing Visual Retrieval Heads (VRHs), a small subset of attention heads (about 1.7-2.6%) that are causally responsible for grounding text descriptions to image regions. To find them, we recast existing head-scoring methods under a unified design space over query tokens, key aggregation, and cross-sample aggregation. We then show that scoring attention from output prediction tokens with a sum over the ground-truth referent reg...

#论文 #arXiv #CV #小凯