Retrieval Heads Meet Vision: Uncovering How VLMs Locate and Extract Visual Information

📄 arXiv: 2608.27417v1 📥 PDF

作者: Chanho Park, Daehyeon Choi, Jihyun Lee, Minhyuk Sung

分类: cs.CV

发布日期: 2026-08-27

💡 一句话要点

提出视觉检索头以提升视觉语言模型的图像定位能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 视觉检索头 图像定位 多模态学习 因果推断 注意力机制 性能评估

📋 核心要点

  1. 现有的视觉语言模型在定位图像区域时缺乏对内部机制的理解，导致其性能提升受限。
  2. 本文提出视觉检索头（VRHs），通过分析注意力头的因果关系，揭示其在图像区域定位中的关键作用。
  3. 实验结果显示，屏蔽VRHs显著降低了模型的定位准确率，验证了其在视觉信息提取中的重要性。

📝 摘要（中文）

视觉语言模型（VLMs）能够根据文本提示定位图像区域并提取相应的视觉信息，但其内部机制尚不清楚。本文提出视觉检索头（VRHs），这是一小部分注意力头（约1.7-2.6%），它们在将文本描述与图像区域对应方面起着因果作用。通过重新设计现有的头评分方法，本文展示了如何有效识别这些因果头，并在多个VLM和基准测试中验证了其重要性。实验结果表明，仅屏蔽前20个VRHs就能使定位准确率下降多达80个百分点，而随机屏蔽相同数量的头则几乎没有影响。

🔬 方法详解

问题定义：本文旨在解决视觉语言模型在图像区域定位中的内部机制不明确的问题。现有方法未能有效识别哪些注意力头在此过程中起到关键作用。

核心思路：通过引入视觉检索头（VRHs），论文探讨了这些特定注意力头如何将文本描述与图像区域进行因果关联，从而提升模型的定位能力。

技术框架：整体架构包括对注意力头的评分方法重构，利用查询令牌、键聚合和跨样本聚合的统一设计空间，以识别因果头。主要模块包括头评分、VRHs识别和性能评估。

关键创新：最重要的技术创新在于识别出仅占注意力头小部分的VRHs对图像区域定位的因果影响，超越了文本检索头的因果稀疏通用三元组。

关键设计：在实验中，采用了针对VRHs的特定评分方法，并通过对比不同头的屏蔽效果，验证了VRHs在多种视觉参考任务中的因果性和功能特异性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，屏蔽前20个视觉检索头（VRHs）使得定位准确率下降高达80个百分点，而随机屏蔽相同数量的头几乎没有影响。这一发现验证了VRHs在视觉信息提取中的关键作用，并展示了其在多个基准测试中的广泛适用性。

🎯 应用场景

该研究的潜在应用领域包括图像检索、自动标注、增强现实等多模态交互场景。通过提升视觉语言模型的图像定位能力，能够更好地支持人机交互和信息检索，推动相关技术的实际应用和发展。

📄 摘要（原文）

Vision-language models (VLMs) can locate an image region referred to by a text prompt and route the corresponding visual evidence to the output, yet the internal mechanism behind this behavior is not understood. Inspired by retrieval heads in large language models, we ask whether VLMs contain an analogous mechanism for visual retrieval. We answer affirmatively by introducing Visual Retrieval Heads (VRHs), a small subset of attention heads (about 1.7-2.6%) that are causally responsible for grounding text descriptions to image regions. To find them, we recast existing head-scoring methods under a unified design space over query tokens, key aggregation, and cross-sample aggregation. We then show that scoring attention from output prediction tokens with a sum over the ground-truth referent region most reliably identifies causal heads. Across eleven VLMs and five referring-expression benchmarks, masking only the top 20 VRHs reduces grounding accuracy by up to 80 percentage points, while masking the same number of random heads has little effect. Beyond replicating the causal-sparse-universal triad established for text retrieval heads, VRHs exhibit several properties not previously reported: they generalize across visual reference tasks, remaining causal on attribute, spatial, counting, and visual-math benchmarks despite being discovered through bounding-box prediction; they are functionally specific, preserving output format while corrupting localization; and they are architecturally shared, transferring causally across VLMs that share an LLM backbone but differ in vision encoder, projector, and instruction tuning.