Gaze Heads: How VLMs Look at What They Describe
作者: Rohit Gandikota, David Bau
分类: cs.CV, cs.CL, cs.LG
发布日期: 2026-06-12
💡 一句话要点
提出凝视头机制以提升视觉语言模型的描述能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉语言模型 凝视头 注意力机制 图像描述 多模态学习 模型干预 实验分析
📋 核心要点
- 现有视觉语言模型在描述图像时的内部机制尚不明确，缺乏有效的控制手段。
- 论文提出了一种通过凝视头机制来跟踪和描述图像区域的解决方案，能够有效引导模型的描述方向。
- 实验表明，针对凝视头的干预可以显著提高模型在特定任务上的准确性，展示了该方法的有效性。
📝 摘要（中文）
本文探讨了视觉语言模型（VLM）内部如何描述图像的机制，发现模型通过一组特定的注意力头（称为凝视头）来跟踪当前描述的图像区域。通过简单的相关性评分和漫画条作为测试平台，研究表明这些凝视头不仅跟踪被描述的图像标记，还能通过干预其注意力方向来强制模型描述特定区域。实验结果显示，针对前100个凝视头的干预可以以83.1%的准确率引导模型回答特定漫画面板，而随机头的干预则无效。此外，该机制在不同规模的模型中均有效，表明通过机械分析识别的目标编辑可以在推理时有效引导多模态模型行为，而无需重新训练。
🔬 方法详解
问题定义：本文旨在解决视觉语言模型在描述图像时缺乏明确控制的问题。现有方法无法有效引导模型关注特定图像区域，导致描述的准确性和相关性不足。
核心思路：论文的核心思路是识别并利用模型中的凝视头，这些注意力头专门用于跟踪当前描述的图像区域。通过干预这些头的注意力方向，可以强制模型描述特定区域，从而提高描述的准确性。
技术框架：整体架构包括一个视觉语言模型的语言模型主干，凝视头作为特定的注意力机制。通过简单的相关性评分方法，研究者能够识别出这些凝视头，并进行有效的干预。
关键创新：最重要的技术创新点在于识别出凝视头并利用其进行目标区域的描述引导。这与现有方法的本质区别在于，传统方法通常缺乏对模型内部机制的深入理解和控制手段。
关键设计：在实验中，研究者对前100个凝视头进行了干预，发现其能够以83.1%的准确率引导模型描述特定漫画面板。相较于随机头的干预，凝视头的干预显著提高了模型的描述能力。
🖼️ 关键图片
📊 实验亮点
实验结果显示，针对前100个凝视头的干预能够以83.1%的准确率引导模型描述特定漫画面板，而随机头的干预则未能有效改变模型输出。这一结果表明，凝视头的干预在模型行为引导中具有显著优势，展示了该方法的有效性和实用性。
🎯 应用场景
该研究的潜在应用领域包括图像描述生成、自动化内容创作以及人机交互等。通过有效引导视觉语言模型的描述能力，可以在教育、娱乐和辅助技术等多个领域产生实际价值，提升用户体验和交互质量。
📄 摘要（原文）
How a vision-language model internally solves the task of describing an image is far from obvious. We find that the model develops a specific mechanism for this: a small set of attention heads in its language-model backbone, which we call gaze heads, whose attention tracks the image region the model is currently describing. We find them with a simple correlation score from a few forward passes, using comic strips as a controlled testbed where narrative order is laid out spatially. These gaze heads do not just track the image tokens being described: redirecting their attention to a chosen region forces the VLM to describe that region instead. A single attention-mask intervention on the top-100 gaze heads, fewer than 9% of all heads, steers the model's answer to any chosen comic panel at 83.1% accuracy, while the same intervention on random heads fails to redirect the answer, and intervening on all heads destroys generation. The same lever also extends to continuous control: switching the gaze target mid-generation makes the model wrap up its current panel description and move to the new one within a few tokens. Beyond comics, the same intervention redirects answers to chosen regions in natural COCO images. The mechanism further recurs across model sizes from 2B to 32B parameters and across other VLM architectures, although some frozen-encoder families show no comparable head set. More broadly, this shows that targeted edits identified through mechanistic analysis can serve as practical inference-time levers for steering multimodal model behavior, without any retraining. Our code, interactive demo, and datasets are available at https://gaze.baulab.info/