See Only When Needed: Context-Aware Attention Intervention for Mitigating Hallucinations in LVLMs
作者: Yuqing Lei, Wenbo Lyu, Yingjun Du, Xiantong Zhen, Cees G. M. Snoek, Ling Shao
分类: cs.CV
发布日期: 2026-06-29
期刊: ECCV 2026
🔗 代码/项目: GITHUB
💡 一句话要点
提出上下文感知注意力干预以缓解LVLM中的幻觉问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉语言模型 多模态任务 注意力机制 幻觉缓解 上下文感知
📋 核心要点
- 现有的LVLM在处理多模态任务时，容易出现对象幻觉，且以往的补救措施未能有效解决这一问题。
- 本文提出的上下文感知注意力干预（CAI）通过选择性地关注视觉信息，增强了模型的视觉基础，同时保持了语言的流畅性。
- 实验结果显示，CAI在多个基准测试中显著降低了幻觉发生率，且在不使用对比解码的情况下仍能取得良好效果。
📝 摘要（中文）
大型视觉语言模型（LVLM）在多模态任务中表现出色，但仍然容易出现对象幻觉。以往的无训练补救措施通常均匀增强视觉信号，这可能会放大无关区域并引入虚假证据，从而损害流畅性。本文提出了上下文感知注意力干预（CAI），这是一种无训练的推理时机制，通过两个轴向的选择性来实施“仅在需要时查看”原则。在每个解码步骤中，CAI从早期层表示中推导出特定于标记的视觉相关性，以定位语义对齐的区域，并仅对在深层中不确定性激增的标记应用保守的、基于熵和深度的注意力倾斜，从而增强视觉基础，同时保持语言流畅性。大量实验表明，CAI在多个LVLM基础模型和基准上实现了最先进的幻觉缓解效果。
🔬 方法详解
问题定义：本文旨在解决大型视觉语言模型（LVLM）中对象幻觉的问题。现有方法通常通过均匀增强视觉信号来缓解幻觉，但这可能导致无关区域的放大和虚假证据的引入，影响模型的流畅性。
核心思路：提出的上下文感知注意力干预（CAI）机制通过“仅在需要时查看”的原则，结合两个轴向的选择性，来优化视觉信号的使用。CAI在解码过程中根据标记的视觉相关性进行干预，从而增强视觉基础。
技术框架：CAI的整体架构包括两个主要模块：首先，从早期层表示中提取标记特定的视觉相关性；其次，在深层中对不确定性激增的标记应用基于熵和深度的注意力倾斜。
关键创新：CAI的主要创新在于其针对性干预策略，能够在不改变自信标记和无关区域的情况下，增强视觉基础。这种方法与以往的均匀增强策略本质上不同。
关键设计：CAI的设计包括对注意力机制的调整，使用熵和深度作为门控机制，以确保仅在必要时对不确定性标记进行干预。
🖼️ 关键图片
📊 实验亮点
实验结果表明，CAI在多个LVLM基准测试中实现了最先进的幻觉缓解效果，显著降低了幻觉发生率，且在不使用对比解码的情况下，仍能保持良好的性能提升，具体提升幅度达到XX%。
🎯 应用场景
该研究的潜在应用领域包括智能视觉系统、自动驾驶、机器人视觉等多模态任务场景。通过有效缓解幻觉问题，CAI能够提升模型在实际应用中的可靠性和准确性，具有重要的实际价值和未来影响。
📄 摘要（原文）
Large Vision-Language Models (LVLMs) excel at multimodal tasks but remain prone to object hallucinations. Prior training-free remedies often uniformly strengthen visual signals, which may also amplify irrelevant regions and introduce spurious evidence, harming fluency. We propose Context-aware Attention Intervention (CAI), a training-free inference-time mechanism that enforces a see only when needed principle via two-axis selectivity: where to look and when to intervene. At each decoding step, CAI derives token-specific visual relevance from early-layer representations to localize semantically aligned regions, and applies a conservative, entropy- and depth-gated attention tilt only for uncertainty-spiking tokens in deeper layers where visual grounding degrades, leaving confident tokens and irrelevant regions largely unchanged. This targeted intervention strengthens visual grounding while preserving linguistic fluency, and it yields consistent improvements even without contrastive decoding, which remains optional as an auxiliary bias-suppression module. Extensive experiments across multiple LVLM backbones and benchmarks show that CAI achieves state-of-the-art hallucination mitigation, and our analysis characterizes CAI as a KL-minimal attention reweighting with bounded interference under inactive gates or small tilts. Code is available at https://github.com/Iris1946/CAI.