Visuals Lie, Consistency Speaks: Disentangling Spatial Attention from Reliability in Vision-Language Models
作者: Logan Mann, Yi Xia, Ajit Saravanan, Ishan Dave, Saadullah Ismail, Shikhar Shiromani, Emily Huang, Ruizhe Li, Kevin Zhu
分类: cs.CV, cs.AI, cs.CL, cs.LG
发布日期: 2026-06-16
备注: 16 pages. Accepted to the ICLR 2026 Workshop on Multimodal Intelligence. Code: https://github.com/itsloganmann/VLM-Reliability-Probe
💡 一句话要点
提出VLM可靠性探测器以解决多模态模型的信任问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态基础模型 视觉-语言模型 可靠性探测 注意力机制 生成动态 自一致性 抗干扰能力
📋 核心要点
- 现有视觉-语言模型的可靠性信号与视觉基础图无关，导致模型在生成时可能产生不可信的结果。
- 论文提出VLM可靠性探测器（VRP），通过结构注意力指标量化视觉编码器的注意力分布，揭示模型生成过程中的动态变化。
- 实验结果显示，自一致性是预测准确性的主要因素，且不同模型在可靠性分布上存在显著差异，影响其抗干扰能力。
📝 摘要（中文）
多模态基础模型在推理任务中的应用日益广泛，因此了解模型何时可能产生幻觉变得至关重要。本文挑战了传统的注意力-置信度假设，提出了VLM可靠性探测器（VRP），系统性研究了当代视觉-语言模型中的可靠性信号。通过引入结构注意力指标，揭示了模型在视觉特征处理中的“符号分离”现象，发现空间注意力与准确性几乎没有相关性，而自一致性是预测真实结果的主要因素。实验表明，不同模型在可靠性分布上的显著差异，强调了生成动态和内部状态分布的重要性。
🔬 方法详解
问题定义：本文旨在解决多模态视觉-语言模型在生成过程中可靠性信号与视觉基础图之间的脱节问题。现有方法依赖于注意力机制来判断模型的信任度，但效果不佳。
核心思路：通过引入VLM可靠性探测器（VRP），系统性分析视觉编码器的注意力分布，揭示其与生成结果之间的关系，强调生成动态的重要性。
技术框架：整体架构包括视觉编码器、结构注意力指标计算、生成动态分析等模块。首先量化注意力分布，然后分析其在不同层次的演变，最后评估生成结果的可靠性。
关键创新：最重要的创新在于提出了结构注意力指标（如聚类计数和空间熵），并发现空间注意力与准确性几乎无关，强调了自一致性在可靠性预测中的重要性。
关键设计：在模型设计中，采用了聚类计数（C_k）和空间熵（H_s）来量化视觉注意力，并追踪其在不同层次的演变，此外，实验中还进行了因果干预以评估模型的抗干扰能力。
🖼️ 关键图片
📊 实验亮点
实验结果表明，自一致性与准确性之间的相关性达到0.429，而空间注意力与准确性几乎没有相关性（R约为0.001）。不同模型在可靠性分布上存在显著差异，LLaVA在预测中存在脆弱的瓶颈，而PaliGemma和Qwen2-VL则表现出更强的抗干扰能力。
🎯 应用场景
该研究的潜在应用领域包括智能问答系统、图像描述生成和多模态推理等。通过提高模型的可靠性，能够增强用户对系统输出的信任，推动多模态AI技术在实际场景中的应用和发展。
📄 摘要（原文）
Multimodal Foundation Models are increasingly used as reasoning agents, making reliability, knowing when a model may hallucinate, critical. A common intuition, which we call the Attention-Confidence Assumption, holds that reliability follows from "structural" visual perception: tight attention on relevant regions should signal a trustworthy answer, while scattered attention signals confusion. We challenge this through the VLM Reliability Probe (VRP), a systematic cross-family study of reliability signals in contemporary Vision-Language Models (VLMs). We introduce structural-attention metrics, cluster counts (C_k) and spatial entropy (H_s), to quantify the visual encoder's gaze, and track its evolution (Delta H_s) across layers. This reveals a "Symbolic Detachment": models often "Early Lock" visual features only to diffuse attention later, severing early perception from final generation. Contrary to the grounding hypothesis, we find a "Cluster Failure": spatial attention has near-zero correlation (R approx 0.001) with accuracy. Instead, reliability is a phenomenon of generation dynamics and internal-state distributions. Self-Consistency, the agreement rate across sampled reasoning paths, is the dominant predictor of truth (R = 0.429). Scaling causal interventions exposes a sharp architectural divergence: LLaVA locks its prediction in a fragile late-stage bottleneck, whereas PaliGemma and Qwen2-VL distribute reliability globally, staying resilient even when ~50% or more of their most predictive layer is destroyed. For current VLMs, reliability signals are detached from visual grounding maps and are best inferred from generation-time dynamics and hidden-state probes.