Dismantling Pathological Shortcuts: A Causal Framework for Faithful LVLM Decoding
作者: Liu Yu, Can Chen, Ping Kuang, Zhikun Feng, Fan Zhou, Gillian Dobbie
分类: cs.CV, cs.AI
发布日期: 2026-06-25
备注: 29 pages, 25 figures. Accepted by ICML 2026
🔗 代码/项目: GITHUB
💡 一句话要点
提出Fox框架以解决大规模视觉语言模型的幻觉问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉语言模型 对象幻觉 因果干预 无监督学习 多模态融合 模型忠实性 注意力机制
📋 核心要点
- 现有的大规模视觉语言模型在推理过程中容易出现对象幻觉，导致生成结果不可靠。
- 本文提出Fox框架，通过无监督的方式定位风险中介，并通过因果干预切断病态捷径。
- 实验结果显示，Fox在性能上超越了SID 29.1%，并且在保持语言丰富性的同时提升了模型的忠实性。
📝 摘要（中文）
大规模视觉语言模型（LVLMs）展现出复杂的推理能力，但仍然容易出现对象幻觉。本文揭示了在决策关键步骤中，特定注意力头作为风险中介与视觉证据脱钩，从而触发幻觉，形成了一种绕过视觉基础的病态捷径。为了解决这一问题，本文提出了Fox（通过表达修正实现的忠实性和观察流），这是一个无训练的推理时框架。Fox利用视觉注意力熵探针无监督地诊断结构不对齐，定位风险中介。然后，通过数值对数饱和执行有针对性的因果干预，物理上切断捷径路径。最后，冲突门控合作解码策略调和干预的忠实性与观察的流畅性。大量实验表明，Fox在性能上达到了SOTA，超越了SID 29.1%，同时保持了语言的丰富性。
🔬 方法详解
问题定义：本文旨在解决大规模视觉语言模型中的对象幻觉问题，现有方法主要依赖注意力强度假设，未能有效处理结构不对齐的问题。
核心思路：通过识别和干预模型中的风险中介，Fox框架能够在推理过程中有效地切断幻觉产生的捷径，从而增强模型的忠实性。
技术框架：Fox框架包括三个主要模块：视觉注意力熵探针用于诊断结构不对齐，数值对数饱和用于因果干预，以及冲突门控合作解码策略用于平衡忠实性与流畅性。
关键创新：Fox的创新在于其无训练的推理时干预机制，能够在不依赖额外训练的情况下，实时定位并修正模型中的结构性问题，这与现有方法形成了鲜明对比。
关键设计：在Fox框架中，视觉注意力熵探针的设计允许无监督地识别风险中介，而数值对数饱和则通过物理手段切断不必要的捷径，确保模型生成的结果更为可靠。
🖼️ 关键图片
📊 实验亮点
实验结果表明，Fox框架在性能上超越了SID 29.1%，并在保持语言丰富性的同时显著提升了模型的忠实性。这一成果展示了Fox在解决对象幻觉问题上的有效性和创新性。
🎯 应用场景
该研究的潜在应用领域包括智能助手、自动内容生成和多模态信息检索等。通过提升视觉语言模型的忠实性，Fox框架能够在实际应用中提供更为准确和可靠的结果，推动相关技术的发展与应用。
📄 摘要（原文）
Large Vision-Language Models (LVLMs) exhibit sophisticated reasoning but remain susceptible to object hallucination. Deviating from the prevailing attention intensity assumption, we reveal a deeper dynamic structural misalignment: hallucination is triggered at decision-critical steps where specific attention heads, acting as risky mediators, decouple from visual evidence to lock onto language priors. This establishes a pathological shortcut that bypasses visual grounding. To dismantle this, we propose Fox (Faithfulness and Observational-flow via eXpression-rectification), a training-free inference-time framework. Fox diagnoses structural misalignment using a visual attention entropy probe to localize risky mediators unsupervisedly. We then execute a targeted causal intervention via numerical logit saturation to physically sever the shortcut path. Finally, a conflict-gated cooperative decoding strategy reconciles interventional faithfulness with observational fluency. Extensive experiments demonstrate that Fox achieves SOTA performance, outperforming SID by 29.1% while preserving linguistic richness. Code is available at https://github.com/Cc2021start/Fox.