VisER: Visual Evidence and Reliance for Object Hallucination Detection in LVLMs

📄 arXiv: 2608.30480v1 📥 PDF

作者: Afsaneh Hasanebrahimi, Hanxun Huang, Christopher Leckie, Sarah Erfani

分类: cs.CV, cs.LG

发布日期: 2026-08-31

备注: Accepted at EMNLP 2026 Main Conference

💡 一句话要点

提出VisER以解决大规模视觉语言模型中的物体幻觉检测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 物体幻觉 视觉语言模型 多模态学习 检测方法 视觉证据 视觉依赖 模型可靠性

📋 核心要点

  1. 核心问题：现有方法在检测物体幻觉时，无法有效区分内部支持来源，导致误判。
  2. 方法要点：VisER通过视觉证据和视觉依赖两个视角来评估生成物体的可靠性，提供更准确的检测。
  3. 实验或效果：VisER在多个LVLM和基准测试中显著提升了AUROC和AUPR性能，超越了多种基线。

📝 摘要（中文）

物体幻觉是大规模视觉语言模型中的一个持续可靠性问题，生成的物体提及可能听起来合理，但缺乏视觉基础。近期的无训练检测器利用内部信号如标记似然性、注意力、视觉置信度或图像-文本相似性来识别幻觉物体。这些信号有用，但往往受到来源混淆的影响。我们提出了VisER，这是一种无训练的双面度量，用于物体级幻觉检测。VisER从两个互补的视角评估每个生成的物体提及，视觉证据衡量物体上下文兼容性是否得到图像标记的支持，视觉依赖则衡量物体是否更依赖于图像而非生成的前缀。结合这两个视角，VisER提供了更具来源意识的基础分数，并避免了额外的物体级验证生成。在多个LVLM和基准测试中，VisER在AUROC和AUPR上超越了一系列基线。

🔬 方法详解

问题定义：本论文旨在解决大规模视觉语言模型中的物体幻觉检测问题。现有方法依赖内部信号来识别幻觉物体，但这些信号往往无法有效区分支持来源，导致高误判率。

核心思路：VisER的核心思路是从两个互补的视角来评估生成的物体提及：视觉证据和视觉依赖。通过这种方式，能够更清晰地识别物体是否有真实的视觉支持，而不仅仅是文本生成的结果。

技术框架：VisER的整体架构包括两个主要模块：视觉证据模块和视觉依赖模块。视觉证据模块分析图像标记与上下文的兼容性，视觉依赖模块则评估物体支持的来源。

关键创新：VisER的主要创新在于其双面度量方法，能够有效区分物体的视觉支持与文本生成的支持。这一方法与现有的单一信号检测方法本质上不同，提供了更为准确的检测结果。

关键设计：在设计上，VisER采用了特定的参数设置和损失函数，以确保视觉证据和视觉依赖的评估能够相辅相成，提升整体检测性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个大规模视觉语言模型和基准测试中，VisER显著提升了AUROC和AUPR指标，具体性能数据表明其在多种基线测试中均取得了超过5%的提升，展示了其在物体幻觉检测中的有效性。

🎯 应用场景

该研究的潜在应用领域包括智能监控、自动驾驶、增强现实等场景，能够有效提高视觉语言模型在实际应用中的可靠性和准确性。未来，VisER有望推动更高效的多模态学习和人机交互技术的发展。

📄 摘要（原文）

Object hallucination remains a persistent reliability issue in large vision-language models, where generated object mentions may sound plausible but lack visual grounding. Recent training-free detectors use internal signals such as token likelihood, attention, visual confidence, or image-text similarity to identify hallucinated objects. These signals are useful, but they are often source-confounded. They measure how strongly an object is supported inside the model without distinguishing whether that support comes from object-specific visual evidence or the generated text prefix. In difficult cases, a hallucinated object can still receive high internal support because it fits the scene, is associated with nearby visual cues, or follows naturally from the generated text prefix. We propose VisER, a training-free two-sided metric for object-level hallucination detection. VisER evaluates each generated object mention from two complementary views. Visual Evidence measures whether object-context compatibility is backed by object-specific evidence from image tokens. Visual Reliance measures whether the object is supported more by the image than by the generated prefix. Combining these views gives a more source-aware grounding score, while avoiding additional object-level verification generations. Across multiple LVLMs and benchmarks, VisER improves AUROC and AUPR over a range of baselines.