UHP Detection: LVLMs have their Unique Hallucination Pattern in the Consistency Space

📄 arXiv: 2608.03817v1 📥 PDF

作者: Amir Mohammad Ezzati, Kiyan Rezaee, Bardiya Kariminia, Mohamad Amin Yousefi, Asal Mohammadjafari Mamaqani, Behrad Samimi, Mohammad Hossein Rohban

分类: cs.CV, cs.AI

发布日期: 2026-08-04

备注: 12 pages

🔗 代码/项目: GITHUB

💡 一句话要点

提出UHP检测以解决LVLM模型幻觉检测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 幻觉检测 多模态推理 视觉-语言模型 不确定性建模 黑箱方法

📋 核心要点

  1. 现有的黑箱幻觉检测方法依赖单一一致性指标，无法充分捕捉模型不确定性的多样性。
  2. 本文提出的UHP检测框架通过扰动方式和逻辑极性两个维度建模幻觉，形成结构化的不确定性模式。
  3. 实验结果表明，UHP检测在多个基准数据集上显著提升了幻觉检测的性能，展示了其良好的泛化能力。

📝 摘要（中文）

大型视觉-语言模型（LVLMs）展现出强大的多模态推理能力，但仍然容易出现幻觉现象，即模型预测未能基于视觉证据。现有的黑箱幻觉检测方法通过单一一致性指标来估计不确定性，隐含假设模型的不确定性可以通过单一度量来充分表征。然而，幻觉在不同行为探测下表现出多样的不确定性，单一度量不足以描述其潜在行为。本文提出了独特幻觉模式（UHP）检测，作为一个完全黑箱框架，将幻觉建模为由扰动方式（图像与文本）和逻辑极性（陈述与其否定）定义的结构化不确定性模式。通过在AMBER和PhD数据集上的综合实验，UHP检测在多个LVLMs上始终优于先前的黑箱和白箱基线，AUC-ROC和AUC-PR的提升幅度分别达到+18.72%和+20.07%。

🔬 方法详解

问题定义：本文旨在解决大型视觉-语言模型（LVLMs）在幻觉检测中的不足，现有方法仅依赖单一一致性指标，无法全面表征模型的不确定性表现。

核心思路：提出独特幻觉模式（UHP）检测，将幻觉视为由扰动方式（图像与文本）和逻辑极性（陈述与否定）构成的结构化不确定性模式，旨在通过多维度捕捉模型的幻觉行为。

技术框架：UHP检测框架包括两个主要维度的交集，形成四个一致性组，分别提取组内和组间特征，训练轻量级分类器。

关键创新：UHP检测的创新在于引入了多维度的不确定性建模，区别于传统方法的单一度量，能够更全面地捕捉幻觉的多样性。

关键设计：在模型训练中，采用了特定的损失函数以优化分类器性能，同时通过广泛的消融实验验证了各一致性组的互补信息贡献。实验还表明，学习到的幻觉模式在不同数据集间具有良好的泛化能力。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

UHP检测在AMBER和PhD数据集上的实验结果显示，相较于最强的黑箱方法，AUC-ROC和AUC-PR分别提升了+18.72%和+20.07%，展现出显著的性能优势，且各一致性组的组合提供了互补的信息。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、医疗影像分析和智能助手等多模态系统，能够有效提高模型在实际应用中的可靠性和安全性。未来，UHP检测方法有望推动更复杂的多模态推理任务的发展，减少模型幻觉带来的风险。

📄 摘要（原文）

Large vision--language models (LVLMs) demonstrate strong multimodal reasoning capabilities but remain prone to hallucination, where model predictions are not grounded in visual evidence. Existing black-box hallucination detection methods estimate uncertainty through a single consistency metric, implicitly assuming that model uncertainty can be adequately characterized by a single measure. However, hallucinations exhibit diverse manifestations of uncertainty across different behavioral probes, making a single measure insufficient to characterize their underlying behavior. We propose \emph{Unique Hallucination Pattern (UHP) Detection}, a fully black-box framework that models hallucination as a structured uncertainty pattern defined by two axes: perturbation modality (image vs.\ text) and logical polarity (a statement vs.\ its negation). Their intersection produces four complementary consistency groups that capture distinct manifestations of model uncertainty, from which both within-group and between-group features are extracted to train a lightweight classifier. Through comprehensive experiments on AMBER and PhD across three LVLMs, UHP Detection consistently outperforms prior black-box and white-box baselines, with improvements of up to $+18.72\%$ AUC-ROC and $+20.07\%$ AUC-PR over the strongest black-box methods. Extensive ablation studies demonstrate that each consistency group contributes complementary information and that their combination forms a structured hallucination pattern. Furthermore, cross-dataset evaluation shows that this learned pattern generalizes across benchmarks, indicating that hallucination behavior reflects a model-specific consistency pattern. \textbf{Code is publicly available at} https://github.com/amirezzati/uhpdet.