KnowHal: A Knowledge-Driven Benchmark for Comprehensive Multimodal Hallucination Evaluation

📄 arXiv: 2608.03782v1 📥 PDF

作者: Ruihan Li, Jiyang Tan, Kailin Jiang, Huining Li, Hengyang Lu, Yu Huang, Qian Li, Yuntao Du

分类: cs.AI

发布日期: 2026-08-04

备注: 9 pages, 7 figures

💡 一句话要点

提出KnowHal以解决多模态模型的知识幻觉评估问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 知识幻觉 评估基准 实体幻觉 属性幻觉 关系幻觉 性能评估 鲁棒性

📋 核心要点

  1. 现有评估方法主要集中在实体、属性和关系幻觉，缺乏对知识幻觉的统一评估，导致评估结果不全面。
  2. 论文提出KnowHal基准，整合知识幻觉与其他幻觉维度，通过成对问题设计实现更全面的评估。
  3. 实验结果表明，知识维度对大多数模型构成最大挑战，且模型在负问题上的表现显著下降，显示出鲁棒性不足。

📝 摘要（中文）

幻觉问题仍然是开发可信赖的多模态大语言模型（MLLMs）的关键挑战。现有基准主要关注实体、属性和关系幻觉，而知识相关的失败往往被单独研究，缺乏跨不同幻觉维度的统一评估框架。为此，本文提出了KnowHal，一个明确将知识幻觉纳入多模态幻觉评估的基准，涵盖实体、属性、关系和知识四个维度。KnowHal通过共享图像和实体构建成对的正负问题，使得感知错误、知识相关错误和错误前提接受之间的比较得以控制。该基准包含1800个样本，跨越10个领域和50个类别，采用结合LLM辅助、基于CLIP的过滤和人工验证的半自动化流程构建。对14个代表性MLLMs的评估显示，知识维度对几乎所有评估模型都是最大的挑战，而大多数模型在负问题上的性能显著下降，揭示了对错误前提的鲁棒性有限。通过成对问题设计统一四个幻觉维度，KnowHal填补了现有评估框架中的重要空白，能够更全面地评估MLLMs中的幻觉现象。

🔬 方法详解

问题定义：本研究旨在解决多模态大语言模型（MLLMs）在知识幻觉评估中的不足，现有方法未能统一评估不同幻觉维度，导致评估结果片面。

核心思路：提出KnowHal基准，通过将知识幻觉纳入评估框架，设计成对的正负问题，允许对感知错误和知识相关错误进行控制比较，从而实现更全面的评估。

技术框架：KnowHal基准包含1800个样本，覆盖10个领域和50个类别，采用半自动化流程构建，结合LLM辅助、CLIP过滤和人工验证。评估过程包括对14个代表性MLLMs的测试与分析。

关键创新：KnowHal的创新在于将知识幻觉与其他幻觉维度统一评估，填补了现有评估框架的空白，提供了更全面的评估工具。

关键设计：在样本构建中，采用成对问题设计，确保正负问题的平衡，利用CLIP进行图像过滤，结合人工验证确保样本质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，知识维度对几乎所有评估的MLLMs构成了最大的挑战，且在负问题上的性能显著下降，部分模型的性能降低幅度超过20%。这一发现揭示了当前模型在处理错误前提时的鲁棒性不足，强调了KnowHal基准的重要性。

🎯 应用场景

该研究的潜在应用领域包括多模态大语言模型的开发与评估，尤其是在需要高可信度和低幻觉率的场景，如医疗、法律和自动驾驶等领域。KnowHal基准的建立将推动相关领域的研究进展，提升模型的实际应用价值。

📄 摘要（原文）

Hallucination remains a critical challenge for developing trustworthy Multimodal Large Language Models (MLLMs). While existing benchmarks mainly focus on entity, attribute, and relation hallucinations, knowledge-related failures are often investigated separately, lacking a unified evaluation framework across different hallucination dimensions. To overcome this, we propose \textbf{KnowHal}, a benchmark that explicitly incorporates knowledge hallucination into multimodal hallucination evaluation spanning four dimensions: entity, attribute, relation, and knowledge. KnowHal constructs paired positive and negative questions over shared images and entities, enabling controlled comparisons among perceptual errors, knowledge-related errors, and false-premise acceptance. The benchmark contains 1,800 samples across 10 domains and 50 categories, constructed through a semi-automated pipeline combining LLM assistance, CLIP-based filtering, and human verification. We evaluate 14 representative MLLMs on KnowHal and conduct extensive analyses. Results show that the knowledge dimension consistently presents the greatest challenge for nearly all evaluated models, while most models exhibit substantial performance degradation on negative questions, revealing limited robustness to false premises. By unifying four hallucination dimensions with paired question design, KnowHal addresses an important gap in existing evaluation frameworks and enables a more comprehensive assessment of hallucinations in MLLMs.