Visual Hallucinations of Multi-modal Large Language Models

📄 arXiv: 2402.14683v2 📥 PDF

作者: Wen Huang, Hongbin Liu, Minxin Guo, Neil Zhenqiang Gong

分类: cs.CV, cs.AI, cs.LG

发布日期: 2024-02-22 (更新: 2024-06-16)

备注: To appear in ACL Findings, 2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出VHTest工具以解决多模态大语言模型的视觉幻觉问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉幻觉 多模态大语言模型 生成模型 数据集构建 模型微调 视觉问答 图像生成

📋 核心要点

  1. 现有方法仅在有限的图像数据集中发现视觉幻觉实例，导致对多模态大语言模型性能的偏见理解。
  2. 本文提出VHTest工具，通过生成多样化的视觉幻觉实例，增强对MLLM在视觉问答中的评估。
  3. 实验表明，现有MLLM在新基准中有较高的幻觉率，微调后可显著降低幻觉发生率，且不影响其他基准性能。

📝 摘要（中文）

视觉幻觉（VH）指的是多模态大语言模型（MLLM）在视觉问答中对图像想象出不正确的细节。现有研究仅在已有图像数据集中发现VH实例，这导致对MLLM在VH情况下表现的理解偏差。本文提出了一种工具VHTest，用于生成多样化的VH实例。VHTest首先在现有图像数据集中（如COCO）找到一些初始VH实例，为每种VH模式生成文本描述，并利用文本到图像的生成模型（如DALL-E-3）基于文本描述生成VH图像。我们使用VHTest收集了一个包含1200个VH实例的基准数据集，并发现现有的MLLM（如GPT-4V、LLaVA-1.5和MiniGPT-v2）在我们的基准中有大量实例出现幻觉。此外，我们发现使用我们的基准数据集对MLLM进行微调可以减少其幻觉的可能性，而不影响其在其他基准上的表现。

🔬 方法详解

问题定义：本文旨在解决多模态大语言模型在视觉问答中产生的视觉幻觉问题。现有方法的痛点在于仅依赖有限的图像数据集，导致对模型性能的评估不全面。

核心思路：论文的核心解决思路是开发VHTest工具，通过生成多样化的视觉幻觉实例，提供更全面的评估基准。这种设计旨在揭示MLLM在不同情况下的表现差异。

技术框架：VHTest的整体架构包括三个主要模块：首先在现有图像数据集中识别初始的VH实例；其次为每种VH模式生成相应的文本描述；最后利用文本到图像的生成模型（如DALL-E-3）生成对应的VH图像。

关键创新：最重要的技术创新点在于VHTest工具的开发，使得研究者能够生成多样化的VH实例，从而克服了以往研究中数据集多样性不足的问题。这一方法与现有方法的本质区别在于其生成能力和多样性。

关键设计：在VHTest的设计中，关键参数包括文本描述的生成策略和图像生成模型的选择。损失函数的设计确保生成的图像与文本描述的一致性，网络结构则采用了先进的生成对抗网络（GAN）架构，以提高生成图像的质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，现有的多模态大语言模型在新基准中有高达70%的实例出现视觉幻觉。通过对模型进行微调，幻觉发生率显著降低，且在其他基准上的性能保持稳定，表明该方法的有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括视觉问答系统、图像生成和多模态学习等。通过提供多样化的视觉幻觉实例，VHTest可以帮助研究者更好地理解和改进多模态大语言模型的性能，推动相关技术在实际应用中的发展与落地。

📄 摘要（原文）

Visual hallucination (VH) means that a multi-modal LLM (MLLM) imagines incorrect details about an image in visual question answering. Existing studies find VH instances only in existing image datasets, which results in biased understanding of MLLMs' performance under VH due to limited diversity of such VH instances. In this work, we propose a tool called VHTest to generate a diverse set of VH instances. Specifically, VHTest finds some initial VH instances in existing image datasets (e.g., COCO), generates a text description for each VH mode, and uses a text-to-image generative model (e.g., DALL-E-3) to generate VH images based on the text descriptions. We collect a benchmark dataset with 1,200 VH instances in 8 VH modes using VHTest. We find that existing MLLMs such as GPT-4V, LLaVA-1.5, and MiniGPT-v2 hallucinate for a large fraction of the instances in our benchmark. Moreover, we find that fine-tuning an MLLM using our benchmark dataset reduces its likelihood to hallucinate without sacrificing its performance on other benchmarks. Our benchmarks are publicly available: https://github.com/wenhuang2000/VHTest.