PhD: A ChatGPT-Prompted Visual hallucination Evaluation Dataset

📄 arXiv: 2403.11116v4 📥 PDF

作者: Jiazhen Liu, Yuhan Fu, Ruobing Xie, Runquan Xie, Xingwu Sun, Fengzong Lian, Zhanhui Kang, Xirong Li

分类: cs.CV, cs.AI

发布日期: 2024-03-17 (更新: 2025-04-14)

备注: Accepted by CVPR 2025, Highlight

💡 一句话要点

提出ChatGPT辅助的视觉幻觉评估数据集以解决多模态大语言模型的幻觉问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉幻觉评估 多模态大语言模型 数据集构建 ChatGPT 计算机视觉 自然语言处理 模型评估

📋 核心要点

  1. 现有的多模态大语言模型在处理视觉信息时容易产生幻觉，缺乏有效的评估机制。
  2. 论文提出了一种基于ChatGPT的视觉幻觉评估数据集PhD，采用多种问题类型和上下文来评估模型的幻觉表现。
  3. PhD数据集包含超过14,000张图像和102,000个视觉问答三元组，揭示了MLLMs在不同任务和模式下表现的显著差异。

📝 摘要（中文）

多模态大语言模型（MLLMs）存在幻觉现象，导致视觉幻觉评估（VHE）成为一个新兴话题。本文贡献了一个ChatGPT辅助的视觉幻觉评估数据集（PhD），用于大规模的客观VHE。VHE的核心在于询问MLLMs关于特定图像的问题，以评估其幻觉的易感性。PhD数据集在任务和模式两个维度上进行结构化，涵盖了从低级到中级的五种视觉识别任务。通过ChatGPT辅助的半自动化流程构建，PhD提供了对MLLMs在不同模式和任务下表现的深入洞察。

🔬 方法详解

问题定义：本文旨在解决多模态大语言模型在视觉任务中产生幻觉的问题，现有方法缺乏系统的评估手段，难以量化模型的幻觉表现。

核心思路：通过构建一个结构化的视觉幻觉评估数据集PhD，利用ChatGPT生成多样化的问题和上下文，以全面评估MLLMs的幻觉易感性。

技术框架：PhD数据集的构建流程包括四个主要模块：任务特定的幻觉项选择、嵌入幻觉项的问题生成、虚假/错误上下文生成，以及反常识图像生成。

关键创新：PhD数据集的创新点在于其多样化的评估模式，包括正常视觉问答、虚假上下文和反常识图像等，提供了更全面的幻觉评估机制。

关键设计：数据集包含超过14,000张日常图像、750张反常识图像和102,000个视觉问答三元组，确保了评估的广泛性和有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，PhD数据集揭示了多模态大语言模型在不同任务和模式下的表现差异，提供了超过14,000张图像和102,000个视觉问答三元组，显著提升了幻觉评估的准确性和全面性。

🎯 应用场景

该研究的潜在应用领域包括多模态大语言模型的性能评估、模型的改进与优化，以及在计算机视觉和自然语言处理交叉领域的研究。PhD数据集为研究者提供了一个标准化的评估工具，有助于推动相关技术的发展与应用。

📄 摘要（原文）

Multimodal Large Language Models (MLLMs) hallucinate, resulting in an emerging topic of visual hallucination evaluation (VHE). This paper contributes a ChatGPT-Prompted visual hallucination evaluation Dataset (PhD) for objective VHE at a large scale. The essence of VHE is to ask an MLLM questions about specific images to assess its susceptibility to hallucination. Depending on what to ask (objects, attributes, sentiment, etc.) and how the questions are asked, we structure PhD along two dimensions, i.e. task and mode. Five visual recognition tasks, ranging from low-level (object / attribute recognition) to middle-level (sentiment / position recognition and counting), are considered. Besides a normal visual QA mode, which we term PhD-base, PhD also asks questions with specious context (PhD-sec) or with incorrect context ({PhD-icc), or with AI-generated counter common sense images (PhD-ccs). We construct PhD by a ChatGPT-assisted semi-automated pipeline, encompassing four pivotal modules: task-specific hallucinatory item (hitem) selection, hitem-embedded question generation, specious / incorrect context generation, and counter-common-sense (CCS) image generation. With over 14k daily images, 750 CCS images and 102k VQA triplets in total, PhD reveals considerable variability in MLLMs' performance across various modes and tasks, offering valuable insights into the nature of hallucination. As such, PhD stands as a potent tool not only for VHE but may also play a significant role in the refinement of MLLMs.