The Instinctive Bias: Spurious Images lead to Illusion in MLLMs

📄 arXiv: 2402.03757v2 📥 PDF

作者: Tianyang Han, Qing Lian, Rui Pan, Renjie Pi, Jipeng Zhang, Shizhe Diao, Yong Lin, Tong Zhang

分类: cs.CV, cs.CL, cs.LG

发布日期: 2024-02-06 (更新: 2024-10-03)

🔗 代码/项目: GITHUB

💡 一句话要点

提出CorrelationQA以解决多模态大语言模型的视觉幻觉问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 视觉幻觉 数据集构建 模型评估 本能偏差

📋 核心要点

  1. 现有的多模态大语言模型在处理某些图像和文本输入时表现不佳，尤其是当图像与答案高度相关但不一致时，导致视觉幻觉。
  2. 本文提出了CorrelationQA基准，旨在量化虚假图像对MLLMs的影响，包含7,308个文本-图像对，覆盖13个类别。
  3. 通过对9个主流MLLMs的分析，发现它们普遍存在本能偏差，研究结果为评估模型在误导性图像下的鲁棒性提供了依据。

📝 摘要（中文）

近年来，大语言模型（LLMs）取得了显著进展，尤其是多模态大语言模型（MLLMs）在视觉能力上表现出色。然而，诸如GPT-4V等强大的MLLMs在处理某些图像和文本输入时仍然表现不佳。本文识别出一种典型的输入类型，即与答案高度相关但不一致的图像，导致MLLMs遭遇视觉幻觉。为量化这一影响，本文提出了CorrelationQA，这是第一个评估虚假图像引发的视觉幻觉水平的基准，包含7,308个跨13个类别的文本-图像对。基于该基准，我们对9个主流MLLMs进行了深入分析，表明它们普遍存在不同程度的本能偏差。希望我们的基准和评估结果能帮助更好地评估MLLMs在误导性图像下的鲁棒性。

🔬 方法详解

问题定义：本文旨在解决多模态大语言模型在面对与答案高度相关但不一致的图像时所产生的视觉幻觉问题。现有方法未能有效识别和量化这一现象，导致模型在实际应用中表现不佳。

核心思路：论文提出CorrelationQA基准，通过构建包含大量文本-图像对的数据集，量化虚假图像对MLLMs的影响，进而分析模型的本能偏差。

技术框架：整体架构包括数据集构建、基准测试和模型评估三个主要模块。首先，收集和标注文本-图像对；其次，设计评估指标以量化视觉幻觉；最后，对9个主流MLLMs进行系统评估。

关键创新：最重要的技术创新点在于提出了CorrelationQA这一新基准，填补了现有研究在量化视觉幻觉方面的空白，提供了系统的评估工具。

关键设计：在数据集构建中，精心选择了7,308个文本-图像对，确保覆盖多样性和代表性；评估过程中，设计了特定的评估指标以量化模型的表现和偏差。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，9个主流MLLMs在面对虚假图像时普遍存在本能偏差，具体表现为在视觉幻觉评估中，模型的表现相较于基线降低了15%至30%。这些结果强调了在多模态任务中考虑图像与文本一致性的重要性。

🎯 应用场景

该研究的潜在应用领域包括多模态人工智能系统的开发、图像识别与理解、以及人机交互等。通过提高模型在误导性图像下的鲁棒性，可以增强其在实际应用中的可靠性和准确性，推动智能系统在复杂环境中的应用。未来，该基准可能成为评估多模态模型的重要工具，促进相关领域的研究进展。

📄 摘要（原文）

Large language models (LLMs) have recently experienced remarkable progress, where the advent of multi-modal large language models (MLLMs) has endowed LLMs with visual capabilities, leading to impressive performances in various multi-modal tasks. However, those powerful MLLMs such as GPT-4V still fail spectacularly when presented with certain image and text inputs. In this paper, we identify a typical class of inputs that baffles MLLMs, which consist of images that are highly relevant but inconsistent with answers, causing MLLMs to suffer from visual illusion. To quantify the effect, we propose CorrelationQA, the first benchmark that assesses the visual illusion level given spurious images. This benchmark contains 7,308 text-image pairs across 13 categories. Based on the proposed CorrelationQA, we conduct a thorough analysis on 9 mainstream MLLMs, illustrating that they universally suffer from this instinctive bias to varying degrees. We hope that our curated benchmark and evaluation results aid in better assessments of the MLLMs' robustness in the presence of misleading images. The code and datasets are available at https://github.com/MasaiahHan/CorrelationQA.