IllusionVQA: A Challenging Optical Illusion Dataset for Vision Language Models

📄 arXiv: 2403.15952v3 📥 PDF

作者: Haz Sameen Shahgir, Khondker Salman Sayeed, Abhik Bhattacharjee, Wasi Uddin Ahmad, Yue Dong, Rifat Shahriyar

分类: cs.CV, cs.CL

发布日期: 2024-03-23 (更新: 2024-08-09)

💡 一句话要点

提出IllusionVQA数据集以评估视觉语言模型在光学错觉中的表现

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 光学错觉 视觉问答 多模态学习 推理能力

📋 核心要点

  1. 现有的视觉语言模型在处理光学错觉时表现不佳，缺乏对不合理图像的理解能力。
  2. 本文提出IllusionVQA数据集，通过光学错觉和复杂场景来评估VLM的视觉理解和推理能力。
  3. 实验结果显示，GPT4V在理解任务中的准确率为62.99%，而人类在同一任务中达到91.03%的准确率，显示出人类的优势。

📝 摘要（中文）

随着视觉语言模型（VLM）的发展，研究者们开始探讨神经网络在自然语言下的视觉理解能力。本文提出IllusionVQA，一个多样化的光学错觉和难以解读场景的数据集，旨在测试VLM在理解和软定位两项多选视觉问答任务中的能力。实验表明，GPT4V在理解任务中准确率为62.99%，而在定位任务中为49.7%。人类评估显示，在理解和定位任务中，人类的准确率分别为91.03%和100%。研究还发现，In-Context Learning（ICL）和Chain-of-Thought推理在定位任务中显著降低了Gemini-Pro的表现。

🔬 方法详解

问题定义：本文旨在解决视觉语言模型在处理光学错觉时的理解和定位能力不足的问题。现有方法在面对不合理图像时表现不佳，无法有效进行视觉推理。

核心思路：通过构建IllusionVQA数据集，提供多样化的光学错觉和复杂场景，以评估VLM在理解和定位任务中的表现。该设计旨在挑战模型的视觉理解能力，尤其是在面对不合理图像时。

技术框架：整体架构包括数据集构建、模型训练和评估三个主要阶段。数据集包含多种光学错觉，模型通过多选问答任务进行训练和评估。

关键创新：IllusionVQA数据集是首个专注于光学错觉的视觉问答数据集，填补了现有研究的空白，提供了新的评估标准。与传统数据集相比，它更能考验模型的推理能力和视觉理解。

关键设计：在实验中，使用了4-shot学习和Chain-of-Thought推理策略。关键参数设置包括模型的学习率和损失函数的选择，以优化模型在复杂场景中的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，GPT4V在理解任务中的准确率为62.99%，而在定位任务中为49.7%。相比之下，人类在理解和定位任务中的准确率分别达到91.03%和100%。这些结果表明，当前VLM在处理光学错觉时存在显著的性能差距，尤其是在定位任务中。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉、人工智能助手和教育工具等。通过提升视觉语言模型在复杂场景中的理解能力，可以为人机交互、自动问答系统和视觉内容生成等领域带来更高的准确性和可靠性，推动相关技术的发展。

📄 摘要（原文）

The advent of Vision Language Models (VLM) has allowed researchers to investigate the visual understanding of a neural network using natural language. Beyond object classification and detection, VLMs are capable of visual comprehension and common-sense reasoning. This naturally led to the question: How do VLMs respond when the image itself is inherently unreasonable? To this end, we present IllusionVQA: a diverse dataset of challenging optical illusions and hard-to-interpret scenes to test the capability of VLMs in two distinct multiple-choice VQA tasks - comprehension and soft localization. GPT4V, the best performing VLM, achieves 62.99% accuracy (4-shot) on the comprehension task and 49.7% on the localization task (4-shot and Chain-of-Thought). Human evaluation reveals that humans achieve 91.03% and 100% accuracy in comprehension and localization. We discover that In-Context Learning (ICL) and Chain-of-Thought reasoning substantially degrade the performance of Gemini-Pro in the localization task. Tangentially, we discover a potential weakness in the ICL capabilities of VLMs: they fail to locate optical illusions even when the correct answer is in the context window as a few-shot example.