ConTextual: Evaluating Context-Sensitive Text-Rich Visual Reasoning in Large Multimodal Models
作者: Rohan Wadhawan, Hritik Bansal, Kai-Wei Chang, Nanyun Peng
分类: cs.CV, cs.AI, cs.LG
发布日期: 2024-01-24 (更新: 2024-07-16)
期刊: PMLR 235:49733-49787, 2024
💡 一句话要点
提出ConTextual数据集以解决多模态模型在文本丰富视觉推理中的挑战
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态模型 视觉推理 文本理解 数据集构建 人类基线 上下文敏感 模型评估
📋 核心要点
- 现有多模态模型在处理上下文敏感的文本丰富视觉推理任务时表现不佳，缺乏有效的基准数据集进行评估。
- 本文提出了ConTextual数据集，专注于需要上下文理解的文本丰富图像，旨在提升多模态模型的推理能力。
- 实验结果显示，GPT-4V在与人类表现对比中存在30.8%的性能差距，揭示了模型在特定任务上的局限性。
📝 摘要（中文）
许多现实任务要求智能体在文本和视觉对象之间进行联合推理，这被称为上下文敏感的文本丰富视觉推理。然而，现有数据集缺乏对多模态模型在此领域能力的基准评估。本文介绍了ConTextual，一个新颖的数据集，包含需要上下文敏感推理的人类设计指令。我们评估了14个基础模型的性能，并建立了人类性能基线，发现GPT-4V与人类表现之间存在30.8%的显著差距。分析显示，GPT-4V在理解时间相关数据和信息图方面存在困难，但在理解抽象视觉上下文（如表情包和引用）方面表现良好。我们的数据集、代码和排行榜可在项目页面找到。
🔬 方法详解
问题定义：本文旨在解决现有多模态模型在上下文敏感文本丰富视觉推理中的不足，尤其是缺乏有效的数据集进行能力评估。
核心思路：通过引入ConTextual数据集，提供人类设计的指令，要求模型在理解文本与视觉元素交互的上下文中进行推理，从而提升模型的推理能力。
技术框架：整体架构包括数据集构建、模型评估和人类基线性能的建立。数据集包含多种需要上下文理解的任务，评估模型在这些任务上的表现。
关键创新：ConTextual数据集是首个专注于上下文敏感文本丰富视觉推理的基准，填补了现有研究的空白，提供了新的评估标准。
关键设计：在实验中，使用了14个基础模型进行评估，特别关注模型在时间数据和信息图方面的表现，设计了相应的评估指标以量化模型的推理能力。
🖼️ 关键图片
📊 实验亮点
实验结果显示，GPT-4V在上下文敏感文本丰富视觉推理任务中与人类表现相比存在30.8%的显著差距，尤其在时间相关数据和信息图的理解上表现不佳。这一发现强调了当前多模态模型在特定推理任务中的局限性。
🎯 应用场景
该研究的潜在应用领域包括智能助手、自动驾驶、机器人导航等，需要智能体在复杂环境中进行文本与视觉信息的综合理解。通过提升多模态模型的推理能力，可以在实际应用中实现更高的智能化水平，推动相关技术的发展与应用。
📄 摘要（原文）
Many real-world tasks require an agent to reason jointly over text and visual objects, (e.g., navigating in public spaces), which we refer to as context-sensitive text-rich visual reasoning. Specifically, these tasks require an understanding of the context in which the text interacts with visual elements within an image. However, there is a lack of existing datasets to benchmark the state-of-the-art multimodal models' capability on context-sensitive text-rich visual reasoning. In this paper, we introduce ConTextual, a novel dataset featuring human-crafted instructions that require context-sensitive reasoning for text-rich images. We conduct experiments to assess the performance of 14 foundation models (GPT-4V, Gemini-Pro-Vision, LLaVA-Next) and establish a human performance baseline. Further, we perform human evaluations of the model responses and observe a significant performance gap of 30.8% between GPT-4V (the current best-performing Large Multimodal Model) and human performance. Our fine-grained analysis reveals that GPT-4V encounters difficulties interpreting time-related data and infographics. However, it demonstrates proficiency in comprehending abstract visual contexts such as memes and quotes. Finally, our qualitative analysis uncovers various factors contributing to poor performance including lack of precise visual perception and hallucinations. Our dataset, code, and leaderboard can be found on the project page https://con-textual.github.io/