SEED-Bench-2-Plus: Benchmarking Multimodal Large Language Models with Text-Rich Visual Comprehension

📄 arXiv: 2404.16790v1 📥 PDF

作者: Bohao Li, Yuying Ge, Yi Chen, Yixiao Ge, Ruimao Zhang, Ying Shan

分类: cs.CV

发布日期: 2024-04-25

🔗 代码/项目: GITHUB

💡 一句话要点

提出SEED-Bench-2-Plus以评估多模态大语言模型的文本丰富视觉理解能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 文本丰富理解 视觉理解评估 基准测试 复杂场景模拟

📋 核心要点

  1. 现有的多模态大语言模型评估主要集中在一般视觉理解上，缺乏对文本丰富场景的全面评估。
  2. 本文提出SEED-Bench-2-Plus基准，专注于评估MLLMs在文本丰富视觉理解方面的能力，涵盖多种复杂场景。
  3. 通过对34个主流MLLMs的评估，揭示了它们在文本丰富视觉理解中的局限性，为未来研究提供了方向。

📝 摘要（中文）

理解文本丰富的视觉内容对于多模态大语言模型（MLLMs）的实际应用至关重要，因为现实世界中此类场景普遍存在，特征是图像中嵌入大量文本。尽管最近出现的MLLMs展现了令人印象深刻的多功能性，但它们在文本丰富场景中的能力尚未得到全面和客观的评估。为此，本文提出了SEED-Bench-2-Plus，一个专门用于评估MLLMs文本丰富视觉理解的基准，包含2300个多项选择题，涵盖图表、地图和网页三大类，模拟现实世界中的复杂文本环境。我们对34个知名的MLLMs进行了评估，强调了它们在文本丰富视觉理解方面的当前局限性，期望本研究能为现有基准提供有价值的补充，并激发进一步研究。

🔬 方法详解

问题定义：本文旨在解决多模态大语言模型在文本丰富视觉理解方面的评估不足，现有方法主要关注一般视觉理解，无法有效评估模型在复杂文本场景中的表现。

核心思路：提出SEED-Bench-2-Plus基准，专门设计用于评估MLLMs在文本丰富视觉理解中的能力，涵盖图表、地图和网页等多种复杂场景，以更真实地反映实际应用需求。

技术框架：该基准包含2300个多项选择题，经过精确的人类注释，分为三大类，旨在模拟现实世界中的文本丰富环境。评估过程涉及对34个知名MLLMs的系统性测试，分析其在不同场景下的表现。

关键创新：SEED-Bench-2-Plus是第一个专注于文本丰富视觉理解的评估基准，填补了现有评估工具的空白，提供了针对复杂文本场景的全面评估框架。

关键设计：基准题目设计考虑了文本的复杂性和多样性，确保覆盖广泛的现实场景，评估过程中采用了精确的人类注释，以提高评估的可靠性和有效性。

📊 实验亮点

在对34个主流MLLMs的评估中，发现它们在文本丰富视觉理解方面存在显著的局限性，尤其是在复杂场景下的表现不尽如人意。这一发现为未来模型的改进提供了重要的参考依据。

🎯 应用场景

该研究的潜在应用领域包括教育、数据可视化、信息检索等，能够帮助开发更智能的多模态系统，提升其在处理文本丰富内容时的能力。未来，SEED-Bench-2-Plus有望推动多模态大语言模型的进一步研究与应用，促进其在实际场景中的落地。

📄 摘要（原文）

Comprehending text-rich visual content is paramount for the practical application of Multimodal Large Language Models (MLLMs), since text-rich scenarios are ubiquitous in the real world, which are characterized by the presence of extensive texts embedded within images. Recently, the advent of MLLMs with impressive versatility has raised the bar for what we can expect from MLLMs. However, their proficiency in text-rich scenarios has yet to be comprehensively and objectively assessed, since current MLLM benchmarks primarily focus on evaluating general visual comprehension. In this work, we introduce SEED-Bench-2-Plus, a benchmark specifically designed for evaluating \textbf{text-rich visual comprehension} of MLLMs. Our benchmark comprises 2.3K multiple-choice questions with precise human annotations, spanning three broad categories: Charts, Maps, and Webs, each of which covers a wide spectrum of text-rich scenarios in the real world. These categories, due to their inherent complexity and diversity, effectively simulate real-world text-rich environments. We further conduct a thorough evaluation involving 34 prominent MLLMs (including GPT-4V, Gemini-Pro-Vision and Claude-3-Opus) and emphasize the current limitations of MLLMs in text-rich visual comprehension. We hope that our work can serve as a valuable addition to existing MLLM benchmarks, providing insightful observations and inspiring further research in the area of text-rich visual comprehension with MLLMs. The dataset and evaluation code can be accessed at https://github.com/AILab-CVC/SEED-Bench.