MULTI: Multimodal Understanding Leaderboard with Text and Images

📄 arXiv: 2402.03173v4 📥 PDF

作者: Zichen Zhu, Yang Xu, Lu Chen, Jingkai Yang, Yichuan Ma, Yiming Sun, Hailin Wen, Jiaqi Liu, Jinyu Cai, Yingzi Ma, Situo Zhang, Zihan Zhao, Liangtai Sun, Kai Yu

分类: cs.CL, cs.AI, cs.CV

发布日期: 2024-02-05 (更新: 2025-10-15)

备注: 24 pages, 19 figures, 10 tables. Details and access are available at: https://OpenDFM.github.io/MULTI-Benchmark/

期刊: Sci. China Inf. Sci. 68, 200107 (2025)

DOI: 10.1007/s11432-024-4602-x

💡 一句话要点

提出MULTI数据集以评估多模态大语言模型的真实能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 真实考试问题 图像文本理解 复杂推理 知识回忆 数据集构建 评估标准 教育AI

📋 核心要点

  1. 现有多模态大语言模型的评估方法多基于合成任务，缺乏真实场景的挑战性。
  2. 论文提出MULTI数据集，基于真实考试问题，涵盖图像文本理解和复杂推理等多种能力评估。
  3. 实验结果显示，Qwen2-VL-72B在MULTI和MULTI-Elite上的表现仍低于人类专家，表明MLLM有进一步提升的空间。

📝 摘要（中文）

随着多模态大语言模型（MLLMs）的快速发展，如何评估其与人类表现的对比成为一个重要问题。现有数据集往往基于合成或过于简单的任务，而一些模型已经超越了人类专家的基线。本文提出了MULTI，一个基于真实考试问题的中文多模态数据集，包含超过18,000个精心挑选的问题，评估模型在图像文本理解、复杂推理和知识回忆等方面的能力。此外，我们还引入了MULTI-Elite，一个包含500个难题的子集，以及MULTI-Extend，提供超过4,500个外部知识上下文以测试模型的上下文学习能力。我们的评估显示，MLLM仍有显著提升空间，Qwen2-VL-72B在MULTI上的准确率为76.9%，在MULTI-Elite上的准确率为53.1%，而人类专家的基线分别为86.1%和73.1%。MULTI不仅是一个强有力的评估平台，也为专家级AI的发展铺平了道路。

🔬 方法详解

问题定义：本文旨在解决现有多模态大语言模型评估方法缺乏真实场景挑战的问题。现有数据集往往过于简单，无法全面反映模型能力。

核心思路：论文提出MULTI数据集，基于真实考试问题，设计了多种复杂任务以评估模型在图像文本理解、推理和知识回忆等方面的能力。

技术框架：MULTI数据集由18,000个问题组成，分为多个模块，包括MULTI-Elite（500个难题）和MULTI-Extend（4,500个外部知识上下文），以全面评估模型的多模态理解能力。

关键创新：MULTI数据集的创新在于其基于真实考试问题的设计，提供了更具挑战性的评估标准，与现有合成数据集形成鲜明对比。

关键设计：在数据集构建过程中，采用了严格的问题筛选和精炼过程，确保问题的真实性和复杂性，以便更好地评估模型的实际表现。实验中使用的评估标准也基于人类专家的表现，确保了评估的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，Qwen2-VL-72B在MULTI数据集上的准确率为76.9%，在MULTI-Elite上的准确率为53.1%。相比之下，人类专家的基线表现分别为86.1%和73.1%，显示出MLLM在复杂任务中的提升空间。

🎯 应用场景

MULTI数据集的潜在应用场景包括教育评估、智能辅导系统和多模态AI的研究与开发。通过提供真实的考试问题，MULTI能够帮助研究者更好地理解和提升多模态大语言模型的能力，推动AI在教育领域的应用和发展。

📄 摘要（原文）

The rapid development of multimodal large language models (MLLMs) raises the question of how they compare to human performance. While existing datasets often feature synthetic or overly simplistic tasks, some models have already surpassed human expert baselines. In this paper, we present MULTI, a Chinese multimodal dataset derived from authentic examination questions. Comprising over 18,000 carefully selected and refined questions, MULTI evaluates models using real-world examination standards, encompassing image-text comprehension, complex reasoning, and knowledge recall. Additionally, We also introduce MULTI-Elite, a 500-question selected hard subset, and MULTI-Extend with more than 4,500 external knowledge context pieces for testing in-context learning capabilities. Our evaluation highlights substantial room for MLLM advancement, with Qwen2-VL-72B achieving a 76.9% accuracy on MULTI and 53.1% on MULTI-Elite leading 25 evaluated models, compared to human expert baselines of 86.1% and 73.1%. MULTI serves not only as a robust evaluation platform but also paves the way for the development of expert-level AI.