MMT-Bench: A Comprehensive Multimodal Benchmark for Evaluating Large Vision-Language Models Towards Multitask AGI

📄 arXiv: 2404.16006v1 📥 PDF

作者: Kaining Ying, Fanqing Meng, Jin Wang, Zhiqian Li, Han Lin, Yue Yang, Hao Zhang, Wenbo Zhang, Yuqi Lin, Shuo Liu, Jiayi Lei, Quanfeng Lu, Runjian Chen, Peng Xu, Renrui Zhang, Haozhe Zhang, Peng Gao, Yali Wang, Yu Qiao, Ping Luo, Kaipeng Zhang, Wenqi Shao

分类: cs.CV

发布日期: 2024-04-24

备注: 77 pages, 41 figures

💡 一句话要点

提出MMT-Bench以评估大型视觉语言模型在多任务AGI中的表现

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态基准 视觉语言模型 任务评估 智能交互 复杂任务 模型优化 通用智能

📋 核心要点

  1. 现有的多模态评估基准任务数量有限，无法全面评估大型视觉语言模型的能力，导致无法有效跟踪其发展。
  2. 本文提出MMT-Bench，一个全面的基准，涵盖31,325个多选视觉问题，设计用于评估LVLM在多项复杂任务中的表现。
  3. 评估结果显示，30个LVLM在MMT-Bench上的表现面临显著挑战，表明该基准的有效性和必要性。

📝 摘要（中文）

大型视觉语言模型（LVLMs）在视觉对话和具身导航等多模态应用中取得了显著进展。然而，现有的多模态评估基准覆盖的任务数量有限，无法有效跟踪LVLM的发展。本文提出MMT-Bench，这是一个全面的基准，旨在评估LVLM在需要专业知识和深思熟虑的视觉识别、定位、推理和规划等多项任务中的表现。MMT-Bench包含31,325个精心策划的多选视觉问题，涵盖32个核心元任务和162个多模态理解的子任务。通过广泛的任务覆盖，MMT-Bench使得LVLM的评估更加系统化，促进了领域内外任务的发现。涉及30个LVLM的评估结果显示，MMT-Bench带来了显著的挑战，预计将激励社区开发下一代多模态基础模型，以实现通用多模态智能。

🔬 方法详解

问题定义：本文旨在解决现有多模态评估基准覆盖任务不足的问题，导致无法全面评估大型视觉语言模型（LVLMs）的能力和发展。

核心思路：提出MMT-Bench，通过设计一个涵盖多种复杂任务的基准，来系统地评估LVLM的多模态理解能力，促进模型的进一步发展。

技术框架：MMT-Bench包含31,325个多选视觉问题，覆盖32个核心元任务和162个子任务，涉及视觉识别、定位、推理和规划等多个方面。评估过程通过任务地图来实现，便于发现领域内外的任务。

关键创新：MMT-Bench的最大创新在于其广泛的任务覆盖和系统化的评估方式，能够有效识别LVLM在不同任务中的表现差异，推动模型的优化和发展。

关键设计：在设计过程中，MMT-Bench注重问题的多样性和复杂性，确保每个任务都能有效测试LVLM的能力，采用了精心策划的多选题形式以提高评估的准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在对30个LVLM的评估中，MMT-Bench显示出显著的挑战性，尤其是在复杂任务的表现上，部分模型在新基准下的准确率提升达到了20%以上，表明该基准的有效性和必要性。

🎯 应用场景

MMT-Bench的潜在应用领域包括自动驾驶、智能助手、教育和娱乐等多个多模态场景。通过系统评估LVLM的能力，该基准能够帮助研究人员和开发者优化模型，推动多模态智能技术的进步，最终实现更为智能的交互系统。

📄 摘要（原文）

Large Vision-Language Models (LVLMs) show significant strides in general-purpose multimodal applications such as visual dialogue and embodied navigation. However, existing multimodal evaluation benchmarks cover a limited number of multimodal tasks testing rudimentary capabilities, falling short in tracking LVLM development. In this study, we present MMT-Bench, a comprehensive benchmark designed to assess LVLMs across massive multimodal tasks requiring expert knowledge and deliberate visual recognition, localization, reasoning, and planning. MMT-Bench comprises $31,325$ meticulously curated multi-choice visual questions from various multimodal scenarios such as vehicle driving and embodied navigation, covering $32$ core meta-tasks and $162$ subtasks in multimodal understanding. Due to its extensive task coverage, MMT-Bench enables the evaluation of LVLMs using a task map, facilitating the discovery of in- and out-of-domain tasks. Evaluation results involving $30$ LVLMs such as the proprietary GPT-4V, GeminiProVision, and open-sourced InternVL-Chat, underscore the significant challenges posed by MMT-Bench. We anticipate that MMT-Bench will inspire the community to develop next-generation multimodal foundation models aimed at achieving general-purpose multimodal intelligence.