MMMU: A Massive Multi-discipline Multimodal Understanding and Reasoning Benchmark for Expert AGI
作者: Xiang Yue, Yuansheng Ni, Kai Zhang, Tianyu Zheng, Ruoqi Liu, Ge Zhang, Samuel Stevens, Dongfu Jiang, Weiming Ren, Yuxuan Sun, Cong Wei, Botao Yu, Ruibin Yuan, Renliang Sun, Ming Yin, Boyuan Zheng, Zhenzhu Yang, Yibo Liu, Wenhao Huang, Huan Sun, Yu Su, Wenhu Chen
分类: cs.CL, cs.AI, cs.CV
发布日期: 2023-11-27 (更新: 2024-06-13)
备注: CVPR 2024 Oral
💡 一句话要点
提出MMMU基准以评估多模态模型在多学科推理中的表现
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态理解 推理基准 领域知识 人工智能 专家级AGI
📋 核心要点
- 现有的多模态基准往往缺乏对复杂推理和领域知识的考察，无法有效评估模型的真实能力。
- MMMU基准通过收集多学科的多模态问题，设计了一个全面的评估框架，旨在挑战模型的高级推理能力。
- 实验结果显示，当前最先进的模型在MMMU基准上的表现仍不理想，GPT-4V和Gemini Ultra的准确率仅为56%和59%。
📝 摘要（中文）
我们介绍了MMMU：一个新的基准，旨在评估多模态模型在需要大学水平学科知识和深思熟虑推理的多学科任务上的表现。MMMU包含11500个精心收集的多模态问题，涵盖艺术与设计、商业、科学、健康与医学、人文学科与社会科学以及技术与工程六个核心学科。这些问题跨越30个学科和183个子领域，涉及30种高度异质的图像类型，如图表、图解、地图、表格、乐谱和化学结构。与现有基准不同，MMMU专注于具有领域特定知识的高级感知和推理，挑战模型执行类似专家面临的任务。对14个开源大语言模型以及专有的GPT-4V和Gemini的评估显示，MMMU带来了显著的挑战，即使是先进的GPT-4V和Gemini Ultra的准确率也仅为56%和59%，表明仍有很大的改进空间。我们相信MMMU将激励社区构建下一代多模态基础模型，朝着专家级人工通用智能迈进。
🔬 方法详解
问题定义：本论文旨在解决现有多模态基准在评估复杂推理和领域知识方面的不足，现有方法往往无法有效应对多学科任务的挑战。
核心思路：论文提出MMMU基准，通过精心设计的多模态问题，要求模型具备大学水平的学科知识和推理能力，旨在推动模型向专家级人工智能发展。
技术框架：MMMU基准包含11500个多模态问题，覆盖六个核心学科，涉及多种图像类型。评估过程包括模型在这些问题上的表现与准确率的比较。
关键创新：MMMU的最大创新在于其多学科、多模态的设计，强调领域特定知识的应用，与现有基准相比，提供了更具挑战性的评估标准。
关键设计：在设计过程中，问题的选择涵盖了多种学科和图像类型，确保了评估的广泛性和深度，同时设置了适当的评估指标以反映模型的真实能力。
🖼️ 关键图片
📊 实验亮点
实验结果显示，当前最先进的模型在MMMU基准上的表现仍不理想，GPT-4V和Gemini Ultra的准确率分别为56%和59%。这一结果表明，MMMU基准提出的挑战性任务对现有模型构成了显著的考验，未来有望推动模型的进一步改进。
🎯 应用场景
该研究的潜在应用领域包括教育、智能问答系统和专业领域的知识管理。通过评估多模态模型在复杂推理任务中的表现，MMMU基准可以帮助开发更智能的系统，提升人机交互的质量和效率，推动人工智能向更高水平发展。
📄 摘要（原文）
We introduce MMMU: a new benchmark designed to evaluate multimodal models on massive multi-discipline tasks demanding college-level subject knowledge and deliberate reasoning. MMMU includes 11.5K meticulously collected multimodal questions from college exams, quizzes, and textbooks, covering six core disciplines: Art & Design, Business, Science, Health & Medicine, Humanities & Social Science, and Tech & Engineering. These questions span 30 subjects and 183 subfields, comprising 30 highly heterogeneous image types, such as charts, diagrams, maps, tables, music sheets, and chemical structures. Unlike existing benchmarks, MMMU focuses on advanced perception and reasoning with domain-specific knowledge, challenging models to perform tasks akin to those faced by experts. The evaluation of 14 open-source LMMs as well as the proprietary GPT-4V(ision) and Gemini highlights the substantial challenges posed by MMMU. Even the advanced GPT-4V and Gemini Ultra only achieve accuracies of 56% and 59% respectively, indicating significant room for improvement. We believe MMMU will stimulate the community to build next-generation multimodal foundation models towards expert artificial general intelligence.