CMMMU: A Chinese Massive Multi-discipline Multimodal Understanding Benchmark

📄 arXiv: 2401.11944v4 📥 PDF

作者: Ge Zhang, Xinrun Du, Bei Chen, Yiming Liang, Tongxu Luo, Tianyu Zheng, Kang Zhu, Yuyang Cheng, Chunpu Xu, Shuyue Guo, Haoran Zhang, Xingwei Qu, Junjie Wang, Ruibin Yuan, Yizhi Li, Zekun Wang, Yudong Liu, Yu-Hsuan Tsai, Fengji Zhang, Chenghua Lin, Wenhao Huang, Jie Fu

分类: cs.CL, cs.AI, cs.CV

发布日期: 2024-01-22 (更新: 2024-11-04)

💡 一句话要点

提出CMMMU基准以评估中文多模态模型的推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态理解 中文评估 知识推理 大学水平 基准测试 人工智能 机器学习

📋 核心要点

  1. 现有的多模态模型在中文环境下的知识和推理能力评估存在显著不足，尤其是在大学水平的复杂任务中。
  2. CMMMU基准通过手动收集多模态问题，专注于中文语境下的大学知识和推理能力，填补了这一评估空白。
  3. 实验结果显示，现有的LMM在CMMMU基准上的表现不佳，GPT-4V的准确率仅为42%，显示出进一步提升的潜力。

📝 摘要（中文）

随着大型多模态模型（LMMs）能力的不断提升，评估其性能的需求日益增加。然而，在非英语环境下，尤其是中文语境中，评估LMMs的知识和推理能力仍存在较大差距。为此，本文提出了CMMMU，一个旨在评估LMMs在中文环境中进行大学水平知识和深思熟虑推理任务的新基准。CMMMU包含来自大学考试、测验和教科书的12,000个手动收集的多模态问题，涵盖艺术与设计、商业、科学、健康与医学、人文学科与社会科学、技术与工程六个核心学科。这些问题涉及30个学科，并包含39种高度异质的图像类型，如图表、图解、地图、表格、乐谱和化学结构。CMMMU专注于在中文语境中进行复杂的感知和推理，评估了11个开源LMM和一个专有的GPT-4V(ision)，结果显示即使是GPT-4V的准确率也仅为42%，表明仍有很大的改进空间。

🔬 方法详解

问题定义：本文旨在解决在中文环境中评估大型多模态模型（LMMs）知识和推理能力的不足，现有方法未能有效覆盖这一领域的复杂任务。

核心思路：CMMMU基准通过手动收集和设计多模态问题，专注于大学水平的知识和推理能力，确保问题的多样性和复杂性，以适应中文语境的需求。

技术框架：CMMMU的整体架构包括问题收集、标注、分类和评估四个主要模块。问题涵盖六个核心学科，确保了多学科的广泛性和代表性。

关键创新：CMMMU的创新在于其专注于中文环境下的多模态理解，填补了现有基准在非英语语境中的空白，提供了一个系统化的评估标准。

关键设计：在问题设计中，CMMMU采用了39种不同的图像类型，并确保问题的复杂性和多样性，以促进对LMMs的全面评估。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在对11个开源LMM和GPT-4V(ision)的评估中，GPT-4V的准确率仅为42%，显示出在中文多模态理解任务中仍有显著的提升空间。这一结果强调了CMMMU基准在推动LMMs发展的重要性。

🎯 应用场景

CMMMU基准的提出为中文多模态模型的研究提供了重要的评估工具，能够促进相关领域的研究进展。其潜在应用包括教育、智能问答系统和知识图谱构建等，未来可能推动中文LMMs的进一步发展与应用。

📄 摘要（原文）

As the capabilities of large multimodal models (LMMs) continue to advance, evaluating the performance of LMMs emerges as an increasing need. Additionally, there is an even larger gap in evaluating the advanced knowledge and reasoning abilities of LMMs in non-English contexts such as Chinese. We introduce CMMMU, a new Chinese Massive Multi-discipline Multimodal Understanding benchmark designed to evaluate LMMs on tasks demanding college-level subject knowledge and deliberate reasoning in a Chinese context. CMMMU is inspired by and strictly follows the annotation and analysis pattern of MMMU. CMMMU includes 12k manually collected multimodal questions from college exams, quizzes, and textbooks, covering six core disciplines: Art & Design, Business, Science, Health & Medicine, Humanities & Social Science, and Tech & Engineering, like its companion, MMMU. These questions span 30 subjects and comprise 39 highly heterogeneous image types, such as charts, diagrams, maps, tables, music sheets, and chemical structures. CMMMU focuses on complex perception and reasoning with domain-specific knowledge in the Chinese context. We evaluate 11 open-source LLMs and one proprietary GPT-4V(ision). Even GPT-4V only achieves accuracies of 42%, indicating a large space for improvement. CMMMU will boost the community to build the next-generation LMMs towards expert artificial intelligence and promote the democratization of LMMs by providing diverse language contexts.