CMMU: A Benchmark for Chinese Multi-modal Multi-type Question Understanding and Reasoning

📄 arXiv: 2401.14011v3 📥 PDF

作者: Zheqi He, Xinya Wu, Pengfei Zhou, Richeng Xuan, Guang Liu, Xi Yang, Qiannan Zhu, Hua Huang

分类: cs.CL, cs.AI, cs.MM

发布日期: 2024-01-25 (更新: 2024-05-08)

🔗 代码/项目: GITHUB

💡 一句话要点

提出CMMU基准以解决中文多模态问题理解与推理挑战

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 中文问题理解 领域特定知识 教育评估 位置误差方差 大型语言模型 基准测试

📋 核心要点

  1. 现有的多模态基准主要集中在英语，且多为多项选择题，限制了对中文领域特定知识的评估。
  2. 本文提出CMMU基准，包含3603个中文问题，涵盖多种题型，旨在提升对MLLMs的评估能力。
  3. 实验结果表明，CMMU对多种开源MLLMs提出了显著挑战，验证了其有效性和必要性。

📝 摘要（中文）

多模态大型语言模型（MLLMs）在知识理解和推理能力上取得了显著进展，但在领域特定知识的掌握上仍面临挑战。现有的多模态基准主要集中在英语的多项选择题上，限制了评估的全面性。为此，本文提出了CMMU，一个针对中文的多模态和多类型问题理解与推理的新基准，包含3603个问题，涵盖从小学到高中七个学科，问题类型包括多项选择题、多响应题和填空题。此外，提出了一种名为位置误差方差的评估策略，用于定量分析多项选择题的位置信息偏差。对七个开源MLLMs及GPT4-V、Gemini-Pro和Qwen-VL-Plus的评估结果显示，CMMU对近期的MLLMs提出了显著挑战。

🔬 方法详解

问题定义：本文旨在解决现有多模态基准在中文领域特定知识评估中的不足，尤其是缺乏多样化题型和语言的限制。

核心思路：通过构建CMMU基准，提供多种类型的中文问题，增强对MLLMs在理解和推理能力上的评估，特别是在教育领域的应用。

技术框架：CMMU基准包含3603个问题，分为多项选择题、多响应题和填空题，覆盖从小学到高中的七个学科，评估策略包括位置误差方差。

关键创新：CMMU的创新在于其针对中文的多模态多类型问题设计，填补了现有基准的空白，并引入了新的评估策略以量化位置偏差。

关键设计：在问题设计中，考虑了不同学段的知识点，确保问题的多样性和挑战性，同时在评估中引入了位置误差方差作为新的量化指标。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果显示，CMMU对七个开源MLLMs及GPT4-V、Gemini-Pro和Qwen-VL-Plus的评估结果表明，CMMU显著提升了对模型理解和推理能力的挑战，验证了其有效性，尤其在多项选择题的评估中表现突出。

🎯 应用场景

CMMU基准的提出为中文教育领域的多模态学习提供了新的评估工具，能够帮助研究人员和教育工作者更好地理解和提升MLLMs在特定领域的表现。未来，该基准有望推动中文多模态技术的发展，促进智能教育的应用。

📄 摘要（原文）

Multi-modal large language models(MLLMs) have achieved remarkable progress and demonstrated powerful knowledge comprehension and reasoning abilities. However, the mastery of domain-specific knowledge, which is essential for evaluating the intelligence of MLLMs, continues to be a challenge. Current multi-modal benchmarks for domain-specific knowledge concentrate on multiple-choice questions and are predominantly available in English, which imposes limitations on the comprehensiveness of the evaluation. To this end, we introduce CMMU, a novel benchmark for multi-modal and multi-type question understanding and reasoning in Chinese. CMMU consists of 3,603 questions in 7 subjects, covering knowledge from primary to high school. The questions can be categorized into 3 types: multiple-choice, multiple-response, and fill-in-the-blank, bringing greater challenges to MLLMs. In addition, we propose an evaluation strategy called Positional Error Variance for assessing multiple-choice questions. The strategy aims to perform a quantitative analysis of position bias. We evaluate seven open-source MLLMs along with GPT4-V, Gemini-Pro, and Qwen-VL-Plus. The results demonstrate that CMMU poses a significant challenge to the recent MLLMs. The data and code are available at https://github.com/FlagOpen/CMMU.