GAOKAO-MM: A Chinese Human-Level Benchmark for Multimodal Models Evaluation

📄 arXiv: 2402.15745v2 📥 PDF

作者: Yi Zong, Xipeng Qiu

分类: cs.CL, cs.AI, cs.CV

发布日期: 2024-02-24 (更新: 2024-08-06)

💡 一句话要点

提出GAOKAO-MM基准以评估多模态模型的综合能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态基准 视觉语言模型 高考评估 推理能力 中文语境 人工智能评估 教育技术

📋 核心要点

  1. 现有多模态基准主要关注基本感知能力，无法全面评估大型视觉语言模型的综合能力。
  2. GAOKAO-MM基准结合中国高考内容，涵盖多种学科和图像类型，设定人类水平的评估标准。
  3. 实验结果显示，评估的10个LVLMs准确率均低于50%，揭示了它们在AGI方面的不足。

📝 摘要（中文）

大型视觉语言模型（LVLMs）在图像感知和语言理解方面展现了卓越的能力。然而，现有的多模态基准主要集中在基本感知能力和常识知识上，无法全面反映LVLMs的能力。为此，本文提出GAOKAO-MM，这是一个基于中国高考的多模态基准，涵盖8个学科和12种图像类型，如图表、函数图、地图和照片。GAOKAO-MM源于本土中文语境，并对模型的感知、理解、知识和推理能力设定了人类水平的要求。我们评估了10个LVLMs，发现它们的准确率均低于50%，其中GPT-4-Vison以48.1%排名第一。我们的多维分析结果表明，LVLMs与人工通用智能（AGI）之间存在适度距离，并为多语言LVLMs的发展提供了见解。

🔬 方法详解

问题定义：本文旨在解决现有多模态基准无法全面评估大型视觉语言模型（LVLMs）能力的问题，现有方法过于侧重基本感知和常识知识，缺乏对推理和理解能力的考量。

核心思路：GAOKAO-MM基准通过结合中国高考的内容，设计了涵盖多个学科和多种图像类型的评估任务，旨在全面考察LVLMs的感知、理解、知识和推理能力。

技术框架：GAOKAO-MM的整体架构包括8个学科和12种图像类型，任务设计涵盖图表、函数图、地图和照片等多种形式，确保评估的多样性和全面性。

关键创新：GAOKAO-MM的最大创新在于其基于本土文化和教育体系的设计，使得评估标准更符合中文语境下的实际需求，与现有基准相比，更加注重推理和综合能力的考察。

关键设计：在设计过程中，GAOKAO-MM设定了人类水平的评估标准，采用多维度的分析方法，确保评估结果的科学性和有效性。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果显示，评估的10个LVLMs准确率均低于50%，其中GPT-4-Vison以48.1%排名第一，Qwen-VL-Plus和Gemini-Pro-Vision分别以41.2%和35.1%位列第二和第三。这些结果表明，当前LVLMs在达到人类水平的推理和理解能力方面仍存在显著差距。

🎯 应用场景

GAOKAO-MM基准的提出为多模态模型的评估提供了新的视角，特别是在中文语境下的应用。该基准可用于教育领域的智能辅导系统、自动化评估工具等，推动多模态人工智能的发展，提升其在实际应用中的表现。

📄 摘要（原文）

The Large Vision-Language Models (LVLMs) have demonstrated great abilities in image perception and language understanding. However, existing multimodal benchmarks focus on primary perception abilities and commonsense knowledge which are insufficient to reflect the comprehensive capabilities of LVLMs. We propose GAOKAO-MM, a multimodal benchmark based on the Chinese College Entrance Examination (GAOKAO), comprising of 8 subjects and 12 types of images, such as diagrams, function graphs, maps and photos. GAOKAO-MM derives from native Chinese context and sets human-level requirements for the model's abilities, including perception, understanding, knowledge and reasoning. We evaluate 10 LVLMs and find that the accuracies of all of them are lower than 50%, with GPT-4-Vison (48.1%), Qwen-VL-Plus (41.2%) and Gemini-Pro-Vision (35.1%) ranking in the top three positions. The results of our multi-dimension analysis indicate that LVLMs have moderate distance towards Artificial General Intelligence (AGI) and provide insights facilitating the development of multilingual LVLMs.