EXAMS-V: A Multi-Discipline Multilingual Multimodal Exam Benchmark for Evaluating Vision Language Models

📄 arXiv: 2403.10378v1 📥 PDF

作者: Rocktim Jyoti Das, Simeon Emilov Hristov, Haonan Li, Dimitar Iliyanov Dimitrov, Ivan Koychev, Preslav Nakov

分类: cs.CL, cs.CV

发布日期: 2024-03-15

💡 一句话要点

提出EXAMS-V基准以评估多模态视觉语言模型的能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态评估 视觉语言模型 多语言理解 教育技术 复杂推理

📋 核心要点

  1. 现有的视觉语言模型评估基准缺乏多学科和多语言的综合性，难以全面测试模型的推理能力。
  2. EXAMS-V通过整合来自不同国家的学校考试问题，提供了一个多模态的评估平台，涵盖多种学科和语言。
  3. 实验结果显示，EXAMS-V对先进模型如GPT-4V和Gemini构成挑战，验证了其作为基准的有效性和复杂性。

📝 摘要（中文）

我们介绍了EXAMS-V，这是一个新的多学科多语言多模态考试基准，用于评估视觉语言模型。该基准包含20,932道多项选择题，涵盖自然科学、社会科学及其他杂项学科，如宗教、美术和商业等。EXAMS-V包括文本、图像、表格、图形、地图等多种多模态特征，问题以11种语言呈现，来自7个语言家族。与现有基准不同，EXAMS-V通过收集来自不同国家的学校考试问题而独特策划，要求在多种语言间进行复杂推理，并依赖于特定地区的知识。我们的评估结果表明，该数据集具有挑战性，即使是先进的视觉文本模型如GPT-4V和Gemini也难以解决，这突显了数据集的复杂性及其作为未来基准的重要性。

🔬 方法详解

问题定义：本论文旨在解决现有视觉语言模型评估基准在多学科和多语言方面的不足，现有方法往往无法全面考察模型的推理能力和跨语言理解能力。

核心思路：论文提出EXAMS-V基准，通过收集来自不同国家的学校考试问题，构建一个多模态、多语言的评估框架，以测试模型在复杂推理和区域知识方面的能力。

技术框架：EXAMS-V的整体架构包括数据收集、问题设计和多模态特征整合三个主要模块。数据收集涵盖20个学科，问题设计确保多样性，而多模态特征则包括文本、图像和科学符号等。

关键创新：EXAMS-V的最大创新在于其独特的策划方式，结合了多学科和多语言的考试问题，要求模型进行复杂的跨语言推理，这在现有基准中是前所未有的。

关键设计：在数据集设计中，采用了多种类型的问题和多模态特征，确保模型在理解和推理时能够处理复杂的视觉和文本信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，EXAMS-V对先进的视觉语言模型如GPT-4V和Gemini构成了显著挑战，模型在该基准上的表现远低于预期，显示出该数据集的复杂性和重要性。这一发现强调了EXAMS-V作为未来基准的潜力。

🎯 应用场景

EXAMS-V基准的潜在应用领域包括教育技术、智能辅导系统和多语言学习平台。通过评估视觉语言模型在多学科和多语言环境下的表现，可以为教育领域提供更智能的解决方案，提升学习效果和教学质量。未来，该基准可能成为多模态AI研究的重要参考标准。

📄 摘要（原文）

We introduce EXAMS-V, a new challenging multi-discipline multimodal multilingual exam benchmark for evaluating vision language models. It consists of 20,932 multiple-choice questions across 20 school disciplines covering natural science, social science, and other miscellaneous studies, e.g., religion, fine arts, business, etc. EXAMS-V includes a variety of multimodal features such as text, images, tables, figures, diagrams, maps, scientific symbols, and equations. The questions come in 11 languages from 7 language families. Unlike existing benchmarks, EXAMS-V is uniquely curated by gathering school exam questions from various countries, with a variety of education systems. This distinctive approach calls for intricate reasoning across diverse languages and relies on region-specific knowledge. Solving the problems in the dataset requires advanced perception and joint reasoning over the text and the visual content of the image. Our evaluation results demonstrate that this is a challenging dataset, which is difficult even for advanced vision-text models such as GPT-4V and Gemini; this underscores the inherent complexity of the dataset and its significance as a future benchmark.