MathVerse: Does Your Multi-modal LLM Truly See the Diagrams in Visual Math Problems?
作者: Renrui Zhang, Dongzhi Jiang, Yichi Zhang, Haokun Lin, Ziyu Guo, Pengshuo Qiu, Aojun Zhou, Pan Lu, Kai-Wei Chang, Peng Gao, Hongsheng Li
分类: cs.CV, cs.AI, cs.CL, cs.LG
发布日期: 2024-03-21 (更新: 2024-08-18)
备注: Accepted by ECCV 2024, 46 Pages, Benchmark Project Page: https://mathverse-cuhk.github.io
💡 一句话要点
提出MathVerse基准以评估多模态大语言模型在视觉数学问题中的能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态大语言模型 视觉数学问题 链式思维 评估基准 数学推理 图表理解 教育技术
📋 核心要点
- 现有的多模态大语言模型在视觉数学问题的理解和推理能力评估不足，可能导致对其能力的误判。
- 本文提出MathVerse基准，通过收集多学科数学问题并进行多版本转换，全面评估MLLMs对视觉图表的理解能力。
- 实验结果表明，MathVerse能够有效揭示MLLMs在数学推理中的链式思维质量，提供更细致的错误分析。
📝 摘要（中文）
多模态大语言模型（MLLMs）的显著进展引起了广泛关注，但其在视觉数学问题解决中的能力尚未得到充分评估。本文引入MathVerse，一个全面的视觉数学基准，旨在公平深入地评估MLLMs。我们收集了2,612个高质量的多学科数学问题，并通过人类标注者将每个问题转化为六个不同版本，以提供多模态信息的不同程度，最终形成15K个测试样本。我们还提出了一种链式思维（CoT）评估策略，以细致评估输出答案的质量。希望MathVerse基准能够为未来MLLMs的发展提供独特的见解。
🔬 方法详解
问题定义：本文旨在解决多模态大语言模型在视觉数学问题中的理解能力评估不足的问题。现有方法往往依赖于文本内容，而忽视了图表的实际解读。
核心思路：我们提出MathVerse基准，通过系统收集和转换数学问题，确保模型在解答时真正理解视觉信息，而非仅依赖文本提示。
技术框架：MathVerse的整体架构包括问题收集、版本转换和评估三个主要模块。首先，从公开来源收集数学问题，然后通过人类标注者生成多版本，最后采用链式思维评估策略进行细致分析。
关键创新：MathVerse的核心创新在于其多版本问题设计和链式思维评估策略，能够深入分析MLLMs的推理过程，而非简单的对错判断。
关键设计：在设计过程中，我们设置了多种信息内容的版本，并采用GPT-4(V)进行推理步骤的提取和评分，确保评估的细致性和准确性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，MathVerse基准能够有效揭示多模态大语言模型在视觉数学问题中的理解能力，提供了15K个测试样本的细致分析，显著提升了对模型推理质量的评估，尤其是在链式思维方面的表现。
🎯 应用场景
MathVerse基准的潜在应用领域包括教育技术、智能辅导系统和自动化数学解题工具。通过准确评估多模态大语言模型的能力，该研究可以为教育领域的智能化发展提供支持，提升学生的学习体验和效果。
📄 摘要（原文）
The remarkable progress of Multi-modal Large Language Models (MLLMs) has garnered unparalleled attention, due to their superior performance in visual contexts. However, their capabilities in visual math problem-solving remain insufficiently evaluated and understood. We investigate current benchmarks to incorporate excessive visual content within textual questions, which potentially assist MLLMs in deducing answers without truly interpreting the input diagrams. To this end, we introduce MathVerse, an all-around visual math benchmark designed for an equitable and in-depth evaluation of MLLMs. We meticulously collect 2,612 high-quality, multi-subject math problems with diagrams from publicly available sources. Each problem is then transformed by human annotators into six distinct versions, each offering varying degrees of information content in multi-modality, contributing to 15K test samples in total. This approach allows MathVerse to comprehensively assess whether and how much MLLMs can truly understand the visual diagrams for mathematical reasoning. In addition, we propose a Chain-of-Thought (CoT) evaluation strategy for a fine-grained assessment of the output answers. Rather than naively judging True or False, we employ GPT-4(V) to adaptively extract crucial reasoning steps, and then score each step with detailed error analysis, which can reveal the intermediate CoT reasoning quality by MLLMs. We hope the MathVerse benchmark may provide unique insights to guide the future development of MLLMs. Project page: https://mathverse-cuhk.github.io