GeoEval: Benchmark for Evaluating LLMs and Multi-Modal Models on Geometry Problem-Solving

📄 arXiv: 2402.10104v2 📥 PDF

作者: Jiaxin Zhang, Zhongzhi Li, Mingliang Zhang, Fei Yin, Chenglin Liu, Yashar Moshfeghi

分类: cs.AI, cs.CL

发布日期: 2024-02-15 (更新: 2024-05-17)

备注: Accepted in ACL 2024 Findings

💡 一句话要点

提出GeoEval基准以评估几何问题求解能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 几何问题 大型语言模型 多模态模型 模型评估 逆向推理 教育技术 自动化评估

📋 核心要点

  1. 现有的LLMs和MMs在几何问题求解能力上缺乏系统评估，尤其是对文本和视觉信息的整合理解。
  2. 本文提出GeoEval基准，包含多种问题子集，旨在全面评估模型在几何数学问题上的表现。
  3. 实验结果显示WizardMath模型在主要子集上表现优异，但在难题子集上准确率较低，强调了模型测试的重要性。

📝 摘要（中文）

近年来，大型语言模型（LLMs）和多模态模型（MMs）在问题求解方面展现了卓越的能力。然而，它们在解决几何数学问题方面的表现尚未得到充分评估。为此，本文提出了GeoEval基准，包含2000个主要问题、750个侧重于逆向推理的问题、2000个增强子集和300个难题子集。该基准有助于深入研究LLMs和MMs在几何数学问题求解中的表现。对十种LLMs和MMs的评估显示，WizardMath模型在主要子集上取得了55.67%的准确率，但在难题子集上仅为6.00%。这突显了在未预训练数据集上测试模型的必要性。此外，研究发现GPT系列模型在重述问题时表现更佳，表明提升模型能力的潜在方法。

🔬 方法详解

问题定义：本文旨在解决当前LLMs和MMs在几何数学问题求解能力评估不足的问题，尤其是缺乏对模型在未见数据集上的表现评估。

核心思路：通过构建GeoEval基准，提供多样化的几何问题集，帮助研究者深入分析模型的综合理解能力和推理能力。

技术框架：GeoEval基准包含多个子集：主要子集（2000个问题）、逆向推理子集（750个问题）、增强子集（2000个问题）和难题子集（300个问题），以便全面评估模型性能。

关键创新：GeoEval基准的构建是本文的核心创新，特别是针对几何问题的多样化设计，使得模型评估更加全面和深入。

关键设计：在实验中，使用了不同的模型架构和参数设置，特别关注模型在重述问题时的表现，以探索提升模型能力的有效策略。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，WizardMath模型在主要子集上达到了55.67%的准确率，但在难题子集上仅为6.00%。这一结果强调了在未见数据集上测试模型的重要性，并且GPT系列模型在重述问题时表现更佳，展示了提升模型能力的潜力。

🎯 应用场景

该研究的潜在应用领域包括教育技术、智能辅导系统和自动化评估工具。通过评估几何问题求解能力，GeoEval基准可以帮助开发更智能的学习工具，提高学生的学习效果和教师的教学效率。未来，随着模型能力的提升，该基准还可扩展至其他数学领域的应用。

📄 摘要（原文）

Recent advancements in large language models (LLMs) and multi-modal models (MMs) have demonstrated their remarkable capabilities in problem-solving. Yet, their proficiency in tackling geometry math problems, which necessitates an integrated understanding of both textual and visual information, has not been thoroughly evaluated. To address this gap, we introduce the GeoEval benchmark, a comprehensive collection that includes a main subset of 2,000 problems, a 750 problems subset focusing on backward reasoning, an augmented subset of 2,000 problems, and a hard subset of 300 problems. This benchmark facilitates a deeper investigation into the performance of LLMs and MMs in solving geometry math problems. Our evaluation of ten LLMs and MMs across these varied subsets reveals that the WizardMath model excels, achieving a 55.67\% accuracy rate on the main subset but only a 6.00\% accuracy on the hard subset. This highlights the critical need for testing models against datasets on which they have not been pre-trained. Additionally, our findings indicate that GPT-series models perform more effectively on problems they have rephrased, suggesting a promising method for enhancing model capabilities.