GSM-Plus: A Comprehensive Benchmark for Evaluating the Robustness of LLMs as Mathematical Problem Solvers

📄 arXiv: 2402.19255v2 📥 PDF

作者: Qintong Li, Leyang Cui, Xueliang Zhao, Lingpeng Kong, Wei Bi

分类: cs.CL

发布日期: 2024-02-29 (更新: 2024-07-02)

备注: ACL 2024

💡 一句话要点

提出GSM-Plus基准以评估大型语言模型的数学问题求解能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 数学推理 鲁棒性评估 对抗性数据集 教育技术 智能辅导系统

📋 核心要点

  1. 现有大型语言模型在数学推理中的表现存在鲁棒性不足的问题，尤其在问题稍作修改时容易出错。
  2. 本文提出了GSM-Plus数据集，通过引入多种数学扰动来评估LLMs的数学推理能力。
  3. 实验结果显示，25个LLMs在面对新问题时表现不佳，提示方法的组合也未能显著提升鲁棒性。

📝 摘要（中文）

大型语言模型（LLMs）在各种数学推理基准上表现出色，但关于它们是否真正理解数学知识的争论日益增多。本文通过引入对抗性小学数学（GSM-Plus）数据集，评估LLMs在面对问题变体时的鲁棒性。实验结果表明，尽管LLMs在数学推理能力上存在差异，但其表现远未达到鲁棒性，尤其是在问题陈述稍作修改时，LLMs容易出错。我们还探讨了通过组合现有提示方法来提高鲁棒性，尝试了一种迭代方法，根据推理目标和计算结果生成和验证每个中间思路。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在数学推理中鲁棒性不足的问题，现有方法在面对问题变体时表现不稳定，导致错误率上升。

核心思路：通过构建GSM-Plus数据集，增加数学问题的多样性和复杂性，以测试LLMs在不同条件下的推理能力，从而评估其真正的数学理解能力。

技术框架：研究首先构建了对抗性小学数学数据集，然后对25个LLMs进行评估，使用4种不同的提示技术，分析其在不同问题变体下的表现。

关键创新：GSM-Plus数据集的构建是本研究的核心创新点，通过引入多种数学扰动，能够更全面地评估LLMs的鲁棒性，与传统的数学基准相比，提供了更具挑战性的测试环境。

关键设计：在实验中，采用了多种提示技术，并尝试了一种迭代生成和验证中间思路的方法，以期提高模型的推理准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，尽管LLMs在GSM8K上表现良好，但在GSM-Plus数据集上，模型的错误率显著上升，尤其是在问题陈述稍作修改时，表现出明显的鲁棒性不足。这表明现有模型在面对新问题时的适应能力仍需提升。

🎯 应用场景

该研究的潜在应用领域包括教育技术、智能辅导系统和自动化数学问题求解工具。通过提高大型语言模型在数学推理中的鲁棒性，可以为学生提供更可靠的学习支持，促进个性化教育的发展。

📄 摘要（原文）

Large language models (LLMs) have achieved impressive performance across various mathematical reasoning benchmarks. However, there are increasing debates regarding whether these models truly understand and apply mathematical knowledge or merely rely on shortcuts for mathematical reasoning. One essential and frequently occurring evidence is that when the math questions are slightly changed, LLMs can behave incorrectly. This motivates us to evaluate the robustness of LLMs' math reasoning capability by testing a wide range of question variations. We introduce the adversarial grade school math (GSM-Plus) dataset, an extension of GSM8K augmented with various mathematical perturbations. Our experiments on 25 LLMs and 4 prompting techniques show that while LLMs exhibit different levels of math reasoning abilities, their performances are far from robust. In particular, even for problems that have been solved in GSM8K, LLMs can make mistakes when new statements are added or the question targets are altered. We also explore whether more robust performance can be achieved by composing existing prompting methods, in which we try an iterative method that generates and verifies each intermediate thought based on its reasoning goal and calculation result.