CHAMP: A Competition-level Dataset for Fine-Grained Analyses of LLMs' Mathematical Reasoning Capabilities

📄 arXiv: 2401.06961v2 📥 PDF

作者: Yujun Mao, Yoon Kim, Yilun Zhou

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-01-13 (更新: 2024-06-09)

备注: ACL 2024 (Findings). Project website at https://yujunmao1.github.io/CHAMP/

💡 一句话要点

提出CHAMP数据集以分析大型语言模型的数学推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 数学推理 数据集 概念注释 提示注释 教育技术 智能辅导

📋 核心要点

  1. 现有方法主要关注最终答案的正确性，未能充分评估LLMs在数学推理中的中间步骤和附加信息的利用能力。
  2. 本文提出CHAMP数据集，包含高中的数学竞赛问题，附有概念和提示注释，以便深入分析LLMs的推理过程。
  3. 实验结果显示，最佳模型在标准设置下仅得分58.1%，但在使用附加信息时，部分模型的表现有所提升。

📝 摘要（中文）

近年来，大型语言模型（LLMs）在挑战性数学竞赛问题上显示出一定的数学推理能力，尤其是在自生成的中间推理步骤的语言化过程中。然而，现有评估主要集中在最终答案的正确性上，尚不清楚LLMs是否能够利用问题特定的提示等有用的附加信息。本文提出了一个具有挑战性的基准数据集——概念和提示注释数学问题（CHAMP），该数据集包含高中的数学竞赛问题，并附有概念和提示的注释。这些注释使我们能够探索附加信息的影响，如相关提示、误导性概念或相关问题。该基准数据集难度较大，最佳模型在标准设置下仅得分58.1%。通过概念和提示，模型的表现有时会有所提升，表明某些模型能够利用这些附加信息。此外，我们还对模型生成的解决方案进行了正确性注释，发现模型常常通过错误的推理步骤得出正确的最终答案。

🔬 方法详解

问题定义：本文旨在解决现有评估方法不足的问题，特别是对LLMs在数学推理中如何利用附加信息的分析。现有方法主要关注最终答案的正确性，忽视了推理过程中的中间步骤和信息利用。

核心思路：论文提出CHAMP数据集，通过为数学问题添加概念和提示注释，来探索这些附加信息对LLMs推理能力的影响。这样的设计旨在揭示模型在推理过程中的潜在能力和局限性。

技术框架：CHAMP数据集包含多个模块，包括高中的数学竞赛问题、概念注释和提示注释。数据集的构建过程确保了问题的多样性和挑战性，同时注释的准确性也得到了保证。

关键创新：最重要的创新点在于引入了概念和提示的注释，使得研究者能够分析LLMs在推理过程中如何利用附加信息。这与现有方法的本质区别在于，后者往往忽视了推理过程的细节。

关键设计：在数据集构建中，注释的准确性和相关性是关键设计因素。此外，模型生成的解决方案也进行了正确性注释，以便分析模型的推理步骤与最终答案之间的关系。具体的参数设置和损失函数设计在论文中进行了详细讨论。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，最佳模型在标准设置下仅得分58.1%。在引入概念和提示后，部分模型的表现有所提升，显示出它们能够利用附加信息来改善推理过程。此外，模型生成的解决方案的正确性分析揭示了模型在推理步骤中的常见错误。

🎯 应用场景

该研究的潜在应用领域包括教育技术、智能辅导系统和自动化数学解题工具。通过分析LLMs的数学推理能力，能够为教育工作者提供更有效的教学工具，并为学生提供个性化的学习体验。未来，该研究可能推动更高效的模型设计和评估方法的发展。

📄 摘要（原文）

Recent large language models (LLMs) have shown indications of mathematical reasoning ability on challenging competition-level problems, especially with self-generated verbalizations of intermediate reasoning steps (i.e., chain-of-thought prompting). However, current evaluations mainly focus on the end-to-end final answer correctness, and it is unclear whether LLMs can make use of helpful side information such as problem-specific hints. In this paper, we propose a challenging benchmark dataset for enabling such analyses. The Concept and Hint-Annotated Math Problems (CHAMP) consists of high school math competition problems, annotated with concepts, or general math facts, and hints, or problem-specific tricks. These annotations allow us to explore the effects of additional information, such as relevant hints, misleading concepts, or related problems. This benchmark is difficult, with the best model only scoring 58.1% in standard settings. With concepts and hints, performance sometimes improves, indicating that some models can make use of such side information. Furthermore, we annotate model-generated solutions for their correctness. Using this corpus, we find that models often arrive at the correct final answer through wrong reasoning steps. In addition, we test whether models are able to verify these solutions, and find that most models struggle.