VerityMath: Advancing Mathematical Reasoning by Self-Verification Through Unit Consistency

📄 arXiv: 2311.07172v2 📥 PDF

作者: Vernon Toh Yan Han, Ratish Puduppully, Nancy F. Chen

分类: cs.CL, cs.PL

发布日期: 2023-11-13 (更新: 2024-07-21)

备注: AI4MATH Workshop @ ICML 2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出Unit Consistency程序以解决数学推理中的单位一致性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 数学推理 单位一致性 大型语言模型 开源模型 程序化求解

📋 核心要点

  1. 现有的开源大型语言模型在解决数学文字问题时，特别是在涉及多个单位的数量问题上表现不佳，缺乏系统性的研究。
  2. 论文提出通过定义数量的单位并确保单位一致性来解决数学推理中的问题，开发了Unit Consistency Programs（UCPs）作为解决方案。
  3. 实验结果显示，尽管引入单位一致性的方法略微低于不考虑单位的方法，但通过错误分析为未来的改进提供了方向。

📝 摘要（中文）

大型语言模型（LLMs）结合基于程序的求解技术在数学推理中表现出色，但开源LLMs在数学文字问题的求解上进展有限。本文研究了Llama 2、Code Llama和Mistral等强开源LLMs在数学问题上的表现，特别是涉及多个单位的数量问题。为了解决这一挑战，提出了一种系统的方法，通过定义每个数量的单位并确保在数学运算中的单位一致性。我们开发了Unit Consistency Programs（UCPs），并对模型进行了微调。实验结果表明，尽管引入单位一致性的方法表现略逊于不考虑单位的一种方法，但我们进行了深入的错误分析，并提出了未来改进的建议。

🔬 方法详解

问题定义：本文旨在解决开源大型语言模型在数学文字问题中，特别是涉及多个单位的数量问题时的表现不足。现有方法未能有效处理单位的一致性，导致推理错误。

核心思路：通过定义每个数量的单位并确保在数学运算中的单位一致性，论文提出了一种系统的方法来提高模型的数学推理能力。这样设计的目的是为了减少因单位不一致导致的错误。

技术框架：整体架构包括数据集的构建、模型的微调和错误分析三个主要模块。首先，构建包含单位规范和验证程序的数学问题数据集；其次，对Llama 2、Code Llama和Mistral模型进行微调；最后，进行深入的错误分析以识别问题。

关键创新：最重要的技术创新点在于引入了单位一致性程序（UCPs），这是一个带有单位规范和验证例程的注释数据集，显著提升了模型对复杂数学问题的处理能力。与现有方法相比，UCPs提供了更系统的单位管理机制。

关键设计：在模型微调过程中，采用了特定的损失函数以强调单位一致性的重要性，并设计了网络结构以便于集成单位验证的功能。具体参数设置和网络结构细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，尽管引入单位一致性的方法在性能上略低于不考虑单位的方法，但通过对Llama 2、Code Llama和Mistral模型的微调，模型在处理复杂数学问题时的表现得到了改善。具体的性能数据和对比基线在论文中进行了详细分析。

🎯 应用场景

该研究的潜在应用领域包括教育技术、智能辅导系统和自动化数学问题求解工具。通过提高开源LLMs在数学推理中的表现，可以为学生提供更准确的解题支持，促进教育公平和学习效率的提升。未来，该方法也可能扩展到其他需要单位管理的领域，如科学计算和工程应用。

📄 摘要（原文）

Large Language Models (LLMs), combined with program-based solving techniques, are increasingly demonstrating proficiency in mathematical reasoning. For example, closed-source models such as OpenAI GPT-4 and Claude show excellent results in solving math word problems. However, progress in math word problem-solving for open-source LLMs is limited, and the challenges these models face are not well-studied. In this paper, we study the performance of strong open-source LLMs, including Llama 2 (7B), Code Llama (7B), and Mistral (7B) on math word problems using program-based solving techniques. Specifically, we analyze the outputs of these models when applied to math word problems and identify a category of problems that pose a significant challenge, particularly those involving quantities spanning multiple units. To address this issue, we propose a systematic approach by defining the units for each quantity and ensuring the consistency of these units during mathematical operations. We developed Unit Consistency Programs (UCPs), an annotated dataset of math word problems, each paired with programs containing unit specifications and unit verification routines. We fine-tuned Llama 2 (7B), Code Llama (7B), and Mistral (7B) models with UCPs to produce theirVerityMath variants. Our findings indicate that our approach, which incorporates unit consistency, currently slightly underperforms compared to an approach that does not. To understand the reasons behind this, we conduct an in-depth error analysis and suggest options for future improvements. Our code and dataset are available at https://github.com/vernontoh/VerityMath.