MATHSENSEI: A Tool-Augmented Large Language Model for Mathematical Reasoning

📄 arXiv: 2402.17231v3 📥 PDF

作者: Debrup Das, Debopriyo Banerjee, Somak Aditya, Ashish Kulkarni

分类: cs.CL

发布日期: 2024-02-27 (更新: 2024-04-03)

🔗 代码/项目: GITHUB

💡 一句话要点

提出MathSensei以解决复杂数学推理问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 数学推理 工具增强模型 知识检索 程序生成 符号求解 深度学习 大型语言模型

📋 核心要点

  1. 现有的工具增强大型语言模型在复杂数学推理任务中的有效性尚未得到充分验证，尤其是在知识检索和方程求解方面的互补效益。
  2. 论文提出MathSensei，通过结合多种工具（如知识检索、程序生成和符号求解）来增强模型的数学推理能力。
  3. 实验结果显示，MathSensei在MATH数据集上比基线模型gpt-3.5-turbo的准确率提高了13.5%，在更复杂的问题上表现更佳。

📝 摘要（中文）

工具增强的大型语言模型（TALMs）已被证明能够提升大型语言模型（LLMs）的推理能力，尤其是在问答任务中。然而，TALMs在复杂数学推理基准上的有效性以及工具在知识检索和数学方程求解中的互补效益仍然是开放的研究问题。本文提出了MathSensei，一个用于数学推理的工具增强大型语言模型。通过在数学推理数据集上的评估，我们研究了知识检索器（Bing Web Search）、程序生成器+执行器（Python）和符号方程求解器（Wolfram-Alpha API）的互补效益。实验结果表明，MathSensei在MATH数据集上比gpt-3.5-turbo的Chain-of-Thought提高了13.5%的准确率。

🔬 方法详解

问题定义：本文旨在解决工具增强大型语言模型在复杂数学推理任务中的有效性不足，特别是在知识检索和方程求解的互补效益方面。

核心思路：通过结合知识检索器、程序生成器和符号方程求解器，MathSensei能够在处理数学问题时利用外部工具，从而提升推理能力和准确性。

技术框架：MathSensei的整体架构包括三个主要模块：知识检索模块（使用Bing Web Search），程序生成与执行模块（使用Python），以及符号方程求解模块（使用Wolfram-Alpha API）。这些模块协同工作，以增强模型的数学推理能力。

关键创新：MathSensei的主要创新在于其工具的组合使用，尤其是通过工具序列化的方式来优化模型性能，这与现有方法的单一工具使用形成鲜明对比。

关键设计：在模型设计中，采用了特定的参数设置和损失函数，以确保模型在不同数学领域的推理能力得到充分发挥。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MathSensei在MATH数据集上的实验结果显示，其准确率比gpt-3.5-turbo的Chain-of-Thought提高了13.5%。此外，模型在处理复杂数学问题时表现优于简单的数学文字问题，验证了工具增强方法在高难度任务中的有效性。

🎯 应用场景

MathSensei在教育、科研和工程等领域具有广泛的应用潜力。它可以用于自动化数学问题求解、教育辅导以及科学研究中的复杂计算任务，提升相关领域的工作效率和准确性。未来，随着模型的进一步优化，可能会在更广泛的数学应用中发挥重要作用。

📄 摘要（原文）

Tool-augmented Large Language Models (TALMs) are known to enhance the skillset of large language models (LLMs), thereby, leading to their improved reasoning abilities across many tasks. While, TALMs have been successfully employed in different question-answering benchmarks, their efficacy on complex mathematical reasoning benchmarks, and the potential complementary benefits offered by tools for knowledge retrieval and mathematical equation solving are open research questions. In this work, we present MathSensei, a tool-augmented large language model for mathematical reasoning. We study the complementary benefits of the tools - knowledge retriever (Bing Web Search), program generator + executor (Python), and symbolic equation solver (Wolfram-Alpha API) through evaluations on mathematical reasoning datasets. We perform exhaustive ablations on MATH, a popular dataset for evaluating mathematical reasoning on diverse mathematical disciplines. We also conduct experiments involving well-known tool planners to study the impact of tool sequencing on the model performance. MathSensei achieves 13.5% better accuracy over gpt-3.5-turbo with Chain-of-Thought on the MATH dataset. We further observe that TALMs are not as effective for simpler math word problems (in GSM-8K), and the benefit increases as the complexity and required knowledge increases (progressively over AQuA, MMLU-Math, and higher level complex questions in MATH). The code and data are available at https://github.com/Debrup-61/MathSensei.