Learning to Use Tools: Reinforcement Learning for Tool-Integrated Mathematical Reasoning

📄 arXiv: 2608.28447v1 📥 PDF

作者: Minghui Xu, Zi Wang

分类: cs.AI

发布日期: 2026-08-28

💡 一句话要点

提出工具集成强化学习以提升数学推理能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 工具集成 强化学习 数学推理 大型语言模型 计算器工具 监督微调 验证机制

📋 核心要点

  1. 现有方法在数学推理中存在计算错误和验证不足的问题，导致错误响应频繁。
  2. 本文通过构建监督微调数据集和强化学习策略，提升模型的工具使用能力和推理准确性。
  3. 实验结果显示，工具集成和强化学习显著提高了模型的推理能力，尤其是Tool-DAPO方法表现最佳。

📝 摘要（中文）

当前的大型语言模型（LLMs）在外部工具集成方面日益受益，尤其是在需要可靠计算和验证的任务中。本文研究了计算器工具调用，以改善Countdown任务中的数学推理。通过分析推理失败，发现计算错误占据了错误响应的相当大一部分。为此，构建了监督微调数据集，以教会模型有效的工具使用模式及如何解释返回的输出。在此基础上，应用了多种在线强化学习方法，包括RLOO、RLOO++、GRPO和DAPO，利用自动可验证的最终答案奖励。为了实现更可靠的评估，构建了一个全新的1024道题目的Countdown基准，确保与训练数据没有重叠。结果表明，计算器工具集成显著提升了SFT和RL基线，pass@k平均提高约10个百分点。其中，Tool-DAPO表现最佳，pass@1从Tool-SFT的35.8%提升至66.0%。进一步分析显示，RL促进了更有效的工具使用，即使仅提供最终答案奖励。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在数学推理任务中由于计算错误导致的推理失败问题。现有方法在处理复杂计算时，往往无法有效利用外部工具进行验证，导致错误率较高。

核心思路：通过引入计算器工具的集成，结合强化学习方法，提升模型在数学推理任务中的表现。具体而言，利用强化学习优化工具使用策略，使模型能够更好地理解和利用计算器的输出。

技术框架：整体架构包括数据集构建、监督微调和强化学习三个主要阶段。首先，构建监督微调数据集以教会模型有效的工具使用模式；其次，应用强化学习方法（如RLOO、RLOO++、GRPO和DAPO）进行模型训练，优化工具使用策略。

关键创新：最重要的创新在于将强化学习与工具集成相结合，利用最终答案奖励来指导模型学习有效的工具使用方式。这一方法与传统的仅依赖监督学习的方式有本质区别，能够显著提升推理准确性。

关键设计：在模型训练中，采用了自动可验证的最终答案奖励机制，确保模型在学习过程中能够得到及时的反馈。此外，设计了新的数据集以避免训练和测试数据的重叠，确保评估的可靠性。通过这些设计，模型在推理任务中的表现得到了显著提升。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，工具集成显著提升了模型的推理能力，尤其是Tool-DAPO方法，pass@1从35.8%提升至66.0%。此外，工具集成平均提高了约10个百分点的pass@k，验证了强化学习在有效工具使用中的重要性。

🎯 应用场景

该研究的潜在应用领域包括教育、金融和科学计算等需要高精度数学推理的场景。通过提升模型的工具使用能力，可以在实际应用中减少计算错误，提高决策的准确性。未来，该方法有望推广到更多需要外部工具辅助的智能系统中。

📄 摘要（原文）

Current large language models (LLMs) increasingly benefit from external tool integration, especially for tasks requiring reliable computation and verification. Motivated by this, we study calculator tool calling for improving mathematical reasoning on the Countdown task. We first analyze reasoning failures and find that calculation errors account for a substantial portion of incorrect responses. We then construct supervised fine-tuning datasets to teach the model useful tool-use patterns and how to interpret returned outputs. Building on this tool-formatted policy, we apply several on-policy reinforcement learning methods, including RLOO, RLOO++, GRPO, and DAPO, using automatically verifiable final-answer rewards. To enable a more reliable evaluation, we construct a fresh 1,024-problem held-out Countdown benchmark with no exact overlap with the training data. Our results show that calculator tool integration consistently improves both SFT and RL baselines, yielding roughly 10 percentage-point gains across pass@k. Among the RL methods, Tool-DAPO achieves the strongest performance, improving pass@1 from 35.8% for Tool-SFT to 66.0%. Further analysis shows that RL encourages more effective tool use even when only final-answer rewards are provided. These findings suggest that tool integration reduces arithmetic and verification errors, while RL increases the probability of correct reasoning traces.