Understanding Tool-Integrated Reasoning

📄 arXiv: 2508.19201v1 📥 PDF

作者: Heng Lin, Zhongwen Xu

分类: cs.LG, cs.AI, stat.ML

发布日期: 2025-08-26

💡 一句话要点

提出工具集成推理以提升大语言模型能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 工具集成推理 大语言模型 优势塑形策略优化 复杂问题求解 数学基准测试

📋 核心要点

  1. 现有的纯文本模型在解决复杂问题时能力有限，缺乏有效的推理策略。
  2. 提出工具集成推理（TIR）和优势塑形策略优化（ASPO），通过工具扩展模型能力并引导其行为。
  3. 实验结果显示，TIR模型在数学基准测试中显著优于纯文本模型，尤其在抽象推理任务上表现突出。

📝 摘要（中文）

本研究探讨了工具集成推理（TIR）为何使大语言模型（LLMs）更具能力。尽管集成了如Python代码解释器等工具的LLMs展现出巨大潜力，但缺乏对这一范式有效性的原则性理论解释。本文首次提供了TIR根本上扩展LLM能力的正式证明。我们展示了工具如何严格扩展模型的经验和可行支持，打破纯文本模型的能力上限，解锁 otherwise 不可能或冗长的解决策略。此外，我们引入了优势塑形策略优化（ASPO），一种新算法，直接修改优势函数以引导策略行为。实验结果表明，TIR模型在数学基准测试中显著优于纯文本模型，且这种优势不仅限于计算密集型问题，还扩展到需要显著抽象洞察的问题。

🔬 方法详解

问题定义：本文旨在解决工具集成推理（TIR）缺乏理论支持的问题，现有方法在复杂推理任务中表现不佳，无法有效利用外部工具的潜力。

核心思路：通过引入工具集成推理，模型能够利用外部工具（如Python解释器）来扩展其能力，解锁复杂问题的解决策略。优势塑形策略优化（ASPO）则用于引导模型行为，确保训练稳定性和性能。

技术框架：整体架构包括模型与外部工具的集成，ASPO算法用于优化模型的决策过程。主要模块包括工具调用、优势函数修改和策略更新。

关键创新：本文的主要创新在于提供了TIR的理论证明，展示了工具如何严格扩展模型的能力，并引入ASPO算法以优化模型行为，区别于传统的纯文本推理方法。

关键设计：在ASPO中，关键参数设置包括优势函数的定义和更新策略，损失函数设计用于平衡模型的学习稳定性与推理能力。

📊 实验亮点

实验结果表明，TIR模型在数学基准测试中的pass@k指标显著高于纯文本模型，尤其在需要抽象推理的任务中表现出色，展示了工具集成推理的有效性和广泛适用性。

🎯 应用场景

该研究的潜在应用领域包括教育、科学计算和复杂问题求解等场景。通过提升大语言模型的推理能力，能够更好地支持决策制定、自动化编程和智能辅导等实际应用，未来可能对人机协作产生深远影响。

📄 摘要（原文）

We study why Tool-Integrated Reasoning (TIR) makes Large Language Models (LLMs) more capable. While LLMs integrated with tools like Python code interpreters show great promise, a principled theory explaining why this paradigm is effective has been missing. This work provides the first formal proof that TIR fundamentally expands an LLM's capabilities. We demonstrate that tools enable a strict expansion of the model's empirical and feasible support, breaking the capability ceiling of pure-text models by unlocking problem-solving strategies that are otherwise impossible or intractably verbose. To guide model behavior without compromising training stability and performance, we also introduce Advantage Shaping Policy Optimization (ASPO), a novel algorithm that directly modifies the advantage function to guide the policy behavior. We conduct comprehensive experiments on challenging mathematical benchmarks, leveraging a Python interpreter as the external tool. Our results show that the TIR model decisively outperforms its pure-text counterpart on the pass@k metric. Crucially, this advantage is not confined to computationally-intensive problems but extends to those requiring significant abstract insight. We further identify the emergent cognitive patterns that illustrate how models learn to think with tools. Finally, we report improved tool usage behavior with early code invocation and much more interactive turns with ASPO. Overall, our work provides the first principled explanation for TIR's success, shifting the focus from the mere fact that tools work to why and how they enable more powerful reasoning.