Joint Optimization of Tool Creation and Use for Large Language Model Agents

📄 arXiv: 2608.24571v1 📥 PDF

作者: Zhi Rui Tam, Chieh-Yen Lin, Yun-Nung Chen, Shao-Hua Sun, Hung-yi Lee

分类: cs.AI, cs.SE

发布日期: 2026-08-25

💡 一句话要点

提出SMITH框架以联合优化工具创建与使用

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 工具增强 强化学习 语言模型 程序推理 联合训练 模型优化 任务适应性

📋 核心要点

  1. 现有的工具创建系统未能有效地将工具的创建与使用结合，导致模型在推理时无法利用生成的工具。
  2. 本文提出的SMITH框架通过强化学习联合训练工具的创建与使用，提升了模型的整体性能和适应性。
  3. 实验结果表明，经过SMITH训练的4B Qwen3在多个任务上表现优异，准确率超过了未训练的30B-A3B工具编写模型。

📝 摘要（中文）

工具增强的语言模型受限于人类编写的API，现有的工具创建系统通过在推理时提示一个固定的语言模型来解决这一问题，但创建工具的模型与使用工具的模型之间缺乏关联。本文提出了SMITH（Schema-grounded Multi-task Iterative Tool Honing），一个强化学习框架，能够在单一策略中联合训练工具的创建与使用。每次回滚任务分为构建任务（根据示例编写工具）和使用任务（在保留的问题上调用工具）。通过独立捕捉模式、代码和结果失败的三个奖励轴，使每种失败模式都能贡献自己的梯度。经过SMITH训练的4B Qwen3在13个程序推理任务上达到了79.8的宏平均准确率，超越了所有评估方法，并且在TabMWP-Hard和GQA的表现也有显著提升。

🔬 方法详解

问题定义：本文旨在解决工具增强语言模型在工具创建与使用之间缺乏有效联系的问题。现有方法通常在推理时使用固定的语言模型，导致生成的工具无法被有效调用。

核心思路：SMITH框架通过强化学习的方式，将工具的创建与使用整合在同一策略中，允许模型在生成工具的同时进行调用，从而实现更高效的学习和应用。

技术框架：该框架包含两个主要任务：构建任务（根据示例编写工具）和使用任务（在特定问题上调用工具）。通过独立的奖励机制，模型能够针对不同的失败模式进行优化。

关键创新：SMITH的最大创新在于其联合训练的策略，使得工具创建与使用之间形成闭环反馈，这与传统方法的分离设计形成鲜明对比。

关键设计：在训练过程中，模型通过三个独立的奖励轴（模式、代码和结果）来捕捉不同类型的失败，确保每种失败模式都能影响模型的学习方向。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，经过SMITH训练的4B Qwen3在13个程序推理任务上达到了79.8的宏平均准确率，超越了所有其他评估方法。此外，在TabMWP-Hard和GQA任务上分别达到了40.4和42.6的准确率，相较于最佳基线提升了7.6。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动化编程工具和复杂任务的自动化解决方案。通过优化工具的创建与使用，能够显著提升语言模型在实际应用中的效率和准确性，推动智能系统的进一步发展。

📄 摘要（原文）

Tool-augmented language models are bounded by the APIs humans bothered to write; existing tool-creation systems patch this by prompting a frozen LLM at inference time, leaving the model that writes a tool decoupled from the one that uses it, with no signal that the schemas it produces are schemas it can invoke. We propose SMITH (Schema-grounded Multi-task Iterative Tool Honing), a reinforcement learning framework that jointly trains tool creation and tool use inside a single policy. Each rollout is either a build task (write a tool from a few examples) or a use task (invoke a pooled tool on a held-out question). Three separate reward axes catch schema, code, and outcome failures independently, so each failure mode contributes its own gradient. A 4B Qwen3 trained with SMITH on 13 procedural reasoning tasks with exact verifiers reaches 79.8 macro-average accuracy on held-out tasks, the best across all evaluated methods and ahead of an untrained 30B-A3B tool-writer. It also reaches 40.4 on TabMWP-Hard and 42.6 on out-of-domain GQA (+7.6 over the best same-backbone inference-time baseline), without any visual or tabular training data. Tools written by our 4B models also lifted the performance of LFM-2.5-350M and Qwen3-30B-A3B under same reasoning tasks.