Why Multi-Step Tool-Use Reinforcement Learning Collapses and How Supervisory Signals Fix It

📄 arXiv: 2606.26027v1 📥 PDF

作者: Yupu Hao, Zhuoran Jin, Huanxuan Liao, Kang Liu, Jun Zhao

分类: cs.CL, cs.LG

发布日期: 2026-06-24

🔗 代码/项目: GITHUB

💡 一句话要点

提出多种监督信号以解决多步骤工具使用强化学习的不稳定性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 工具使用 强化学习 监督信号 模型稳定性 多步骤任务 智能助手 自动化系统

📋 核心要点

  1. 现有的强化学习方法在工具使用任务中常常导致不稳定性，甚至出现性能崩溃现象。
  2. 论文提出通过多种监督信号的引入，特别是交替训练策略，来改善模型的稳定性和性能。
  3. 实验结果表明，交替使用监督微调与强化学习显著提高了模型的训练稳定性，但在某些评估中表现有所下降。

📝 摘要（中文）

工具使用使大型语言模型（LLMs）能够执行复杂任务，而最近的代理强化学习（RL）方法显示出增强模型能力的潜力。然而，单独使用RL往往导致工具使用任务的不稳定性或有限的收益。在实验中，部分模型出现了灾难性崩溃，性能骤降且工具调用结构失效。分析表明，这些失败源于特定控制标记中意外的概率峰值，扰乱了结构化执行。为了解决这一问题，本文系统研究了多种监督信号，包括离线监督、基于提示的指导和错误示例监督等，发现将监督微调与RL交替进行显著提高了稳定性，但在格式和内容的分布外评估中表现下降。研究结果强调了理解RL失败的重要性，并展示了多样化监督信号如何引导探索性学习，从而实现LLMs在复杂多步骤工具使用任务中的稳健训练。

🔬 方法详解

问题定义：本文要解决的问题是多步骤工具使用强化学习中的不稳定性，现有方法在执行复杂任务时常出现性能崩溃，导致工具调用结构失效。

核心思路：论文的核心思路是引入多种监督信号，通过交替训练来增强模型的稳定性，帮助模型在复杂任务中更好地执行工具使用。

技术框架：整体架构包括多个阶段：首先进行监督微调（SFT），然后与强化学习（RL）交替进行训练，使用多种监督信号如离线监督和基于提示的指导。

关键创新：最重要的技术创新点在于系统性地引入多样化的监督信号，并通过交替训练策略显著改善了模型的稳定性，这与传统的单一RL训练方法有本质区别。

关键设计：在实验中，设置了不同的学习率和训练策略，采用了多种损失函数和网络结构，以确保模型在不同设置下的泛化能力和稳定性。具体的参数设置和训练细节在代码中提供。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，交替使用监督微调与强化学习的策略使得模型在工具使用任务中的稳定性显著提高，尽管在格式和内容的分布外评估中表现有所下降。具体性能提升幅度和对比基线的详细数据在论文中提供。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动化工具和复杂任务的执行系统。通过提高模型在多步骤工具使用中的稳定性，能够更好地支持实际应用中的复杂决策和操作，未来可能在机器人、自动驾驶等领域产生深远影响。

📄 摘要（原文）

Tool use enables large language models (LLMs) to perform complex tasks, and recent agentic reinforcement learning (RL) methods show promise for enhancing model capabilities. However, RL alone often leads to instability or limited gains in tool-use tasks. In our experiments, some models exhibit catastrophic collapse, where performance abruptly drops and tool-invocation structures fail. The analysis reveals that these failures stem from unexpected probability spikes in specific control tokens, disrupting structured execution, yet the underlying tool-use capability remains intact, merely obscured by specific formats. To address this, we systematically investigate a diverse set of supervisory signals, including off-policy supervision, hint-based guidance, erroneous example supervision, and others, applied under both synchronous and interleaved training schemes. We find that interleaving supervised fine-tuning (SFT) with RL substantially improves stability, but exhibits degraded performance under format and content out-of-distribution (OOD) evaluation. We also analyze the impact of learning rates and generalization across settings. These results highlight the importance of understanding RL failures and demonstrate how diverse supervisory signals can guide exploratory learning, enabling robust training of LLMs for complex, multi-step tool-use tasks. Our Code is available at https://github.com/hypasd-art/Tool-RL-Box.