SENTINEL: Failure-Driven Reinforcement Learning for Training Tool-Using Language Model Agents

📄 arXiv: 2606.12908 📥 PDF

作者: Ziyi Wang, Yuxuan Lu, Yimeng Zhang, Qun Liu, Chen Luo, Jiri Gesi, Hanqing Lu, Yisi Sang, Manling Li, Jing Huang, Dakuo Wang

分类: cs.CL

发布日期: 2026-06-12

💡 一句话要点

提出SENTINEL框架以解决工具使用语言模型训练中的失败问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 语言模型 工具使用 失败分析 任务生成 智能代理 多轮交互

📋 核心要点

  1. 现有的强化学习方法在固定任务分布下，导致代理能力与任务不匹配，训练效果不理想。
  2. SENTINEL框架通过分析失败的轨迹，生成针对性的训练任务，从而提升代理的能力。
  3. 在Tau2-Bench Retail上，SENTINEL显著提高了模型的表现，Pass^1从66.4提升至74.9，超越了传统RL方法。

📝 摘要（中文）

语言模型代理在多轮工具使用中越来越有效，但训练可靠的工具使用代理仍然具有挑战性。现有的强化学习方法在固定任务分布下，可能导致代理能力与任务不匹配，造成大量无效的训练。为此，本文提出了SENTINEL框架，通过分析失败的轨迹，生成针对性的训练任务，从而提高工具使用语言模型代理的性能。在Tau2-Bench Retail上，SENTINEL将Pass^1的表现从66.4提升至74.9，且在一般合成任务上超越了传统的强化学习方法。这表明模型失败可以成为有效的、可扩展的训练信号来源。

🔬 方法详解

问题定义：本文旨在解决工具使用语言模型代理在训练过程中由于任务分布固定而导致的无效训练问题。现有方法在任务分布与代理能力不匹配时，难以有效提升代理性能。

核心思路：SENTINEL框架通过分析代理在任务执行中的失败轨迹，识别出常见错误模式，并基于这些模式生成针对性的训练任务，以此来强化代理的能力。

技术框架：SENTINEL采用Controller--Proposer--Solver的循环结构。Controller负责分析失败的轨迹并总结错误模式，Proposer生成针对这些弱点的可执行任务，Solver则在这些任务上进行训练。

关键创新：SENTINEL的创新之处在于将失败的轨迹转化为有针对性的训练信号，这一方法与传统的固定任务训练方式本质上不同，能够更有效地提升代理的能力。

关键设计：在SENTINEL中，关键的参数设置包括任务生成的策略和错误模式的识别算法，损失函数设计上注重于强化学习的反馈机制，以确保代理在针对性任务上的学习效果。整体网络结构则结合了强化学习与监督学习的优势。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在Tau2-Bench Retail上，SENTINEL框架将Pass^1的表现从66.4提升至74.9，显示出显著的性能提升。此外，SENTINEL在一般合成任务上也超越了传统的强化学习方法，证明了其有效性和可扩展性。

🎯 应用场景

SENTINEL框架具有广泛的应用潜力，尤其是在需要多轮交互和工具使用的复杂任务中，如自动化客服、智能助手和机器人操作等领域。通过有效提升语言模型代理的能力，能够显著提高这些系统的实用性和可靠性，推动智能系统的进一步发展。

📄 摘要（原文）

Language model agents are increasingly effective in solving realistic tasks through multi-turn tool use. However, training reliable tool-using agents remains challenging in practice. While reinforcement learning provides an on-policy paradigm for improving agents from their own environment interactions, its effectiveness depends heavily on the training task distribution. When tasks are fixed before training, the task distribution can become increasingly mismatched with the policy's evolving capabilities, causing many rollouts to be spent on uninformative tasks. We propose SENTINEL, a failure-driven reinforcement learning framework that turns the Solver's rollout failures into targeted training tasks. SENTINEL follows a Controller--Proposer--Solver loop: the Controller analyzes failed trajectories and summarizes recurring error patterns, the Proposer generates executable tasks that stress these weaknesses, and the Solver is trained on the targeted tasks. On Tau2-Bench Retail with Qwen3-4B-Thinking-2507, SENTINEL improves Pass\^{}1 from 66.4 to 74.9 and outperforms RL on general synthetic tasks across Pass\^{}k metrics. These results demonstrate that model failures provide an effective and scalable source of targeted training signal for improving tool-using language model agents.