SENTINEL: Failure-Driven Reinforcement Learning for Training Tool-Using Language Model Agents

📄 arXiv: 2606.12908v1 📥 PDF

作者: Ziyi Wang, Yuxuan Lu, Yimeng Zhang, Qun Liu, Chen Luo, Jiri Gesi, Hanqing Lu, Yisi Sang, Manling Li, Jing Huang, Dakuo Wang

分类: cs.CL

发布日期: 2026-06-11

💡 一句话要点

提出SENTINEL框架以解决工具使用语言模型代理的训练挑战

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 语言模型 工具使用 训练框架 任务分布 模型优化 自动化

📋 核心要点

  1. 现有的工具使用语言模型代理在训练过程中面临任务分布不匹配的问题，导致代理在无效任务上浪费时间。
  2. SENTINEL框架通过分析失败的轨迹，将失败转化为针对性的训练任务，形成控制器、提议者和求解器的循环结构。
  3. 在Tau2-Bench Retail上，SENTINEL将Pass^1得分从66.4提升至74.9，且在合成任务上超越了传统强化学习方法。

📝 摘要（中文）

语言模型代理在多轮工具使用中表现出色，但训练可靠的工具使用代理仍然面临挑战。现有的强化学习方法依赖于固定的任务分布，导致代理在训练过程中可能面临不匹配的任务分布，从而浪费大量时间在无效任务上。为此，本文提出了SENTINEL框架，通过分析失败的轨迹，将失败转化为针对性的训练任务。该框架包含控制器、提议者和求解器三个模块，能够有效提升工具使用语言模型代理的性能。实验结果表明，SENTINEL在Tau2-Bench Retail上显著提高了Pass^1的得分，从66.4提升至74.9，并在一般合成任务上超越了传统的强化学习方法。

🔬 方法详解

问题定义：本文旨在解决工具使用语言模型代理在训练过程中由于任务分布固定而导致的无效任务问题。现有方法在面对代理能力演变时，任务分布可能不再匹配，造成训练效率低下。

核心思路：SENTINEL框架的核心思路是将代理在执行任务时的失败转化为针对性的训练任务，通过分析失败轨迹来识别和强化代理的弱点。

技术框架：SENTINEL框架由三个主要模块组成：控制器负责分析失败轨迹并总结错误模式，提议者生成针对这些弱点的可执行任务，求解器则在这些任务上进行训练。

关键创新：SENTINEL的创新在于将失败作为有效的训练信号，形成了一个循环的学习机制，与传统的强化学习方法相比，能够更有效地提升代理的能力。

关键设计：在设计上，SENTINEL通过控制器的分析来识别错误模式，提议者生成的任务具有针对性，确保求解器在训练中专注于提升特定的能力。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，SENTINEL在Tau2-Bench Retail上将Pass^1得分从66.4提升至74.9，提升幅度达到8.5个百分点。此外，在一般合成任务上，SENTINEL的表现也超越了传统的强化学习方法，展示了其在训练效率和效果上的显著优势。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动化工具和复杂任务的自动化处理等。通过提升工具使用语言模型代理的训练效率，SENTINEL框架能够在实际应用中显著提高任务完成的准确性和效率，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Language model agents are increasingly effective in solving realistic tasks through multi-turn tool use. However, training reliable tool-using agents remains challenging in practice. While reinforcement learning provides an on-policy paradigm for improving agents from their own environment interactions, its effectiveness depends heavily on the training task distribution. When tasks are fixed before training, the task distribution can become increasingly mismatched with the policy's evolving capabilities, causing many rollouts to be spent on uninformative tasks. We propose SENTINEL, a failure-driven reinforcement learning framework that turns the Solver's rollout failures into targeted training tasks. SENTINEL follows a Controller--Proposer--Solver loop: the Controller analyzes failed trajectories and summarizes recurring error patterns, the Proposer generates executable tasks that stress these weaknesses, and the Solver is trained on the targeted tasks. On Tau2-Bench Retail with Qwen3-4B-Thinking-2507, SENTINEL improves Pass\^{}1 from 66.4 to 74.9 and outperforms RL on general synthetic tasks across Pass\^{}k metrics. These results demonstrate that model failures provide an effective and scalable source of targeted training signal for improving tool-using language model agents.