MiRL: Error-Targeted Reinforcement Learning for Correcting Terminal Agent Misbehaviors

📄 arXiv: 2610.35697v1 📥 PDF

作者: Runchu Tian, Zaid Khan, Zun Wang, Justin Chih-Yao Chen, Mohit Bansal

分类: cs.LG, cs.AI, cs.CL

发布日期: 2026-10-26

备注: 20 pages, 14 figures, 5 tables. Project page: https://github.com/runchu-tian/MiRL

💡 一句话要点

提出MiRL以解决终端代理错误行为问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 错误针对学习 强化学习 终端代理 自然语言处理 长时间任务 智能助手 命令行交互

📋 核心要点

  1. 现有的错误针对方法主要针对单轮任务，无法有效处理长时间任务中的复杂错误行为。
  2. 论文提出的MiRL方法通过分析策略错误，识别可泛化的错误行为，并通过强化学习进行针对性训练。
  3. 实验结果显示，MiRL在多个基准测试中表现优异，显著减少了错误行为的发生率，并提高了训练效率。

📝 摘要（中文）

错误针对学习提供了一种清晰的方式来改进模型：识别模型的具体弱点，训练模型修复这些弱点，并检查是否修复成功。我们研究如何将错误针对学习应用于终端代理，这些代理通过与命令行交互来解决自然语言指定的长时间任务。现有的错误针对方法主要针对单轮任务，且现有的代理失败分析用于评估和调试代理，而非训练。我们提出了基于错误行为的强化学习（MiRL），首先对策略的错误进行分析，以发现可泛化的错误行为：在多个环境中反复出现的错误步骤。然后，MiRL通过强化学习训练策略，从这些错误发生的步骤开始回滚，并仅在通过测试且避免错误行为时给予奖励。在Qwen3.5-4B上，八种错误行为占错误步骤的52.1%。经过MiRL训练后，策略在未见前缀上的错误行为重复率平均降低了43%到57%。MiRL在Terminal-Bench Lite上优于TMax-4B（51.8%对比47.4%），在Terminal-Bench 2.1上与之持平（21.3%对比20.6%），同时使用了35%的回滚次数。这些结果表明，错误针对学习可以应用于现实的长时间终端任务。

🔬 方法详解

问题定义：本论文旨在解决终端代理在长时间任务中出现的错误行为问题。现有方法主要针对单轮任务，无法有效识别和修复在多轮交互中出现的复杂错误。

核心思路：论文的核心思路是通过错误行为分析，识别出在不同环境中重复出现的错误类型，并利用强化学习进行针对性训练，以减少这些错误的发生。

技术框架：MiRL的整体架构包括错误分析模块、强化学习训练模块和评估模块。首先，通过分析策略的错误，识别出可泛化的错误行为，然后在训练过程中从这些错误步骤开始回滚，并根据是否成功避免错误行为来给予奖励。

关键创新：MiRL的主要创新在于将错误针对学习应用于长时间任务的终端代理，首次通过分析错误行为来指导强化学习训练，显著提高了训练效果。

关键设计：在训练过程中，MiRL设定了特定的奖励机制，仅在策略成功避免错误行为时给予奖励。此外，采用了适应性回滚策略，从错误发生的步骤开始进行训练，以提高学习效率。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，MiRL在Terminal-Bench Lite上取得了51.8%的成功率，优于对比基线TMax-4B的47.4%。在Terminal-Bench 2.1上，MiRL与TMax-4B持平，分别为21.3%和20.6%。此外，MiRL在训练过程中仅使用了35%的回滚次数，显示出更高的训练效率。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的对话系统、智能助手和自动化命令行工具等。通过改进终端代理的行为，能够提升用户体验和系统的可靠性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Error-targeted learning gives a legible way to improve a model: identify specific weaknesses of the model, train the model to fix these weaknesses, and check whether the weaknesses are fixed. We study how to apply error-targeted learning to terminal agents, which solve long-horizon tasks specified in natural language by interacting with a command shell. Existing error-targeted methods are designed for single-turn tasks, and existing analyses of agent failures are used to evaluate and debug agents rather than to train them. We propose Misbehavior-driven RL (MiRL), which first profiles the errors of a policy to find generalizable misbehaviors: kinds of wrong steps that recur across many environments. MiRL then trains the policy with RL, starting rollouts at the steps where these misbehaviors occur and rewarding a rollout only if it passes the tests and avoids the misbehavior. On Qwen3.5-4B, eight misbehaviors account for 52.1% of wrong steps. After training with MiRL, the policy repeats the measured misbehaviors 43% to 57% less often on average on unseen prefixes. MiRL outperforms TMax-4B on Terminal-Bench Lite (51.8% vs. 47.4%) and matches it on Terminal-Bench 2.1 (21.3% vs. 20.6%), while using 35% of its rollouts. These results show that error-targeted learning can be applied to realistic, long-horizon terminal tasks.