FAR: Failure-Aware Retry for Test-Time Recovery and Continual Policy Improvement
作者: Haoran Hao, Shahram Najam Syed, Jeffrey Ichnowski, Jeff Schneider
分类: cs.RO, cs.AI, cs.LG
发布日期: 2026-07-01
💡 一句话要点
提出FAR框架以解决机器人在测试时的失败恢复问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 失败恢复 机器人学习 自主适应 策略改进 数据效率
📋 核心要点
- 现有方法在机器人失败恢复时往往依赖人工干预，简单重试无法有效避免重复错误。
- FAR框架通过学习先前失败的经验，结合轻量级动作扰动，促进机器人自主适应和任务完成。
- 实验结果显示，FAR在模拟和实际环境中成功率分别提高了17.6%和11.7%，并显著提升了数据效率。
📝 摘要（中文）
机器人在实际环境中部署时不可避免地会遇到失败。简单的重试往往会重复相同的错误，而许多现有的恢复方法依赖于人工干预。本文提出了失败感知重试（FAR）框架，使机器人能够在测试时从先前的失败中学习，调整其行为，最终自主完成任务。FAR结合了失败对比偏好适应，通过从失败中构建偏好学习数据来引导策略远离先前不成功的行为，并在重试过程中采用轻量级的动作扰动以鼓励局部探索。此外，我们将成功的恢复轨迹纳入训练循环，以实现持续的策略改进。实验结果表明，FAR在模拟和实际操作任务中显著提高了成功率和鲁棒性，模拟中的平均提升为17.6%，实际环境中为11.7%。
🔬 方法详解
问题定义：本文旨在解决机器人在实际环境中遇到失败后的恢复问题。现有方法往往依赖人工干预，简单重试无法有效避免重复错误，导致任务完成率低下。
核心思路：FAR框架的核心思想是使机器人在测试时能够从失败中学习，并通过调整行为来避免重复错误。通过结合失败对比偏好适应和轻量级动作扰动，FAR能够引导机器人进行有效的局部探索。
技术框架：FAR的整体架构包括两个主要模块：失败对比偏好适应模块和轻量级动作扰动模块。前者负责从失败中构建偏好学习数据，后者则在重试过程中引导机器人进行局部探索。成功的恢复轨迹被纳入训练循环，以实现持续的策略改进。
关键创新：FAR的主要创新在于其失败感知机制，通过学习失败案例来优化策略，与传统方法相比，FAR能够在没有人工干预的情况下实现更高的自主性和适应性。
关键设计：FAR采用了特定的损失函数来引导偏好学习，并在动作扰动中设置了轻量级的参数，以确保在重试过程中能够有效探索新的行为路径。
🖼️ 关键图片
📊 实验亮点
实验结果表明，FAR框架在模拟环境中成功率提升了17.6%，在实际操作中提升了11.7%。此外，FAR在持续策略改进过程中显著提高了数据效率，尤其是在重置和时间步预算下，充分利用了信息丰富的失败案例。
🎯 应用场景
该研究的潜在应用领域包括自主机器人、智能制造和服务机器人等。通过提高机器人在复杂环境中的自主恢复能力，FAR框架能够显著提升机器人在实际应用中的效率和可靠性，具有广泛的实际价值和未来影响。
📄 摘要（原文）
Robot policies inevitably encounter failures when deployed in real environments. Naive retries often repeat the same mistakes, while many existing recovery methods rely on human intervention. In this paper, we propose Failure-Aware Retry (FAR), a framework that enables robots to learn from previous failures at test time, adapt their behavior accordingly, and eventually complete the task autonomously. FAR combines Failure-Contrastive Preference Adaptation, which constructs preference learning data from failures to steer the policy away from previously unsuccessful behaviors, with lightweight action perturbations during retries to encourage local exploration. We further incorporate successful recovery trajectories into a training loop for continual policy improvement. Experiments in both simulation and real-world manipulation tasks show that FAR substantially improves success rates and robustness, with average gains of 17.6% over the standard diffusion policy in simulation and 11.7% in the real world. In addition, FAR significantly improves data efficiency under both reset and timestep budgets during continual policy improvement by exploiting informative failure cases.