Sequential Recovery Updates for Learned Controllers under Successful-Trajectory Preservation
作者: Zongtan Li, Tianming Liu, Ye Zhao
分类: cs.RO, cs.AI
发布日期: 2026-11-02
备注: Submitted to ICRA 2027
💡 一句话要点
提出顺序恢复更新以提升学习控制器的成功轨迹保留能力
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 学习控制器 状态重定向 恢复能力 入口规则 类人系统
📋 核心要点
- 现有的学习控制器在应对干扰时表现良好，但在修正和选择何时应用修正方面仍存在不足。
- 本文提出了一种新的控制器更新机制，通过约束入口条件来优化技能的选择和应用，提升控制器的恢复能力。
- 实验结果显示，新的方法在多个类人系统上实现了62次恢复，且未损失任何基础控制器的成功表现。
📝 摘要（中文）
一款优秀的学习控制器能够从多种干扰中恢复。提升控制器的性能意味着学习修正和学习何时不应用修正。冻结技能参数并不能解决后者的问题。本文提出了一种新的入口规则，通过约束进入条件而非参数，来引导控制器在成功轨迹上进行状态重定向。每次更新在测量到失败时寻找反馈技能，并适配一个读取观察的入口规则，拒绝所有在累积成功轨迹上的状态。只有当组合控制器能够独立重现新的恢复并准确重放每个保护轨迹时，技能才被接受。通过有限轨迹条件，确保保留先前控制器的性能。实验表明，系统在两个类人系统上运行四个流，每个流进行两次更新，在192个 withheld 扰动中增加了62次恢复，并且没有损失基础控制器的成功。
🔬 方法详解
问题定义：本文旨在解决学习控制器在遭遇干扰时的恢复能力不足，特别是在修正策略的选择和应用时存在的挑战。现有方法往往依赖于冻结参数，未能有效处理何时应用修正的问题。
核心思路：论文提出通过约束技能的入口条件，而非直接冻结参数，来优化控制器的状态重定向。新的入口规则允许控制器在成功轨迹上进行有效的状态选择，从而提升恢复能力。
技术框架：整体架构包括四个流，每个流在两个类人系统上运行。每个流进行两次更新，针对每次测量到的失败寻找反馈技能，并适配入口规则。
关键创新：最重要的创新在于通过约束入口条件来优化技能选择，而不是简单地冻结参数。这种方法允许控制器在保持成功轨迹的同时，灵活应对新的干扰。
关键设计：设计中涉及的关键参数包括入口规则的适配机制，以及对成功轨迹的累积和拒绝策略。这些设计确保了控制器在新恢复策略下的有效性和稳定性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，新的控制器更新机制在192个 withheld 扰动中成功增加了62次恢复，且未损失基础控制器的任何成功表现。这一结果表明，新的方法在保持性能的同时显著提升了恢复能力。
🎯 应用场景
该研究的潜在应用领域包括机器人控制、自动驾驶和智能制造等。通过提升学习控制器的恢复能力，可以在复杂和动态的环境中实现更高效的自主决策和操作，具有重要的实际价值和未来影响。
📄 摘要（原文）
A competent learned controller already recovers from many disturbances. Improving it means learning a correction, and learning when not to apply it. Freezing a skill's parameters does not settle the second half. In a controller that routes among frozen skills, a new entry rule can redirect the states an old skill succeeded on. We therefore constrain entry instead of parameters. Each update searches for a feedback skill at a measured failure. It fits an entry rule that reads observations and rejects every state on an accumulated successful trajectory. The skill is admitted only if the composed controller reproduces the new recovery on its own and replays every protected trajectory exactly. A finite-trajectory condition states when this preserves the previous controller. One mechanism runs on four streams: two motions on each of two humanoid systems. Two updates per stream add 62 recoveries over 192 withheld perturbations, and lose none of the base controller's successes. We then price that guarantee. Removing the constraint recovers 33 more conditions but stops eight protected ones from completing at all, and excluding only what admission proves necessary recovers none of that cost.