When Robots Sleep: Offline Skill Consolidation for Shared-Policy Robot Learning
作者: Nethmi Jayasinghe, Diana Gontero, Amit Ranjan Trivedi
分类: cs.RO
发布日期: 2026-06-16
💡 一句话要点
提出睡眠机器人框架以解决共享策略下的技能整合问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 机器人学习 共享策略 技能整合 离线学习 强化学习 模仿学习 纳什议价 长时间部署
📋 核心要点
- 现有方法在长时间部署中难以在添加新技能时保持共享策略结构，导致技能间的可靠性下降。
- 提出的睡眠机器人框架通过清醒时学习新技能，睡眠时整合共享策略，利用冻结技能记忆进行离线学习。
- 在Meta-World MT5上，睡眠机器人提高了64%的平均成功率，并在SurgicAI上相较于基线表现出更好的平均成功率和向后转移。
📝 摘要（中文）
在长时间部署的机器人学习中，机器人需要在不失去共享策略结构的情况下添加新技能。本文研究了顺序机器人技能学习，提出了睡眠机器人框架，该框架在清醒时学习新技能，在睡眠时利用紧凑的冻结技能记忆离线整合共享策略。通过定义可微分的替代目标并结合纳什议价，睡眠机器人在Meta-World MT5上提高了64%的平均成功率，并在SurgicAI上相较于持续模仿基线提升了平均成功率和向后转移，同时在成对可靠性上保持竞争力。
🔬 方法详解
问题定义：本文解决的问题是如何在机器人学习中添加新技能而不损失共享策略结构。现有方法在技能间的可靠性下降时，无法有效整合新技能。
核心思路：提出的睡眠机器人框架通过在清醒时学习新技能，并在睡眠时利用冻结的技能记忆进行离线整合，旨在保持技能间的可靠性和共享策略的有效性。
技术框架：整体架构包括两个主要阶段：清醒阶段用于技能学习，睡眠阶段用于策略整合。在睡眠阶段，使用冻结的评论者和演员快照来定义可微分的替代目标。
关键创新：最重要的创新在于提出了技能耦合崩溃的概念，并通过纳什议价结合梯度来实现稳定的策略整合，这与现有方法的单一任务特定头或适配器设计有本质区别。
关键设计：关键设计包括使用无序状态缓冲区和无序观察缓冲区来存储技能记忆，以及自适应锚定和局部兴奋性机制，以确保整合过程的稳定性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，睡眠机器人在Meta-World MT5上提高了64%的平均成功率，并在SurgicAI上相较于持续模仿基线在平均成功率和向后转移方面均表现出显著提升，同时在成对可靠性上保持竞争力。
🎯 应用场景
该研究的潜在应用领域包括自主机器人、服务机器人和工业自动化等场景，能够在不断变化的环境中有效学习和整合新技能，提升机器人在复杂任务中的适应能力和效率。未来可能对机器人学习的长期部署和技能管理产生深远影响。
📄 摘要（原文）
Robots that learn over long deployments must add new skills without losing the shared policy structure that makes earlier skills reusable. We study sequential robot skill learning, where previous trajectories and task losses may be unavailable, and the deployed policy must remain a single shared controller without task-specific heads, routing, or adapters. We identify skill-coupling collapse, a failure mode in which individual skill success remains non-trivial while reliability among related skills deteriorates. We propose Sleeping Robots, a wake-sleep framework that learns each new skill during wake and consolidates the shared policy offline during sleep using compact frozen skill memories: frozen critics with unordered state buffers for reinforcement learning and frozen actor snapshots with unordered observation buffers for imitation learning. During sleep, these memories define differentiable surrogate objectives whose gradients are combined through Nash bargaining, with adaptive anchoring and local excitability for stable consolidation. On Meta-World MT5, Sleeping Robots improves average success by 64 % and pairwise reliability by x 2.0 over the strongest non-oracle baseline, and on SurgicAI it improves average success and backward transfer relative to continual imitation baselines while remaining competitive on pairwise reliability.