World Action Models Enable Continual Imitation Learning with Recurrent Generative Replays
作者: Manish Kumar Govind, Dominick Reilly, Smit Patel, Hieu Le, Srijan Das
分类: cs.RO, cs.CV
发布日期: 2026-06-25
💡 一句话要点
提出递归生成重放框架以解决机器人持续模仿学习问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 持续学习 模仿学习 生成模型 机器人技术 动作模型 伪重放 灾难性遗忘
📋 核心要点
- 现有的模仿学习方法在持续学习过程中容易遭遇灾难性遗忘，导致机器人无法有效复习已学任务。
- 本研究提出的REGEN框架利用世界动作模型生成伪重放轨迹，支持机器人在不存储示范的情况下进行持续模仿学习。
- 实验结果显示，REGEN在减少灾难性遗忘方面表现优异，相较于传统方法提升了50%的性能，接近特权经验重放的效果。
📝 摘要（中文）
本研究提出了世界动作模型（WAMs）作为基础，进一步发展出递归生成重放（REGEN）框架，旨在实现持续模仿学习。REGEN能够合成伪重放轨迹，使机器人在无需存储原始人类示范的情况下，复习先前学习的任务。在持续适应过程中，REGEN仅依据先前任务指令和当前任务观察，递归查询WAM以合成伪重放轨迹。实验结果表明，REGEN在仿真和真实操作环境中，相较于顺序微调，减少了高达50%的灾难性遗忘，同时接近需要真实重放数据的特权经验重放方法的性能。研究还分析了生成重放的限制因素，识别出长时间视觉退化和动作-观察不一致性为主要瓶颈。
🔬 方法详解
问题定义：本研究旨在解决机器人在持续模仿学习中面临的灾难性遗忘问题。现有方法通常依赖于存储大量人类示范，难以实现高效的持续学习。
核心思路：论文提出的REGEN框架通过世界动作模型生成伪重放轨迹，使机器人能够在没有原始示范的情况下，复习和适应已学任务。这种方法通过递归查询生成轨迹，增强了学习的灵活性和效率。
技术框架：REGEN框架主要包括两个模块：世界动作模型（WAM）和伪重放生成模块。在学习过程中，机器人根据当前任务观察和先前任务指令，递归生成伪重放轨迹以进行学习。
关键创新：REGEN的核心创新在于利用生成模型合成伪重放轨迹，避免了对真实示范的依赖。这一方法显著降低了灾难性遗忘的风险，并提高了机器人在新任务上的适应能力。
关键设计：在设计中，REGEN使用了特定的损失函数来优化生成轨迹的质量，并通过调整生成模型的参数来提高生成的准确性和一致性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，REGEN在仿真和真实操作环境中，相较于顺序微调方法，减少了高达50%的灾难性遗忘。同时，其性能接近需要真实重放数据的特权经验重放方法，显示出其在持续学习中的有效性。
🎯 应用场景
该研究的潜在应用场景包括服务机器人、工业自动化和人机协作等领域。通过实现持续模仿学习，机器人能够在动态环境中不断适应新任务，提高工作效率和灵活性。未来，该技术可能推动智能机器人在复杂任务中的广泛应用，减少对人类示范的依赖。
📄 摘要（原文）
Going beyond predicting robot actions, World Action Models (WAMs) can also generate future visual observations. We build on this generative capability to propose Recurrent Generative Replay (REGEN), a continual imitation learning framework that synthesizes pseudo-replay trajectories, enabling a robot policy to rehearse previously learned tasks without storing their original human demonstrations. During continual adaptation, REGEN recursively queries the WAM to synthesize pseudo-replay trajectories conditioned only on prior task instructions and current-task observations. Experiments in both simulation and real-world manipulation settings show that REGEN reduces catastrophic forgetting by up to $50\%$ relative to sequential fine-tuning, while approaching the performance of privileged experience replay methods that require access to real replay data. Finally, we analyze the factors limiting generated replay, identifying long-horizon visual degradation and action-observation inconsistency as the primary bottlenecks. Our results establish WAMs as a promising foundation for continual robot learning without stored demonstrations.