LOTUS: Continual Imitation Learning for Robot Manipulation Through Unsupervised Skill Discovery
作者: Weikang Wan, Yifeng Zhu, Rutav Shah, Yuke Zhu
分类: cs.RO, cs.CV, cs.LG
发布日期: 2023-11-03 (更新: 2024-11-23)
备注: ICRA 2024
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出LOTUS以解决机器人操作中的持续模仿学习问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 持续模仿学习 技能发现 机器人操作 知识迁移 元控制器 开放词汇模型
📋 核心要点
- 现有的模仿学习方法在面对新任务时容易出现灾难性遗忘，无法有效利用之前学到的技能。
- LOTUS通过持续技能发现和开放词汇视觉模型，构建一个动态更新的技能库，支持机器人在多任务环境中学习。
- 实验结果显示，LOTUS在成功率上比现有方法提高了超过11%，证明了其在知识迁移方面的优势。
📝 摘要（中文）
我们介绍了LOTUS，一种持续模仿学习算法，使物理机器人能够在其生命周期内持续高效地学习解决新的操作任务。LOTUS的核心思想是通过少量人类示范，从一系列新任务中构建一个不断增长的技能库。LOTUS首先使用开放词汇视觉模型进行持续技能发现，从未分段的示范中提取出作为重复模式的技能。持续技能发现更新现有技能，以避免对先前任务的灾难性遗忘，并添加新技能以解决新任务。LOTUS训练一个元控制器，灵活组合各种技能以应对基于视觉的操作任务。我们的综合实验表明，LOTUS在成功率上超过了最先进的基线，提升幅度超过11%，显示出其优越的知识迁移能力。
🔬 方法详解
问题定义：本论文旨在解决机器人在执行新操作任务时的持续模仿学习问题。现有方法在面对新任务时，往往会遗忘之前学到的技能，导致学习效率低下。
核心思路：LOTUS的核心思路是通过持续技能发现，构建一个不断扩展的技能库，使机器人能够在学习新任务的同时保留旧技能。通过开放词汇视觉模型，LOTUS能够从未分段的示范中提取出技能模式。
技术框架：LOTUS的整体架构包括三个主要模块：技能发现模块、技能更新模块和元控制器。技能发现模块负责从示范中提取技能，技能更新模块确保旧技能不被遗忘，而元控制器则负责根据任务需求灵活组合技能。
关键创新：LOTUS的主要创新在于其持续技能发现机制，能够在学习新任务时动态更新技能库，避免灾难性遗忘。这一机制与传统的静态技能学习方法有本质区别。
关键设计：在设计上，LOTUS使用开放词汇视觉模型来提取技能，并采用特定的损失函数来平衡新旧技能的学习。此外，元控制器的设计使得技能组合更加灵活，适应不同的操作任务。
🖼️ 关键图片
📊 实验亮点
实验结果显示，LOTUS在成功率上超过了现有最先进方法11%以上，证明了其在知识迁移和技能组合方面的显著优势。这一提升为机器人在动态任务环境中的应用提供了更强的支持。
🎯 应用场景
该研究的潜在应用领域包括服务机器人、工业自动化和人机协作等场景。LOTUS能够使机器人在复杂环境中更高效地学习和适应新任务，提升其自主操作能力，具有重要的实际价值和未来影响。
📄 摘要（原文）
We introduce LOTUS, a continual imitation learning algorithm that empowers a physical robot to continuously and efficiently learn to solve new manipulation tasks throughout its lifespan. The core idea behind LOTUS is constructing an ever-growing skill library from a sequence of new tasks with a small number of human demonstrations. LOTUS starts with a continual skill discovery process using an open-vocabulary vision model, which extracts skills as recurring patterns presented in unsegmented demonstrations. Continual skill discovery updates existing skills to avoid catastrophic forgetting of previous tasks and adds new skills to solve novel tasks. LOTUS trains a meta-controller that flexibly composes various skills to tackle vision-based manipulation tasks in the lifelong learning process. Our comprehensive experiments show that LOTUS outperforms state-of-the-art baselines by over 11% in success rate, showing its superior knowledge transfer ability compared to prior methods. More results and videos can be found on the project website: https://ut-austin-rpl.github.io/Lotus/.