ScheduleGen: Demonstration Generation via Skill Scheduling for Multi-Arm Imitation Learning
作者: Neel Jawale, Stephan Pleines, Soha Pouya, Yuke Zhu, Ajay Mandlekar, Caelan Garrett
分类: cs.RO
发布日期: 2026-10-29
备注: 22 pages, 9 figures, 5 tables. Project website and videos: https://schedulegen.github.io/
💡 一句话要点
提出ScheduleGen以解决多臂机器人演示生成问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 多臂机器人 演示生成 模仿学习 安全控制 调度算法 策略训练 自动化
📋 核心要点
- 现有的多臂机器人演示生成算法忽视了多臂约束，导致生成的不安全和不成功的行为。
- 本文提出ScheduleGen，通过集成规划与调度来生成符合多臂约束的演示，提升了生成的安全性和成功率。
- 在28个仿真任务变体中，ScheduleGen实现了79.6%的数据生成成功率，且在真实世界变体中成功率达到50-80%。
📝 摘要（中文）
多臂机器人平台（如双臂和类人机器人）能够以比单臂系统更低的周期时间完成任务，但由于多臂约束的存在，安全控制变得更加困难。虽然从大规模数据集中训练通用机器人策略是一种有前景的方法，但获取大型多臂操作数据集仍然是一个瓶颈。自动化演示生成可以通过从少量源演示合成新演示来缓解这一负担，但现有算法忽略了多臂约束，导致不安全和不成功的行为。为了解决这一限制，本文提出了ScheduleGen，一个集成规划与调度的多臂演示生成算法。我们在28个仿真任务变体上评估了ScheduleGen，取得了79.6%的平均数据生成成功率，并训练出65.5%的平均成功率的策略。ScheduleGen策略的表现优于基于最先进数据生成基线的策略，并通过零-shot的仿真到现实和现实到仿真再到现实的转移，在八个真实世界变体中实现了50-80%的成功率。
🔬 方法详解
问题定义：本文旨在解决多臂机器人演示生成中的安全性和成功率问题。现有方法未能考虑多臂约束，导致生成的演示往往不符合实际操作需求，进而影响机器人任务的成功率。
核心思路：ScheduleGen通过集成规划与调度的方式，生成符合多臂约束的演示。该方法旨在通过合理安排多臂操作的顺序和时机，确保生成的演示既安全又有效。
技术框架：ScheduleGen的整体架构包括数据采集、演示生成和策略训练三个主要模块。首先，从少量源演示中提取信息，然后通过调度算法生成新的演示，最后利用生成的演示训练机器人策略。
关键创新：ScheduleGen的主要创新在于其能够有效考虑多臂约束，生成安全且成功的演示。这一方法与现有的单臂或忽视约束的生成方法本质上不同，显著提升了多臂操作的安全性和效率。
关键设计：在设计中，ScheduleGen采用了特定的调度算法来优化多臂操作的顺序，并设定了相应的损失函数以确保生成演示的安全性。此外，网络结构经过精心设计，以适应多臂操作的复杂性。通过这些设计，ScheduleGen能够在多种任务中实现高效的演示生成。
🖼️ 关键图片
📊 实验亮点
在实验中，ScheduleGen在28个仿真任务变体中实现了79.6%的平均数据生成成功率，并训练出65.5%的平均成功率的策略。与最先进的数据生成基线相比，ScheduleGen的策略表现更优，并在八个真实世界变体中成功率达到50-80%。
🎯 应用场景
ScheduleGen的研究成果在多臂机器人操作、自动化制造、服务机器人等领域具有广泛的应用潜力。通过提高多臂操作的安全性和成功率，该方法可以有效推动机器人在复杂环境中的自主工作能力，提升生产效率和安全性。未来，ScheduleGen还可能应用于更复杂的任务和场景，进一步拓展其应用范围。
📄 摘要（原文）
Multi-arm robot platforms, including bimanual and humanoid robots, have the capability to complete tasks with lower cycle times than single-arm systems, but they are more difficult to safely control due to the presence of multi-arm constraints. The paradigm of training generalist robot policies from massive datasets is a promising approach to address general-purpose multi-arm manipulation, but the acquisition of large multi-arm manipulation datasets remains a bottleneck. Automated demonstration generation can alleviate this burden by synthesizing new demonstrations from a handful of source demonstrations, but existing algorithms ignore multi-arm constraints and as a result often induce unsafe and unsuccessful behaviors. We address this limitation by introducing ScheduleGen, an integrated planning & scheduling algorithm for multi-arm demonstration generation. We evaluate ScheduleGen on 28 simulation task variants, including seven externally authored RoboDojo tasks and settings inaccessible to prior systems; it achieves 79.6% mean data-generation success and trains policies with 65.5% mean success. ScheduleGen policies outperform those trained on a state-of-the-art data generation baseline, and achieve 50-80% success across eight real-world variants through zero-shot sim-to-real and real-to-sim-to-real transfer. Videos and more at: https://schedulegen.github.io/