Expert Composer Policy: Scalable Skill Repertoire for Quadruped Robots
作者: Guilherme Christmann, Ying-Sheng Luo, Wei-Chao Chen
分类: cs.RO
发布日期: 2024-03-18
备注: ICRA 2024
💡 一句话要点
提出专家组合策略以扩展四足机器人技能库
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 四足机器人 技能扩展 专家组合策略 领域随机化 自主导航 增量学习
📋 核心要点
- 现有方法在扩展四足机器人技能库时存在局限性，难以保证新技能的引入不会影响已有技能的表现。
- 本文提出的专家组合策略通过独立训练一个组合策略，允许顺序组合多个专家技能，避免了传统方法的复杂性。
- 实验结果显示，该方法在72对过渡中实现了99.99%的成功率，且在现实环境中也达到了97.22%的成功率，显著优于基线方法。
📝 摘要（中文）
本文提出了一种专家组合策略框架，以可靠地扩展四足机器人代理的技能库。该策略通过将一对专家与采样目标状态之间的过渡连接起来，使专家能够顺序组合。每个专家专注于单一技能，如运动步态或跳跃动作。与层次或混合专家架构不同，我们在一个独立的过程中训练单一的组合策略，而不依赖于其他专家策略。通过重用相同的组合策略，我们的方法能够在不影响现有专家的情况下添加新专家，实现增量扩展并保持原始运动质量。实验中，我们测量了72对过渡的成功率，平均成功率达到99.99%，比基线随机方法高出10%以上，并超越了其他最先进的方法。通过在训练中使用领域随机化，我们确保成功转移到现实世界，在实验中实现了97.22%的平均过渡成功率（N=360）。
🔬 方法详解
问题定义：本文旨在解决四足机器人技能库扩展中的可靠性和效率问题。现有方法在引入新技能时，往往会影响已有技能的表现，导致整体性能下降。
核心思路：提出的专家组合策略通过独立训练一个组合策略，使得不同技能的专家可以顺序组合，避免了相互依赖的问题，从而实现技能的增量扩展。
技术框架：整体架构包括一个组合策略模块，该模块负责连接不同专家，并通过过渡实现技能的顺序组合。每个专家专注于特定技能，组合策略则在独立的训练过程中进行优化。
关键创新：最重要的创新在于通过单一的组合策略实现了专家技能的灵活组合，而不是依赖于复杂的层次或混合专家架构。这种设计使得新技能的引入不会影响已有技能的质量。
关键设计：在训练过程中，采用领域随机化技术以增强模型的泛化能力，确保在真实环境中的成功转移。具体参数设置和损失函数设计未在摘要中详细说明，需参考论文的完整内容。
🖼️ 关键图片
📊 实验亮点
实验结果显示，提出的方法在72对过渡中实现了99.99%的成功率，显著高于基线随机方法的成功率，提升幅度超过10%。在真实世界实验中，平均过渡成功率达到97.22%，验证了方法的有效性和可转移性。
🎯 应用场景
该研究的潜在应用场景包括自主导航、救援任务、以及复杂环境中的四足机器人操作。通过扩展技能库，机器人能够在多变的环境中执行更复杂的任务，提升其适应性和灵活性，具有重要的实际价值和未来影响。
📄 摘要（原文）
We propose the expert composer policy, a framework to reliably expand the skill repertoire of quadruped agents. The composer policy links pair of experts via transitions to a sampled target state, allowing experts to be composed sequentially. Each expert specializes in a single skill, such as a locomotion gait or a jumping motion. Instead of a hierarchical or mixture-of-experts architecture, we train a single composer policy in an independent process that is not conditioned on the other expert policies. By reusing the same composer policy, our approach enables adding new experts without affecting existing ones, enabling incremental repertoire expansion and preserving original motion quality. We measured the transition success rate of 72 transition pairs and achieved an average success rate of 99.99\%, which is over 10\% higher than the baseline random approach, and outperforms other state-of-the-art methods. Using domain randomization during training we ensure a successful transfer to the real world, where we achieve an average transition success rate of 97.22\% (N=360) in our experiments.