Curriculum-Based Reinforcement Learning for Quadrupedal Jumping: A Reference-free Design
作者: Vassil Atanassov, Jiatao Ding, Jens Kober, Ioannis Havoutis, Cosimo Della Santina
分类: cs.RO
发布日期: 2024-01-29 (更新: 2024-03-04)
备注: This work has been submitted to the IEEE for possible publication. 10 pages, 12 figures
🔗 代码/项目: GITHUB
💡 一句话要点
提出基于课程学习的强化学习方法以解决四足动物跳跃问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 深度强化学习 四足机器人 课程学习 动态跳跃 自主学习
📋 核心要点
- 现有的DRL方法依赖于参考轨迹，限制了其在动态跳跃任务中的灵活性和适应性。
- 本文提出了一种基于课程学习的强化学习方法，通过逐步学习不同类型的跳跃，避免了对参考轨迹的依赖。
- 实验结果显示，机器人能够实现90厘米的前向跳跃，并在未训练的环境中可靠地执行连续跳跃，表现出优越的适应能力。
📝 摘要（中文）
深度强化学习（DRL）已成为掌握四足动物爆发性和多样化跳跃技能的有前景的解决方案。然而，现有的DRL框架通常依赖于通过捕捉动物运动或从现有控制器转移经验获得的参考轨迹。本文旨在证明在不依赖模仿参考轨迹的情况下，通过课程设计学习动态跳跃是可行的。从垂直原地跳跃开始，我们将学习到的策略推广到前向和对角跳跃，最终学习跨越障碍物的跳跃。基于期望的着陆位置、方向和障碍物尺寸，所提出的方法在实际实验中产生了广泛的全向跳跃动作。特别是，我们实现了90厘米的前向跳跃，超过了现有文献中类似机器人的所有记录。此外，机器人能够在柔软的草地上可靠地执行连续跳跃，这一点尤为显著，因为此类条件未包含在训练阶段。
🔬 方法详解
问题定义：本文解决的问题是如何在不依赖参考轨迹的情况下，通过强化学习实现四足机器人动态跳跃的能力。现有方法的痛点在于对参考轨迹的依赖，限制了机器人的灵活性和适应性。
核心思路：论文的核心思路是通过课程学习的设计，逐步引导机器人从简单的跳跃任务到复杂的跳跃任务，避免模仿参考轨迹。这样的设计使得机器人能够自主学习并适应不同的跳跃场景。
技术框架：整体架构包括多个阶段：首先，机器人学习垂直跳跃；其次，推广到前向和对角跳跃；最后，学习跨越障碍物的跳跃。每个阶段都通过强化学习算法进行训练，逐步提高跳跃的复杂性。
关键创新：最重要的技术创新点在于提出了一种无需参考轨迹的课程学习方法，使得机器人能够在多样化的环境中自主学习跳跃技能。这与现有方法的本质区别在于不再依赖于外部的示范或经验。
关键设计：关键设计包括设置适当的奖励机制以鼓励机器人探索不同的跳跃方式，以及优化网络结构以提高学习效率。损失函数的设计也经过精心调整，以确保在不同跳跃任务中的有效学习。
🖼️ 关键图片
📊 实验亮点
实验结果显示，机器人成功实现了90厘米的前向跳跃，超越了现有文献中类似机器人的记录。此外，机器人在未训练的柔软草地上也能可靠地执行连续跳跃，展现出良好的环境适应能力。
🎯 应用场景
该研究的潜在应用领域包括机器人运动控制、自动化物流、救援机器人等。通过提升四足机器人的跳跃能力，可以在复杂地形中实现更高效的移动，具有重要的实际价值和未来影响。
📄 摘要（原文）
Deep reinforcement learning (DRL) has emerged as a promising solution to mastering explosive and versatile quadrupedal jumping skills. However, current DRL-based frameworks usually rely on pre-existing reference trajectories obtained by capturing animal motions or transferring experience from existing controllers. This work aims to prove that learning dynamic jumping is possible without relying on imitating a reference trajectory by leveraging a curriculum design. Starting from a vertical in-place jump, we generalize the learned policy to forward and diagonal jumps and, finally, we learn to jump across obstacles. Conditioned on the desired landing location, orientation, and obstacle dimensions, the proposed approach yields a wide range of omnidirectional jumping motions in real-world experiments. Particularly we achieve a 90cm forward jump, exceeding all previous records for similar robots reported in the existing literature. Additionally, the robot can reliably execute continuous jumping on soft grassy grounds, which is especially remarkable as such conditions were not included in the training stage. A supplementary video can be found on: https://www.youtube.com/watch?v=nRaMCrwU5X8. The code associated with this work can be found on: https://github.com/Vassil17/Curriculum-Quadruped-Jumping-DRL.