Learning Agile Locomotion on Risky Terrains
作者: Chong Zhang, Nikita Rudin, David Hoeller, Marco Hutter
分类: cs.RO
发布日期: 2023-11-17 (更新: 2024-08-08)
备注: 8 pages, 11 figures. IROS 2024
💡 一句话要点
提出端到端强化学习以解决危险地形的四足机器人运动问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 四足机器人 强化学习 动态运动 危险地形 自主导航 稀疏奖励 机器人适应性
📋 核心要点
- 现有方法在稀疏支撑点和危险地形上面临挑战，通常依赖于基于模型的策略，限制了机器人的灵活性。
- 本文提出了一种端到端的强化学习方法，通过训练通用策略并微调专业策略，使机器人能够在复杂地形上灵活运动。
- 实验结果表明，ANYmal-D机器人在稀疏踏脚石和狭窄平衡梁上实现了高达2.5 m/s的前进速度，显示出显著的性能提升。
📝 摘要（中文）
四足机器人在各种地形上展现出卓越的机动性，但在稀疏的支撑点和危险地形（如踏脚石和平衡梁）上，传统的基于模型的方法通常被采用。本文展示了端到端的强化学习也能使机器人以动态动作穿越这些危险地形。我们的方法首先在无序和稀疏的踏脚石上训练通用策略，然后通过微调专业策略将其可重用知识转移到更具挑战性的地形上。我们将任务定义为导航任务，以快速适应地形的速度，并提出了一种探索策略以克服稀疏奖励，实现高鲁棒性。通过仿真和实际实验验证了该方法，ANYmal-D机器人在稀疏踏脚石和狭窄平衡梁上实现了>= 2.5 m/s的峰值前进速度。
🔬 方法详解
问题定义：本文旨在解决四足机器人在稀疏支撑点和危险地形上运动的挑战。现有基于模型的方法在这些情况下往往无法提供足够的灵活性和适应性。
核心思路：我们提出了一种端到端的强化学习框架，使机器人能够在动态环境中学习并适应，通过训练通用策略并微调以应对不同地形。
技术框架：整体架构包括两个主要阶段：首先在稀疏踏脚石上训练通用策略，然后通过微调生成适应特定地形的专业策略。任务被定义为导航任务，以提高速度适应性。
关键创新：最重要的创新在于将任务定义为导航而非速度跟踪，这使得机器人能够在复杂环境中更灵活地调整行为，克服稀疏奖励问题。
关键设计：在训练过程中，我们设置了特定的奖励机制以鼓励快速适应，同时采用了适应性探索策略以提高鲁棒性。网络结构方面，使用了深度强化学习算法，结合了策略梯度方法和价值函数估计。
🖼️ 关键图片
📊 实验亮点
实验结果显示，ANYmal-D机器人在稀疏踏脚石和狭窄平衡梁上实现了高达2.5 m/s的峰值前进速度，相较于传统方法，表现出显著的性能提升，验证了端到端强化学习在复杂地形适应中的有效性。
🎯 应用场景
该研究的潜在应用领域包括救援机器人、探险机器人以及任何需要在复杂和危险环境中自主移动的机器人系统。通过提高机器人在不平坦地形上的运动能力，可以显著提升其在实际任务中的有效性和安全性，未来可能对机器人技术的发展产生深远影响。
📄 摘要（原文）
Quadruped robots have shown remarkable mobility on various terrains through reinforcement learning. Yet, in the presence of sparse footholds and risky terrains such as stepping stones and balance beams, which require precise foot placement to avoid falls, model-based approaches are often used. In this paper, we show that end-to-end reinforcement learning can also enable the robot to traverse risky terrains with dynamic motions. To this end, our approach involves training a generalist policy for agile locomotion on disorderly and sparse stepping stones before transferring its reusable knowledge to various more challenging terrains by finetuning specialist policies from it. Given that the robot needs to rapidly adapt its velocity on these terrains, we formulate the task as a navigation task instead of the commonly used velocity tracking which constrains the robot's behavior and propose an exploration strategy to overcome sparse rewards and achieve high robustness. We validate our proposed method through simulation and real-world experiments on an ANYmal-D robot achieving peak forward velocity of >= 2.5 m/s on sparse stepping stones and narrow balance beams. Video: youtu.be/Z5X0J8OH6z4