Robust Brachiation on a Life-Sized Dual-Arm Robot Using Waypoint-Guided Reinforcement Learning

📄 arXiv: 2608.17320v1 📥 PDF

作者: Ayumu Iwata, Kento Kawaharazuka, Keita Yoneda, Takahiro Hattori, Kei Okada

分类: cs.RO

发布日期: 2026-08-18

备注: Accepted to 2026 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)

💡 一句话要点

提出基于路径引导的强化学习方法以实现双臂机器人稳健的摆动行走

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 摆动行走 强化学习 路径引导 双臂机器人 运动控制 Sim-to-Real 故障恢复

📋 核心要点

  1. 现有的机器人摆动行走方法在实现高难度任务时缺乏有效的模仿学习数据，导致行为获取困难。
  2. 提出的路径引导强化学习（WGRL）方法通过稀疏指定路径点，引导机器人学习复杂的非线性运动。
  3. 实验结果表明，所提方法在模拟和实际环境中均能实现稳健的摆动行走，并具备故障恢复能力。

📝 摘要（中文）

摆动行走是灵长类动物主要依靠手臂移动的一种行走方式，能够在没有支撑点的环境中穿越。然而，这种运动需要高度协调的全身运动和精确的时序控制。本文提出了一种基于强化学习的方法，在一个等身大小的双臂机器人上实现摆动行走。核心方法是路径引导强化学习（WGRL），通过稀疏指定末端执行器轨迹的路径点来引导行为获取，同时通过强化学习生成全身运动。通过将路径跟随指导与基于任务成功和机械能的奖励相结合，并在为Sim-to-Real转移设计的环境中进行训练，所提方法实现了前进和运动稳定性。实验结果表明，该方法在几何变化的猴杆环境下表现出稳健的摆动行走能力，包括故障恢复行为。

🔬 方法详解

问题定义：本文旨在解决在等身大小的双臂机器人上实现稳健摆动行走的挑战，现有方法在高难度任务中缺乏有效的模仿学习数据，导致行为获取的困难。

核心思路：论文提出的路径引导强化学习（WGRL）方法，通过稀疏指定路径点来引导机器人学习复杂的运动，同时结合强化学习生成全身运动，以实现高效的行为获取。

技术框架：整体架构包括路径点的稀疏指定、基于任务成功的奖励机制和机械能的优化，训练环境设计为支持Sim-to-Real转移，确保在真实环境中的有效性。

关键创新：最重要的技术创新在于将路径引导与强化学习结合，形成了一种新的学习框架，能够有效应对高难度的运动任务，区别于传统的模仿学习方法。

关键设计：在技术细节上，采用了特定的损失函数来平衡路径跟随和任务成功的奖励，同时设计了适应于双臂机器人的网络结构，以提高学习效率和稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提方法在几何变化的猴杆环境中实现了稳健的摆动行走，成功率显著提高，且具备故障恢复能力，验证了方法的有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括服务机器人、救援机器人以及其他需要灵活移动的机器人系统。通过实现稳健的摆动行走，机器人能够在复杂环境中有效导航，提升其在实际应用中的价值和适应性。

📄 摘要（原文）

Brachiation is a form of locomotion in which primates move primarily using their arms, enabling traversal in environments without footholds. However, this motion requires highly coordinated whole-body movement and precise timing control for bar grasping and release. As a result, achieving robust behavior on life-sized robotic platforms remains challenging. In this study, we present a reinforcement learning-based method to realize brachiation on a life-sized dual-arm robot. The core of the proposed approach is Waypoint-Guided Reinforcement Learning (WGRL), a learning framework for inducing non-linear and complex motions. For high-difficulty tasks where imitation learning data are unavailable, WGRL guides behavior acquisition by sparsely specifying waypoints for the end-effector trajectory, while whole-body motion is generated through reinforcement learning. In addition, by integrating the waypoint-following guidance with rewards based on task success and mechanical energy, and training in an environment designed for Sim-to-Real transfer, the proposed method achieves both forward progression and motion stability. The acquired behavior is evaluated through Sim-to-Sim experiments under monkey-bar environments with geometric variations and hardware experiments, confirming robust brachiation including failure recovery behavior. This study provides effective learning design guidelines for realizing arm-based locomotion on life-sized robotic hardware and expanding the traversable workspace of robots.