Reinforcement Learning-Based Control for an Inline Skating Humanoid Robot
作者: Ethan Marot, Thomas Bi, Clemens Schwarke, Victor Klemm, Marco Hutter, Raffaello D'Andrea
分类: cs.RO
发布日期: 2026-06-30
备注: 8 pages, 7 figures, 7 tables, Accepted at IROS 2026
💡 一句话要点
提出基于强化学习的控制方法以解决人形机器人滑行问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 强化学习 人形机器人 滑冰 动态平衡 控制策略 运动学 能效
📋 核心要点
- 现有方法在处理人形机器人滑行时面临复杂的力学挑战，尤其是被动滑行的稳定性问题。
- 本文提出了一种强化学习控制策略，允许人形机器人使用滑冰鞋进行动态滑行，且无需人类运动数据。
- 实验结果显示，该策略在实际应用中实现了动态平衡和快速转向，运输成本降低了50%。
📝 摘要（中文）
随着人形机器人动态性能的提升，将其与强化学习结合为解决被动滑行的复杂欠驱动力学提供了新思路。本文训练并部署了一种强化学习控制策略，使得改装为滑冰鞋的人形机器人能够实现新颖的滑行策略。与以往仅限于四足机器人或主动驱动轮的研究不同，我们的系统允许对滑冰鞋进行精确的六自由度控制，从而执行动态的边缘驱动推进策略。我们的滑行策略完全基于奖励结构生成，无需依赖人类运动数据、模仿学习或运动学先验。通过在训练和验证中使用不同几何轮模型（球形和椭球形），结合基于成功的命令课程和专门的滚动奖励，我们克服了被动轮的固有不稳定性和仿真接触伪影。最终，我们的策略在运输成本上相比标准步态减少了50%。
🔬 方法详解
问题定义：本文旨在解决人形机器人在被动滑行中的稳定性和控制问题。现有方法多集中于四足机器人或主动驱动轮，无法有效应对人形机器人的复杂力学特性。
核心思路：通过强化学习训练控制策略，使得改装为滑冰鞋的人形机器人能够自主学习滑行策略，完全依赖于奖励结构而非人类示范。
技术框架：整体架构包括训练阶段和验证阶段。在训练阶段，使用不同几何轮模型（球形和椭球形）来增强模型的泛化能力；在验证阶段，评估策略在真实硬件上的表现。
关键创新：最重要的创新在于实现了对滑冰鞋的精确六自由度控制，能够执行动态的边缘驱动推进策略，这与以往的研究方法有本质区别。
关键设计：在训练过程中，设计了基于成功的命令课程和专门的滚动奖励，以克服被动轮的固有不稳定性。此外，采用了适应性损失函数和优化的网络结构以提升学习效率。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提出的控制策略在运输成本上相比标准步态减少了50%。此外，机器人在真实环境中表现出良好的动态平衡能力，能够有效抵抗外部扰动，并实现快速转向，展示了出色的灵活性和适应性。
🎯 应用场景
该研究的潜在应用领域包括服务机器人、娱乐机器人以及运动辅助设备等。通过实现高效的滑行策略，未来可以在各种动态环境中提升机器人的移动能力和适应性，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
As humanoid robots become increasingly dynamic, coupling them with reinforcement learning offers a promising approach to solving the complex, underactuated mechanics of passive inline skating. Equipping a humanoid robot with passive inline skating wheels presents an opportunity to combine the versatile agility of humanoids with the high-speed, energy-efficient locomotion strategies utilized by human skaters. In this paper, we train and deploy a reinforcement learning control policy that enables novel locomotion strategies for a humanoid robot modified to equip consumer inline skates instead of conventional feet. Unlike previous work limited to quadrupedal robots or actively driven wheels, our system allows for precise 6-DoF control of the skates to execute dynamic, edge-driven propulsion strategies. Our skating strategies emerge entirely from our reward structure, without reliance on human motion data, imitation learning, or kinematic priors. We overcome the inherent instability of passive wheels and simulation contact artifacts by utilizing different geometric wheel models (spherical and ellipsoidal) during training and validation, along with a custom success-based command curriculum and a specialized rolling reward. Consequently, our policy demonstrates up to a 50% reduction in Cost of Transport (CoT) compared to standard walking gaits. The resulting policy successfully transfers zero-shot to the physical Booster T1 hardware. Real-world deployments demonstrate dynamic balance, the ability to reject active physical perturbations, and agile locomotion strategies capable of turning at speed. A video of our results can be found at https://www.youtube.com/watch?v=-_APcOS7uFo.