A Physical Imitation Learning Pipeline for Energy-Efficient Quadruped Locomotion Assisted by Parallel Elastic Joint
作者: Huyue Ma, Yurui Jin, Helmut Hauser, Rui Wu
分类: cs.RO
发布日期: 2026-04-01
💡 一句话要点
提出物理模仿学习，通过被动弹性关节提升四足机器人能效
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 物理模仿学习 强化学习 被动弹性关节 四足机器人 能量效率 具身智能
📋 核心要点
- 现有机器人通常采用集中式控制器，抑制而非利用内在身体动力学，导致能量效率低下。
- 物理模仿学习（PIL）将强化学习策略提炼为可由被动弹性关节实现的物理响应，降低控制负担。
- 模拟实验表明，PIL能显著降低四足机器人的能耗，在不同地形下均能有效转移机械功率。
📝 摘要（中文）
本文提出了一种名为物理模仿学习（PIL）的方法，旨在利用动物的内在身体动力学实现节能运动。该方法将强化学习（RL）控制策略提炼成可物理实现的身体响应，并将其直接转移到被动平行弹性关节（PEJ）上，使机器人身体能够模仿部分受控行为。同时，剩余的策略控制电机以恢复RL策略的性能。结果表明，由于将部分控制策略外包给PEJ，整体能耗降低。在模拟四足机器人中，PIL方法在平坦地形上可将高达87%的机械功率转移到PEJ，在崎岖地形上可转移18%。由于身体设计是从控制策略中提炼出来的，而不是与控制策略联合优化，PIL实现了脑-体协同设计，而无需使用身体设计参数扩展搜索空间，从而为适用于各种基于关节的机器人形态的任务特定具身物理智能提供了一条计算高效的途径。
🔬 方法详解
问题定义：现有机器人运动控制方法通常依赖于集中式控制器，忽略了机器人身体的内在动力学特性，导致能量效率低下。这些方法往往需要电机提供大量的能量来克服身体的自然运动趋势，从而增加了能量消耗。因此，如何设计一种能够有效利用机器人身体内在动力学特性的控制方法，以实现节能运动，是本文要解决的核心问题。
核心思路：本文的核心思路是将强化学习（RL）训练得到的控制策略分解为两部分：一部分由被动平行弹性关节（PEJ）来实现，另一部分由电机来实现。通过这种方式，机器人身体的内在动力学特性可以被有效地利用，从而降低电机所需的能量。这种方法模仿了生物的脑-体协同进化，其中身体的结构和控制策略是相互适应的。
技术框架：PIL方法的整体框架包括以下几个主要步骤：首先，使用强化学习训练一个控制策略，使其能够在特定任务中表现良好。然后，分析该策略，提取出其中可以由PEJ实现的物理响应。接下来，设计PEJ的参数，使其能够模仿这些物理响应。最后，使用剩余的控制策略来控制电机，以恢复RL策略的性能。这个框架允许将控制策略的一部分“外包”给身体，从而降低了控制器的负担。
关键创新：PIL方法最重要的创新点在于它实现了脑-体协同设计，而无需显式地优化身体的结构参数。传统的脑-体协同设计方法通常需要同时优化控制策略和身体结构，这会导致搜索空间非常大，计算成本很高。而PIL方法通过将控制策略分解为两部分，并使用PEJ来模仿其中的一部分，从而避免了这个问题。这种方法可以有效地利用身体的内在动力学特性，从而实现节能运动。
关键设计：PIL的关键设计包括以下几个方面：首先，需要选择合适的PEJ类型和参数，使其能够模仿RL策略中的物理响应。其次，需要设计合适的损失函数，以鼓励RL策略学习到可以由PEJ实现的物理响应。此外，还需要设计合适的控制策略，以控制电机来恢复RL策略的性能。在实验中，作者使用了弹簧刚度和预压缩量来调整PEJ的特性，并使用Actor-Critic算法来训练RL策略。
🖼️ 关键图片
📊 实验亮点
实验结果表明，在模拟四足机器人中，PIL方法在平坦地形上可将高达87%的机械功率转移到PEJ，在崎岖地形上可转移18%。这表明PIL方法能够有效地利用身体的内在动力学特性，从而降低电机所需的能量。此外，实验还表明，PIL方法可以实现与RL策略相当的性能，同时显著降低能耗。
🎯 应用场景
该研究成果可应用于各种需要高能效的机器人系统，例如搜救机器人、巡检机器人和外骨骼机器人。通过利用被动弹性关节，可以显著降低机器人的能耗，延长其工作时间，提高其在复杂环境中的适应能力。此外，该方法还可以为机器人设计提供新的思路，促进脑-体协同进化机器人的发展。
📄 摘要（原文）
Due to brain-body co-evolution, animals' intrinsic body dynamics play a crucial role in energy-efficient locomotion, which shares control effort between active muscles and passive body dynamics -- a principle known as Embodied Physical Intelligence. In contrast, robot bodies are often designed with one centralised controller that typically suppress the intrinsic body dynamics instead of exploiting it. We introduce Physical Imitation Learning (PIL), which distils a Reinforcement Learning (RL) control policy into physically implementable body responses that can be directly offloaded to passive Parallel Elastic Joints (PEJs), enabling therefore the body to imitate part of the controlled behaviour. Meanwhile, the residual policy commands the motors to recover the RL policy's performance. The results is an overall reduced energy consumption thanks to outsourcing parts of the control policy to the PEJs. Here we show in simulated quadrupeds, that our PIL approach can offloads up to 87% of mechanical power to PEJs on flat terrain and 18% on rough terrain. Because the body design is distilled from -- rather than jointly optimised with -- the control policy, PIL realises brain-body co-design without expanding the search space with body design parameters, providing a computationally efficient route to task-specific Embodied Physical Intelligence applicable to a wide range of joint-based robot morphologies.