HLO-AMP: Hierarchical Loco-Manipulation from Object-Aware Motion Priors
作者: Jean-Pierre Sleiman, Bilal Hammoud, He Li, Jonathan Foster, Sylvain Bertrand, Jessica K. Hodgins, Farbod Farshidian
分类: cs.RO
发布日期: 2026-11-03
备注: Accepted at the Conference on Robot Learning (CoRL 2026). Video: https://youtu.be/viR_ULnRDQQ
💡 一句话要点
提出HLO-AMP框架以解决人形机器人操控中的物体动态问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation)
关键词: 人形机器人 操控 运动捕捉 物体感知 多阶段任务 鲁棒性 泛化能力
📋 核心要点
- 现有的人形机器人操控方法在训练全身控制器时未考虑被操控物体的动态，导致动作不够自然。
- 本文提出通过物体感知的运动先验训练低级控制器，使其能够在真实场景中进行有效操控。
- 实验结果表明，该方法在不同物体条件下均能有效执行拾取与放置任务，且具备良好的鲁棒性。
📝 摘要（中文）
人形机器人在进行操控时，通常将任务无关的全身控制器与下游任务策略相结合。然而，现有的全身控制器往往通过手动奖励塑造进行训练，导致动作显得机械化，并且在训练时未考虑被操控物体的存在。本文提出了一种新的低级控制器训练方法，将其作为物体感知的运动先验，通过模仿运动捕捉数据进行训练，确保被操控物体在场景中真实存在。随后，基于低级训练数据，训练了一个无参考的高级策略，以实现对多阶段任务的泛化。该框架在Unitree G1上进行了双手箱体的拾取与放置实验，展示了其在不同物体质量和尺寸下的良好泛化能力。
🔬 方法详解
问题定义：本文旨在解决现有全身控制器在训练时未考虑被操控物体动态的问题，导致机器人动作不够自然和有效。
核心思路：通过将低级控制器训练为物体感知的运动先验，利用真实的运动捕捉数据进行模仿学习，使得控制器能够更好地处理物体的动态特性。
技术框架：整体框架分为两个主要模块：低级控制器和高级策略。低级控制器通过模仿学习获得自然的协调动作，而高级策略则基于低级控制器的训练数据进行泛化，确保在多阶段任务中有效执行。
关键创新：最重要的创新在于将低级控制器设计为物体感知的运动先验，直接在真实场景中进行训练，克服了传统方法中对物体动态的近似不足。
关键设计：在训练过程中，采用了运动捕捉数据作为参考，设计了紧凑的任务空间命令接口，并通过无参考的高级策略确保低级控制器的输出不偏离训练分布。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提出的HLO-AMP框架在Unitree G1上成功实现了双手箱体的拾取与放置，且在不同物体质量和尺寸下均能有效执行任务。与传统方法相比，该框架在鲁棒性和泛化能力上有显著提升，能够在意外掉落情况下快速恢复。
🎯 应用场景
该研究的潜在应用领域包括人形机器人在复杂环境中的自主操控，如物流、家庭服务和工业自动化等。通过提高机器人对物体动态的理解和处理能力，能够显著提升其在实际应用中的效率和安全性，未来可能推动人形机器人在更多场景中的广泛应用。
📄 摘要（原文）
Hierarchical pipelines for humanoid loco-manipulation typically pair a task-agnostic whole-body controller (WBC) with a downstream task policy. Such WBCs are often trained through manual reward shaping, which yields visibly machine-like motions; more consequentially, they are trained without the manipulated object in the scene. Object dynamics are instead approximated through randomized end-effector force disturbances, a proxy that fails to reproduce the distributed multi-contact wrench a real payload applies across the arms and torso, with the gap becoming critical near the platform's payload limit. In this work, we train the low-level (LL) controller itself as an object-aware motion prior: a single policy trained via motion imitation on retargeted motion-capture (MoCap) references that span the core motion primitives of the downstream task, with the manipulated object physically present in the scene. This single stage inherits natural human-like coordination from the references and absorbs the realistic contact wrench at its source, while exposing the same compact task-space command interface used by command-tracking WBCs. A reference-free high-level (HL) policy is then trained on top, with its action channel anchored to the empirical envelope of the low-level training data so that it generalizes the priors to a long-horizon multi-stage task while structurally preventing queries that would push the low level off-distribution. We instantiate the framework on a Unitree G1 for bimanual box pick-and-place: the same deployed policy generalizes across object masses and dimensions, initial and goal poses, and reactively recovers from intentional drops mid-carry. Video: https://youtu.be/viR_ULnRDQQ.