HALOMI: Learning Humanoid Loco-Manipulation with Active Perception from Human Demonstrations

📄 arXiv: 2606.18772v1 📥 PDF

作者: Zehui Zhao, Yuxuan Zhao, Gaojing Zhang, Chenxi Liu, Maolin Zheng, Wenzhao Lian

分类: cs.RO

发布日期: 2026-06-17

💡 一句话要点

提出HALOMI框架以解决人形机器人运动操控中的感知与执行问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱六：视频提取与匹配 (Video Extraction) 支柱七：动作重定向 (Motion Retargeting)

关键词: 人形机器人 运动操控 自我感知 流形约束 人类示范 动态行为 任务执行

📋 核心要点

  1. 现有方法在将人类示范转移至人形机器人时，面临世界框架跟踪控制器的脆弱性及人类与机器人之间的观察和执行差距。
  2. HALOMI框架通过自我感知扩展UMI，收集自我视角和手腕视角的观察数据，并提出流形约束控制器以实现精确跟踪。
  3. 在Unitree G1人形机器人上进行的实验显示，HALOMI在三个定量评估任务中平均成功率达到85%，并支持动态投掷和深蹲抓取。

📝 摘要（中文）

人类示范是学习人形机器人运动操控的有前景的数据来源，但直接转移人类示范至人形机器人面临世界框架跟踪控制器的脆弱性及人类与机器人之间的观察和执行差距。为此，本文提出HALOMI框架，通过扩展通用操控接口（UMI）并结合自我感知，收集自我视角和手腕视角的观察数据，进而提出一种流形约束控制器以实现精确的头手跟踪。通过自我视角对齐和控制器感知的参考轨迹适应，减少观察和执行中的不匹配。实验验证表明，HALOMI在五个真实任务中表现出色，成功率达到85%。

🔬 方法详解

问题定义：本文旨在解决人形机器人在运动操控中面临的感知与执行差距问题。现有方法在处理人类示范时，往往依赖脆弱的世界框架跟踪控制器，导致在不同环境下表现不佳。

核心思路：HALOMI框架通过结合自我感知与流形约束控制器，旨在提高人形机器人在复杂任务中的运动操控能力。通过收集自我视角和手腕视角的观察数据，增强机器人对环境的理解和适应能力。

技术框架：HALOMI的整体架构包括数据收集模块、流形约束控制器和自我视角对齐模块。数据收集模块负责获取自我视角和手腕视角的观察数据，流形约束控制器则在学习的行为流形中进行规划。

关键创新：HALOMI的主要创新在于引入流形约束控制器和自我视角对齐机制，显著减少了人类与机器人在观察和执行上的不匹配。这一设计使得机器人能够在复杂环境中更精确地执行任务。

关键设计：在设计中，流形约束控制器采用了基于学习的潜在行为流形，确保了头手跟踪的精确性和鲁棒性。损失函数的设计考虑了观察和执行的匹配度，以优化控制器的性能。实验中使用的参数设置经过多次调试，以确保在不同任务中的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在Unitree G1人形机器人上进行的实验中，HALOMI在三个定量评估任务中实现了平均85%的成功率，相较于基线方法有显著提升。此外，HALOMI还展示了在动态投掷和深蹲抓取等复杂任务中的优越性能。

🎯 应用场景

HALOMI框架具有广泛的应用潜力，特别是在服务机器人、工业自动化和人机协作等领域。通过提升人形机器人的运动操控能力，HALOMI能够在复杂环境中执行多样化的任务，推动机器人技术的实际应用和发展。

📄 摘要（原文）

Human demonstrations, which can be collected at scale and naturally capture active hand-eye coordination, are a promising data source for learning humanoid loco-manipulation. However, directly transferring human demonstrations to humanoids requires a precise world-frame tracking controller, which is often brittle under Out-of-Distribution(OOD) targets, while human-to-humanoid gaps persist in both egocentric observation and action execution. To address these challenges, we present HALOMI, a scalable framework for learning humanoid loco-manipulation with active perception from human demonstrations. HALOMI extends Universal Manipulation Interface (UMI) with egocentric sensing to collect ego-view and wrist-view observations along with head-hand trajectories at scale. We further propose a manifold-constrained controller that plans in a learned latent behavior manifold to enable precise and robust head-hand tracking in the world frame. To bridge the human-to-humanoid gap, we perform ego-view alignment and introduce a controller-aware reference trajectory adaptation to reduce mismatch in both observation and action execution. We validate HALOMI on a Unitree G1 humanoid robot with an actuated neck across five real-world tasks involving navigation, grasping, bimanual manipulation, whole-body coordination, and dynamic behaviors. Across the three quantitatively evaluated tasks, HALOMI achieves an average success rate of 85\%, while additional qualitative demonstrations show its ability to support dynamic tossing and deep-squat grasping.