HEFT: Heavy-Payload Full-size Humanoid Teleoperation with Privileged Motion Guidance and Windowed Payload Curriculum

📄 arXiv: 2607.02332v1 📥 PDF

作者: Chenxin Liu, Qingzhou Lu, Guangxiao Yang, Xuanyang Shi, Chenghan Yang, Yanjiang Guo, Jianyu Chen

分类: cs.RO

发布日期: 2026-07-02

备注: Project Page: https://heft.axell.top/

💡 一句话要点

提出HEFT框架以解决全尺寸人形机器人重载遥操作问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱四：生成式动作 (Generative Motion) 支柱八：物理动画 (Physics-based Animation)

关键词: 人形机器人 遥操作 运动跟踪 重载能力 特权运动指导 窗口化负载课程 鲁棒性 工业自动化

📋 核心要点

  1. 现有的遥操作框架多在小型平台上验证，缺乏对全尺寸人形机器人在真实负载下的研究，导致其潜力未被充分利用。
  2. HEFT框架通过特权运动指导（PMG）从噪声VR参考中学习，并结合专家指导的窗口化负载课程（WPC），实现了重载跟踪的鲁棒性。
  3. 在L7人形机器人上，HEFT成功跟踪了包括转身、前后移动和深蹲等多种动作，负载能力达到24kg，展示了显著的性能提升。

📝 摘要（中文）

一般运动跟踪和遥操作为可扩展的人形技能获取提供了有前景的路径，但现有框架多在紧凑平台上验证，缺乏真实负载交互。全尺寸人形机器人在重载遥操作中面临更大的惯性和更紧的平衡边际，使得跟踪对噪声、漂移和重定向误差高度敏感。本文提出HEFT框架，通过特权运动指导（PMG）和窗口化负载课程（WPC）来解决这些挑战，实现在负载高达24kg的情况下，机器人能够稳定跟踪多种运动。

🔬 方法详解

问题定义：本文旨在解决全尺寸人形机器人在重载遥操作中的运动跟踪问题。现有方法在噪声和漂移影响下，难以实现稳定的跟踪，且未能充分利用机器人负载能力。

核心思路：HEFT框架的核心思路是通过特权运动指导（PMG）和窗口化负载课程（WPC）来增强跟踪的鲁棒性。PMG利用物理上合理的重建参考来改善跟踪精度，而WPC则通过专家指导的负载限制来逐步提升负载能力。

技术框架：HEFT的整体架构包括两个主要模块：特权运动指导模块和窗口化负载课程模块。前者负责从噪声参考中提取有效运动信息，后者则通过分阶段的负载训练来提升机器人的负载跟踪能力。

关键创新：HEFT的主要创新在于结合了PMG和WPC两种策略，使得机器人在面对高负载时仍能保持高精度的运动跟踪。这一方法与传统的单一跟踪方法相比，显著提高了鲁棒性和适应性。

关键设计：在设计中，HEFT采用了动态调整的负载限制和多层次的损失函数，以确保在不同负载条件下的稳定性和精确性。此外，网络结构经过优化，以适应复杂的运动模式和环境变化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

HEFT在L7人形机器人上进行的实验表明，机器人在负载高达24kg的情况下，能够稳定跟踪多种运动，包括转身和深蹲。与传统方法相比，HEFT在运动跟踪精度和鲁棒性上有显著提升，展示了其在重载遥操作中的有效性。

🎯 应用场景

HEFT框架的潜在应用领域包括工业自动化、服务机器人和救援任务等场景。在这些领域中，重载遥操作的能力可以显著提高机器人的实用性和灵活性，未来可能推动人形机器人在复杂环境中的广泛应用。

📄 摘要（原文）

General motion tracking and teleoperation offer a promising path to scalable humanoid skill acquisition, yet most existing frameworks are validated on compact platforms or without real payload interaction, leaving full-size humanoids with real payloads largely unexplored. Scaling to full-size humanoids introduces two compounding challenges: their larger inertia and tighter balance margins make tracking highly sensitive to noise, drift, and retargeting errors from commodity VR trackers, while their payload potential remains largely underutilized. We present HEFT, a heavy-payload full-size humanoid teleoperation framework that addresses both challenges. HEFT learns from deployable noisy VR references with physically plausible reconstructed references through Privileged Motion Guidance (PMG), and uses a Windowed Payload Curriculum (WPC) with expert-guided payload caps to acquire robust heavy-payload tracking. We deploy HEFT on L7, a 175cm, 65kg humanoid. The robot tracks motions including turns, forward/backward locomotion, and squats under payloads up to 24kg.