HEFT: Heavy-Payload Full-size Humanoid Teleoperation with Privileged Motion Guidance and Windowed Payload Curriculum

📄 arXiv: 2607.02332 📥 PDF

作者: Chenxin Liu, Qingzhou Lu, Guangxiao Yang, Xuanyang Shi, Chenghan Yang, Yanjiang Guo, Jianyu Chen

分类: cs.RO

发布日期: 2026-07-05

💡 一句话要点

提出HEFT框架以解决全尺寸人形机器人重载遥操作问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱四：生成式动作 (Generative Motion) 支柱八：物理动画 (Physics-based Animation)

关键词: 人形机器人 遥操作 重载跟踪 特权运动引导 窗口化负载课程 运动跟踪 机器人技术

📋 核心要点

  1. 现有的遥操作框架在全尺寸人形机器人上应用不足，尤其是在真实负载交互方面存在挑战。
  2. HEFT框架通过特权运动引导和窗口化负载课程，解决了全尺寸人形机器人在重载跟踪中的噪声和漂移问题。
  3. 在实验中，HEFT成功在负载高达24kg的情况下实现了对多种运动的稳健跟踪，显示出显著的性能提升。

📝 摘要（中文）

一般运动跟踪和遥操作为可扩展的人形技能获取提供了有前景的路径，但现有框架大多在紧凑平台上验证或未与真实负载交互，导致全尺寸人形机器人在真实负载下的应用尚未得到充分探索。全尺寸人形机器人的扩展带来了两个复合挑战：其较大的惯性和更紧的平衡边际使得跟踪对噪声、漂移和重定向误差高度敏感，而其负载潜力仍然未得到充分利用。本文提出HEFT框架，通过特权运动引导（PMG）从可部署的噪声VR参考中学习，并利用专家引导的负载上限进行窗口化负载课程（WPC），以实现稳健的重载跟踪。我们在一台175cm、65kg的人形机器人L7上部署HEFT，机器人能够在负载高达24kg的情况下跟踪转向、前后移动和深蹲等动作。

🔬 方法详解

问题定义：本文旨在解决全尺寸人形机器人在重载遥操作中的运动跟踪问题。现有方法在真实负载交互和大惯性下的跟踪精度不足，导致性能不稳定。

核心思路：HEFT框架通过特权运动引导（PMG）从噪声VR参考中学习，结合窗口化负载课程（WPC）进行负载管理，从而提高重载跟踪的稳健性。

技术框架：HEFT的整体架构包括两个主要模块：特权运动引导模块用于生成物理上合理的运动参考，窗口化负载课程模块则通过专家指导来优化负载跟踪能力。

关键创新：HEFT的创新在于结合了特权运动引导和窗口化负载课程，解决了全尺寸人形机器人在重载情况下的跟踪精度问题，这在现有方法中尚属首次。

关键设计：在设计中，HEFT采用了特定的损失函数来平衡跟踪精度与负载能力，同时优化了网络结构以适应大惯性特性，确保在高负载情况下的稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，HEFT框架在负载高达24kg的情况下，成功实现了对转向、前后移动和深蹲等动作的稳健跟踪，相较于传统方法，跟踪精度提升显著，展示了其在重载遥操作中的有效性。

🎯 应用场景

HEFT框架的潜在应用领域包括工业自动化、服务机器人和人机协作等场景。其能够在重载条件下实现精确的遥操作，提升了人形机器人在复杂环境中的实用性和灵活性，具有重要的实际价值和未来影响。

📄 摘要（原文）

General motion tracking and teleoperation offer a promising path to scalable humanoid skill acquisition, yet most existing frameworks are validated on compact platforms or without real payload interaction, leaving full-size humanoids with real payloads largely unexplored. Scaling to full-size humanoids introduces two compounding challenges: their larger inertia and tighter balance margins make tracking highly sensitive to noise, drift, and retargeting errors from commodity VR trackers, while their payload potential remains largely underutilized. We present HEFT, a heavy-payload full-size humanoid teleoperation framework that addresses both challenges. HEFT learns from deployable noisy VR references with physically plausible reconstructed references through Privileged Motion Guidance (PMG), and uses a Windowed Payload Curriculum (WPC) with expert-guided payload caps to acquire robust heavy-payload tracking. We deploy HEFT on L7, a 175cm, 65kg humanoid. The robot tracks motions including turns, forward/backward locomotion, and squats under payloads up to 24kg.