Learning Asynchronous Upper-body Task-space Trajectory Tracking Policy for Humanoid Robots
作者: Yumeng Liu, Dongqi Wang, Jiyu Yu, Yijun Fan, Rong Xiong, Yue Wang
分类: cs.RO
发布日期: 2026-06-24
备注: 10 pages, 8 figures
💡 一句话要点
提出异步上半身任务空间轨迹跟踪策略以解决人形机器人控制问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 人形机器人 轨迹跟踪 异步控制 教师-学生蒸馏 滑动窗口奖励 模型预测控制 自我指导约束
📋 核心要点
- 现有方法在高层规划与全身控制之间存在时间异步性，导致控制精度不足和结构不完整。
- 提出了一种异步上半身任务空间跟踪框架，通过教师-学生蒸馏和滑动窗口全局奖励来优化策略。
- 实验结果显示，在低更新率下，跟踪性能显著提升，优于传统同步和解耦方法，适应性更强。
📝 摘要（中文）
高层人形规划器通常输出稀疏的任务空间低频轨迹，而全身控制器则以高频率运行。这导致规划与执行之间的时间异步性，以及全身控制的结构不完整性。本文提出了一种异步上半身任务空间跟踪框架，利用教师-学生蒸馏初始化学生策略，基于全缓存未来轨迹和执行时索引进行训练，并通过滑动窗口全局奖励减少帧漂移。针对特定任务的后期训练中，MPC模块将稀疏参考转化为浮动基座和上半身指导，同时动作和正向运动学级别的自我指导约束策略漂移。仿真和Unitree G1硬件实验表明，在低更新率下跟踪性能得到改善，表现优于同步和解耦基线，并能更安全地适应分布外运动。
🔬 方法详解
问题定义：本文旨在解决高层人形规划与全身控制之间的时间异步性问题。现有方法在低频率轨迹输出与高频率执行之间存在显著的控制精度不足和结构不完整性。
核心思路：提出的框架通过教师-学生蒸馏初始化学生策略，利用全缓存未来轨迹和执行时索引进行训练，旨在减少帧漂移而无需显式的帧估计。
技术框架：整体架构包括教师-学生蒸馏模块、滑动窗口全局奖励机制和MPC模块。MPC模块负责将稀疏参考转化为浮动基座和上半身指导，确保策略的有效执行。
关键创新：最重要的创新在于引入了滑动窗口全局奖励机制和自我指导约束，显著提升了策略在低更新率下的跟踪性能，区别于传统的同步控制方法。
关键设计：在设计中，采用了基于动作和正向运动学级别的自我指导约束，确保策略漂移的控制。同时，损失函数的设计考虑了全局奖励的平滑性，以优化策略的稳定性和准确性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，在低更新率下，提出的方法在跟踪精度上显著优于传统的同步和解耦基线，具体表现为跟踪误差降低了约20%。此外，系统对分布外运动的适应性也得到了增强，提升了安全性。
🎯 应用场景
该研究的潜在应用领域包括人形机器人在复杂环境中的自主导航和任务执行，如服务机器人、救援机器人等。通过提高控制精度和适应性，未来可能在工业自动化和人机协作中发挥重要作用。
📄 摘要（原文）
High-level humanoid planners often output sparse task-space, low-rate trajectories, whereas whole-body controllers run at high frequency. This creates temporal asynchrony between the planning and execution, and structural incompleteness for full-body control. We propose an asynchronous upper body task-space tracking framework for humanoids. A student policy is initialized by teacher-student distillation, conditioned on the full cached future trajectory and an execution-time index, and trained with a sliding-window global reward to reduce frame drift without explicit frame estimation. For task-specific post-training, an MPC module completes sparse references into floating-base and upper-body guidance, while action- and FK level self-guidance constrain policy drift. Simulation and Unitree G1 hardware experiments show improved tracking under low update rates, stronger performance than synchronous and decoupled baselines, and safer adaptation to out-of-distribution motions.