Whole-Body Humanoid Control via Stochastic Motion Tokenization
作者: Michael Drolet, Oleg Arenz, Jan Peters
分类: cs.RO, cs.LG
发布日期: 2026-10-27
备注: Accepted to the 2026 IEEE-RAS International Conference on Humanoid Robots (Humanoids 2026). (c) 2026 IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses
💡 一句话要点
提出随机运动标记化方法以解决人形机器人全身控制问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 人形机器人 全身控制 强化学习 运动标记化 运动重建 高层控制器 复杂动作 机器人灵活性
📋 核心要点
- 现有的速度指令强化学习策略在控制人形机器人复杂全身动作时存在信息不足的问题，限制了其灵活性和任务成功率。
- 本文提出了一种随机运动标记化方法，通过高层控制器生成简洁的运动表示，能够直接为跟踪策略提供详细的运动参考。
- 实验结果显示，该方法在Unitree G1上实现了超过现有技术的运动重建能力，能够执行持续16.8秒的舞蹈、格斗和行走动作。
📝 摘要（中文）
尽管速度指令的强化学习（RL）策略在控制四足机器人方面有效，但对于需要执行复杂全身动作的人形机器人而言，这种接口存在局限性。此外，现有的全身运动跟踪策略通常对未来期望动作的信息了解有限，无法进行有效的控制偏差以实现长期任务成功。本文提出了一种简洁的运动表示方法，能够根据行为标签或文本命令由高层控制器生成。这些表示可以直接输入到跟踪策略中，提供详细的运动参考。实验表明，该方法在执行基于条件信息的真实机器人动作（如舞蹈、格斗或行走）方面具有高度灵活性，并且在与现有最先进方法（如有限标量量化和向量量化自编码器）相比，能够在Unitree G1上重建运动，效果显著提升。
🔬 方法详解
问题定义：本文旨在解决人形机器人在执行复杂全身动作时，现有速度指令强化学习策略信息不足的问题。这种不足导致机器人无法有效进行控制偏差，从而影响长期任务的成功率。
核心思路：论文提出通过高层控制器生成简洁的运动表示，利用行为标签或文本命令来指导运动生成。这种方法能够为跟踪策略提供详细的运动参考，从而提高机器人的灵活性和控制精度。
技术框架：整体架构包括高层控制器、随机运动标记化模块和跟踪策略模块。高层控制器负责生成运动表示，随机运动标记化模块将运动表示转化为可执行的运动参考，跟踪策略模块则根据这些参考进行运动控制。
关键创新：最重要的技术创新在于引入了随机运动标记化方法，该方法在运动重建的精度和灵活性上超越了现有的有限标量量化和向量量化自编码器，能够更好地适应复杂的全身动作需求。
关键设计：在设计中，采用了特定的损失函数来优化运动重建的精度，并且在网络结构上进行了调整，以适应高层控制器生成的运动表示，确保了运动的流畅性和自然性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，采用随机运动标记化方法的Unitree G1机器人能够执行持续16.8秒的舞蹈、格斗和行走动作，且在运动重建精度上超过了现有的有限标量量化和向量量化自编码器，显示出显著的性能提升。
🎯 应用场景
该研究的潜在应用领域包括人形机器人在娱乐、服务和工业等场景中的应用，如舞蹈表演、格斗训练和复杂任务执行。通过提高机器人在多种行为间的切换能力，能够显著提升其在实际环境中的适应性和实用性，未来可能推动人形机器人技术的广泛应用。
📄 摘要（原文）
While velocity-commanded RL policies are effective for controlling quadrupeds, they are a limited interface for humanoids that need to perform complex whole-body motions. Furthermore, RL tracking policies for whole-body motions typically have limited information about the desired future motion, preventing them from performing controlled deviations to achieve long-term task success; such information is particularly relevant when a controller must prepare for transitions between behaviors. We address these challenges using concise motion representations that can be generated by a high-level controller, given a behavior label or text command. These representations can be fed directly into a tracking policy to provide a detailed motion reference. Our method exhibits a high degree of flexibility in performing real-world robot motions such as dancing, fighting, or walking based on conditional information. At matched capacity, our adopted stochastic motion tokenizer reconstructs motions from the Unitree G1 at a level that exceeds state-of-the-art approaches such as finite scalar quantization (FSQ) and the vector-quantized autoencoder (VQ-VAE). The resulting discrete interface conditions whole-body tracking policies that execute generated dance, fight, and walk motions lasting 16.8 s each and a 35 s fight-to-dance sequence on a physical Unitree G1.