CWI: Composite Humanoid Whole-Body Imitation System for Loco-manipulation
作者: Wenqi Ge, Junde Guo, Zhen Fu, Shunpeng Yang, Jiayu Chen, Hua Chen
分类: cs.RO
发布日期: 2026-06-26
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出复合人形全身模仿系统以解决稳定行走与灵活操作问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation)
关键词: 人形机器人 全身模仿 稳定行走 灵活操作 对策运动先验 多批评者架构 教师-学生蒸馏
📋 核心要点
- 现有全身控制器在协调稳定行走与灵活操作方面面临显著挑战，尤其是在上半身控制时，动作往往偏离人类的自然统计特征。
- 本文提出复合全身模仿（CWI）框架，通过解耦上半身与下半身的运动捕捉数据使用，充分利用多样化的操作参考数据。
- 通过仿真和真实机器人部署，CWI展示了竞争力的行走操作性能和强大的全身协调能力，且无需全身运动捕捉设备。
📝 摘要（中文）
实现人形机器人完成日常任务需要协调稳定的行走与多样的操作。然而，现有的全身控制器面临显著挑战。仅通过指令采样训练的方法在稀疏奖励下难以收敛，尤其是在上半身控制方面，导致动作偏离人类统计特征，影响全身协调。相反，模仿全身运动捕捉数据的方法则因数据集不平衡而受到限制。为此，本文提出复合全身模仿（CWI）框架，解耦上半身操作与下半身行走的运动捕捉数据使用，利用多样化的操作参考，同时通过对策运动先验（AMP）引导稳定的下半身行走。我们通过仿真实验和真实世界部署评估CWI，结果显示其在行走操作性能、全身协调性和实际远程操作方面表现优异。
🔬 方法详解
问题定义：本文旨在解决人形机器人在执行日常任务时，稳定行走与灵活操作之间的协调问题。现有方法在上半身控制上存在稀疏奖励和数据集不平衡等痛点，导致动作表现不佳。
核心思路：CWI框架通过解耦上半身的操作与下半身的行走，允许充分利用多样化的运动捕捉数据，同时通过对策运动先验（AMP）引导下半身的稳定行走。
技术框架：CWI框架包括多个主要模块：首先，利用双判别器训练下半身行走；其次，采用多批评者架构减少行走、操作和动作风格目标之间的冲突；最后，通过教师-学生蒸馏阶段生成仅基于双手姿态和速度/高度命令的全身策略。
关键创新：CWI的核心创新在于解耦上半身与下半身的控制，使得可以独立优化各自的运动表现，显著提高了全身协调性和操作灵活性。
关键设计：在设计中，采用了多批评者网络结构来平衡不同目标之间的冲突，并通过精心挑选的专家级行走和下蹲视频训练判别器，确保下半身行走的稳定性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，CWI在行走操作性能上表现优异，相较于基线方法，行走稳定性和操作灵活性均有显著提升，展示了强大的全身协调能力，且在真实环境中无需全身运动捕捉设备。
🎯 应用场景
该研究的潜在应用领域包括服务机器人、工业自动化和人机协作等场景。通过提高人形机器人的灵活性和稳定性，CWI框架能够在复杂环境中执行多样化任务，具有重要的实际价值和未来影响。
📄 摘要（原文）
Achieving everyday tasks with humanoid robots requires coordinating stable locomotion with versatile manipulation. However, existing whole-body controllers still face significant challenges. Methods trained solely via command sampling, without motion-capture (MoCap) data, often struggle with sparse rewards and require carefully tuned curricula to converge. This is especially problematic for upper-body control, where the resulting motions deviate from human-like statistics and degrade whole-body coordination. Conversely, approaches that imitate full-body MoCap data suffer from dataset imbalance, as many locomotion trajectories are overly aggressive for stable-locomotion scenarios, necessitating extensive data filtering and augmentation. To address this, we present Composite Whole-Body Imitation (CWI), a framework that decouples the use of MoCap data for upper-body manipulation and lower-body locomotion. This decoupling allows us to exploit the full MoCap dataset of diverse manipulation references, while stable, command-conditioned lower-body locomotion is guided by dual discriminators trained on curated expert-quality walking and squatting clips via an Adversarial Motion Prior (AMP). A multi-critic architecture reduces conflicts among locomotion, manipulation, and motion-style objectives, and a teacher--student distillation stage yields a whole-body policy conditioned only on bimanual hand poses and velocity/height commands. We evaluate CWI through simulation experiments and real-world deployment on a full-size LimX Oli humanoid. The results show competitive loco-manipulation performance, robust whole-body coordination, and practical teleoperation without full-body motion-capture equipment. A project page with supplementary material can be found at https://cwi-ral.github.io/CWI-RAL-Webpage.