CoorDex: Coordinating Body and Hand Priors for Continuous Dexterous Humanoid Loco-Manipulation
作者: Sikai Li, Shuning Li, Zhenyu Wei, Yunchao Yao, Chenran Li, Mingyu Ding
分类: cs.RO, cs.AI, cs.LG
发布日期: 2026-06-22
备注: Project page: https://skevinci.github.io/coordex/
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出CoorDex以解决连续灵巧人形机器人运动操控问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation)
关键词: 人形机器人 灵巧操控 残差强化学习 高自由度控制 运动跟踪 潜在先验 协调控制
📋 核心要点
- 现有的人形机器人运动操控方法通常简化为停顿和移动，无法实现高自由度的灵巧操控。
- CoorDex通过将高维身体和手部控制转化为协调的潜在残差控制，解决了灵巧运动操控的挑战。
- 实验结果表明，CoorDex在运动中实现了灵巧操控，包括非停顿的瓶子抓取和冰箱门开启，显著提升了操作的可靠性。
📝 摘要（中文）
人形机器人运动操控通常被简化为停顿和移动的过程：走向物体、停下来操控，然后继续移动。现有方法依赖于低自由度的末端执行器，表现类似于开合抓取原语。本文提出CoorDex，一个学习管道，将高维身体和灵巧手控制转换为协调的潜在残差控制，从而实现高自由度的灵巧运动操控。CoorDex从模拟的全身和手部演示开始，训练特权运动跟踪教师，提炼为本体感知条件的潜在先验，并将其作为下游残差强化学习的动作空间。通过共享任务上下文和独立的身体-手部残差头，CoorDex保持自然的全身运动，同时提高手指级接触的可靠性。
🔬 方法详解
问题定义：本文旨在解决人形机器人在运动中进行灵巧操控的难题。现有方法多依赖低自由度的末端执行器，导致灵巧操控能力受限，无法实现复杂的操作任务。
核心思路：CoorDex的核心思想是将高维的身体和手部控制转化为协调的潜在残差控制，从而在运动中实现高自由度的灵巧操控。通过训练特权运动跟踪教师，提炼出本体感知条件的潜在先验，进而用于下游的强化学习。
技术框架：CoorDex的整体架构包括多个模块：首先是模拟的全身和手部演示，接着训练运动跟踪教师，提炼潜在先验，最后利用这些先验进行残差强化学习。整个流程确保了身体和手部的协调控制。
关键创新：CoorDex的主要创新在于引入了协调的潜在残差策略，通过共享任务上下文和独立的身体-手部残差头，保持了自然的全身运动，同时提高了手指级接触的可靠性。这一设计与传统方法有本质区别。
关键设计：在参数设置上，CoorDex使用了冻结的潜在先验作为动作空间，并设计了特定的损失函数以优化残差学习过程。此外，网络结构中引入了独立的身体和手部控制模块，以实现更高效的协调控制。
🖼️ 关键图片
📊 实验亮点
实验结果显示，CoorDex在运动中的灵巧操控任务上表现优异，成功实现了非停顿的瓶子抓取、冰箱门开启等操作。与传统方法相比，CoorDex在相同奖励预算下显著提升了操作的可靠性，证明了其在高维接触丰富的运动操控中的有效性。
🎯 应用场景
CoorDex的研究成果在多个领域具有广泛的应用潜力，包括服务机器人、工业自动化、以及人机交互等。其能够实现的灵巧操控能力，将为机器人在复杂环境中的自主操作提供新的解决方案，提升机器人在实际应用中的灵活性和效率。
📄 摘要（原文）
Humanoid loco-manipulation is often simplified into a stop-and-go process: walking to an object, stopping to manipulate it, and then resuming locomotion. It also commonly relies on low degree-of-freedom (DoF) end effectors that behave like an open-close grasp primitive. We introduce CoorDex, a learning pipeline that converts high-dimensional body and dexterous hand control into coordinated latent residual control, enabling high-DoF dexterous loco-manipulation on the move. Starting from simulated whole-body and hand demonstrations, CoorDex trains privileged motion tracking teachers for the humanoid body and dexterous hand, distills them into proprioception-conditioned latent priors, and uses the frozen priors as the action space for downstream residual reinforcement learning. A coordinated latent residual policy composes these priors through shared task context and separate body-hand residual heads, preserving natural whole-body motion while improving finger-level contact reliability. CoorDex enables a Unitree G1 humanoid with a 20-DoF WUJI hand to execute dexterous manipulation while in motion, including non-stop bottle grasping and carrying, fridge door opening on the move, and cube pick-and-turn. Ablations on the walk-grasp-carry task show that joint-space PPO, joint-space hand control, and monolithic latent prediction all fail under the same reward budget, while the latent-prior interface and coordinated residual structure make high-dimensional contact-rich loco-manipulation trainable. Project Page: https://skevinci.github.io/coordex/