Rhythm: Learning Interactive Whole-Body Control for Dual Humanoids
作者: Hongjin Chen, Wei Zhang, Pengfei Li, Shihao Ma, Ke Ma, Yujie Jin, Zijun Xu, Xiaohui Wang, Yupeng Zheng, Zining Wang, Jieru Zhao, Yilun Chen, Wenchao Ding
分类: cs.RO
发布日期: 2026-03-03
💡 一句话要点
Rhythm：提出交互式全身控制框架，实现双人形机器人协同
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting)
关键词: 双人形机器人 全身控制 交互控制 运动重定向 强化学习 机器人协同 人机交互
📋 核心要点
- 现有方法难以应对多人形机器人交互中严重的运动学不匹配和复杂的接触动力学。
- Rhythm框架通过交互感知运动重定向、交互引导强化学习和真实世界部署系统，实现双人形机器人协同。
- 在Unitree G1机器人上的实验表明，Rhythm框架能够成功地将仿真中的交互行为转移到现实世界。
📝 摘要（中文）
实现多人形机器人系统的交互式全身控制对于在共享环境中解锁复杂的协作能力至关重要。尽管最近的进展显著提高了单个机器人的敏捷性，但弥合到物理耦合的多人形机器人交互的差距仍然具有挑战性，这主要是由于严重的运动学不匹配和复杂的接触动力学。为了解决这个问题，我们推出了Rhythm，这是第一个统一的框架，能够实现双人形机器人系统在现实世界中部署，以进行复杂的、物理上合理的交互。我们的框架集成了三个核心组件：（1）交互感知运动重定向（IAMR）模块，该模块从人类数据生成可行的人形机器人交互参考；（2）交互引导强化学习（IGRL）策略，该策略通过基于图的奖励掌握耦合动力学；（3）一个真实世界的部署系统，能够实现双人形机器人交互的鲁棒转移。在物理Unitree G1机器人上进行的大量实验表明，我们的框架实现了鲁棒的交互式全身控制，成功地将拥抱和跳舞等各种行为从仿真转移到现实。
🔬 方法详解
问题定义：论文旨在解决双人形机器人进行复杂、物理上合理的交互控制问题。现有方法主要面临两个痛点：一是人形机器人之间存在严重的运动学不匹配，导致难以生成协调的动作；二是机器人间的接触动力学非常复杂，难以进行精确建模和控制。
核心思路：论文的核心思路是将人类的交互动作作为参考，通过运动重定向生成可行的人形机器人交互动作，并利用强化学习训练机器人掌握耦合动力学，最终实现从仿真到现实的鲁棒迁移。这种方法借鉴了人类的自然交互方式，降低了控制难度。
技术框架：Rhythm框架包含三个主要模块：(1) 交互感知运动重定向（IAMR）：从人类交互数据中提取运动信息，并将其转换为可行的人形机器人交互参考。(2) 交互引导强化学习（IGRL）：利用基于图的奖励函数，引导强化学习策略学习耦合动力学，实现稳定的交互控制。(3) 真实世界部署系统：将训练好的策略部署到真实的机器人平台上，并通过一定的校准和补偿，实现从仿真到现实的鲁棒迁移。
关键创新：该论文的关键创新在于提出了一个统一的框架，能够将人类的交互动作作为参考，通过运动重定向和强化学习，实现双人形机器人的协同控制。与传统的基于模型的控制方法相比，该方法能够更好地处理复杂的接触动力学和运动学不匹配问题。
关键设计：IAMR模块使用运动捕捉数据作为输入，通过优化算法生成可行的人形机器人运动轨迹。IGRL模块使用基于图的奖励函数，鼓励机器人之间的协调运动和稳定的接触。强化学习算法采用PPO或其他合适的算法。真实世界部署系统需要进行机器人标定和环境感知，以确保策略的有效性。具体的参数设置和网络结构在论文中有详细描述（未知）。
🖼️ 关键图片
📊 实验亮点
该论文在Unitree G1机器人上进行了大量实验，验证了Rhythm框架的有效性。实验结果表明，该框架能够成功地将拥抱、跳舞等复杂的交互行为从仿真转移到现实，实现了鲁棒的交互式全身控制。具体的性能数据和对比基线在论文中有详细描述（未知）。
🎯 应用场景
该研究成果可应用于多个领域，例如：双人形机器人在养老院提供辅助服务，协同完成搬运重物等任务；在教育领域，双人形机器人可以进行互动教学，提高学生的学习兴趣；在娱乐领域，双人形机器人可以进行舞蹈表演，提供更丰富的娱乐体验。未来，该技术有望推动人形机器人更广泛的应用。
📄 摘要（原文）
Realizing interactive whole-body control for multi-humanoid systems is critical for unlocking complex collaborative capabilities in shared environments. Although recent advancements have significantly enhanced the agility of individual robots, bridging the gap to physically coupled multi-humanoid interaction remains challenging, primarily due to severe kinematic mismatches and complex contact dynamics. To address this, we introduce Rhythm, the first unified framework enabling real-world deployment of dual-humanoid systems for complex, physically plausible interactions. Our framework integrates three core components: (1) an Interaction-Aware Motion Retargeting (IAMR) module that generates feasible humanoid interaction references from human data; (2) an Interaction-Guided Reinforcement Learning (IGRL) policy that masters coupled dynamics via graph-based rewards; and (3) a real-world deployment system that enables robust transfer of dual-humanoid interaction. Extensive experiments on physical Unitree G1 robots demonstrate that our framework achieves robust interactive whole-body control, successfully transferring diverse behaviors such as hugging and dancing from simulation to reality.