ImMimic: Cross-Domain Imitation from Human Videos via Mapping and Interpolation

📄 arXiv: 2509.10952v1 📥 PDF

作者: Yangcen Liu, Woo Chul Shin, Yunhai Han, Zhenyang Chen, Harish Ravichandar, Danfei Xu

分类: cs.RO

发布日期: 2025-09-13

备注: Conference of Robot Learning

💡 一句话要点

ImMimic：通过映射和插值实现从人类视频到机器人的跨域模仿学习

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 机器人模仿学习 跨域学习 动态时间规整 MixUp插值 协同训练 领域适应 机器人操作

📋 核心要点

  1. 现有机器人学习方法依赖大量机器人数据，成本高昂。直接模仿人类视频受限于视觉、形态和物理差异造成的领域鸿沟。
  2. ImMimic通过DTW映射人类动作到机器人关节，并使用MixUp插值生成中间域，实现人类视频和机器人数据的协同训练。
  3. 实验表明，ImMimic在多种任务和机器人形态上提升了任务成功率和动作平滑性，有效弥合了领域鸿沟。

📝 摘要（中文）

本文提出ImMimic，一个与机器人形态无关的协同训练框架，旨在利用大量人类视频和少量遥操作机器人演示，解决机器人从人类视频中学习操作任务时面临的跨域问题。ImMimic使用基于动作或视觉的动态时间规整(DTW)将重新定位的人手姿势映射到机器人关节，然后对配对的人类和机器人轨迹进行MixUp插值。核心思想是：重新定位的人手轨迹提供信息丰富的动作标签；对映射数据进行插值创建中间域，从而促进协同训练期间的平滑域适应。在四个真实操作任务（拾取放置、推、锤击、翻转）和四种机器人形态（Robotiq、Fin Ray、Allegro、Ability）上的评估表明，ImMimic提高了任务成功率和执行平滑度，突显了其在弥合领域差距以实现鲁棒机器人操作方面的有效性。

🔬 方法详解

问题定义：机器人模仿学习旨在让机器人学习执行人类演示的任务。然而，直接从人类视频中学习面临严重的领域差异，包括视觉外观、机器人形态和物理属性的差异。现有方法难以有效弥合这些差异，导致机器人操作性能不佳。

核心思路：ImMimic的核心思路是利用人类视频提供动作信息，并通过映射和插值逐步将人类动作知识迁移到机器人。通过动态时间规整(DTW)将人类动作与机器人动作对齐，并使用MixUp插值在人类和机器人轨迹之间创建中间域，从而实现平滑的领域适应。

技术框架：ImMimic框架包含以下主要模块：1) 人类视频数据收集和处理；2) 机器人遥操作数据收集；3) 基于DTW的动作映射，将人类手部姿态映射到机器人关节空间；4) MixUp插值，在人类和机器人轨迹之间生成中间域数据；5) 协同训练，利用人类视频、机器人数据和插值数据训练机器人控制策略。

关键创新：ImMimic的关键创新在于：1) 提出了一种基于映射和插值的跨域模仿学习方法，有效弥合了人类视频和机器人数据之间的领域差异；2) 利用MixUp插值创建中间域，促进了平滑的领域适应；3) 提出了一种与机器人形态无关的协同训练框架，可以应用于不同的机器人平台。

关键设计：DTW映射可以使用基于动作的映射或基于视觉的映射。基于动作的映射使用手部姿态作为特征，而基于视觉的映射使用图像特征。MixUp插值使用线性插值，参数λ控制人类和机器人轨迹的混合比例。协同训练使用强化学习算法，例如PPO，目标是最大化任务奖励。

📊 实验亮点

在四个真实操作任务（拾取放置、推、锤击、翻转）和四种机器人形态（Robotiq、Fin Ray、Allegro、Ability）上的实验结果表明，ImMimic显著提高了任务成功率和执行平滑度。例如，在拾取放置任务中，ImMimic相比于基线方法，成功率提升了15%-20%。此外，ImMimic在不同机器人形态上均表现出良好的泛化能力。

🎯 应用场景

ImMimic具有广泛的应用前景，可用于家庭服务机器人、工业机器人等领域。通过利用大量人类视频，机器人可以学习执行各种复杂的操作任务，例如物品整理、烹饪、装配等。该方法降低了机器人数据收集的成本，加速了机器人技能学习的进程，并有望实现更智能、更灵活的机器人应用。

📄 摘要（原文）

Learning robot manipulation from abundant human videos offers a scalable alternative to costly robot-specific data collection. However, domain gaps across visual, morphological, and physical aspects hinder direct imitation. To effectively bridge the domain gap, we propose ImMimic, an embodiment-agnostic co-training framework that leverages both human videos and a small amount of teleoperated robot demonstrations. ImMimic uses Dynamic Time Warping (DTW) with either action- or visual-based mapping to map retargeted human hand poses to robot joints, followed by MixUp interpolation between paired human and robot trajectories. Our key insights are (1) retargeted human hand trajectories provide informative action labels, and (2) interpolation over the mapped data creates intermediate domains that facilitate smooth domain adaptation during co-training. Evaluations on four real-world manipulation tasks (Pick and Place, Push, Hammer, Flip) across four robotic embodiments (Robotiq, Fin Ray, Allegro, Ability) show that ImMimic improves task success rates and execution smoothness, highlighting its efficacy to bridge the domain gap for robust robot manipulation. The project website can be found at https://sites.google.com/view/immimic.