Mimetic Embodiment Transfer of Human-Humanoid Interaction from In-the-Wild Videos

📄 arXiv: 2610.36615v1 📥 PDF

作者: Nghia Le, Khang Nguyen, Ba Long Tran, Thi Quynh Nhu Pham, Binh Nguyen, Tuong Do, Erman Tjiputra, Hoan Nguyen, Tung D. Ta, Baoru Huang, Hai-Nguyen, Nguyen, Anh Nguyen

分类: cs.RO

发布日期: 2026-10-27

备注: 9 pages, 8 figures

💡 一句话要点

提出HumiTransfer框架以解决人类与类人机器人自然交互问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 类人机器人 人机交互 3D动作重建 运动生成 物理合理性

📋 核心要点

  1. 现有方法在处理人类与类人机器人之间的互动时，难以保留复杂的空间和接触关系，导致动作不自然。
  2. HumiTransfer框架通过重建3D人类动作并优化转移过程，确保了动作的物理合理性和互动关系的保留。
  3. 在实验中，HumiTransfer在两个不同的类人机器人上实现了优越的运动保真度和接触准确性，相较于现有基线有显著提升。

📝 摘要（中文）

为了使类人机器人能够与人类伙伴自然互动，必须保留个体动作以及互动中空间、语义和接触关系。为此，本文提出HumiTransfer框架，将野外人类互动视频转换为物理上合理的人类与类人机器人互动。HumiTransfer首先重建3D人类动作，确保脚与地面接触一致，然后通过加权关节相对方向和解剖偏移将一个参与者转移到目标类人机器人。最后，HumiTransfer在1200个野外视频上应用，生成约500,000帧多样化的互动数据，验证了其在真实环境中的可执行性。

🔬 方法详解

问题定义：本文旨在解决如何将人类与类人机器人之间的互动自然化，现有方法在保留空间和接触关系方面存在不足，导致生成的动作不够真实。

核心思路：HumiTransfer框架通过重建3D人类动作并利用加权关节相对方向和解剖偏移来优化人类与类人机器人之间的互动，确保动作的自然性和物理合理性。

技术框架：HumiTransfer的整体流程包括三个主要模块：首先重建3D人类动作，确保脚与地面接触一致；其次通过互动建模将人类动作转移到目标类人机器人；最后进行后期优化以确保平衡、接触和避免碰撞。

关键创新：HumiTransfer的创新之处在于其能够有效保留人类与类人机器人之间的互动关系，尤其是在不同形态和运动约束的类人机器人中实现了良好的泛化能力。

关键设计：在参数设置上，HumiTransfer采用了加权关节相对方向和解剖偏移，以优先考虑互动关键的身体间关系，同时在后期优化中引入了平衡和接触损失函数，确保生成的动作在物理上可执行。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，HumiTransfer在两个类人机器人上实现了运动保真度的显著提升，相较于现有基线，接触准确性和互动关系的保留效果更佳，生成的动作数据达到约500,000帧，展示了其在真实环境中的可执行性。

🎯 应用场景

HumiTransfer框架的潜在应用领域包括人形机器人、虚拟现实和增强现实等场景，能够提升人机交互的自然性和真实感。该研究为未来的类人机器人开发提供了新的思路，可能在教育、娱乐和服务行业产生深远影响。

📄 摘要（原文）

Enabling a humanoid to interact naturally with human partners requires preserving not only individual motions but also the spatial, semantic, and contact relationships underlying the interaction (i.e., hugging, dancing, hand-shaking, etc.). Furthermore, a practical solution should generalize across various humanoid embodiments with distinct morphologies and kinematic constraints. To tackle this challenge, we propose HumiTransfer, a mimetic embodiment transfer framework that converts in-the-wild human-human interaction videos into physically plausible human-humanoid interactions. HumiTransfer first reconstructs 3D human motion with consistent foot-ground contact, then transfers one participant to a target humanoid embodiment via interaction modeling, using weighted joint-relative directions and anatomical offsets to prioritize interaction-critical inter-body relationships, while post-retargeting optimization enforces balance, contact, and collision avoidance. Subsequently, we apply HumiTransfer to 1,200 in-the-wild videos, producing approximately 500,000 frames of diverse interactions for the 26-DoF Unitree R1 Edu and the 23-DoF HighTorque Mini-hi humanoid robot, resulting in our HumiMimic dataset. Across both robots, HumiTransfer achieves superior motion fidelity, preserves inter-body relationships, and maintains contact accuracy compared with existing baselines. Moreover, we demonstrate that HumiMimic supports motion generation methods for synthesizing interactive humanoid motions following a human partner. Finally, our real robot deployments confirm the physical executability of the transferred motions in real-world settings.