Human-as-Humanoid: Enabling Zero-Shot Humanoid Learning from Ego-Exo Human Videos with Human-Aligned Embodiments
作者: Xiaopeng Lin, Ruoqi Yang, Shijie Lian, Zhaolong Shen, Bin Yu, Changti Wu, Haibao Liu, Yuxiang Zhang, Hong Li, Qiyuan Su, Haochen Liu, Xuguo He, Yukun Shi, Cong Huang, Zhirui Zhang, Bojun Cheng, Kai Chen
分类: cs.RO
发布日期: 2026-06-30
备注: 20 pages, 9 figures
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出Human-as-Humanoid框架以解决高自由度人形机器人学习问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱六：视频提取与匹配 (Video Extraction) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 人形机器人 视觉-语言-动作 高自由度学习 人类示范 动作生成 实时监督 运动恢复 人机协作
📋 核心要点
- 现有方法在高自由度人形机器人学习中面临数据收集困难，尤其是缺乏高质量的观察-动作监督。
- 提出的Human-as-Humanoid框架通过人类示范和同步视频实现了人类到人形机器人的监督转换，提升了动作生成的实时性。
- 实验结果显示，该框架在数据收集分析中实现了4.8至7.2倍的示范吞吐量提升，并且在多个下游任务中表现出良好的泛化能力。
📝 摘要（中文）
现有的视觉-语言-动作（VLA）模型在机器人应用中需要高质量的观察-动作监督，但高自由度人形机器人的数据收集仍然困难。本文提出了Human-as-Humanoid框架，通过将人类的自我中心视频与外部运动恢复相结合，使得人类示范可用于高自由度人形机器人的VLA训练。该框架利用同步的自我中心和外部视频，将人类动作转化为可执行的机器人动作，并通过前向运动学（FK）监督保持任务空间几何形状。实验结果表明，该方法在动作恢复、机器人动作空间和实际机器人部署等多个层面上均取得了显著的性能提升。
🔬 方法详解
问题定义：论文旨在解决高自由度人形机器人在学习过程中缺乏有效的观察-动作监督的问题。现有的机器人数据收集方法难以扩展，尤其是在高自由度动作的情况下。
核心思路：通过引入Human-as-Humanoid框架，利用人类的自我中心视频和外部运动恢复技术，将人类的动作示范转化为可执行的机器人动作，从而实现高效的VLA训练。
技术框架：该框架包括多个主要模块：首先，使用同步的自我中心和外部视频对人类动作进行捕捉；其次，通过分阶段的逆向运动学（IK）将恢复的人类动作转化为机器人可执行的60自由度动作块；最后，利用前向运动学（FK）监督进行模型训练，以保持任务空间的几何形状。
关键创新：最重要的创新在于将人类示范与机器人控制器对齐的监督机制相结合，使得高自由度人形机器人能够有效学习人类的复杂动作，而无需直接的机器人示范。
关键设计：在设计中，采用了同步视频捕捉技术，确保自我中心观察与外部运动恢复的精确对齐。同时，损失函数设计考虑了任务空间几何形状的保持，以提高动作生成的准确性和自然性。该框架的整体架构支持高效的数据处理和实时动作生成。
🖼️ 关键图片
📊 实验亮点
实验结果表明，Human-as-Humanoid框架在数据收集分析中实现了4.8至7.2倍的示范吞吐量提升。此外，在多个下游任务中，仅使用转换后的人类标签进行后训练的策略能够在真实机器人部署中良好泛化，显示出该方法的有效性和实用性。
🎯 应用场景
该研究的潜在应用领域包括人形机器人在家庭服务、医疗辅助和工业自动化等场景中的应用。通过实现高效的动作学习，机器人能够更好地理解和执行复杂的人类任务，从而提升人机协作的效率和安全性。未来，该框架有望推动人形机器人在更广泛领域的应用，促进智能机器人技术的发展。
📄 摘要（原文）
Vision-language-action (VLA) models across robot embodiments require high-quality observation--action supervision to learn deployable action distributions, yet scaling such robot data remains difficult, especially for high-DoF humanoids. Teleoperation provides controller-aligned supervision, while human egocentric videos capture diverse bimanual manipulation but do not directly provide executable robot actions. We introduce Human-as-Humanoid, a human-to-humanoid supervision framework that enables near-real-time human-centric action generation, making human demonstrations usable for high-DoF humanoid VLA training by jointly aligning the robot embodiment, the sensing setup, and the action-label interface. Built on PrimeU, a human-aligned 60-DoF upper-body humanoid, Human-as-Humanoid uses synchronized ego-exo videos to pair deployment-aligned egocentric observations with exocentric motion recovery, retargets the recovered human motion through staged Inverse Kinematics (IK) into controller-aligned 60-DoF action chunks, and trains the VLA model with Forward Kinematics (FK)-aware supervision to preserve wrist and fingertip task-space geometry. This converts large-scale human demonstrations from visual observations into executable observation--action supervision for the target humanoid. Experiments validate the conversion chain at the motion-recovery, robot-action-space, and real-robot deployment levels. Human-as-Humanoid yields a 4.8--7.2x raw demonstration-throughput gain over humanoid teleoperation in our data-collection analysis, and on several downstream tasks, policies post-trained only with the converted human labels generalize to real-robot deployment without target-task robot demonstrations. The official project website is available at https://zgc-embodyai.github.io/Human-as-Humanoid.