HumanScale: Egocentric Human Video Can Outperform Real-Robot Data for Embodied Pretraining
作者: Juncheng Ma, Jianxin Bi, Yufan Deng, Xuanran Zhai, Kewei Zhang, Ye Huang, Bo Liang, Shukai Gong, Jiankai Tu, Xiaotian Tang, Jiaxin Li, Kaiqi Chen, Duomin Wang, Yuqi Wang, Bingyi Kang, Eric Huang, Zhiyang Dou, Zhen Dong, Enze Xie, Wojciech Matusik, Tat-Seng Chua, Daquan Zhou
分类: cs.CV
发布日期: 2026-06-18
备注: Github: https://github.com/DAGroup-PKU/HumanNet/
💡 一句话要点
提出人类视频数据以超越真实机器人数据的预训练效果
🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 具身模型 自我中心视频 预训练 机器人控制 数据扩展
📋 核心要点
- 现有的遥控真实机器人数据收集成本高，且环境和行为多样性不足，限制了具身模型的扩展性。
- 论文提出利用自我中心人类视频作为低成本且多样化的预训练数据源，通过过滤和标注流程提升数据质量。
- 实验结果显示，自我中心数据预训练的模型在真实机器人任务执行中表现出显著的性能提升，验证了其有效性。
📝 摘要（中文）
具身基础模型期望通过数据扩展获益，但面临数据瓶颈。尽管遥控真实机器人轨迹是主要的预训练数据来源，但其收集成本高、环境多样性低。本文系统比较了以自我为中心的人类视频与遥控真实机器人轨迹作为预训练数据源，发现经过精心设计的过滤和标注流程后，自我中心数据不仅是可行的替代方案，且能实现更优性能。使用相同数量的预训练数据，基于自我中心数据预训练的模型在真实机器人动作预测上验证损失降低24%，在任务执行成功率上分别提高52.5%和90%。
🔬 方法详解
问题定义：本文旨在解决具身基础模型在预训练阶段面临的数据瓶颈问题，现有的遥控真实机器人数据因收集成本高和多样性不足而难以扩展。
核心思路：论文提出利用自我中心人类视频作为替代数据源，通过精心设计的过滤和标注流程，提升数据的有效性和多样性，从而改善模型的预训练效果。
技术框架：整体流程包括数据收集、过滤、标注和模型预训练四个主要阶段。首先收集自我中心视频数据，然后进行数据清洗和标注，最后利用处理后的数据进行模型的预训练。
关键创新：最重要的创新在于证明自我中心人类视频在具身模型预训练中的有效性，且其性能超越了传统的遥控机器人数据，展示了新的数据使用范式。
关键设计：在数据处理过程中，采用了特定的过滤标准和标注策略，以确保数据的质量和多样性。此外，模型训练中使用了适当的损失函数和网络结构，以适应自我中心数据的特性。
📊 实验亮点
实验结果显示，基于自我中心数据预训练的模型在真实机器人动作预测中验证损失降低24%，在任务执行成功率上分别提高52.5%和90%。这一显著提升验证了自我中心视频作为预训练数据源的有效性。
🎯 应用场景
该研究的潜在应用领域包括机器人控制、虚拟现实和增强现实等。通过利用自我中心人类视频进行模型预训练，可以降低数据收集成本，同时提高模型在复杂环境中的适应能力，具有广泛的实际价值和未来影响。
📄 摘要（原文）
Embodied foundation models are expected to benefit from data scaling like large language models, but face a much tighter data bottleneck. Teleoperated real-robot trajectories remain the dominant pretraining source due to their precise action supervision and embodiment alignment, yet their scalability is limited by high collection cost, acquisition difficulty, and low behavioral and environmental diversity. These limitations have sparked interest in egocentric human video as a scalable, substantially lower-cost, and more diverse alternative for embodied model pretraining. However, its effectiveness compared to teleoperated real-robot data remains underexplored. To address this question, we conduct a systematic study comparing egocentric human video and teleoperated real-robot trajectories as pretraining data sources for embodied foundation models, under fixed post-training and validation protocols. Surprisingly, we find that egocentric data, when processed through a carefully designed filtering and labeling pipeline, is not merely a viable substitute for model pretraining but can lead to superior performance. With the same amount of pretraining data, models pretrained on egocentric data achieve a 24% lower validation loss on real-robot action prediction, as well as 52.5% and 90% higher success rates on in-distribution and out-of-distribution real-robot task execution, respectively. This finding verifies a scalable paradigm for embodied foundation models: pretrain on egocentric human video to learn diverse world representations, then adapt with a small amount of labeled real-robot data for action-space alignment. We hope this study encourages broader exploration of egocentric data and offers guidance for data quality assessment before costly robot data collection.