EgoInfinity: A Web-Scale 4D Hand-Object Interaction Data Engine for Any-View Robot Retargeting and Video-to-Action Robot Learning
作者: Gaotian Wang, Kejia Ren, Andrew Morgan, Yiting Chen, Howard H. Qian, Podshara Chanrungmaneekul, Kaiyu Hang
分类: cs.RO
发布日期: 2026-06-16
备注: 24 pages. Project page: https://huggingface.co/spaces/Rice-RobotPI-Lab/EgoInfinity
💡 一句话要点
提出EgoInfinity以解决视频转机器人训练数据的瓶颈问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱七：动作重定向 (Motion Retargeting)
关键词: 视频到动作 机器人学习 4D手-物体交互 模块化设计 开放世界学习
📋 核心要点
- 现有方法在将互联网视频转化为机器人训练数据时面临规模和多样性不足的挑战，限制了开放世界的学习能力。
- EgoInfinity通过模块化设计，集成多种技术，自动化视频到动作的转化过程，避免了人工标注的需求。
- 实验验证表明，EgoInfinity在感知精度、运动可行性和接触一致性等方面表现优异，成功实现了从视频到可执行机器人行为的桥接。
📝 摘要（中文）
互联网视频是人类操控知识的最大资源，但将任意RGB视频转换为可操作的机器人训练数据仍然是一个主要瓶颈。现有的实验室或工厂收集的数据集规模和多样性有限，限制了开放世界的机器人学习。为此，本文提出了EgoInfinity，一个通用的4D手-物体交互数据引擎，能够实现网络规模的数据生成，支持机器人重定向和学习。EgoInfinity集成了感知、分割、重建、交互感知优化和重定向等模块，自动化解决这一传统上不可扩展的视频到动作问题，无需人工标注。通过EgoInfinity，野外人类操控视频被提升为代理无关的4D手-物体表示，包含手轨迹、6自由度物体姿态和接触相关状态。
🔬 方法详解
问题定义：本文旨在解决将互联网视频转化为可操作的机器人训练数据的难题，现有方法在规模和多样性上存在明显不足，限制了机器人在开放世界中的学习能力。
核心思路：EgoInfinity的核心思路是构建一个模块化的4D手-物体交互数据引擎，通过集成感知、分割、重建等技术，自动化视频到动作的转化过程，减少人工干预。
技术框架：EgoInfinity的整体架构包括多个主要模块：感知模块负责提取视频中的手和物体信息，分割模块进行对象分离，重建模块生成3D模型，交互感知优化模块提升物理可靠性，最后是重定向模块将动作转化为机器人可执行的轨迹。
关键创新：EgoInfinity的创新点在于其模块化设计和交互感知优化，能够有效减少视觉重建中的漂移和接触不一致性，与现有方法相比，提供了更高的物理可靠性。
关键设计：在关键设计方面，EgoInfinity采用了跨模块的度量标定和交互感知优化策略，确保各模块之间的协调工作。此外，运动重定向器将恢复的3D手部运动编译为适用于不同机器人形态的关节轨迹。
🖼️ 关键图片
📊 实验亮点
实验结果表明，EgoInfinity在感知精度、运动可行性和接触一致性等方面均优于现有基线，具体表现为在真实机器人技能获取任务中，如抓取、切割、擦拭和倒水等，成功实现了高效的技能迁移和执行。
🎯 应用场景
EgoInfinity的潜在应用场景包括服务机器人、工业自动化和人机交互等领域。通过将互联网视频中的人类操控行为转化为机器人可执行的动作，EgoInfinity能够显著提升机器人在复杂环境中的适应能力和学习效率，推动开放世界机器人学习的发展。
📄 摘要（原文）
Internet videos constitute the largest reservoir of embodied human manipulation knowledge, yet converting arbitrary RGB footage into actionable robot training data remains a major bottleneck. Existing lab- or factory-collected datasets are narrow in scale and diversity, limiting open-world robot learning. Instead of proposing a static dataset, we introduce EgoInfinity, a universal 4D hand-object interaction data engine that enables web-scale data generation for robot retargeting and learning. EgoInfinity is a modular engine integrating perception, segmentation, reconstruction, interaction-aware refinement, and retargeting to automate this traditionally unscalable video-to-action problem without human-in-the-loop annotation. Its modular design lets the engine continuously benefit from advances in any incorporated component. With EgoInfinity, in-the-wild human manipulation videos are lifted into agent-agnostic, metric 4D hand-object representations, including hand trajectories, 6-DoF object poses, and contact-relevant states. Rather than naively connecting standalone components, EgoInfinity combines cross-module metric calibration with interaction-aware refinement to improve physical reliability, reducing drift and contact inconsistencies common in pure visual reconstruction. We further propose a novel motion retargeter that compiles the recovered 3D hand motions into executable joint trajectories for diverse robot morphologies, enabling video-to-action retargeting on any robot from arbitrary viewpoints and shot sizes (e.g., the human body is only partially visible). We validate EgoInfinity across perception fidelity, kinematic feasibility, contact consistency, cross-embodiment generalization, and real-robot skill acquisition (e.g., grasping, cutting, wiping, and pouring), demonstrating a scalable bridge from internet videos to executable robot behavior for open-world robot learning.