From Passive Video to Editable Experience: Physically Grounded Experience Synthesis for Embodied Intelligence
作者: Jia Luo
分类: cs.AI, cs.RO
发布日期: 2026-07-29
💡 一句话要点
提出Pegasus框架以解决机器人学习人类操作视频的数据鸿沟问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱六：视频提取与匹配 (Video Extraction) 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 具身人工智能 知识转移 机器人学习 视频理解 物理验证
📋 核心要点
- 现有方法无法有效利用大量人类操作视频，导致机器人学习受限于数据鸿沟。
- Pegasus框架通过构建任务图和机器人规划图，实现人类演示到机器人可学习数据的转换。
- 实验结果显示，Pegasus在多个基准测试中表现优异，提升了任务正确性和可执行性。
📝 摘要（中文）
在具身人工智能领域，关键瓶颈并非模型架构，而是数据。尽管网上存在数十亿个操作视频，机器人却无法直接从中学习，原因在于人类形态与机器人硬件之间的具身差距。为此，本文提出了Pegasus框架，通过结构化知识转移将人类演示转换为机器人可学习的数据。Pegasus构建了基于图的中间表示，将从人类视频中提取的任务图通过可供性和约束图转化为机器人规划图，以实现机器人条件下的视频生成。通过层次化的可供性潜在空间，模型能够超越物体身份进行泛化。此外，闭环物理验证器进一步过滤无效生成，确保生成的可行性。实验结果表明，Pegasus在多种操作基准上表现出可靠的跨具身翻译能力。
🔬 方法详解
问题定义：本文旨在解决机器人无法直接从人类操作视频中学习的问题，现有方法在数据获取和利用上存在显著不足，导致机器人学习效率低下。
核心思路：Pegasus框架通过结构化知识转移，将人类演示转换为机器人可学习的数据，构建中间表示以缩小具身差距。
技术框架：Pegasus的整体架构包括任务图的提取、可供性和约束图的构建，以及最终的机器人规划图生成，形成闭环的物理验证流程。
关键创新：最重要的创新在于构建了层次化的可供性潜在空间，能够有效建模物体状态、可供性和任务之间的关系，超越了传统方法的局限。
关键设计：在设计中，采用了图结构来表示任务和约束，结合闭环物理验证器，确保生成的动作在物理上是可行的，同时设置了适当的损失函数以优化生成质量。
🖼️ 关键图片
📊 实验亮点
实验结果表明，Pegasus在GTEA Gaze+和EPIC-KITCHENS-100等基准测试中，任务正确性和可执行性显著提升，展示了跨具身翻译的可靠性，验证了其作为低资源知识转移问题的有效性。
🎯 应用场景
该研究的潜在应用领域包括服务机器人、工业自动化和人机协作等场景。Pegasus框架能够有效提升机器人学习效率，降低对大量标注数据的依赖，具有广泛的实际价值和未来影响。
📄 摘要（原文）
The key bottleneck in embodied AI is not model architecture but data. Although billions of human manipulation videos exist online, robots cannot directly learn from them due to the embodiment gap between human morphology and robot hardware. We introduce Pegasus, a low-resource framework that bridges this gap by translating human demonstrations into robot-learnable data through structured knowledge transfer. Instead of relying on raw video prompts, Pegasus constructs a graph-based intermediate representation: a Task Graph extracted from human videos is transformed through Affordance and Constraint Graphs into a Robot Planning Graph for robot-conditioned video generation. A hierarchical affordance latent space models the relationship between object states, affordances, and tasks, enabling generalization beyond object identities. A closed-loop physics verifier further filters invalid generations using kinematic feasibility, collision constraints, and joint limits. We evaluate Pegasus across a range of egocentric manipulation benchmarks, including GTEA Gaze+ and EPIC-KITCHENS-100, and diverse robot embodiments, assessing Task Correctness, Executability, State Consistency, and Learnability. Results demonstrate reliable cross-embodiment translation and show that robot data generation can be reframed from a hardware collection problem into a scalable, low-resource knowledge transfer problem.