FloMo: 3D Scene Flow as a World Action Model Intermediate for Learning from Human Video
作者: Jeremy Collins, Namra Patel, Ayush Agarwal, Shitij Govil, Animesh Garg
分类: cs.CV, cs.AI
发布日期: 2026-11-03
💡 一句话要点
提出FloMo模型以提升机器人动作预测的样本效率
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 3D场景流 动作预测 视频生成 机器人控制 样本效率 人机交互 深度学习
📋 核心要点
- 现有的视频生成模型在动作预测中存在冗余信号，导致样本效率低下。
- FloMo模型通过预测3D场景流而非完整视频，提升了动作预测的样本效率。
- 实验结果显示，联合预测运动、视频和动作时，模型在泛化能力上显著优于仅依赖视频预测的模型。
📝 摘要（中文）
预训练的视频生成模型将互联网规模的运动先验转化为机器人策略，但完整视频在动作预测中存在冗余信号。本文提出FloMo模型，主张通过预测密集的3D场景流而非视频来提高样本效率。FloMo是一个经过微调的5B视频生成模型，能够预测3D场景流和动作标记。通过将场景流渲染为RGB并编码到与视频相同的潜在空间，模型能够高效适应3D场景流的预测。模型在无动作的人类视频和有动作标签的机器人遥操作数据上共同训练，能够从人类视频预训练中受益，并在未见对象、运动原语和任务上实现泛化。实验表明，联合预测运动、视频和动作时，动作标记更关注运动而非视频，表明视频预测会浪费模型容量。
🔬 方法详解
问题定义：本文旨在解决现有视频生成模型在动作预测中冗余信号的问题，导致样本效率低下。现有方法往往依赖完整视频进行训练，未能有效利用运动信息。
核心思路：论文提出通过预测3D场景流作为中介，来提高从视频预训练到机器人动作的转移效率。通过关注运动而非视频，模型能够更好地捕捉动作的本质特征。
技术框架：FloMo模型的整体架构包括视频生成的预训练基础，随后在3D场景流和动作标记上进行微调。模型通过将场景流渲染为RGB并与视频编码到同一潜在空间，实现了高效的适应性。
关键创新：最重要的创新在于将3D场景流作为动作预测的核心，而非依赖于视频预测。这一设计使得模型在处理未见对象和任务时表现出更强的泛化能力。
关键设计：模型的训练过程中，采用了无动作的人类视频和有动作标签的机器人遥操作数据进行共同训练。损失函数设计上，联合预测运动、视频和动作，确保模型在动作标记上更关注运动信息。
🖼️ 关键图片
📊 实验亮点
实验结果表明，FloMo模型在泛化能力上显著优于传统视频预测模型。当运动、视频和动作共同预测时，模型在未见对象和任务上的成功率提高，表明运动预测的有效性。具体性能数据和提升幅度在论文中有详细阐述。
🎯 应用场景
该研究的潜在应用领域包括机器人控制、自动驾驶和人机交互等。通过提高动作预测的样本效率，FloMo模型能够在复杂环境中更好地适应和执行任务，未来可能在智能机器人和自动化系统中发挥重要作用。
📄 摘要（原文）
Pretrained video generation models distill internet-scale motion priors into robot policies, but full video is a redundant signal for action prediction. We argue that dense 3D motion is the medium through which video pretraining best transfers to robot actions, and that predicting motion rather than video affords better sample-efficiency for action prediction. FloMo is a 5B video-generation model fine-tuned to predict 3D scene-flow and action tokens. Rendering scene flow as RGB and encoding it into the same latent space as video enables a pretrained video generation backbone to efficiently adapt to predict 3D scene flow. Co-trained on action-free human video and action-labeled robot teleoperation data, our model benefits from human-video pretraining and generalizes to unseen objects, motion primitives, and tasks. Replacing motion prediction with a video prediction objective degrades out-of-distribution generalization, while adding a video prediction target alongside motion lowers policy success rather than improving it. When motion, video, and action are predicted jointly, action tokens attend far more to motion than to video, suggesting that predicting video wastes model capacity. Together, these results indicate that motion effectively mediates the transfer from video pretraining to action. More information can be found at flomo-wam.github.io.