WorldFlow: Joint Video and 3D Motion Prediction via Large-Scale Pretraining
作者: Yuhao Lu, Jiongxu Chen, Hexiang Wei, Jiajin Wu, Juelin Li, Mingjian Liang, Fan Yang, Zhuowei Liang, Zihao Liu, Zhennan Wang, Sheng Wang, Lin Shao
分类: cs.CV, cs.AI, cs.RO
发布日期: 2026-10-29
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出WorldFlow以解决未来物理状态预测问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 未来状态预测 3D运动预测 视频理解 生成模型 多模态学习
📋 核心要点
- 现有视频世界模型未能明确3D动态，导致物理状态预测的局限性。
- 本文提出WorldFlow，通过联合预测视频和3D轨迹，克服了现有方法的不足。
- 实验结果显示，WorldFlow在多个评估集上均取得最低的平均位移误差，显著优于其他学习方法。
📝 摘要（中文）
预测未来物理状态是具身智能中的核心挑战。现有的视频世界模型未能明确3D动态，基于动作的公式化方法受限于特定机器人配置，而3D运动预测模型仅依赖流动监督，提供的学习信号有限。为此，本文提出了WorldFlow，这是一种生成世界模型，能够联合预测未来视频和基于查询的3D轨迹。通过将3D运动参数化为与视频网格对齐的连续位移标记，采用统一的Mixture-of-Transformers（MoT）骨干网络，在修正流动目标下共同去噪这两种模态。该方法有效结合了显式几何动态与视觉演变，释放了预训练视频模型中蕴含的物理常识。实验表明，WorldFlow在多个评估集上表现优异，尤其在SpatialCog集上，ADE达到0.060米，相较于最强外部基线减少54.2%。
🔬 方法详解
问题定义：本文旨在解决未来物理状态预测中的3D动态隐含性问题。现有方法在动作基础上受限于特定机器人配置，且3D运动预测模型仅依赖流动监督，导致学习信号不足。
核心思路：WorldFlow通过将3D运动参数化为与视频网格对齐的连续位移标记，采用Mixture-of-Transformers（MoT）骨干网络，联合预测视频和3D轨迹，从而有效结合几何动态与视觉演变。
技术框架：整体架构包括数据输入、MoT骨干网络、去噪模块和修正流动目标。数据输入部分处理视频和3D轨迹，MoT网络负责联合建模，去噪模块优化输出结果。
关键创新：WorldFlow的创新在于其联合建模的能力，显著提升了对物理动态的理解，与传统方法相比，提供了更丰富的学习信号。
关键设计：在网络结构上，采用Mixture-of-Transformers架构，损失函数设计为修正流动目标，确保模型在训练过程中能够有效去噪和优化输出。
🖼️ 关键图片
📊 实验亮点
在实验中，WorldFlow在所有评估集上均表现出最低的平均位移误差（ADE）和最终位移误差（FDE）。特别是在SpatialCog集上，WorldFlow的ADE为0.060米，相较于最强外部基线减少54.2%。与其流动仅变体相比，ADE和FDE分别降低了55.9%和68.5%。
🎯 应用场景
该研究的潜在应用领域包括机器人导航、自动驾驶、虚拟现实等，能够为这些领域提供更准确的物理状态预测，提升智能体的决策能力和交互效果。未来，随着模型的进一步优化，可能在更复杂的动态环境中展现出更强的适应性和智能化水平。
📄 摘要（原文）
Predicting future physical states stands as a central challenge in embodied intelligence. Existing video world models leave 3D dynamics implicit, action-based formulations remain tied to specific robot configurations, and 3D motion prediction models use flow-only supervision, providing a limited learning signal for physical dynamics. To circumvent these limitations, we introduce \method{}, a generative world model that jointly predicts future video and query-based 3D trajectories. By parameterizing 3D motion as continuous displacement tokens aligned with the video grid, a unified Mixture-of-Transformers (MoT) backbone jointly denoises both modalities under a rectified-flow objective. This formulation couples explicit geometric dynamics with visual evolution, effectively unlocking the physical commonsense embedded within pretrained video models. To empirically scale and validate this unified architecture, we train \method{} on a heterogeneous mixture of 1.44 million object-level samples spanning simulated and real-world domains. We further introduce WorldFlowBench, comprising 1,678 evaluation samples from 11 data sources across simulated and real-world interactions, including spatial reasoning tasks. Across all three evaluation sets, WorldFlow achieves the lowest average displacement error (ADE) and final displacement error (FDE) among the evaluated learning-based methods. Notably, on the challenging SpatialCog set, WorldFlow achieves an ADE of 0.060 m, a 54.2\% reduction compared with the strongest external baseline. It also reduces ADE and FDE by 55.9\% and 68.5\%, respectively, compared with its flow-only variant. Project page: https://worldflow-rbs.github.io/.