Learning How the World Evolves: Extrapolative Video World Models via Latent Dynamics Reasoning
作者: Haodong Li, Shaoteng Liu, Tianyu Wang, Chongjian Ge, Sihui Ji, Jiahan Zhang, Xin Lin, Haolin Lu, Zhe Lin, Manmohan Chandraker
分类: cs.CV
发布日期: 2026-08-10
备注: Project page: https://lat-dyn-reason.github.io/
💡 一句话要点
提出LDR以解决视频生成模型动态建模不足问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 潜在动态推理 视频生成 动态建模 运动学积分 物理基准测试 超出分布外推 高效模型
📋 核心要点
- 现有视频生成模型在动态建模上存在不足，主要集中于像素拟合，未能准确遵循物理规律。
- 论文提出潜在动态推理（LDR），通过显式运动学积分来捕捉动态，回归高阶残差以驱动模型展开。
- 实验结果表明，LDR在超出训练分布的场景中表现出色，错误率比基线低20倍，且参数使用更少，速度更快。
📝 摘要（中文）
世界的演变遵循其动态规律，然而现有的视频扩散模型主要关注像素拟合，而未能有效建模像素随时间的变化。为此，本文提出了潜在动态推理（LDR），将潜在转移视为显式的运动学积分，通过数值积分低阶动态，仅回归驱动展开的三阶及更高阶残差。LDR在结构化潜在空间中运行，验证了其在控制白盒物理基准上的有效性，尤其在超出训练分布的场景中表现优异。实验结果显示，LDR在学习的动态外推能力上显著优于现有视频扩散基线，且参数使用更少，运行速度更快。
🔬 方法详解
问题定义：现有的视频生成模型主要关注像素的拟合，而忽视了如何有效建模像素随时间的动态变化。这导致生成的帧虽然在视觉上合理，但未必遵循真实的物理规律。
核心思路：本文提出的潜在动态推理（LDR）通过将潜在转移视为显式的运动学积分，来捕捉动态。LDR仅回归驱动展开的三阶及更高阶残差，从而实现更好的外推能力。
技术框架：LDR的整体架构包括潜在空间的结构化表示和数值积分的过程。模型首先在结构化潜在空间中进行动态建模，然后通过数值方法进行低阶动态的积分，最后回归高阶残差以实现动态的外推。
关键创新：LDR的主要创新在于其通过显式运动学积分来建模动态，而不是依赖于密集卷积特征。这种方法使得模型能够更好地理解和外推动态规律，尤其在超出训练分布的情况下。
关键设计：LDR在参数设置上使用了较少的参数，具体为基线的26倍更少，同时在运行速度上提升了143倍。损失函数设计上，重点关注高阶残差的回归，以确保模型能够准确捕捉动态变化。整体网络结构则强调了潜在空间的结构化表示。
🖼️ 关键图片
📊 实验亮点
实验结果显示，LDR在超出训练分布的场景中表现显著优于视频扩散基线，其在训练和测试误差之间的差距超过20倍。此外，LDR使用的参数数量减少了26倍，运行速度提升了143倍，展现出极高的效率和性能。
🎯 应用场景
该研究的潜在应用领域包括机器人控制、自动驾驶、虚拟现实等需要动态建模的场景。通过更准确的动态预测，LDR能够提升系统的智能化水平，推动相关技术的进步与应用。
📄 摘要（原文）
The world evolves following its dynamics, i.e., its laws of motion. However, leading video diffusion models largely fit the pixels without modeling how the pixels transit over time. Thus, they render visually plausible frames but may not accurately obey the laws. To capture the dynamics purely from pixels, we introduce Latent Dynamics Reasoning (LDR). LDR casts the latent transition as an explicit kinematic integration, where the lower-order dynamics are integrated numerically and the model regresses only the third- and higher-order residual that drives the rollout. For this integration to extrapolate better, LDR runs it on a structured latent rather than dense convolutional features. Following PhyWorld, we validate LDR on a controlled white-box physics benchmark spanning five tasks (uniform motion, parabola, collision, bouncing, looming), focusing on out-of-distribution scenarios that reveal whether a model has truly learned the underlying dynamics. LDR extrapolates the learned dynamics far better: the gap between its in- and out-of-distribution error is over 20$\times$ smaller than the video diffusion baseline's, under both single- and joint-task training at 256$^2$ resolution, while using 26$\times$ fewer parameters and running 143$\times$ faster. LDR can even generalize under severe shift: for example, trained only on red balls moving left-to-right, it correctly predicts the motion of a blue square moving right-to-left. To our knowledge, this is the first video world model that extrapolates learned dynamics beyond its training distribution. Project page: https://lat-dyn-reason.github.io/