Video World Models Need Predictable Latents
作者: Mattia Scardecchia, Sherry Yang
分类: cs.LG, cs.AI, cs.CV, cs.RO
发布日期: 2026-10-26
备注: 54 pages, 25 figures, 14 tables. Code: https://github.com/mattia-scardecchia/predictable-latents
💡 一句话要点
提出可预测潜在空间以解决视频世界模型的长期预测问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 视频世界模型 潜在空间 动态建模 时间可预测性 机器人学习 长时间预测 分布外泛化
📋 核心要点
- 现有视频世界模型在长时间预测和分布外泛化方面表现不佳，且推理时计算成本高。
- 论文提出通过优化潜在空间的时间可预测性，结合过去条件解码器架构，提升未来观察的预测准确性。
- 实验结果显示，推理成本降低至5倍，训练速度提升超过7倍，像素和感知误差降低15-24%。
📝 摘要（中文）
视频世界模型在大规模机器人数据上训练，提供了一种安全且可扩展的方法来学习和评估在物理世界中行动的策略。然而，它们在长时间预测和分布外泛化方面仍然存在困难，并且在推理时计算成本高。通常，视频世界模型在重建训练的自编码器的潜在空间中进行预测，但这并未直接针对动态建模进行优化。本文展示了如何实现潜在几何体的优化，使未来预测尽可能简单，同时不牺牲未来观察的准确预测。通过将时间目标与过去条件解码器架构相结合，我们在相同的训练预算下显著改善了生成视频世界模型的性能。
🔬 方法详解
问题定义：论文要解决的问题是现有视频世界模型在长时间预测和分布外泛化中的不足，尤其是在推理时的高计算成本。现有方法通常在潜在空间中进行预测，但未针对动态建模进行优化。
核心思路：论文的核心思路是通过优化潜在空间的时间可预测性，结合过去条件解码器架构，来实现未来观察的准确预测。这种设计旨在兼顾动态建模与观察预测的准确性。
技术框架：整体架构包括一个自编码器用于重建输入视频，结合时间目标进行潜在空间的优化，并通过过去条件解码器生成未来帧。主要模块包括潜在空间优化模块、解码器模块和训练损失计算模块。
关键创新：最重要的技术创新点在于将时间可预测性引入潜在空间的设计中，使得模型在保持高预测准确性的同时，显著降低了推理成本和训练时间。这与现有方法的本质区别在于同时优化了动态建模和观察预测。
关键设计：关键设计包括使用时间目标作为损失函数，优化潜在空间的几何结构，以及采用过去条件解码器架构以提高未来观察的生成质量。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提出的方法在推理时成本降低至原来的五分之一，训练速度提升超过七倍，同时在长时间预测和分布外测试中，像素和感知误差分别降低了15-24%。这些显著的性能提升验证了方法的有效性。
🎯 应用场景
该研究的潜在应用领域包括机器人控制、自动驾驶、虚拟现实等需要长时间预测和决策的场景。通过提高视频世界模型的预测能力和效率，可以在实际应用中实现更安全、可靠的策略学习与评估，推动智能系统的广泛应用。
📄 摘要（原文）
Video world models trained on large-scale robot data promise a safe and scalable approach for learning and evaluating policies that act in the physical world. However, they still struggle with long-horizon rollouts and out-of-distribution generalization, and they remain computationally demanding at inference time. Typically, video world models make predictions in the latent space of a reconstruction-trained autoencoder, which however is not directly optimized for dynamics modeling. On the other hand, world models designed for latent planning usually optimize latents to be predictable, but they forgo accurate prediction of observations in pixel space. In this paper, we show that it is possible to achieve the best of both worlds: a latent geometry optimized to make future prediction as simple as possible without sacrificing accurate prediction of future observations. More precisely, we find that temporal objectives for representation learning, paired with a past-conditioned decoder architecture, lead to consistent improvements in generative video world models at the same training budget. The gains include up to 5x cheaper inference, over 7x faster training, and 15-24% lower pixel and perceptual errors out of distribution and over long horizons. Our world models also agree more closely with real-world policy evaluation when using a vision-language model to judge task success from their pixel-space predictions. Overall, our study indicates that temporal predictability is an important design criterion for the latent space of video world models, and provides concrete guidance on how to incorporate it into the training of autoencoders.