Valdi: Value Diffusion World Models

📄 arXiv: 2607.00917v1 📥 PDF

作者: Christopher Lindenberg, Kashyap Chitta

分类: cs.LG, cs.AI

发布日期: 2026-07-01

备注: RLC 2026 WMW

🔗 代码/项目: GITHUB

💡 一句话要点

提出Valdi以解决动态预测在MPC中的效率问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 模型预测控制 动态预测 扩散模型 在线训练 不确定性建模

📋 核心要点

  1. 现有的动态预测方法在模型预测控制中面临速度和表达能力的双重挑战，难以满足在线应用需求。
  2. 本文提出的Valdi通过结合在线训练与潜在扩散动态模型，解决了低延迟潜在规划中的效率问题。
  3. 在CarRacing环境中的实验表明，Valdi在训练和推理中仅需一步扩散，性能与传统基线相当，展示了良好的控制能力。

📝 摘要（中文）

世界模型能够支持模型预测控制（MPC），但需要快速且具有表达能力的动态预测以应对不确定的未来。扩散模型为建模不确定动态提供了自然机制，但其迭代推理过程使得在低延迟潜在规划中应用变得困难。本文提出了价值扩散世界模型（Valdi），将端到端的在线训练与潜在扩散动态模型相结合。在CarRacing环境的初步实验中，Valdi在训练和推理中仅使用一步扩散，达到了确定性多层感知机基线的效果。实验揭示了在此设置下预测多模态性与控制性能之间的权衡。

🔬 方法详解

问题定义：本文旨在解决模型预测控制（MPC）中动态预测的效率问题。现有方法在处理不确定动态时，往往需要较长的推理时间，限制了其在线应用的能力。

核心思路：Valdi通过将扩散模型与MPC结合，采用单步扩散推理来提高动态预测的速度和效率，从而实现低延迟的潜在规划。

技术框架：Valdi的整体架构包括两个主要模块：首先是潜在扩散动态模型，用于建模不确定性；其次是端到端的在线训练机制，确保模型在实际应用中的有效性。

关键创新：Valdi的核心创新在于将扩散模型的优势与MPC的需求相结合，通过简化推理过程，显著提高了动态预测的效率。这一设计与传统的多层感知机（MLP）方法相比，提供了更好的灵活性和适应性。

关键设计：在模型设计中，Valdi使用了特定的损失函数来优化预测精度，并在网络结构上进行了调整，以适应单步推理的需求。这些设计细节确保了模型在动态环境中的稳定性和可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在CarRacing环境中的实验结果显示，Valdi在训练和推理中仅使用一步扩散，成功匹配了传统多层感知机基线的性能。这一结果表明，Valdi在动态预测中的效率和控制能力具有显著优势，展示了其在实际应用中的潜力。

🎯 应用场景

Valdi的研究成果在自动驾驶、机器人控制和智能制造等领域具有广泛的应用潜力。通过提高动态预测的效率，Valdi能够支持实时决策和控制，推动智能系统的进一步发展和应用。

📄 摘要（原文）

World models can enable Model Predictive Control (MPC), but this requires dynamics prediction that is both fast enough for online use and expressive enough to represent uncertain futures. Diffusion models offer a natural mechanism for modeling uncertain dynamics, yet their iterative inference procedure makes them difficult to use for low-latency latent planning. We bridge this gap with Value Diffusion World Models (Valdi), combining end-to-end online training for MPC with a latent diffusion dynamics model. In preliminary experiments on the CarRacing environment, we show that Valdi, using a single diffusion step at both training and inference, matches a deterministic MLP baseline. Our experiments expose a trade-off between predictive multimodality and control performance in this setup. Code is available at https://github.com/Kit115/ValueDiffusionWorldModels.