DVG-WM: Disentangled Video Generation Enables Efficient Embodied World Model for Robotic Manipulation

📄 arXiv: 2606.32028 📥 PDF

作者: Ziyu Shan, Zhenyu Wu, Xiaofeng Wang, Zheng Zhu, Ziwei Wang

分类: cs.RO

发布日期: 2026-07-05

💡 一句话要点

提出DVG-WM以解决机器人操作中的视频生成与动态建模问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 具身世界模型 视频生成 动态建模 机器人操作 流匹配 潜变量降解 高效推理

📋 核心要点

  1. 现有基于视频的具身世界模型在动态建模与高分辨率视觉合成之间存在纠缠，导致推理速度慢或细节缺失。
  2. 论文提出的DVG-WM框架通过将动态学习与视觉合成明确分离，解决了现有方法的局限性。
  3. 实验结果显示，DVG-WM在视频质量上有显著提升，推理速度提高了3.97倍，验证了其有效性。

📝 摘要（中文）

基于视频的具身世界模型为机器人操作提供了有效的基础，通过预测未来状态来实现。然而，现有方法受到基本纠缠的限制：准确建模动态通常需要低级时间推理，而生成高分辨率帧则需要根据高级语义进行广泛的视觉合成。这种纠缠导致迭代规划的推理速度缓慢，或预测过于粗糙，无法保留丰富的接触细节。为了解决这一困境，我们提出了分离视频生成世界模型（DVG-WM），这是一个高效的框架，明确将世界建模分解为动态学习和视觉合成。基于初始观察和语言指令，我们的模型首先生成一系列合理的中间视觉状态，以预览物理交互，并对其进行细化以获得高保真视频。此外，提出了一种高效的级联机制，DVG-WM使用流匹配直接将动态映射到视频潜变量，并引入潜变量降解机制以再生接触丰富的细节。实验结果表明，在LIBERO和真实世界平台上，视频质量显著提高，速度提升可达3.97倍，验证了分离视频生成可以作为机器人操作的高效具身世界模型。

🔬 方法详解

问题定义：本论文旨在解决现有基于视频的具身世界模型在动态建模与视觉合成之间的纠缠问题，导致推理速度慢和细节缺失的痛点。

核心思路：DVG-WM通过将动态学习与视觉合成分离，首先生成中间视觉状态，再进行细化，以提高视频生成的效率和质量。

技术框架：DVG-WM的整体架构包括初始观察输入、动态学习模块、视觉合成模块和细化过程，形成一个高效的级联机制。

关键创新：DVG-WM的核心创新在于引入流匹配机制，将动态直接映射到视频潜变量，并通过潜变量降解机制再生接触细节，这与现有方法的整体建模方式有本质区别。

关键设计：在模型设计中，采用了特定的损失函数以平衡动态学习与视觉合成的效果，同时优化了网络结构以提高生成速度和视频质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DVG-WM在视频生成质量上显著提升，推理速度提高了3.97倍，相较于基线方法表现出更高的效率和细节保留能力，验证了其在机器人操作中的有效性。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、自动化制造和智能家居等，能够为机器人提供更高效的环境理解和交互能力，提升其在复杂场景中的操作性能。未来，该技术可能推动更广泛的智能机器人应用，改善人机交互体验。

📄 摘要（原文）

Video-based embodied world models provide an appealing substrate for robotic manipulation by predicting future states, yet current approaches remain limited by a fundamental entanglement: accurately modeling dynamics typically requires low-level temporal reasoning, while producing high-resolution frames demands expansive visual synthesis according to high-level semantics. This entanglement results in slow inference speed for iterative planning or too coarse predictions to retain contact-rich details. To solve this dilemma, we present Disentangled Video Generation World Model (DVG-WM), an efficient framework that explicitly decomposes world modeling into dynamics learning and visual synthesis. Conditioned on an initial observation and a language instruction, our model first generates a plausible sequence of intermediate visual states to preview the physical interaction and refines them to obtain high-fidelity videos. Furthermore, an efficient cascading mechanism is proposed, where DVG-WM uses flow matching to directly map the dynamics to video latents, and introduces a latent degradation mechanism to regenerate contact-rich details. Experiments on LIBERO and real-world platforms demonstrate improved video quality with up to 3.97 times acceleration, validating that disentangled video generation can be an efficient embodied world model for robotic manipulation.