DVG-WM: Disentangled Video Generation Enables Efficient Embodied World Model for Robotic Manipulation
作者: Ziyu Shan, Zhenyu Wu, Xiaofeng Wang, Zheng Zhu, Ziwei Wang
分类: cs.RO
发布日期: 2026-06-30
💡 一句话要点
提出DVG-WM以解决机器人操控中的视频生成效率问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 视频生成 具身世界模型 机器人操控 动态学习 视觉合成 流匹配 潜变量降解
📋 核心要点
- 现有视频生成方法在动态建模与高分辨率视觉合成之间存在纠缠，导致推理速度慢或细节丢失。
- 提出DVG-WM框架，通过将世界建模分解为动态学习和视觉合成，解决了现有方法的局限性。
- 实验结果显示，DVG-WM在视频质量上有显著提升，推理速度提高了3.97倍，验证了其有效性。
📝 摘要（中文）
基于视频的具身世界模型为机器人操控提供了有吸引力的基础，通过预测未来状态来实现。然而，现有方法受到基本纠缠的限制：准确建模动态通常需要低级时间推理，而生成高分辨率帧则需要根据高级语义进行广泛的视觉合成。这种纠缠导致迭代规划的推理速度缓慢，或预测过于粗糙以保留丰富的接触细节。为了解决这一困境，本文提出了分离视频生成世界模型（DVG-WM），这是一个高效的框架，明确将世界建模分解为动态学习和视觉合成。基于初始观察和语言指令，我们的模型首先生成一系列合理的中间视觉状态，以预览物理交互，并对其进行细化以获得高保真视频。此外，提出了一种高效的级联机制，DVG-WM使用流匹配直接将动态映射到视频潜变量，并引入潜变量降解机制以再生丰富的接触细节。实验结果表明，在LIBERO和真实平台上，视频质量得到改善，速度提升可达3.97倍，验证了分离视频生成可以成为机器人操控的高效具身世界模型。
🔬 方法详解
问题定义：本文解决的是现有视频生成方法在机器人操控中面临的动态建模与视觉合成之间的纠缠问题，导致推理速度慢和细节丢失。
核心思路：DVG-WM的核心思路是将世界建模明确分解为动态学习和视觉合成两个部分，以提高生成效率和视频质量。通过这种设计，模型能够更好地处理低级时间推理与高级语义之间的关系。
技术框架：DVG-WM的整体架构包括两个主要模块：动态学习模块和视觉合成模块。动态学习模块负责生成中间视觉状态，而视觉合成模块则对这些状态进行细化以生成高保真视频。此外，模型还引入了流匹配和潜变量降解机制以增强细节再生。
关键创新：DVG-WM的主要创新在于其分离的世界建模方法，通过流匹配直接将动态映射到视频潜变量，显著提高了生成效率和视频质量。这一方法与现有方法的本质区别在于其处理动态与视觉信息的方式。
关键设计：在模型设计中，采用了流匹配算法来实现动态与视频潜变量的映射，同时引入潜变量降解机制以再生接触细节。损失函数的设计也经过精心调整，以确保生成视频的高保真度和细节丰富性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，DVG-WM在视频质量上显著提升，推理速度提高了3.97倍，相较于基线方法表现出更高的效率和细节保留能力，验证了其在机器人操控中的有效性。
🎯 应用场景
该研究的潜在应用领域包括机器人操控、自动化生产线和智能家居等场景。通过提高视频生成的效率和质量，DVG-WM能够在复杂环境中实现更精确的物理交互，推动机器人技术的进一步发展。
📄 摘要（原文）
Video-based embodied world models provide an appealing substrate for robotic manipulation by predicting future states, yet current approaches remain limited by a fundamental entanglement: accurately modeling dynamics typically requires low-level temporal reasoning, while producing high-resolution frames demands expansive visual synthesis according to high-level semantics. This entanglement results in slow inference speed for iterative planning or too coarse predictions to retain contact-rich details. To solve this dilemma, we present Disentangled Video Generation World Model (DVG-WM), an efficient framework that explicitly decomposes world modeling into dynamics learning and visual synthesis. Conditioned on an initial observation and a language instruction, our model first generates a plausible sequence of intermediate visual states to preview the physical interaction and refines them to obtain high-fidelity videos. Furthermore, an efficient cascading mechanism is proposed, where DVG-WM uses flow matching to directly map the dynamics to video latents, and introduces a latent degradation mechanism to regenerate contact-rich details. Experiments on LIBERO and real-world platforms demonstrate improved video quality with up to 3.97 times acceleration, validating that disentangled video generation can be an efficient embodied world model for robotic manipulation.