Wonder: Video World Model Done Better
作者: Jiacong Xu, Hanwen Jiang, Zhixin Shu, Kalyan Sunkavalli, Vishal M. Patel, Yiqun Mei
分类: cs.CV, cs.GR
发布日期: 2026-07-28
备注: Project Page: https://wonder-world-model.github.io/
💡 一句话要点
提出Wonder以实现实时可控的视频世界探索
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 视频生成 实时交互 稀疏注意力 相机条件 长时记忆 动态场景 自我蒸馏 可控生成
📋 核心要点
- 现有的视频生成方法在实时性和可控性方面存在不足，难以支持用户的交互式探索需求。
- Wonder通过系统级设计，结合相机条件机制和稀疏注意力记忆机制，提升了视频生成的实时性和精确性。
- 实验表明，Wonder能够以16 FPS生成多样化视频，且在长时间序列中保持几何和动态的一致性，显著优于现有基线。
📝 摘要（中文）
我们提出了Wonder，一个通用的视频世界模型，旨在实现实时的、可控的世界探索。给定一幅图像或条件视频，Wonder能够构建一个可交互的可玩世界，用户可以通过移动相机实时导航，发现未见区域并重访先前观察的区域。为了实现这一能力，系统级的控制方法、记忆机制和训练策略的共同设计至关重要。我们引入了一种新颖的相机条件机制，利用密集坐标场提供空间对齐的运动和方向线索，使模型能够直接将相机运动解释为视觉证据。此外，我们提出了一种高效的稀疏注意力记忆机制，支持快速、精确的记忆检索。综合这些组件，Wonder能够以16 FPS合成多样化、细致的视频，同时保持长时间序列中的几何、外观和动态一致性。
🔬 方法详解
问题定义：论文旨在解决现有视频生成方法在实时性和用户交互控制方面的不足，尤其是在动态场景的生成和探索中存在的挑战。
核心思路：通过引入新颖的相机条件机制和高效的稀疏注意力记忆机制，Wonder能够实现用户在视频世界中的实时导航和探索，提升生成的灵活性和准确性。
技术框架：Wonder的整体架构包括相机条件模块、稀疏注意力记忆模块和自我蒸馏训练流程。用户通过相机移动输入，系统实时生成相应的视频内容。
关键创新：最重要的技术创新在于引入了密集坐标场作为相机条件机制，使得模型能够直接将相机运动与视觉信息对齐，从而提升了生成的空间一致性。
关键设计：在设计中，采用了稀疏注意力机制来优化记忆检索效率，确保模型在推理时能够选择性关注相关上下文。此外，蒸馏训练流程的改进使得学生模型更好地遵循控制信号，同时保持多样化的生成模式和长时记忆。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Wonder能够以16 FPS的速度生成多样化视频，且在长时间序列中保持几何、外观和动态的一致性。与现有基线相比，Wonder在生成质量和实时性上均有显著提升，展示了其在视频生成领域的优越性。
🎯 应用场景
Wonder的潜在应用场景包括虚拟现实、游戏开发和教育培训等领域。通过实时生成可交互的视频世界，用户可以在动态环境中进行探索和学习，提升沉浸感和参与度。未来，该技术有望推动更多领域的创新应用，尤其是在需要实时反馈和动态交互的场景中。
📄 摘要（原文）
We present Wonder, a general-purpose video world model for real-time, camera-controllable world exploration. Given an image or a conditional video, Wonder constructs a playable world where users can navigate interactively by moving the camera, discovering unseen regions, and revisiting previously observed areas in real time and over a long-term horizon. Achieving this capability requires a system-level co-design of control method, memory mechanism, and training strategy. We introduce a novel camera conditioning with a dense coordinate field whose renderings provide spatially aligned motion and orientation cues, allowing the model to interpret camera motion directly as visual evidence. To support fast and precise memory retrieval over a growing generation context, we propose an efficient sparse attention-based memory mechanism, enabling the model to selectively attend to a small set of relevant context tokens at inference time, regardless of actual context length. We further develop several techniques to rectify the self-forcing-style distillation pipeline, improving the student model's ability to respect control signals, as well as maintaining diverse generation modes and long-term memory from the teacher. Together, these components enable Wonder to synthesize diverse, minute-scale videos at 16 FPS while preserving coherent geometry, appearance, and dynamics across long rollouts. Beyond image-to-video generation, Wonder naturally supports video-conditioned generation, allowing existing dynamic scenes to be re-shot in real time.