MoVerse: Real-Time Video World Modeling with Panoramic Gaussian Scaffold

📄 arXiv: 2606.13376 📥 PDF

作者: Yang Zhou, Ziheng Wang, Yuqin Lu, Haofeng Liu, Jun Liang, Shengfeng He, Jing Li

分类: cs.CV

发布日期: 2026-06-12

💡 一句话要点

提出MoVerse以解决实时视频世界建模问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 实时视频建模 高斯支架 拓扑感知扩散 条件渲染 3D重建 虚拟现实 增强现实

📋 核心要点

  1. 核心问题：现有方法在仅依赖单一窄视场图像时，难以实现完整环境的实时建模与交互。
  2. 方法要点：MoVerse通过拓扑感知扩散和高斯支架构建，将世界构建与观察渲染分离，提升了渲染质量与实时性。
  3. 实验或效果：在单个NVIDIA RTX 4090 GPU上，MoVerse实现了8 FPS的实时场景漫游，展示了其高效性与实用性。

📝 摘要（中文）

我们提出了MoVerse，这是一种实时视频世界模型，能够从单一窄视场图像创建可交互导航场景。该方法面临的挑战在于输入仅观察环境的一小部分，而交互漫游需要完整的周围世界、持久的几何结构、可控的相机运动和时间一致的高保真观察。MoVerse通过将世界构建与观察渲染分离来解决这一问题。它首先通过拓扑感知扩散将输入扩展为重力对齐的360°全景，填补缺失的视场，然后利用全景几何感知残差预测将全景提升为持久的3D高斯支架，生成密集且可直接渲染的空间记忆。最后，基于高斯条件的视频渲染器将支架渲染沿用户指定的相机轨迹转换为照片级真实感视频。该渲染器通过训练双向扩散教师以实现高质量条件渲染，并将其蒸馏为因果自回归学生以实现有限延迟流媒体。MoVerse在单个NVIDIA RTX 4090 GPU上以8 FPS支持实时场景漫游，展示了单图像世界创建与交互视频输出的实用路径。

🔬 方法详解

问题定义：论文要解决的问题是如何从单一窄视场图像构建一个完整的、可交互的3D世界模型。现有方法往往无法处理输入视场的局限性，导致缺乏完整的环境信息和实时交互能力。

核心思路：论文的核心思路是将世界构建与观察渲染分离，首先通过拓扑感知扩散生成360°全景图像，然后利用高斯支架进行持久的3D建模。这种设计使得系统能够在缺失视场的情况下仍然生成高质量的3D场景。

技术框架：整体架构包括三个主要模块：首先是全景生成模块，通过拓扑感知扩散填补缺失视场；其次是高斯支架构建模块，将全景图像转化为持久的3D结构；最后是视频渲染模块，利用高斯条件渲染生成高保真视频。

关键创新：最重要的技术创新在于将全景几何感知残差预测应用于高斯支架的构建，显著提高了空间记忆的密度和渲染的直接性。这一方法与传统的3D建模方法相比，具有更高的灵活性和实时性。

关键设计：在关键设计方面，论文采用了双向扩散教师进行条件渲染，并将其蒸馏为因果自回归学生，以实现低延迟的流媒体输出。此外，模型的参数设置和损失函数设计也经过精心调整，以确保渲染质量与实时性能的平衡。

📊 实验亮点

实验结果表明，MoVerse在单个NVIDIA RTX 4090 GPU上实现了8 FPS的实时场景漫游，展示了其在高效性和渲染质量上的显著提升。与现有基线相比，该方法在生成高保真视频方面表现出色，具有较强的实用性和应用前景。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、增强现实和游戏开发等。通过实现从单一图像生成可交互的3D场景，MoVerse能够为用户提供更为沉浸的体验，推动相关领域的技术进步与应用创新。未来，该技术还可能在城市规划、建筑设计等领域发挥重要作用。

📄 摘要（原文）

We present MoVerse, a real-time video world model that creates an interactively navigable scene from a single narrow-field-of-view image. This setting is challenging because the input observes only a small fraction of the environment, while interactive roaming requires a complete surrounding world, persistent geometry, controllable camera motion, and temporally coherent high-fidelity observations. MoVerse addresses this problem by separating world construction from observation rendering. It first expands the input into a gravity-aligned 360$^\circ$ panorama with topology-aware diffusion, closing the missing field of view before 3D reasoning. It then lifts the panorama into a persistent 3D Gaussian scaffold using panoramic geometry-aware residual prediction, yielding a dense and directly renderable spatial memory. Finally, a Gaussian-conditioned video renderer translates scaffold renderings along user-specified camera trajectories into photorealistic video. To make this renderer practical for interaction, we train a bidirectional diffusion teacher for high-quality conditional rendering and distill it into a causal autoregressive student for bounded-latency streaming. This design combines the controllability and long-range consistency of explicit 3D representations with the perceptual quality of generative video models. MoVerse supports real-time scene roaming at 8~FPS on a single NVIDIA RTX~4090 GPU, demonstrating a practical path toward single-image world creation with interactive video output.