L3G-World: Real-Time Infinite World Generation with Latent 3D Gaussian Memory

📄 arXiv: 2610.40614v1 📥 PDF

作者: Jinhyeok Choi, JoungBin Lee, Jongmin Lee, Minkyeong Jeon, Jiyoung Kim, Kaeun Han, Yoonjin Yoon, Seungryong Kim

分类: cs.CV

发布日期: 2026-10-29

备注: Project page: https://cvlab-kaist.github.io/L3G-World/

💡 一句话要点

提出L3G-World以解决实时无限世界生成中的空间一致性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 实时生成 空间一致性 高斯记忆 视频扩散变换器 虚拟世界

📋 核心要点

  1. 现有方法在长时间生成过程中难以保持空间一致性，且记忆扩展效率低下。
  2. 提出潜在3D高斯记忆（L3G），通过高效的前馈重建与紧凑的场景表示实现实时生成。
  3. L3G-World在生成质量和空间一致性上显著提升，使用的3D原语减少38.6倍，内存更新速度提高3.2倍。

📝 摘要（中文）

交互式世界模型生成的视觉内容需基于用户行为，但在长时间探索中保持空间一致性仍然具有挑战性。现有方法依赖于时间上下文或显式3D记忆，均因生成流长度而导致记忆扩展不佳。此外，显式3D记忆通过重新编码RGB渲染来调节潜在视频生成器，限制了实时生成的能力。本文提出了一种潜在3D高斯记忆（L3G），结合了前馈重建的高效性与紧凑、快速可渲染的场景表示。基于此记忆，我们提出L3G-World，通过记忆更新器和视频扩散变换器（DiT）交替自回归生成空间一致的世界。实验表明，L3G-World在生成质量和长时间空间一致性方面达到了最先进的水平。

🔬 方法详解

问题定义：本文旨在解决在实时生成无限世界时，如何保持长时间探索中的空间一致性问题。现有方法通常依赖于时间上下文或显式3D记忆，导致记忆随着生成流的长度而增长，效率低下。

核心思路：提出潜在3D高斯记忆（L3G），结合前馈重建的高效性与快速渲染的场景表示。通过记忆更新器和视频扩散变换器（DiT）交替生成，确保生成过程中的空间一致性。

技术框架：L3G-World的整体架构包括记忆更新器和DiT模块。记忆更新器负责在新观察区域生成高斯，并优化现有高斯，而DiT则用于在潜在空间中生成视频内容。

关键创新：L3G的核心创新在于其高效的记忆管理方式，记忆的增长与场景范围相关，而非生成流长度。这一设计使得实时生成成为可能。

关键设计：在设计中，记忆更新器生成的每个高斯存储了一个变分自编码器（VAE）潜在特征，允许直接在DiT的潜在空间中渲染，避免了VAE重新编码的过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，L3G-World在生成质量和空间一致性方面达到了最先进的水平，相比于最有效的3D记忆基线，使用的3D原语减少了38.6倍，内存更新速度提高了3.2倍，内存渲染速度提升了359倍，支持实时生成达到9帧每秒。

🎯 应用场景

该研究的潜在应用领域包括游戏开发、虚拟现实和增强现实等，能够为用户提供更加沉浸和互动的体验。通过实时生成丰富的虚拟世界，L3G-World有望在娱乐、教育和训练等多个领域产生深远影响。

📄 摘要（原文）

Interactive world models generate visual content conditioned on user actions, yet maintaining spatial consistency over long-horizon exploration in real time remains challenging. Existing approaches rely on either temporal context or explicit 3D memory, both of which scale poorly because memory grows with the length of the generated stream. Moreover, explicit 3D memories condition latent video generators by re-encoding RGB renderings, which precludes real-time generation. In this paper, we introduce a Latent 3D Gaussian Memory (L3G) that combines the efficiency of feed-forward reconstruction with a compact, rapidly renderable scene representation. Building on this memory, we propose L3G-World, in which a memory updater and a video diffusion transformer (DiT) alternate autoregressively to generate spatially consistent worlds. The memory updater spawns Gaussians in newly observed regions and refines existing ones, so that the memory grows with scene extent rather than stream length. Each Gaussian further stores a VAE latent feature, allowing the memory to be rendered directly into the DiT's latent space without VAE re-encoding. Experiments show that L3G-World achieves state-of-the-art generation quality and long-horizon spatial consistency, with up to $38.6\times$ fewer 3D primitives, $3.2\times$ faster memory updates, and $359\times$ faster memory rendering relative to the most efficient prior 3D-memory baseline for each metric, enabling real-time world generation at 9 FPS.