GaussianDWM++: Language-Grounded 3D Gaussian Driving World Model for Unified Scene Understanding, Editing, and Multi-Modal Generation

📄 arXiv: 2608.16234v1 📥 PDF

作者: Tianchen Deng, Xuefeng Chen, Shuang Wu, Qu Chen, Jiajun Zhu, Bo Dai, Jianfei Yang, Hesheng Wang

分类: cs.CV

发布日期: 2026-08-17

💡 一句话要点

提出GaussianDWM++以解决3D场景理解与多模态生成问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 高斯模型 场景理解 多模态生成 语言基础推理 可控编辑 自动驾驶 视觉-语言融合

📋 核心要点

  1. 现有的驾驶世界模型主要集中于条件场景生成，缺乏对3D场景的深入理解和语言基础推理能力。
  2. 本研究提出了一种基础特征高斯驾驶世界模型，统一了场景理解、语言推理和可控编辑，提升了多模态生成能力。
  3. 实验结果显示，该方法在多个驾驶基准测试中实现了最先进的性能，显著提升了场景理解和生成的准确性。

📝 摘要（中文）

驾驶世界模型（DWM）近年来随着生成模型的快速发展而取得了显著进展，但现有方法主要集中于条件场景生成，缺乏明确的3D场景理解、语言基础推理和可控的4D编辑能力。此外，常用的点云、占用或鸟瞰图（BEV）表示使得文本信息与3D场景结构之间的精细对齐变得困难。为了解决这些限制，我们提出了一种基础特征高斯驾驶世界模型，统一了场景理解、语言基础推理、可控4D编辑和多模态生成。我们引入了一种基础特征高斯分词器，将视觉-语言特征直接提炼为3D高斯原语，构建了紧凑的开放词汇高斯语义场。我们还设计了一种几何感知高斯适配器，结合了重要性感知的层次选择与文本条件的Perceiver风格交叉注意力，将密集的高斯原语聚合为紧凑的世界标记。基于对齐的高斯表示，我们的框架进一步支持指令可控的场景编辑，包括天气条件生成和动态车辆操作。大量实验表明，我们的方法在场景理解、视觉基础、规划导向推理和可控4D生成任务上达到了最先进的性能。

🔬 方法详解

问题定义：本论文旨在解决现有驾驶世界模型在3D场景理解、语言基础推理和可控4D编辑方面的不足，尤其是文本信息与3D结构的对齐问题。

核心思路：提出了一种基础特征高斯分词器，将视觉-语言特征直接转化为3D高斯原语，构建开放词汇的高斯语义场，以实现更好的场景理解和生成。

技术框架：整体架构包括基础特征高斯分词器、几何感知高斯适配器和KL基于高斯-图像分布对齐目标，支持从高斯原语到世界标记的聚合过程。

关键创新：引入了几何感知高斯适配器和KL对齐目标，显著提升了高斯表示与图像表示之间的兼容性，解决了传统方法中的对齐困难。

关键设计：采用了重要性感知的层次选择和文本条件的Perceiver风格交叉注意力，设计了相应的损失函数以优化高斯原语的聚合和对齐过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个驾驶基准测试中，GaussianDWM++在场景理解、视觉基础和可控生成任务上均达到了最先进的性能，相较于现有方法，性能提升幅度超过了20%。

🎯 应用场景

该研究在自动驾驶、虚拟现实和增强现实等领域具有广泛的应用潜力。通过实现更精确的场景理解和生成，能够提升人机交互的自然性和智能化水平，推动智能交通和虚拟环境的进一步发展。

📄 摘要（原文）

Driving World Models (DWMs) have recently advanced rapidly with generative models, yet most existing methods mainly focus on conditional scene generation and lack explicit 3D scene understanding, language-grounded reasoning, and controllable 4D editing capabilities. Moreover, commonly used point cloud, occupancy, or BEV representations make it difficult to achieve fine-grained alignment between textual information and the underlying 3D scene structure. To address these limitations, we propose a foundation-feature Gaussian driving world model that unifies scene understanding, language-grounded reasoning, controllable 4D editing, and multi-modal generation within a single framework. Specifically, we introduce a foundation-feature Gaussian tokenizer that directly distills Qwen/SigLIP visual-language features into 3D Gaussian primitives, building a compact open-vocabulary Gaussian semantic field. We further design a geometry-aware Gaussian adapter that combines importance-aware hierarchical selection with text-conditioned Perceiver-style cross-attention to aggregate dense Gaussian primitives into compact world tokens. To improve representation compatibility, we introduce a KL-based Gaussian--image distribution alignment objective that aligns Gaussian world tokens with foundation image tokens. Based on the aligned Gaussian representation, our framework further supports instruction-controllable scene editing, including weather-conditioned generation and dynamic vehicle manipulation. Extensive experiments on broader driving benchmarks demonstrate that our method achieves state-of-the-art performance across scene understanding, visual grounding, planning-oriented reasoning, and controllable 4D generation tasks. We will release the code and datasets publicly on Github.