OccWorld: Learning a 3D Occupancy World Model for Autonomous Driving

📄 arXiv: 2311.16038v1 📥 PDF

作者: Wenzhao Zheng, Weiliang Chen, Yuanhui Huang, Borui Zhang, Yueqi Duan, Jiwen Lu

分类: cs.CV, cs.AI, cs.LG

发布日期: 2023-11-27

备注: Code is available at: https://github.com/wzzheng/OccWorld

🔗 代码/项目: GITHUB

💡 一句话要点

提出OccWorld以解决自动驾驶中3D场景理解问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 3D场景理解 自动驾驶 世界模型 时空生成 LiDAR 深度学习

📋 核心要点

  1. 现有方法主要依赖物体框预测，无法捕捉细粒度的3D场景信息，限制了自动驾驶的决策能力。
  2. 提出OccWorld框架，通过3D占用空间建模，能够同时预测自车运动和周围场景演变，提升了场景理解的精度。
  3. 在nuScenes基准上进行的实验表明，OccWorld在建模场景演变方面表现优异，并且在规划结果上具有竞争力。

📝 摘要（中文）

理解3D场景的演变对于自动驾驶决策至关重要。现有方法主要通过预测物体框的运动来实现，但无法捕捉更细粒度的场景信息。本文提出了一种新的框架OccWorld，在3D占用空间中学习世界模型，以同时预测自车的运动和周围场景的演变。我们基于3D占用而非3D边界框和分割图进行建模，原因包括：1）表达能力更强，3D占用能够描述更细致的3D结构；2）获取效率更高（例如，来自稀疏LiDAR点）；3）适应性强，能够同时适用于视觉和LiDAR。通过在3D占用上学习重建基础的场景标记器，我们获得离散的场景标记，以描述周围场景。随后，采用类似GPT的时空生成变换器生成后续场景和自车标记，以解码未来的占用和自车轨迹。大量实验表明，OccWorld能够有效建模驾驶场景的演变，并在没有实例和地图监督的情况下产生竞争力的规划结果。

🔬 方法详解

问题定义：本文旨在解决自动驾驶中对3D场景演变的理解问题。现有方法主要通过物体框预测来实现，但无法捕捉到更细致的场景信息，限制了决策的准确性。

核心思路：我们提出了OccWorld框架，基于3D占用模型而非传统的3D边界框和分割图，旨在提高场景表达的细致程度、获取效率和适应性。

技术框架：整体架构包括三个主要模块：1）重建基础的场景标记器，用于从3D占用中提取离散场景标记；2）时空生成变换器，生成未来的场景和自车标记；3）解码模块，负责将生成的标记转化为未来的占用和自车轨迹。

关键创新：最重要的创新在于采用3D占用模型来替代传统的物体框和分割图，这使得模型能够更全面地捕捉场景的细节和演变。

关键设计：在模型设计中，我们使用了重建损失函数来优化场景标记器，并采用了类似GPT的结构来处理时空信息，确保生成的场景和自车轨迹具有连贯性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在nuScenes基准测试中，OccWorld展示了其在场景演变建模方面的优越性能，能够在没有实例和地图监督的情况下，产生与现有方法相媲美的规划结果，进一步验证了其有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、智能交通系统和机器人导航等。通过提升对3D场景演变的理解，OccWorld能够为自动驾驶系统提供更可靠的决策支持，进而提高行车安全性和效率。未来，该技术可能会影响更广泛的智能交通解决方案。

📄 摘要（原文）

Understanding how the 3D scene evolves is vital for making decisions in autonomous driving. Most existing methods achieve this by predicting the movements of object boxes, which cannot capture more fine-grained scene information. In this paper, we explore a new framework of learning a world model, OccWorld, in the 3D Occupancy space to simultaneously predict the movement of the ego car and the evolution of the surrounding scenes. We propose to learn a world model based on 3D occupancy rather than 3D bounding boxes and segmentation maps for three reasons: 1) expressiveness. 3D occupancy can describe the more fine-grained 3D structure of the scene; 2) efficiency. 3D occupancy is more economical to obtain (e.g., from sparse LiDAR points). 3) versatility. 3D occupancy can adapt to both vision and LiDAR. To facilitate the modeling of the world evolution, we learn a reconstruction-based scene tokenizer on the 3D occupancy to obtain discrete scene tokens to describe the surrounding scenes. We then adopt a GPT-like spatial-temporal generative transformer to generate subsequent scene and ego tokens to decode the future occupancy and ego trajectory. Extensive experiments on the widely used nuScenes benchmark demonstrate the ability of OccWorld to effectively model the evolution of the driving scenes. OccWorld also produces competitive planning results without using instance and map supervision. Code: https://github.com/wzzheng/OccWorld.