Street Gaussians: Modeling Dynamic Urban Scenes with Gaussian Splatting

📄 arXiv: 2401.01339v3 📥 PDF

作者: Yunzhi Yan, Haotong Lin, Chenxu Zhou, Weijie Wang, Haiyang Sun, Kun Zhan, Xianpeng Lang, Xiaowei Zhou, Sida Peng

分类: cs.CV, cs.GR

发布日期: 2024-01-02 (更新: 2024-08-18)

备注: Project page: https://zju3dv.github.io/street_gaussians/

💡 一句话要点

提出Street Gaussians以解决动态城市街景建模问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 动态场景建模 高斯表示 自动驾驶 点云处理 4D球谐模型 实时渲染 语义理解

📋 核心要点

  1. 现有方法在动态城市街景建模中存在训练和渲染速度慢的问题，限制了其实际应用。
  2. 本文提出的Street Gaussians通过显式场景表示，利用点云和3D高斯来建模动态城市场景，显著提高了效率。
  3. 实验结果表明，该方法在KITTI和Waymo Open数据集上均优于现有方法，展示了其强大的性能和实用性。

📝 摘要（中文）

本文旨在解决自动驾驶场景中动态城市街道建模的问题。近期方法通过结合跟踪的车辆姿态来扩展NeRF，从而实现动态城市街景的照片级真实感视图合成。然而，这些方法在训练和渲染速度上存在显著的局限性。我们提出了Street Gaussians，这是一种新的显式场景表示方法，旨在克服这些限制。具体而言，动态城市场景被表示为一组配备语义逻辑和3D高斯的点云，每个点云与前景车辆或背景相关联。通过优化可调的跟踪姿态和4D球谐模型来建模前景物体车辆的动态外观。该显式表示方法允许轻松组合物体车辆和背景，从而实现场景编辑操作，并在半小时内以135 FPS（1066 × 1600分辨率）进行渲染。实验表明，该方法在多个具有挑战性的基准测试中始终优于现有的最先进方法。

🔬 方法详解

问题定义：本文要解决的是动态城市街景建模的效率问题。现有方法在训练和渲染速度上存在显著的不足，影响了其在自动驾驶中的应用。

核心思路：论文提出的Street Gaussians通过显式的点云和3D高斯表示来建模动态场景，利用可调的跟踪姿态和4D球谐模型来优化前景物体的动态外观，从而提高渲染速度和质量。

技术框架：整体架构包括点云生成、语义逻辑赋值、动态外观建模和高效渲染模块。每个模块协同工作，实现高效的场景合成和编辑。

关键创新：最重要的技术创新在于引入了显式的点云和3D高斯表示，使得动态物体与背景的组合更加灵活，同时显著提高了渲染速度，与现有方法相比具有本质的区别。

关键设计：在参数设置上，采用了优化的跟踪姿态和4D球谐模型，损失函数设计考虑了动态外观的准确性和渲染速度的平衡，确保了高效的训练和渲染过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Street Gaussians在KITTI和Waymo Open数据集上均优于现有最先进方法，渲染速度达到135 FPS，训练时间仅需半小时，展示了显著的性能提升和实用性。

🎯 应用场景

该研究在自动驾驶、城市规划和虚拟现实等领域具有广泛的应用潜力。通过高效的动态场景建模，能够提升自动驾驶系统的环境感知能力，同时为城市交通管理和虚拟场景创建提供新的解决方案，具有重要的实际价值和未来影响。

📄 摘要（原文）

This paper aims to tackle the problem of modeling dynamic urban streets for autonomous driving scenes. Recent methods extend NeRF by incorporating tracked vehicle poses to animate vehicles, enabling photo-realistic view synthesis of dynamic urban street scenes. However, significant limitations are their slow training and rendering speed. We introduce Street Gaussians, a new explicit scene representation that tackles these limitations. Specifically, the dynamic urban scene is represented as a set of point clouds equipped with semantic logits and 3D Gaussians, each associated with either a foreground vehicle or the background. To model the dynamics of foreground object vehicles, each object point cloud is optimized with optimizable tracked poses, along with a 4D spherical harmonics model for the dynamic appearance. The explicit representation allows easy composition of object vehicles and background, which in turn allows for scene editing operations and rendering at 135 FPS (1066 $\times$ 1600 resolution) within half an hour of training. The proposed method is evaluated on multiple challenging benchmarks, including KITTI and Waymo Open datasets. Experiments show that the proposed method consistently outperforms state-of-the-art methods across all datasets. The code will be released to ensure reproducibility.