HGS-Mapping: Online Dense Mapping Using Hybrid Gaussian Representation in Urban Scenes

📄 arXiv: 2403.20159v1 📥 PDF

作者: Ke Wu, Kaizhao Zhang, Zhiwei Zhang, Shanshuai Yuan, Muer Tie, Julong Wei, Zijun Xu, Jieru Zhao, Zhongxue Gan, Wenchao Ding

分类: cs.CV

发布日期: 2024-03-29

💡 一句话要点

提出HGS-Mapping以解决城市场景在线稠密映射问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 在线稠密映射 高斯表示 自动驾驶 城市场景 3D重建 计算机视觉 机器人导航

📋 核心要点

  1. 现有的在线稠密映射方法如NeRF渲染速度过慢，无法满足实时需求，且3DGS在大规模城市场景中面临重建不完整的问题。
  2. 本文提出HGS-Mapping框架，采用混合高斯表示法，针对不同场景部分进行建模，以实现完整的在线稠密重建。
  3. 实验结果表明，HGS-Mapping在重建精度上达到了SOTA水平，同时高斯数量减少66%，重建速度提升20%。

📝 摘要（中文）

城市场景的在线稠密映射是自动驾驶车辆场景理解与导航的基础。现有的映射方法主要基于NeRF，但其渲染速度过慢，无法满足在线需求。3D高斯点云（3DGS）虽然渲染速度快，但在街景稠密映射中仍面临重建不完整和大规模城市场景计算量大的挑战。为此，本文提出HGS-Mapping框架，采用混合高斯表示法，针对场景的不同部分建模，以实现完整重建。通过混合高斯初始化机制和自适应更新方法，本文实现了高保真和快速重建。我们首次将高斯表示法整合到城市场景的在线稠密映射中，取得了SOTA重建精度，同时使用的高斯数量减少了66%，重建速度提升了20%。

🔬 方法详解

问题定义：本文旨在解决城市场景在线稠密映射中的重建不完整和计算量大的问题。现有方法如NeRF渲染速度慢，3DGS在大规模场景中面临几何信息缺失的挑战。

核心思路：HGS-Mapping框架通过引入混合高斯表示法，针对场景的不同部分进行建模，以实现更完整的重建。采用混合高斯初始化和自适应更新机制，确保重建的高保真性和速度。

技术框架：HGS-Mapping的整体架构包括数据采集、混合高斯初始化、场景建模和自适应更新四个主要模块。首先，通过传感器获取城市场景数据，然后使用混合高斯表示法进行初始化，接着进行场景的稠密重建，最后通过自适应更新机制优化模型。

关键创新：本文的主要创新在于首次将高斯表示法应用于城市场景的在线稠密映射，显著提升了重建精度和速度。与传统方法相比，HGS-Mapping在高斯数量和重建速度上均有显著优势。

关键设计：在设计中，采用了混合高斯初始化机制以提高重建的完整性，同时设置了自适应更新策略以快速响应场景变化。损失函数设计上，注重重建精度与计算效率的平衡。整体网络结构经过优化，以适应大规模城市场景的需求。

📊 实验亮点

实验结果显示，HGS-Mapping在重建精度上达到了SOTA水平，同时使用的高斯数量减少了66%，重建速度提升了20%。与基线方法相比，HGS-Mapping在处理大规模城市场景时表现出更高的效率和准确性。

🎯 应用场景

HGS-Mapping框架具有广泛的应用潜力，特别是在自动驾驶、机器人导航和城市规划等领域。通过实现高效的在线稠密映射，该技术能够为自动驾驶车辆提供更准确的环境理解，从而提升安全性和导航能力。此外，未来可扩展至其他需要实时环境建模的应用场景。

📄 摘要（原文）

Online dense mapping of urban scenes forms a fundamental cornerstone for scene understanding and navigation of autonomous vehicles. Recent advancements in mapping methods are mainly based on NeRF, whose rendering speed is too slow to meet online requirements. 3D Gaussian Splatting (3DGS), with its rendering speed hundreds of times faster than NeRF, holds greater potential in online dense mapping. However, integrating 3DGS into a street-view dense mapping framework still faces two challenges, including incomplete reconstruction due to the absence of geometric information beyond the LiDAR coverage area and extensive computation for reconstruction in large urban scenes. To this end, we propose HGS-Mapping, an online dense mapping framework in unbounded large-scale scenes. To attain complete construction, our framework introduces Hybrid Gaussian Representation, which models different parts of the entire scene using Gaussians with distinct properties. Furthermore, we employ a hybrid Gaussian initialization mechanism and an adaptive update method to achieve high-fidelity and rapid reconstruction. To the best of our knowledge, we are the first to integrate Gaussian representation into online dense mapping of urban scenes. Our approach achieves SOTA reconstruction accuracy while only employing 66% number of Gaussians, leading to 20% faster reconstruction speed.