LiDAR-GS++:Improving LiDAR Gaussian Reconstruction via Diffusion Priors

📄 arXiv: 2511.12304v1 📥 PDF

作者: Qifeng Chen, Jiarun Liu, Rengan Xie, Tao Tang, Sicong Du, Yiru Zhao, Yuchi Huo, Sheng Yang

分类: cs.CV

发布日期: 2025-11-15

备注: Accepted by AAAI-26

💡 一句话要点

LiDAR-GS++：利用扩散先验改进LiDAR高斯重建，提升新视角合成质量

🎯 匹配领域: 支柱三：空间感知 (Perception & SLAM) 支柱七：动作重定向 (Motion Retargeting)

关键词: LiDAR重建 高斯溅射 扩散模型 新视角合成 点云生成

📋 核心要点

  1. 现有基于高斯溅射的LiDAR重建方法在新视角外推时存在伪影，源于单次扫描数据的不完整性。
  2. LiDAR-GS++利用扩散先验生成几何一致的额外扫描，并通过蒸馏机制扩展重建，从而提升外推视角的质量。
  3. 实验表明，LiDAR-GS++在内插和外推视点上均超越了现有GS和NeRF方法，达到最先进水平。

📝 摘要（中文）

本文提出LiDAR-GS++，一种利用扩散先验增强LiDAR高斯溅射重建的方法，旨在实现公共城市道路的实时和高保真重模拟。现有基于高斯溅射（GS）的LiDAR渲染方法在质量和速度上超越了神经辐射场（NeRF），但由于单次扫描重建的不完整性，在外推的新视角合成中存在伪影。为了解决这一局限性，LiDAR-GS++引入了一个可控的LiDAR生成模型，该模型以粗略外推渲染为条件，生成额外的几何一致性扫描，并采用有效的蒸馏机制进行扩展重建。通过将重建扩展到欠拟合区域，该方法确保了外推新视角的全局几何一致性，同时保留了传感器捕获的详细场景表面。在多个公共数据集上的实验表明，LiDAR-GS++在内插和外推视点上都实现了最先进的性能，超越了现有的GS和基于NeRF的方法。

🔬 方法详解

问题定义：现有基于高斯溅射(GS)的LiDAR重建方法，虽然在渲染速度和质量上有所提升，但依赖于单次扫描数据，导致在新视角外推时，由于数据不完整，容易出现几何伪影和不一致性。尤其是在欠采样或遮挡严重的区域，重建质量会显著下降。因此，如何利用有限的LiDAR数据实现高质量、几何一致的新视角合成是本文要解决的核心问题。

核心思路：LiDAR-GS++的核心思路是利用扩散模型学习LiDAR数据的先验知识，并生成额外的、几何一致的LiDAR扫描数据，从而弥补原始数据的不足。通过将生成的数据与原始数据结合，可以扩展重建区域，提高重建的完整性和准确性，最终提升新视角合成的质量。这种方法的核心在于利用生成模型来填补数据空白，而不是直接优化高斯参数。

技术框架：LiDAR-GS++的整体框架包含以下几个主要模块：1) 粗略渲染模块：使用原始LiDAR数据进行初步的高斯溅射渲染，生成粗略的新视角图像。2) LiDAR生成模块：以粗略渲染图像为条件，利用扩散模型生成额外的、几何一致的LiDAR点云。该模块是整个框架的核心，负责生成高质量的补充数据。3) 扩展重建模块：将生成的LiDAR点云与原始LiDAR点云融合，进行扩展的高斯溅射重建。4) 蒸馏优化模块：利用原始LiDAR数据对扩展重建后的高斯参数进行蒸馏优化，以保证重建的准确性和细节。

关键创新：LiDAR-GS++的关键创新在于将扩散模型引入到LiDAR高斯溅射重建中，并将其用于生成额外的、几何一致的LiDAR扫描数据。与传统的基于优化的方法不同，LiDAR-GS++利用生成模型学习数据的先验知识，从而更好地处理数据不完整和遮挡问题。此外，该方法还设计了一种有效的蒸馏机制，用于保证重建的准确性和细节。

关键设计：LiDAR生成模块采用条件扩散模型，以粗略渲染图像为条件，生成LiDAR点云。扩散模型的具体结构和训练方式未知，但推测采用了类似DDPM或Stable Diffusion的架构。蒸馏优化模块采用L1损失或L2损失，用于约束重建后的高斯参数与原始LiDAR数据的一致性。具体的参数设置和网络结构等技术细节在论文中可能没有详细描述，属于未知信息。

📊 实验亮点

LiDAR-GS++在多个公共数据集上进行了实验，结果表明，该方法在内插和外推视点上均超越了现有的GS和NeRF方法，达到了最先进的性能。具体的性能数据和提升幅度未知，但摘要中明确指出其性能优于现有方法。该方法通过生成额外的LiDAR扫描数据，有效解决了数据不完整和遮挡问题，从而提升了重建质量。

🎯 应用场景

LiDAR-GS++在自动驾驶、机器人导航、城市建模、虚拟现实等领域具有广泛的应用前景。它可以用于生成高质量的虚拟环境，用于自动驾驶系统的仿真测试和训练。此外，它还可以用于重建城市的三维模型，用于城市规划和管理。在虚拟现实领域，它可以用于生成逼真的虚拟场景，提升用户体验。

📄 摘要（原文）

Recent GS-based rendering has made significant progress for LiDAR, surpassing Neural Radiance Fields (NeRF) in both quality and speed. However, these methods exhibit artifacts in extrapolated novel view synthesis due to the incomplete reconstruction from single traversal scans. To address this limitation, we present LiDAR-GS++, a LiDAR Gaussian Splatting reconstruction method enhanced by diffusion priors for real-time and high-fidelity re-simulation on public urban roads. Specifically, we introduce a controllable LiDAR generation model conditioned on coarsely extrapolated rendering to produce extra geometry-consistent scans and employ an effective distillation mechanism for expansive reconstruction. By extending reconstruction to under-fitted regions, our approach ensures global geometric consistency for extrapolative novel views while preserving detailed scene surfaces captured by sensors. Experiments on multiple public datasets demonstrate that LiDAR-GS++ achieves state-of-the-art performance for both interpolated and extrapolated viewpoints, surpassing existing GS and NeRF-based methods.