Gaussian-LIC: Real-Time Photo-Realistic SLAM with Gaussian Splatting and LiDAR-Inertial-Camera Fusion

📄 arXiv: 2404.06926v3 📥 PDF

作者: Xiaolei Lang, Laijian Li, Chenming Wu, Chen Zhao, Lina Liu, Yong Liu, Jiajun Lv, Xingxing Zuo

分类: cs.RO

发布日期: 2024-04-10 (更新: 2025-08-20)

备注: ICRA 2025

🔗 代码/项目: GITHUB

💡 一句话要点

提出Gaussian-LIC以解决实时光照SLAM问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 实时SLAM 高斯点云 LiDAR融合 光照映射 多传感器融合 机器人导航 增强现实

📋 核心要点

  1. 现有的SLAM系统在扩展到无限场景或遇到不利条件时，性能显著下降，尤其是在光照变化和快速运动情况下。
  2. 本研究提出了一种新颖的SLAM方法，通过融合LiDAR、IMU和相机数据，增强了位姿估计的鲁棒性，并实现了高质量的在线光照映射。
  3. 实验结果显示，该方法在实时性和光照映射质量上均优于现有方法，尤其是在使用真实位姿进行映射时表现突出。

📝 摘要（中文）

本文提出了一种基于高斯点云与LiDAR-惯性-相机融合的实时光照SLAM方法。现有的基于辐射场的SLAM系统主要集中在有限的室内环境，且在扩展到无限场景或遇到不利条件时表现不佳。我们的方案通过紧密融合LiDAR、IMU和相机，实现了稳健的位姿估计和在线光照映射。为补偿LiDAR未观测到的区域，我们将图像中的三角测量视觉点与LiDAR点结合，用于初始化3D高斯。此外，我们实现了天空建模和变化的相机曝光，以提高渲染质量。实验表明，我们的方法在保持实时能力的同时，优于现有方法，尤其在光照映射方面，超越了所有使用真实位姿进行映射的对比方法。

🔬 方法详解

问题定义：本文旨在解决现有SLAM系统在无限场景和不利条件下的性能下降问题，尤其是在光照变化和快速运动的情况下。

核心思路：通过将LiDAR、IMU和相机数据紧密融合，增强位姿估计的鲁棒性，并利用三角测量的视觉点与LiDAR点初始化3D高斯，从而实现高质量的在线光照映射。

技术框架：整体架构包括数据采集模块（LiDAR、IMU、相机）、数据融合模块（高斯初始化）、渲染模块（天空建模与曝光调整）和优化模块（高斯场景表示的在线优化）。

关键创新：本研究的主要创新在于将高斯点云与多传感器数据融合，克服了传统SLAM在复杂场景下的局限性，尤其是在光照变化和快速运动条件下的表现。

关键设计：在技术细节上，采用了特定的参数设置和损失函数，以优化高斯场景表示的在线更新速度，并设计了一系列加速策略以提高系统的实时性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Gaussian-LIC在光照映射方面的表现超越了所有对比方法，尤其是在使用真实位姿进行映射时，性能提升显著。具体而言，该方法在实时性和映射质量上均优于现有的SLAM系统，展示了其在复杂场景下的优势。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人导航、增强现实和虚拟现实等。通过提供高质量的实时光照映射，能够显著提升这些领域中的环境感知能力和用户体验，具有重要的实际价值和未来影响。

📄 摘要（原文）

In this paper, we present a real-time photo-realistic SLAM method based on marrying Gaussian Splatting with LiDAR-Inertial-Camera SLAM. Most existing radiance-field-based SLAM systems mainly focus on bounded indoor environments, equipped with RGB-D or RGB sensors. However, they are prone to decline when expanding to unbounded scenes or encountering adverse conditions, such as violent motions and changing illumination. In contrast, oriented to general scenarios, our approach additionally tightly fuses LiDAR, IMU, and camera for robust pose estimation and photo-realistic online mapping. To compensate for regions unobserved by the LiDAR, we propose to integrate both the triangulated visual points from images and LiDAR points for initializing 3D Gaussians. In addition, the modeling of the sky and varying camera exposure have been realized for high-quality rendering. Notably, we implement our system purely with C++ and CUDA, and meticulously design a series of strategies to accelerate the online optimization of the Gaussian-based scene representation. Extensive experiments demonstrate that our method outperforms its counterparts while maintaining real-time capability. Impressively, regarding photo-realistic mapping, our method with our estimated poses even surpasses all the compared approaches that utilize privileged ground-truth poses for mapping. Our code has been released on https://github.com/APRIL-ZJU/Gaussian-LIC.