Rad-GS: Radar-Vision Integration for 3D Gaussian Splatting SLAM in Outdoor Environments

📄 arXiv: 2511.16091v1 📥 PDF

作者: Renxiang Xiao, Wei Liu, Yuanfan Zhang, Yushuai Chen, Jinming Chen, Zilu Wang, Liang Hu

分类: cs.CV, cs.RO

发布日期: 2025-11-20

期刊: IEEE Robotics and Automation Letters 10(12), 13359-13366 (2025)

DOI: 10.1109/LRA.2025.3630875

💡 一句话要点

Rad-GS：用于室外环境的雷达-视觉融合3D高斯溅射SLAM

🎯 匹配领域: 支柱三：空间感知 (Perception & SLAM)

关键词: 雷达视觉融合 SLAM 3D高斯溅射 动态物体掩蔽 大规模场景 室外环境 自动驾驶 机器人导航

📋 核心要点

  1. 现有基于视觉或激光雷达的SLAM方法在恶劣天气或光照条件下表现不佳，且成本较高，限制了其在室外大规模环境中的应用。
  2. Rad-GS利用雷达数据对视觉信息进行补充，通过雷达点云和多普勒信息辅助动态物体掩蔽，并使用非同步图像帧优化3D高斯表示，提升纹理一致性。
  3. 实验结果表明，Rad-GS在公里级室外场景中实现了与传统方法相当的性能，验证了使用4D毫米波雷达进行鲁棒SLAM的可行性。

📝 摘要（中文）

Rad-GS是一个4D雷达-相机SLAM系统，专为公里级室外环境设计，利用3D高斯作为可微的空间表示。Rad-GS结合了原始雷达点云及其多普勒信息与几何增强点云的优势，以指导同步图像中的动态对象掩蔽，从而减轻渲染伪影并提高定位精度。此外，利用非同步图像帧来全局优化3D高斯表示，从而增强纹理一致性和新视角合成的保真度。此外，全局八叉树结构与有针对性的高斯图元管理策略进一步抑制了噪声，并显著降低了大规模环境中的内存消耗。大量的实验和消融研究表明，Rad-GS实现了与基于相机或激光雷达输入的传统3D高斯方法相当的性能，突出了使用4D毫米波雷达进行鲁棒室外映射的可行性。公里级真实世界重建验证了Rad-GS在大规模场景重建中的潜力。

🔬 方法详解

问题定义：论文旨在解决大规模室外环境中，传统视觉SLAM和LiDAR SLAM在恶劣天气、光照条件变化以及动态物体干扰下，定位精度下降和地图构建质量差的问题。现有方法难以兼顾鲁棒性、精度和效率，尤其是在公里级场景下，内存消耗和计算复杂度成为瓶颈。

核心思路：论文的核心思路是将雷达数据与视觉数据融合，利用雷达的抗干扰能力和多普勒信息进行动态物体检测和掩蔽，从而提高视觉SLAM的鲁棒性。同时，利用3D高斯溅射作为地图表示，实现高效的渲染和优化。通过全局八叉树结构和高斯图元管理策略，降低大规模场景下的内存消耗。

技术框架：Rad-GS系统主要包含以下几个模块：1) 雷达数据预处理：对原始雷达点云进行滤波和几何增强。2) 动态物体掩蔽：利用雷达点云和多普勒信息对同步图像中的动态物体进行掩蔽。3) 3D高斯溅射SLAM：利用同步图像和掩蔽后的雷达点云进行3D高斯溅射的初始化和优化。4) 非同步图像帧优化：利用非同步图像帧进行全局纹理优化。5) 全局八叉树结构和高斯图元管理：用于降低大规模场景下的内存消耗。

关键创新：论文的关键创新在于：1) 雷达-视觉融合的动态物体掩蔽方法，有效提高了SLAM的鲁棒性。2) 利用非同步图像帧进行全局纹理优化，提升了地图的视觉质量。3) 全局八叉树结构和高斯图元管理策略，显著降低了大规模场景下的内存消耗。

关键设计：论文的关键设计包括：1) 使用多普勒信息辅助动态物体检测，提高了检测的准确性。2) 设计了针对3D高斯溅射的损失函数，包括渲染损失、深度损失和正则化项。3) 采用全局八叉树结构对高斯图元进行组织和管理，并根据场景密度动态调整高斯图元的数量。

📊 实验亮点

实验结果表明，Rad-GS在公里级室外场景中实现了与基于相机或激光雷达的传统3D高斯方法相当的定位精度和地图构建质量。消融实验验证了雷达-视觉融合动态物体掩蔽和非同步图像帧优化对性能提升的贡献。此外，Rad-GS在内存消耗方面表现出色，显著降低了大规模场景下的内存占用。

🎯 应用场景

Rad-GS在自动驾驶、机器人导航、城市建模、环境监测等领域具有广泛的应用前景。该系统能够在恶劣天气和光照条件下提供鲁棒的定位和地图构建能力，为自动驾驶车辆和机器人提供可靠的环境感知信息。同时，该系统可以用于构建大规模城市的三维模型，为城市规划和管理提供支持。

📄 摘要（原文）

We present Rad-GS, a 4D radar-camera SLAM system designed for kilometer-scale outdoor environments, utilizing 3D Gaussian as a differentiable spatial representation. Rad-GS combines the advantages of raw radar point cloud with Doppler information and geometrically enhanced point cloud to guide dynamic object masking in synchronized images, thereby alleviating rendering artifacts and improving localization accuracy. Additionally, unsynchronized image frames are leveraged to globally refine the 3D Gaussian representation, enhancing texture consistency and novel view synthesis fidelity. Furthermore, the global octree structure coupled with a targeted Gaussian primitive management strategy further suppresses noise and significantly reduces memory consumption in large-scale environments. Extensive experiments and ablation studies demonstrate that Rad-GS achieves performance comparable to traditional 3D Gaussian methods based on camera or LiDAR inputs, highlighting the feasibility of robust outdoor mapping using 4D mmWave radar. Real-world reconstruction at kilometer scale validates the potential of Rad-GS for large-scale scene reconstruction.