Transforming Omnidirectional RGB-LiDAR data into 3D Gaussian Splatting
作者: Semin Bae, Hansol Lim, Jongseong Brad Choi
分类: cs.CV, cs.RO
发布日期: 2026-03-06
备注: This work has been submitted to the 2026 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) for possible publication
💡 一句话要点
提出一种RGB-LiDAR到3D高斯溅射的转换方法，用于高效构建大规模数字孪生。
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 3D高斯溅射 RGB-LiDAR 数字孪生 全向视觉 点云处理
📋 核心要点
- 现有3DGS构建大规模环境需要昂贵的专用数据采集，而大量已采集的全向RGB-LiDAR数据未被充分利用。
- 该方法通过ERP-to-cubemap转换和PRISM降采样策略，克服了非线性失真和LiDAR点云计算开销等挑战。
- 实验表明，LiDAR增强的初始化能够显著提升复杂场景中3DGS的渲染质量，实现模拟级数字孪生的构建。
📝 摘要（中文）
本文提出了一种将全向RGB-LiDAR数据转换为3D高斯溅射(3DGS)的流程，旨在解决机器人和自动驾驶领域中大规模数字孪生构建的需求。现有方法通常需要昂贵的专用数据采集，而本文提出的方法能够复用已部署平台收集的大量全向RGB和LiDAR数据。该流程通过ERP-to-cubemap转换模块进行确定性的空间定位，并结合PRISM颜色分层降采样策略，克服了原始数据中固有的非线性失真和LiDAR点云的计算开销。通过FPFH全局配准和ICP桥接多模态输入，将大量废弃数据转化为可用的SfM几何信息。实验结果表明，LiDAR增强的初始化能够提高结构复杂场景中3DGS的渲染质量。该工作为从标准存档传感器日志中创建模拟级数字孪生提供了一种确定性的工作流程。
🔬 方法详解
问题定义：现有方法构建大规模数字孪生依赖于昂贵的、专门设计的数据采集流程。而已部署的机器人平台通常会收集大量的全向RGB-LiDAR数据，但由于传输限制和缺乏可扩展的复用流程，这些数据往往被直接丢弃或利用不足。因此，如何高效地将这些存档数据转化为可用的3DGS初始化资产是一个关键问题。
核心思路：本文的核心思路是将存档的全向RGB-LiDAR数据转化为高质量的3DGS初始化数据，从而避免昂贵的专用数据采集。通过设计特定的数据处理流程，克服原始数据中的非线性失真和LiDAR点云的计算开销，实现对现有数据的有效复用。
技术框架：该流程主要包含以下几个模块：1) ERP-to-cubemap转换模块，用于将全向图像转换为立方体贴图，实现确定性的空间定位；2) PRISM颜色分层降采样策略，用于减少LiDAR点云的密度，降低计算开销；3) 基于FPFH的全局配准和ICP，用于桥接RGB和LiDAR数据，实现多模态信息的融合；4) SfM几何重建，利用处理后的数据进行场景几何结构的重建。
关键创新：该方法的主要创新在于提出了一种针对全向RGB-LiDAR数据的特定处理流程，能够有效地克服原始数据中的非线性失真和计算开销，实现对现有数据的复用。与传统的视觉SLAM或LiDAR SLAM方法相比，该方法更注重数据的复用和效率，能够快速地生成高质量的3DGS初始化数据。
关键设计：ERP-to-cubemap转换模块的具体实现方式未知，但其目的是为了提供确定性的空间定位。PRISM颜色分层降采样策略的具体参数设置未知，但其目的是在保证数据质量的前提下，降低LiDAR点云的密度。FPFH和ICP的具体参数设置需要根据实际数据进行调整，以实现最佳的配准效果。损失函数和网络结构等技术细节未在摘要中提及，因此未知。
🖼️ 关键图片
📊 实验亮点
实验结果表明，与仅使用视觉信息的基线方法相比，使用LiDAR增强的初始化能够显著提高3DGS的渲染质量，尤其是在结构复杂的场景中。具体的性能数据和提升幅度未在摘要中给出，因此未知。但总体而言，该方法能够有效地利用LiDAR信息，提升3DGS的重建效果。
🎯 应用场景
该研究成果可广泛应用于机器人、自动驾驶、城市建模、虚拟现实等领域。通过复用已有的全向RGB-LiDAR数据，可以低成本、高效地构建大规模的数字孪生，为相关应用提供高质量的环境信息。例如，可以用于自动驾驶车辆的仿真测试、机器人的导航和定位、城市规划的可视化等。
📄 摘要（原文）
The demand for large-scale digital twins is rapidly growing in robotics and autonomous driving. However, constructing these environments with 3D Gaussian Splatting (3DGS) usually requires expensive, purpose-built data collection. Meanwhile, deployed platforms routinely collect extensive omnidirectional RGB and LiDAR logs, but a significant portion of these sensor data is directly discarded or strictly underutilized due to transmission constraints and the lack of scalable reuse pipeline. In this paper, we present an omnidirectional RGB-LiDAR reuse pipeline that transforms these archived logs into robust initialization assets for 3DGS. Direct conversion of such raw logs introduces practical bottlenecks: inherent non-linear distortion leads to unreliable Structure-from-Motion (SfM) tracking, and dense, unorganized LiDAR clouds cause computational overhead during 3DGS optimization. To overcome these challenges, our pipeline strategically integrates an ERP-to-cubemap conversion module for deterministic spatial anchoring, alongside PRISM-a color stratified downsampling strategy. By bridging these multi-modal inputs via Fast Point Feature Histograms (FPFH) based global registration and Iterative Closest Point (ICP), our pipeline successfully repurposes a considerable fraction of discarded data into usable SfM geometry. Furthermore, our LiDAR-reinforced initialization consistently enhances the final 3DGS rendering fidelity in structurally complex scenes compared to vision-only baselines. Ultimately, this work provides a deterministic workflow for creating simulation-grade digital twins from standard archived sensor logs.