SLCF-Net: Sequential LiDAR-Camera Fusion for Semantic Scene Completion using a 3D Recurrent U-Net

📄 arXiv: 2403.08885v1 📥 PDF

作者: Helin Cao, Sven Behnke

分类: cs.CV, cs.AI, cs.RO

发布日期: 2024-03-13

备注: 2024 IEEE International Conference on Robotics and Automation (ICRA2024), Yokohama, Japan, May 2024

💡 一句话要点

提出SLCF-Net以解决语义场景补全问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 语义场景补全 多模态融合 深度学习 LiDAR 相机数据 3D U-Net 高斯衰减投影 时间一致性

📋 核心要点

  1. 现有的语义场景补全方法在处理稀疏LiDAR数据和RGB图像时，往往无法有效融合多模态信息，导致几何和语义信息的缺失。
  2. SLCF-Net通过顺序融合LiDAR和相机数据，利用深度条件管道和高斯衰减深度先验投影，提升了场景几何和语义的估计精度。
  3. 在SemanticKITTI数据集上的实验结果显示，SLCF-Net在所有语义场景补全指标上均优于现有方法，且展现出良好的时间一致性。

📝 摘要（中文）

我们提出了SLCF-Net，这是一种新颖的语义场景补全（SSC）方法，能够顺序融合LiDAR和相机数据。该方法通过RGB图像序列和稀疏LiDAR测量共同估计场景中的缺失几何和语义。图像通过预训练的2D U-Net进行语义分割，并通过深度条件管道估计密集深度先验。为了将2D图像特征与3D场景体结合，我们引入了高斯衰减深度先验投影（GDP）模块。该模块沿视线将2D特征投影到3D体积中，使用围绕深度先验的高斯衰减函数。通过3D U-Net计算体积语义，并利用传感器运动传播隐藏的3D U-Net状态，设计了一种新颖的损失函数以确保时间一致性。我们在SemanticKITTI数据集上评估了该方法，并与领先的SSC方法进行了比较，SLCF-Net在所有SSC指标上表现优异，显示出良好的时间一致性。

🔬 方法详解

问题定义：本论文旨在解决语义场景补全（SSC）任务中的多模态数据融合问题。现有方法在处理稀疏LiDAR测量和RGB图像时，常常无法有效整合信息，导致缺失几何和语义信息。

核心思路：SLCF-Net通过顺序融合LiDAR和相机数据，利用深度条件管道和高斯衰减深度先验投影（GDP）模块，将2D图像特征有效地映射到3D场景中，从而提升场景的几何和语义估计。

技术框架：该方法的整体架构包括多个主要模块：首先，使用预训练的2D U-Net对RGB图像进行语义分割；其次，通过深度条件管道估计密集深度先验；然后，利用GDP模块将2D特征投影到3D体积中；最后，使用3D U-Net计算体积语义，并通过传感器运动传播隐藏状态。

关键创新：SLCF-Net的主要创新在于引入了高斯衰减深度先验投影（GDP）模块，使得2D特征能够更准确地映射到3D空间，显著提高了语义场景补全的效果。与现有方法相比，该方法在时间一致性和整体性能上都有显著提升。

关键设计：在网络设计上，采用了3D U-Net结构来处理体积语义计算，并设计了一种新颖的损失函数以确保时间一致性。此外，深度条件管道的构建也为密集深度先验的估计提供了支持。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在SemanticKITTI数据集上的实验结果表明，SLCF-Net在所有语义场景补全指标上均优于现有的领先方法，具体表现为在精度、召回率和F1分数等方面均有显著提升，展现出良好的时间一致性，证明了其在实际应用中的有效性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人导航和增强现实等场景。在这些领域中，准确的环境理解和场景重建至关重要，SLCF-Net能够有效提升系统的感知能力，进而提高决策和操作的准确性。未来，该方法有望在更多复杂环境中得到应用，推动智能系统的发展。

📄 摘要（原文）

We introduce SLCF-Net, a novel approach for the Semantic Scene Completion (SSC) task that sequentially fuses LiDAR and camera data. It jointly estimates missing geometry and semantics in a scene from sequences of RGB images and sparse LiDAR measurements. The images are semantically segmented by a pre-trained 2D U-Net and a dense depth prior is estimated from a depth-conditioned pipeline fueled by Depth Anything. To associate the 2D image features with the 3D scene volume, we introduce Gaussian-decay Depth-prior Projection (GDP). This module projects the 2D features into the 3D volume along the line of sight with a Gaussian-decay function, centered around the depth prior. Volumetric semantics is computed by a 3D U-Net. We propagate the hidden 3D U-Net state using the sensor motion and design a novel loss to ensure temporal consistency. We evaluate our approach on the SemanticKITTI dataset and compare it with leading SSC approaches. The SLCF-Net excels in all SSC metrics and shows great temporal consistency.