Weakly Supervised LiDAR Semantic Segmentation via Scatter Image Annotation

📄 arXiv: 2404.12861v2 📥 PDF

作者: Yilong Chen, Zongyi Xu, xiaoshui Huang, Ruicheng Zhang, Xinqi Jiang, Xinbo Gao

分类: cs.CV

发布日期: 2024-04-19 (更新: 2024-08-12)

💡 一句话要点

提出基于散射图像标注的弱监督LiDAR语义分割方法

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 弱监督学习 LiDAR语义分割 散射图像标注 多模态融合 自动驾驶 机器人导航

📋 核心要点

  1. 现有弱监督LiDAR语义分割方法主要关注网络训练，缺乏高效的标注策略，限制了其性能提升。
  2. 本文提出通过散射图像标注来实现LiDAR语义分割，结合光流估计网络与图像分割模型，快速生成密集标签。
  3. 在nuScenes和SemanticKITTI数据集上，实验结果显示该方法仅需0.02%的标注点即可达到95%以上的全监督性能。

📝 摘要（中文）

弱监督LiDAR语义分割在有限标注数据下取得了显著进展。然而，现有方法主要集中于弱监督下的网络训练，而高效的标注策略尚未得到充分探索。为了解决这一问题，本文实现了基于散射图像标注的LiDAR语义分割，结合高效的标注策略与网络训练。具体而言，我们提出使用散射图像对LiDAR点云进行标注，结合预训练的光流估计网络与基础图像分割模型，快速将人工标注传播为图像和点云的密集标签。此外，我们提出了ScatterNet网络，包含三项关键策略以减少因标注造成的性能差距。实验结果表明，我们的方法在nuScenes和SemanticKITTI数据集上仅需不到0.02%的标注点即可达到全监督方法95%以上的性能，且标注点仅为最先进弱监督方法的5%。

🔬 方法详解

问题定义：本文旨在解决弱监督LiDAR语义分割中高效标注策略不足的问题。现有方法多集中于网络训练，导致性能提升受限。

核心思路：我们提出使用散射图像对LiDAR点云进行标注，结合光流估计与图像分割模型，快速传播人工标注为密集标签，从而提高标注效率。

技术框架：整体架构包括散射图像生成、密集标签传播和ScatterNet网络。ScatterNet网络包含图像分支、融合分支和感知一致性损失模块，旨在整合多模态特征。

关键创新：最重要的创新点在于引入散射图像标注与ScatterNet网络，显著减少了对标注数据的需求，并通过多模态特征融合提升了分割性能。

关键设计：在网络设计中，使用密集语义标签作为图像分支的监督，设置中间融合分支以提取多模态特征，并引入感知一致性损失以优化信息融合过程。具体参数设置和损失函数设计在实验中进行了详细验证。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，本文方法在nuScenes和SemanticKITTI数据集上仅需不到0.02%的标注点，便能实现超过95%的全监督方法性能，且所需标注点仅为最先进弱监督方法的5%。

🎯 应用场景

该研究在自动驾驶、机器人导航和城市环境理解等领域具有广泛的应用潜力。通过减少对标注数据的需求，能够加速LiDAR数据的处理与分析，提高系统的实时性和准确性，推动相关技术的商业化应用。

📄 摘要（原文）

Weakly supervised LiDAR semantic segmentation has made significant strides with limited labeled data. However, most existing methods focus on the network training under weak supervision, while efficient annotation strategies remain largely unexplored. To tackle this gap, we implement LiDAR semantic segmentation using scatter image annotation, effectively integrating an efficient annotation strategy with network training. Specifically, we propose employing scatter images to annotate LiDAR point clouds, combining a pre-trained optical flow estimation network with a foundation image segmentation model to rapidly propagate manual annotations into dense labels for both images and point clouds. Moreover, we propose ScatterNet, a network that includes three pivotal strategies to reduce the performance gap caused by such annotations. Firstly, it utilizes dense semantic labels as supervision for the image branch, alleviating the modality imbalance between point clouds and images. Secondly, an intermediate fusion branch is proposed to obtain multimodal texture and structural features. Lastly, a perception consistency loss is introduced to determine which information needs to be fused and which needs to be discarded during the fusion process. Extensive experiments on the nuScenes and SemanticKITTI datasets have demonstrated that our method requires less than 0.02% of the labeled points to achieve over 95% of the performance of fully-supervised methods. Notably, our labeled points are only 5% of those used in the most advanced weakly supervised methods.