2D Feature Distillation for Weakly- and Semi-Supervised 3D Semantic Segmentation

📄 arXiv: 2311.15605v1 📥 PDF

作者: Ozan Unal, Dengxin Dai, Lukas Hoyer, Yigit Baran Can, Luc Van Gool

分类: cs.CV

发布日期: 2023-11-27

备注: Accepted at WACV 2024

💡 一句话要点

提出图像引导网络解决弱监督3D语义分割问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 弱监督学习 3D语义分割 图像引导 特征蒸馏 对比学习 LiDAR FOVMix 半监督学习

📋 核心要点

  1. 现有的弱监督和半监督3D语义分割方法在小物体和稀疏区域的边界估计上存在较高的假阴性率。
  2. 本文提出图像引导网络（IGNet），通过蒸馏2D语义分割网络的高层特征来增强LiDAR语义分割的性能。
  3. IGNet在ScribbleKITTI上实现了98%的相对性能，且在半监督训练中也取得了最先进的结果。

📝 摘要（中文）

随着3D感知问题的日益普及，对大规模标注数据集的需求不断增加，尤其是在LiDAR语义分割领域。现有的弱监督训练方法在小物体和稀疏区域的边界估计上表现不佳。本文提出了一种图像引导网络（IGNet），通过从经过领域适应的合成训练2D语义分割网络中蒸馏高层特征信息，来改善这一问题。IGNet结合了一种单向对比学习方案和新颖的混合策略FOVMix，旨在解决传感器之间的视场不匹配问题。实验结果表明，IGNet在ScribbleKITTI上实现了最先进的弱监督LiDAR语义分割效果，相较于完全监督训练，标注点仅为8%时仍可达到98%的相对性能，同时在推理过程中没有额外的标注负担或计算/内存成本。此外，IGNet在半监督训练中也表现出色，在ScribbleKITTI和SemanticKITTI上均取得了最先进的结果。

🔬 方法详解

问题定义：本文旨在解决弱监督和半监督3D语义分割中，现有方法在小物体和稀疏区域的边界估计不准确的问题。这些方法通常依赖于稀疏的标注数据，导致假阴性率较高。

核心思路：论文提出的IGNet通过从经过领域适应的合成训练2D语义分割网络中蒸馏高层特征信息，利用RGB图像提供更密集的场景表示，从而改善LiDAR语义分割的性能。

技术框架：IGNet的整体架构包括特征蒸馏模块和FOVMix混合策略。特征蒸馏模块从2D网络中提取高层特征，而FOVMix则解决了不同传感器之间的视场不匹配问题。

关键创新：IGNet的主要创新在于结合了单向对比学习和FOVMix策略，这种设计有效增强了图像引导的效果，显著提升了弱监督LiDAR语义分割的性能。

关键设计：在网络结构上，IGNet采用了特征蒸馏和对比学习的结合，损失函数设计上考虑了特征一致性和视场匹配，确保了在推理时不增加额外的计算和内存开销。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

IGNet在ScribbleKITTI数据集上实现了98%的相对性能，标注点仅为8%，相较于完全监督训练显著提升了模型的有效性。此外，IGNet在半监督训练中也取得了最先进的结果，展示了其广泛的适用性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人导航和城市环境的3D重建等。通过减少对密集标注的依赖，IGNet可以加速3D语义分割模型的训练过程，降低数据标注成本，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

As 3D perception problems grow in popularity and the need for large-scale labeled datasets for LiDAR semantic segmentation increase, new methods arise that aim to reduce the necessity for dense annotations by employing weakly-supervised training. However these methods continue to show weak boundary estimation and high false negative rates for small objects and distant sparse regions. We argue that such weaknesses can be compensated by using RGB images which provide a denser representation of the scene. We propose an image-guidance network (IGNet) which builds upon the idea of distilling high level feature information from a domain adapted synthetically trained 2D semantic segmentation network. We further utilize a one-way contrastive learning scheme alongside a novel mixing strategy called FOVMix, to combat the horizontal field-of-view mismatch between the two sensors and enhance the effects of image guidance. IGNet achieves state-of-the-art results for weakly-supervised LiDAR semantic segmentation on ScribbleKITTI, boasting up to 98% relative performance to fully supervised training with only 8% labeled points, while introducing no additional annotation burden or computational/memory cost during inference. Furthermore, we show that our contributions also prove effective for semi-supervised training, where IGNet claims state-of-the-art results on both ScribbleKITTI and SemanticKITTI.