Class-Imbalanced Semi-Supervised Learning for Large-Scale Point Cloud Semantic Segmentation via Decoupling Optimization

📄 arXiv: 2401.06975v1 📥 PDF

作者: Mengtian Li, Shaohui Lin, Zihan Wang, Yunhang Shen, Baochang Zhang, Lizhuang Ma

分类: cs.CV

发布日期: 2024-01-13

💡 一句话要点

提出解耦优化框架以解决点云语义分割中的类不平衡问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 半监督学习 点云分割 类不平衡 解耦优化 特征学习 聚焦损失 3D场景理解

📋 核心要点

  1. 现有的半监督学习方法在处理点云数据时，受到类不平衡和长尾分布的影响，导致尾类的分割效果不佳。
  2. 本文提出了一种解耦优化框架，通过分离特征学习和分类器训练，改善了决策边界的偏差问题。
  3. 实验结果显示，所提方法在多个数据集上表现优异，超越了当前的最先进技术，验证了其有效性。

📝 摘要（中文）

半监督学习（SSL）因显著降低数据标注成本而成为大规模3D场景理解的研究热点。然而，现有的SSL方法在训练中受到严重的偏差影响，主要源于点云数据的类不平衡和长尾分布，导致尾类分割的预测偏差。本文提出了一种新的解耦优化框架，通过交替优化的方式将特征表示学习与分类器解耦，从而有效地调整偏差决策边界。具体而言，我们首先采用两轮伪标签生成，选择头到尾类的未标记点，并引入多类不平衡聚焦损失，适应性地关注头到尾类的特征学习。最后，我们在特征学习后固定主干参数，利用真实标签点重新训练分类器以更新其参数。大量实验表明，我们的方法在多个室内和室外3D点云数据集上超越了现有的最先进方法。

🔬 方法详解

问题定义：本文旨在解决现有半监督学习方法在点云语义分割中因类不平衡而导致的训练偏差问题，特别是尾类的预测不准确。

核心思路：通过引入解耦优化框架，将特征表示学习与分类器训练分开进行，采用交替优化的方式来调整决策边界，从而减小偏差。

技术框架：整体流程包括两轮伪标签生成，选择未标记点，使用多类不平衡聚焦损失进行特征学习，最后固定主干网络参数，利用真实标签点重新训练分类器。

关键创新：最重要的创新在于引入了解耦优化框架和多类不平衡聚焦损失，使得特征学习和分类器训练能够独立优化，从而有效应对类不平衡问题。

关键设计：在损失函数设计上，采用多类不平衡聚焦损失以增强对尾类的关注，同时在特征学习后固定主干网络参数，确保分类器训练的稳定性和有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提出的方法在S3DIS、ScanNet-V2、Semantic3D和SemanticKITTI等多个数据集上均超越了现有的最先进方法，尤其在1%和1pt评估下，表现出显著的性能提升，验证了方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人感知和增强现实等3D场景理解任务。通过提高点云数据的语义分割精度，能够显著提升这些领域的系统性能和可靠性，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Semi-supervised learning (SSL), thanks to the significant reduction of data annotation costs, has been an active research topic for large-scale 3D scene understanding. However, the existing SSL-based methods suffer from severe training bias, mainly due to class imbalance and long-tail distributions of the point cloud data. As a result, they lead to a biased prediction for the tail class segmentation. In this paper, we introduce a new decoupling optimization framework, which disentangles feature representation learning and classifier in an alternative optimization manner to shift the bias decision boundary effectively. In particular, we first employ two-round pseudo-label generation to select unlabeled points across head-to-tail classes. We further introduce multi-class imbalanced focus loss to adaptively pay more attention to feature learning across head-to-tail classes. We fix the backbone parameters after feature learning and retrain the classifier using ground-truth points to update its parameters. Extensive experiments demonstrate the effectiveness of our method outperforming previous state-of-the-art methods on both indoor and outdoor 3D point cloud datasets (i.e., S3DIS, ScanNet-V2, Semantic3D, and SemanticKITTI) using 1% and 1pt evaluation.