PRCL: Probabilistic Representation Contrastive Learning for Semi-Supervised Semantic Segmentation

📄 arXiv: 2402.18117v1 📥 PDF

作者: Haoyu Xie, Changqi Wang, Jian Zhao, Yang Liu, Jun Dan, Chong Fu, Baigui Sun

分类: cs.CV, cs.LG

发布日期: 2024-02-28

备注: 19 pages, 11 figures

💡 一句话要点

提出PRCL框架以增强半监督语义分割的鲁棒性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 半监督学习 语义分割 对比学习 概率表示 全局分布原型 虚拟负样本 鲁棒性

📋 核心要点

  1. 现有的半监督语义分割方法在处理未标注图像时，模型自我生成的指导存在噪声，影响训练效果。
  2. 本文提出的PRCL框架通过概率表示建模和全局分布原型的引入，增强了无监督训练的鲁棒性。
  3. 在多个公共基准上进行的实验表明，PRCL框架在性能上显著优于现有方法，提升了分割精度。

📝 摘要（中文）

在半监督语义分割(S4)领域，通过对比学习取得了显著突破。然而，由于标注数据有限，模型对未标注图像的指导存在噪声，影响了无监督训练过程。为了解决这一问题，本文提出了一种名为概率表示对比学习（PRCL）的框架，以增强无监督训练的鲁棒性。我们通过多元高斯分布将像素级表示建模为概率表示，并调整模糊表示的贡献，以容忍对比学习中不准确指导的风险。此外，我们引入全局分布原型（GDP），通过汇聚整个训练过程中的所有概率表示，增强了对瞬时噪声的鲁棒性。大量实验表明，PRCL框架在两个公共基准上的表现优越。

🔬 方法详解

问题定义：本文旨在解决半监督语义分割中，由于标注数据不足导致的模型自我生成指导的噪声问题，影响无监督训练的效果。

核心思路：PRCL框架通过将像素级表示建模为概率表示，利用多元高斯分布来调整模糊表示的贡献，从而增强对不准确指导的容忍度。

技术框架：PRCL框架主要包括两个模块：概率表示建模和全局分布原型。前者通过多元高斯分布建模像素表示，后者则通过汇聚所有概率表示来形成全局分布原型，增强鲁棒性。

关键创新：PRCL的核心创新在于引入全局分布原型（GDP）和虚拟负样本（VNs），使得模型在对比学习中能够更好地处理瞬时噪声和类内方差。

关键设计：在参数设置上，模型通过调整模糊表示的贡献来优化损失函数，确保对比学习过程中的稳定性和鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在两个公共基准上，PRCL框架的实验结果显示，其在分割精度上相较于现有方法有显著提升，具体性能数据表明，模型在某些任务上提升幅度达到X%，展示了其优越性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、医学图像分析和智能监控等场景，能够在标注数据稀缺的情况下，提升语义分割的准确性和鲁棒性。未来，该框架有望推动更多基于对比学习的无监督学习方法的发展。

📄 摘要（原文）

Tremendous breakthroughs have been developed in Semi-Supervised Semantic Segmentation (S4) through contrastive learning. However, due to limited annotations, the guidance on unlabeled images is generated by the model itself, which inevitably exists noise and disturbs the unsupervised training process. To address this issue, we propose a robust contrastive-based S4 framework, termed the Probabilistic Representation Contrastive Learning (PRCL) framework to enhance the robustness of the unsupervised training process. We model the pixel-wise representation as Probabilistic Representations (PR) via multivariate Gaussian distribution and tune the contribution of the ambiguous representations to tolerate the risk of inaccurate guidance in contrastive learning. Furthermore, we introduce Global Distribution Prototypes (GDP) by gathering all PRs throughout the whole training process. Since the GDP contains the information of all representations with the same class, it is robust from the instant noise in representations and bears the intra-class variance of representations. In addition, we generate Virtual Negatives (VNs) based on GDP to involve the contrastive learning process. Extensive experiments on two public benchmarks demonstrate the superiority of our PRCL framework.