BaCon: Boosting Imbalanced Semi-supervised Learning via Balanced Feature-Level Contrastive Learning

📄 arXiv: 2403.12986v2 📥 PDF

作者: Qianhan Feng, Lujing Xie, Shijie Fang, Tong Lin

分类: cs.CV, cs.LG

发布日期: 2024-03-04 (更新: 2024-07-12)

备注: Accpeted paper of AAAI2024

💡 一句话要点

提出BaCon以解决不平衡半监督学习问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 半监督学习 不平衡数据 对比学习 特征正则化 深度学习

📋 核心要点

  1. 现有的半监督学习方法在处理不平衡数据分布时存在显著不足，尤其是伪标签的偏差问题。
  2. 本文提出的BaCon方法通过平衡特征分布，采用对比学习的方式来正则化实例表示，旨在提高分类性能。
  3. 实验结果显示，BaCon在CIFAR10-LT和CIFAR100-LT数据集上分别提高了1.21%和0.63%的准确率，展现了更好的鲁棒性。

📝 摘要（中文）

半监督学习（SSL）减少了深度学习对大量标注的需求，但在不平衡数据分布下的挑战仍未得到充分探讨。在类不平衡半监督学习（CISSL）中，由于不可靠的伪标签引入的偏差可能因不平衡数据分布而加剧。现有方法主要通过实例级别的重加权或重采样来解决此问题，但其性能受到偏见骨干表示的限制。本文提出了一种平衡特征级对比学习方法（BaCon），通过对实例表示的分布进行直接正则化，计算类特征中心作为正锚点，并通过简单有效的机制选择负锚点。实验表明，BaCon在多个数据集上表现出色，超越了现有方法。

🔬 方法详解

问题定义：本文旨在解决类不平衡半监督学习（CISSL）中的数据分布不平衡问题，现有方法在处理伪标签偏差时效果有限，导致分类性能下降。

核心思路：BaCon方法通过对比学习直接正则化实例表示的分布，计算类特征中心作为正锚点，选择负锚点以增强特征的区分性，从而改善不平衡数据的学习效果。

技术框架：该方法的整体架构包括特征提取、正负锚点选择和对比损失计算三个主要模块。首先提取特征，然后根据类特征中心选择锚点，最后通过对比损失进行训练。

关键创新：BaCon的创新在于通过平衡特征级对比学习来解决不平衡问题，这与现有的实例级重加权或重采样方法有本质区别，能够更有效地利用特征信息。

关键设计：在实现中，采用了动态温度调整机制来控制类间对比程度，损失函数设计为对比损失，确保模型在训练过程中能够适应不同的类分布。具体的网络结构和参数设置在实验中进行了优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在CIFAR10-LT数据集上，BaCon方法相较于实例级方法FixMatch-based ABC提高了1.21%的准确率；在CIFAR100-LT数据集上，超越了最先进的特征级方法CoSSL，提升了0.63%的准确率。实验结果表明，BaCon在面对极端不平衡时展现出更好的鲁棒性。

🎯 应用场景

该研究的潜在应用领域包括图像分类、目标检测等需要处理不平衡数据的任务。通过提高不平衡数据下的学习效果，BaCon可以在医疗影像分析、金融欺诈检测等实际场景中发挥重要作用，推动相关领域的研究和应用发展。

📄 摘要（原文）

Semi-supervised Learning (SSL) reduces the need for extensive annotations in deep learning, but the more realistic challenge of imbalanced data distribution in SSL remains largely unexplored. In Class Imbalanced Semi-supervised Learning (CISSL), the bias introduced by unreliable pseudo-labels can be exacerbated by imbalanced data distributions. Most existing methods address this issue at instance-level through reweighting or resampling, but the performance is heavily limited by their reliance on biased backbone representation. Some other methods do perform feature-level adjustments like feature blending but might introduce unfavorable noise. In this paper, we discuss the bonus of a more balanced feature distribution for the CISSL problem, and further propose a Balanced Feature-Level Contrastive Learning method (BaCon). Our method directly regularizes the distribution of instances' representations in a well-designed contrastive manner. Specifically, class-wise feature centers are computed as the positive anchors, while negative anchors are selected by a straightforward yet effective mechanism. A distribution-related temperature adjustment is leveraged to control the class-wise contrastive degrees dynamically. Our method demonstrates its effectiveness through comprehensive experiments on the CIFAR10-LT, CIFAR100-LT, STL10-LT, and SVHN-LT datasets across various settings. For example, BaCon surpasses instance-level method FixMatch-based ABC on CIFAR10-LT with a 1.21% accuracy improvement, and outperforms state-of-the-art feature-level method CoSSL on CIFAR100-LT with a 0.63% accuracy improvement. When encountering more extreme imbalance degree, BaCon also shows better robustness than other methods.