Decoupled Contrastive Learning for Long-Tailed Recognition

📄 arXiv: 2403.06151v1 📥 PDF

作者: Shiyu Xuan, Shiliang Zhang

分类: cs.CV

发布日期: 2024-03-10

备注: Accepted by AAAI 2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出解耦对比学习以解决长尾识别问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 长尾识别 对比学习 自蒸馏 视觉表征 样本不平衡 深度学习

📋 核心要点

  1. 现有的监督对比损失方法在长尾识别中未能有效处理样本不平衡问题，导致优化偏差。
  2. 论文提出通过解耦正样本的训练目标，分别优化其与锚点的关系，从而改善长尾识别性能。
  3. 在ImageNet-LT数据集上，方法达到了57.7%的top-1准确率，并结合集成方法进一步提升至59.7%。

📝 摘要（中文）

监督对比损失（SCL）在视觉表征学习中广受欢迎。给定一个锚图像，SCL将两类正样本，即其增强样本和同类其他图像拉近，同时将负样本推远，以优化学习到的嵌入。然而，在长尾识别场景中，样本数量不平衡使得对两类正样本的平等对待导致了类内距离优化的偏差。此外，SCL忽略了负样本之间的相似性关系，这也提供了有意义的语义线索。为提高长尾识别的性能，本文通过解耦训练目标来解决SCL的这两个问题。具体而言，解耦SCL中的两类正样本，并针对不同目标优化它们的关系，以减轻不平衡数据集的影响。我们进一步提出了一种基于补丁的自蒸馏方法，将知识从头类转移到尾类，以缓解尾类的代表性不足。实验结果表明，我们的方法在不同的长尾分类基准上表现优越。

🔬 方法详解

问题定义：本文旨在解决长尾识别中的样本不平衡问题，现有的监督对比损失方法未能有效区分两类正样本，导致优化偏差。

核心思路：通过解耦正样本的训练目标，分别针对增强样本和同类样本进行优化，以减轻不平衡数据集的影响。同时，利用补丁特征进行自蒸馏，从头类向尾类转移知识。

技术框架：整体架构包括两个主要模块：解耦对比学习模块和补丁自蒸馏模块。前者优化正样本之间的关系，后者通过补丁特征挖掘共享视觉模式并进行知识转移。

关键创新：最重要的创新在于解耦训练目标，针对不同类型的正样本进行优化，这与现有方法的统一处理方式形成鲜明对比。

关键设计：在损失函数设计上，采用了针对不同正样本的损失计算方式，并在自蒸馏过程中引入了补丁特征，以增强模型对尾类的学习能力。具体的参数设置和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，提出的方法在ImageNet-LT数据集上达到了57.7%的top-1准确率，结合集成方法后进一步提升至59.7%。这一性能显著超越了许多近期的研究成果，展示了方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括图像分类、物体检测等视觉任务，尤其是在样本分布不均的情况下。通过提高长尾类别的识别能力，能够在实际应用中提升模型的整体性能，具有重要的实际价值和未来影响。

📄 摘要（原文）

Supervised Contrastive Loss (SCL) is popular in visual representation learning. Given an anchor image, SCL pulls two types of positive samples, i.e., its augmentation and other images from the same class together, while pushes negative images apart to optimize the learned embedding. In the scenario of long-tailed recognition, where the number of samples in each class is imbalanced, treating two types of positive samples equally leads to the biased optimization for intra-category distance. In addition, similarity relationship among negative samples, that are ignored by SCL, also presents meaningful semantic cues. To improve the performance on long-tailed recognition, this paper addresses those two issues of SCL by decoupling the training objective. Specifically, it decouples two types of positives in SCL and optimizes their relations toward different objectives to alleviate the influence of the imbalanced dataset. We further propose a patch-based self distillation to transfer knowledge from head to tail classes to relieve the under-representation of tail classes. It uses patch-based features to mine shared visual patterns among different instances and leverages a self distillation procedure to transfer such knowledge. Experiments on different long-tailed classification benchmarks demonstrate the superiority of our method. For instance, it achieves the 57.7% top-1 accuracy on the ImageNet-LT dataset. Combined with the ensemble-based method, the performance can be further boosted to 59.7%, which substantially outperforms many recent works. The code is available at https://github.com/SY-Xuan/DSCL.