CLCE: An Approach to Refining Cross-Entropy and Contrastive Learning for Optimized Learning Fusion

📄 arXiv: 2402.14551v2 📥 PDF

作者: Zijun Long, George Killick, Lipeng Zhuang, Gerardo Aragon-Camarasa, Zaiqiao Meng, Richard Mccreadie

分类: cs.CV, cs.AI, cs.LG

发布日期: 2024-02-22 (更新: 2024-11-15)

💡 一句话要点

提出CLCE以解决交叉熵与对比学习融合问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 交叉熵损失 对比学习 困难负样本挖掘 少样本学习 迁移学习 图像分类 模型泛化 计算机视觉

📋 核心要点

  1. 现有方法在使用交叉熵损失时，可能导致模型的泛化能力和稳定性下降。
  2. CLCE方法通过结合标签感知对比学习与交叉熵损失，利用困难负样本挖掘来提升模型性能。
  3. 实验结果显示，CLCE在多个基准测试中显著提高了准确率，尤其在少样本和迁移学习场景中表现突出。

📝 摘要（中文）

当前最先进的预训练图像模型通常采用两阶段方法：首先在大规模数据集上进行无监督预训练，然后使用交叉熵损失进行任务特定的微调。然而，交叉熵损失可能会影响模型的泛化能力和稳定性。尽管近期的对比学习方法在提高嵌入质量和决策边界方面有所改善，但往往忽视了困难负样本挖掘的重要性，并依赖于资源密集且训练缓慢的大批量样本。为了解决这些问题，我们提出了一种新方法CLCE，将标签感知对比学习与交叉熵相结合。我们的实验结果表明，CLCE在十二个基准测试中显著优于交叉熵损失，在少样本学习场景中提高了3.52%的Top-1准确率，在迁移学习设置中提高了3.41%。

🔬 方法详解

问题定义：当前的图像模型在使用交叉熵损失时，容易导致模型的泛化能力不足和稳定性差，尤其在小样本和迁移学习任务中表现不佳。此外，对比学习虽然改善了嵌入质量，但对大批量样本的依赖限制了其在资源受限环境中的应用。

核心思路：CLCE方法通过将标签感知对比学习与交叉熵损失相结合，旨在同时保留两者的优势，并通过困难负样本挖掘来提升模型的决策边界和性能。这样的设计使得模型在训练时能够更有效地利用样本信息。

技术框架：CLCE的整体架构包括两个主要模块：标签感知对比学习模块和交叉熵损失模块。首先进行无监督预训练，然后在特定任务上进行微调，利用困难负样本挖掘来增强训练效果。

关键创新：CLCE的主要创新在于将标签感知对比学习与交叉熵损失有效结合，克服了传统对比学习对大批量样本的依赖，提升了模型在小批量样本训练中的表现。

关键设计：在损失函数设计上，CLCE引入了困难负样本挖掘机制，优化了样本选择策略。此外，模型的训练过程中，批量大小的设置得到了优化，使得在资源受限的硬件环境中也能有效运行。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，CLCE方法在十二个基准测试中显著优于传统的交叉熵损失，特别是在少样本学习场景中提高了3.52%的Top-1准确率，在迁移学习设置中提高了3.41%。这些结果表明，CLCE在提升模型性能方面具有显著优势，尤其是在资源受限的训练环境中。

🎯 应用场景

CLCE方法在计算机视觉领域具有广泛的应用潜力，尤其是在图像分类、目标检测和图像生成等任务中。其优化的学习融合策略能够在资源受限的环境中实现高效训练，适用于移动设备和边缘计算场景。未来，CLCE也可能推动更多领域的研究，提升模型在小样本和迁移学习任务中的表现。

📄 摘要（原文）

State-of-the-art pre-trained image models predominantly adopt a two-stage approach: initial unsupervised pre-training on large-scale datasets followed by task-specific fine-tuning using Cross-Entropy loss~(CE). However, it has been demonstrated that CE can compromise model generalization and stability. While recent works employing contrastive learning address some of these limitations by enhancing the quality of embeddings and producing better decision boundaries, they often overlook the importance of hard negative mining and rely on resource intensive and slow training using large sample batches. To counter these issues, we introduce a novel approach named CLCE, which integrates Label-Aware Contrastive Learning with CE. Our approach not only maintains the strengths of both loss functions but also leverages hard negative mining in a synergistic way to enhance performance. Experimental results demonstrate that CLCE significantly outperforms CE in Top-1 accuracy across twelve benchmarks, achieving gains of up to 3.52% in few-shot learning scenarios and 3.41% in transfer learning settings with the BEiT-3 model. Importantly, our proposed CLCE approach effectively mitigates the dependency of contrastive learning on large batch sizes such as 4096 samples per batch, a limitation that has previously constrained the application of contrastive learning in budget-limited hardware environments.