BECLR: Batch Enhanced Contrastive Few-Shot Learning

📄 arXiv: 2402.02444v1 📥 PDF

作者: Stylianos Poulakakis-Daktylidis, Hadi Jamali-Rad

分类: cs.CV, cs.LG

发布日期: 2024-02-04

备注: ICLR 2024 Spotlight Presentation

🔗 代码/项目: GITHUB

💡 一句话要点

提出BECLR以解决无监督少样本学习中的样本偏差问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 无监督学习 少样本学习 对比学习 动态聚类 最优运输 样本偏差 深度学习

📋 核心要点

  1. 现有的无监督少样本学习方法在预训练和推理阶段存在样本偏差和正样本采样不足的问题。
  2. 本文提出的DyCE模块通过动态聚类增强正样本采样，而OpTA策略则解决了少样本推理中的样本偏差。
  3. BECLR在所有现有U-FSL基准上表现优异，显著提高了性能，展示了其在低样本场景中的有效性。

📝 摘要（中文）

快速从极少标记样本中学习是深度表示学习时代机器与人类之间的根本区别。无监督少样本学习（U-FSL）旨在消除对训练时注释的依赖。本文提出了一种新的动态聚类记忆模块（DyCE），以增强预训练阶段的正样本采样，并在无监督对比学习中注入隐含的类级见解。同时，我们提出了一种基于最优运输的分布对齐策略（OpTA），有效解决了少样本推理阶段的样本偏差问题。实验结果表明，BECLR在所有现有U-FSL基准上设定了新的最先进水平，并显著超越了当前最佳基线。

🔬 方法详解

问题定义：本文解决无监督少样本学习中的样本偏差和正样本采样不足的问题。现有方法在预训练和推理阶段未能有效处理这些挑战，导致性能下降。

核心思路：提出动态聚类记忆模块（DyCE）以增强正样本采样，并通过最优运输的分布对齐策略（OpTA）来解决推理阶段的样本偏差问题。这样的设计旨在提升无监督对比学习的效果。

技术框架：BECLR的整体架构包括两个主要模块：DyCE用于预训练阶段以优化样本采样，OpTA用于推理阶段以对齐样本分布。两者相辅相成，形成一个端到端的学习框架。

关键创新：DyCE和OpTA是本文的核心创新，DyCE通过动态聚类提升了样本的可分性，而OpTA则有效解决了少样本推理中的样本偏差问题。这些创新与现有方法相比，显著提升了无监督学习的性能。

关键设计：在DyCE模块中，采用了动态聚类算法以增强样本的分离性；OpTA策略则基于最优运输理论，通过迭代对齐样本分布，确保在低样本场景中减少偏差。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，BECLR在所有现有无监督少样本学习基准上设定了新的最先进水平，尤其在低样本场景中，性能提升显著，超越了当前最佳基线，展示了其在实际应用中的有效性和优越性。

🎯 应用场景

该研究在计算机视觉、自然语言处理等领域具有广泛的应用潜力，尤其是在需要快速适应新任务的场景中，如图像分类、目标检测等。通过减少对标注数据的依赖，BECLR能够加速模型的训练过程，降低数据标注成本，推动少样本学习的实际应用。

📄 摘要（原文）

Learning quickly from very few labeled samples is a fundamental attribute that separates machines and humans in the era of deep representation learning. Unsupervised few-shot learning (U-FSL) aspires to bridge this gap by discarding the reliance on annotations at training time. Intrigued by the success of contrastive learning approaches in the realm of U-FSL, we structurally approach their shortcomings in both pretraining and downstream inference stages. We propose a novel Dynamic Clustered mEmory (DyCE) module to promote a highly separable latent representation space for enhancing positive sampling at the pretraining phase and infusing implicit class-level insights into unsupervised contrastive learning. We then tackle the, somehow overlooked yet critical, issue of sample bias at the few-shot inference stage. We propose an iterative Optimal Transport-based distribution Alignment (OpTA) strategy and demonstrate that it efficiently addresses the problem, especially in low-shot scenarios where FSL approaches suffer the most from sample bias. We later on discuss that DyCE and OpTA are two intertwined pieces of a novel end-to-end approach (we coin as BECLR), constructively magnifying each other's impact. We then present a suite of extensive quantitative and qualitative experimentation to corroborate that BECLR sets a new state-of-the-art across ALL existing U-FSL benchmarks (to the best of our knowledge), and significantly outperforms the best of the current baselines (codebase available at: https://github.com/stypoumic/BECLR).