Do Generated Data Always Help Contrastive Learning?

📄 arXiv: 2403.12448v1 📥 PDF

作者: Yifei Wang, Jizhe Zhang, Yisen Wang

分类: cs.LG, cs.AI, cs.CV, stat.ML

发布日期: 2024-03-19

备注: 19 pages. Accepted by ICLR 2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出自适应数据膨胀方法以优化对比学习效果

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 对比学习 数据膨胀 生成模型 无监督学习 图像生成 深度学习

📋 核心要点

  1. 现有的对比学习方法在数据增强上依赖较大，且生成的数据有时会导致学习效果下降。
  2. 论文提出自适应膨胀（AdaInf）策略，通过调整数据膨胀与数据增强的强度来优化对比学习效果。
  3. 在CIFAR-10数据集上，AdaInf在SimCLR方法下达到了94.70%的线性准确率，超越了许多复杂的方法。

📝 摘要（中文）

对比学习（CL）已成为无监督视觉表征学习的成功范式，但通常依赖于大量的手动数据增强。随着生成模型，特别是扩散模型的兴起，生成逼真图像的能力得到了广泛认可。这些高质量的生成图像被成功应用于增强对比表征学习，称为“数据膨胀”。然而，我们发现生成的数据（即使来自优秀的扩散模型如DDPM）有时会对对比学习产生负面影响。我们从数据膨胀和数据增强的角度探讨了这种失败的原因，并首次揭示了更强的数据膨胀应伴随较弱的增强，反之亦然。基于这些见解，我们提出了自适应膨胀（AdaInf），这是一种纯数据驱动的策略，不增加额外的计算成本。在基准数据集上，AdaInf显著提升了多种对比学习方法的效果。

🔬 方法详解

问题定义：本论文旨在解决生成数据在对比学习中可能导致的负面影响，现有方法在数据增强和生成数据的结合上存在不足。

核心思路：论文提出自适应膨胀（AdaInf）策略，强调数据膨胀与数据增强之间的互补关系，通过动态调整两者的强度来提升对比学习的效果。

技术框架：整体架构包括数据生成模块、数据增强模块和对比学习模块。首先生成高质量的图像，然后根据当前的学习状态调整增强策略，最后进行对比学习。

关键创新：最重要的技术创新在于首次揭示了数据膨胀与数据增强之间的互补性，并提出了自适应调整的方法，区别于传统的固定增强策略。

关键设计：在参数设置上，AdaInf通过动态调整数据膨胀和增强的强度，采用特定的损失函数来平衡两者的影响，确保生成数据的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在CIFAR-10数据集上，AdaInf在SimCLR方法下达到了94.70%的线性准确率，显著超越了许多复杂的对比学习方法，展示了其在提升学习效果方面的强大能力。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉中的无监督学习、图像生成和增强等。通过优化对比学习，AdaInf可以在图像分类、目标检测等任务中提升模型性能，具有重要的实际价值和未来影响。

📄 摘要（原文）

Contrastive Learning (CL) has emerged as one of the most successful paradigms for unsupervised visual representation learning, yet it often depends on intensive manual data augmentations. With the rise of generative models, especially diffusion models, the ability to generate realistic images close to the real data distribution has been well recognized. These generated high-equality images have been successfully applied to enhance contrastive representation learning, a technique termed ``data inflation''. However, we find that the generated data (even from a good diffusion model like DDPM) may sometimes even harm contrastive learning. We investigate the causes behind this failure from the perspective of both data inflation and data augmentation. For the first time, we reveal the complementary roles that stronger data inflation should be accompanied by weaker augmentations, and vice versa. We also provide rigorous theoretical explanations for these phenomena via deriving its generalization bounds under data inflation. Drawing from these insights, we propose Adaptive Inflation (AdaInf), a purely data-centric strategy without introducing any extra computation cost. On benchmark datasets, AdaInf can bring significant improvements for various contrastive learning methods. Notably, without using external data, AdaInf obtains 94.70% linear accuracy on CIFAR-10 with SimCLR, setting a new record that surpasses many sophisticated methods. Code is available at https://github.com/PKU-ML/adainf.