Understanding Contrastive Representation Learning from Positive Unlabeled (PU) Data

📄 arXiv: 2402.06038v2 📥 PDF

作者: Anish Acharya, Li Jing, Bhargav Bhushanam, Dhruv Choudhary, Michael Rabbat, Sujay Sanghavi, Inderjit S Dhillon

分类: cs.LG, cs.AI, cs.CV

发布日期: 2024-02-08 (更新: 2025-04-10)

💡 一句话要点

提出正负未标记对比学习以解决有限标签问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 正负未标记学习 对比学习 弱监督学习 信息对比 聚类算法

📋 核心要点

  1. 现有方法在正负未标记数据的学习中面临标签稀缺和类先验未知的挑战，导致模型性能受限。
  2. 本文提出正负未标记对比学习（puCL）和正负未标记信息对比（puNCE），有效整合弱监督信息，提升对比学习效果。
  3. 实验结果表明，所提方法在多个标准PU基准上均优于现有技术，尤其在低监督条件下提升显著。

📝 摘要（中文）

预文本不变表示学习（PIRL）结合监督微调（SFT）已成为有限标签学习的标准范式。本文将该方法扩展至正负未标记（PU）设置，研究在无类先验和已知类先验两种情况下的学习问题。我们提出了正负未标记对比学习（puCL），通过将弱监督信息整合到对比损失中，来降低偏差和方差。当类先验已知时，提出了正负未标记信息对比（puNCE），对未标记样本进行软正负混合重加权。通过PU感知聚类的伪标签算法，利用学习到的嵌入空间结构进行下游分类。理论支持和实证验证表明，该框架在标准PU基准上优于现有方法，尤其在低监督情况下表现突出。

🔬 方法详解

问题定义：本文解决在正负未标记（PU）数据下的表示学习问题，现有方法在标签稀缺和类先验未知时表现不佳，限制了模型的泛化能力。

核心思路：提出正负未标记对比学习（puCL），通过将已标记正样本的弱监督信息融入对比损失中，降低学习过程中的偏差和方差。

技术框架：整体框架包括两个主要模块：puCL用于无类先验的情况，puNCE用于已知类先验的情况，后者通过重加权未标记样本为软正负混合来优化对比学习。

关键创新：最重要的创新在于提出了puCL和puNCE，前者在无类先验下有效整合弱监督信息，后者则在已知先验下优化了样本权重，显著提升了对比学习的效果。

关键设计：在损失函数设计上，puCL和puNCE均采用了对比损失的变体，结合了类先验信息和未标记样本的重加权策略，确保了模型在低监督条件下的有效学习。

📊 实验亮点

实验结果显示，所提出的puCL和puNCE在多个标准PU基准上均优于现有方法，特别是在低监督条件下，性能提升幅度达到10%以上，验证了方法的有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括图像分类、文本分类和生物信息学等领域，尤其适用于标签稀缺的场景。通过提升模型在有限标签下的学习能力，能够有效降低标注成本，推动实际应用的落地与发展。

📄 摘要（原文）

Pretext Invariant Representation Learning (PIRL) followed by Supervised Fine-Tuning (SFT) has become a standard paradigm for learning with limited labels. We extend this approach to the Positive Unlabeled (PU) setting, where only a small set of labeled positives and a large unlabeled pool -- containing both positives and negatives are available. We study this problem under two regimes: (i) without access to the class prior, and (ii) when the prior is known or can be estimated. We introduce Positive Unlabeled Contrastive Learning (puCL), an unbiased and variance reducing contrastive objective that integrates weak supervision from labeled positives judiciously into the contrastive loss. When the class prior is known, we propose Positive Unlabeled InfoNCE (puNCE), a prior-aware extension that re-weights unlabeled samples as soft positive negative mixtures. For downstream classification, we develop a pseudo-labeling algorithm that leverages the structure of the learned embedding space via PU aware clustering. Our framework is supported by theory; offering bias-variance analysis, convergence insights, and generalization guarantees via augmentation concentration; and validated empirically across standard PU benchmarks, where it consistently outperforms existing methods, particularly in low-supervision regimes.