Learning the Unlearned: Mitigating Feature Suppression in Contrastive Learning

📄 arXiv: 2402.11816v3 📥 PDF

作者: Jihai Zhang, Xiang Lan, Xiaoye Qu, Yu Cheng, Mengling Feng, Bryan Hooi

分类: cs.CV, cs.LG

发布日期: 2024-02-19 (更新: 2024-07-15)

备注: ECCV 2024 Camera-Ready

💡 一句话要点

提出多阶段对比学习框架以解决特征抑制问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 对比学习 特征抑制 自监督学习 多阶段学习 模型集成 计算机视觉 语义理解

📋 核心要点

  1. 现有对比学习方法存在特征抑制问题，导致模型无法充分利用输入数据中的信息。
  2. 提出的多阶段对比学习框架通过特征感知的负样本选择，逐步学习未学习的特征，提升模型的表示能力。
  3. MCL在多种模型架构上表现优越，特别是在MMVP基准测试中，相较于CLIP模型性能提升可达三倍。

📝 摘要（中文）

自监督对比学习在从无标签数据中提取高质量表示方面表现出色。然而，特征抑制现象限制了模型对输入数据的全面理解，导致相似视觉输入的表示难以区分，影响下游任务的性能。为此，本文提出了一种新颖的模型无关的多阶段对比学习框架（MCL），通过特征感知的负样本选择，逐步学习未学习的特征，并通过跨阶段表示集成保留已学习的特征。实验结果表明，MCL在多种模型架构上均表现出色，尤其在CLIP模型表现不佳的任务中，性能提升可达三倍。

🔬 方法详解

问题定义：本文旨在解决自监督对比学习中的特征抑制问题，现有方法往往只能捕捉输入数据的一部分信息，导致相似但语义不同的输入产生不可区分的表示，影响下游任务性能。

核心思路：提出的多阶段对比学习框架（MCL）通过特征感知的负样本选择，逐步学习未学习的特征，同时通过跨阶段表示集成保留已学习的特征，从而增强模型的整体表示能力。

技术框架：MCL框架分为多个阶段，每个阶段通过特征感知的负样本选择来学习新特征，并在每个阶段结束时进行表示集成，确保模型能够综合各阶段的特征信息。

关键创新：MCL的核心创新在于其逐步学习未学习特征的能力，区别于传统对比学习仅捕捉单一偏置特征分布的方式，显著提升了模型对复杂输入的理解能力。

关键设计：MCL采用特征感知的负样本选择策略，确保负样本来自于先前阶段的同一聚类，同时设计了跨阶段表示集成机制，以便有效整合不同阶段的特征信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，MCL在多种模型架构上均表现出色，尤其在CLIP模型表现不佳的任务中，性能提升可达三倍，显示出其在特征学习和表示能力上的显著优势。

🎯 应用场景

该研究的多阶段对比学习框架可广泛应用于计算机视觉、自然语言处理等领域，尤其在需要深入语义理解的任务中，能够显著提升模型的表现。未来，MCL有潜力推动自监督学习技术的发展，促进更复杂任务的解决。

📄 摘要（原文）

Self-Supervised Contrastive Learning has proven effective in deriving high-quality representations from unlabeled data. However, a major challenge that hinders both unimodal and multimodal contrastive learning is feature suppression, a phenomenon where the trained model captures only a limited portion of the information from the input data while overlooking other potentially valuable content. This issue often leads to indistinguishable representations for visually similar but semantically different inputs, adversely affecting downstream task performance, particularly those requiring rigorous semantic comprehension. To address this challenge, we propose a novel model-agnostic Multistage Contrastive Learning (MCL) framework. Unlike standard contrastive learning which inherently captures one single biased feature distribution, MCL progressively learns previously unlearned features through feature-aware negative sampling at each stage, where the negative samples of an anchor are exclusively selected from the cluster it was assigned to in preceding stages. Meanwhile, MCL preserves the previously well-learned features by cross-stage representation integration, integrating features across all stages to form final representations. Our comprehensive evaluation demonstrates MCL's effectiveness and superiority across both unimodal and multimodal contrastive learning, spanning a range of model architectures from ResNet to Vision Transformers (ViT). Remarkably, in tasks where the original CLIP model has shown limitations, MCL dramatically enhances performance, with improvements up to threefold on specific attributes in the recently proposed MMVP benchmark.