Variance Alignment Score: A Simple But Tough-to-Beat Data Selection Method for Multimodal Contrastive Learning
作者: Yiping Wang, Yifang Chen, Wendan Yan, Kevin Jamieson, Simon Shaolei Du
分类: cs.LG, cs.AI
发布日期: 2024-02-03
备注: 17 pages, 4 figures
💡 一句话要点
提出方差对齐评分以解决多模态对比学习中的数据选择问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 方差对齐评分 多模态对比学习 数据选择 视觉-语言模型 噪声数据集 特征选择 模型预训练
📋 核心要点
- 现有的数据选择方法对数据分布缺乏感知，无法有效选择最具信息量的样本。
- 本文提出方差对齐评分（VAS），通过对齐目标协方差矩阵来选择数据，理论上具有优势。
- 实验表明，VAS结合CLIP评分在多个数据集上均显著提升了模型性能，尤其在噪声数据集上表现突出。
📝 摘要（中文）
近年来，数据选择已成为大规模视觉-语言模型预训练的核心问题，尤其是在噪声较大的网络数据集中。现有方法通常通过为每个样本分配质量评分（如CLIP相似度）来选择数据对，但这些方法对数据分布无感知，无法有效选择最具信息量的样本。为此，本文提出了一种简单但理论上有依据的度量——方差对齐评分（VAS），其形式为$ ext{⟨Σ}_{ ext{test}}, Σ_i⟩$。我们进一步设计了一种新的数据选择方法，以最大化总的VAS。理论分析表明，VAS在随机或其他现有数据选择方法中具有优势。实验结果显示，结合VAS和CLIP评分在噪声数据集DataComp上平均提升1.3%，在高质量数据集CC12M上提升2.5%。
🔬 方法详解
问题定义：本文旨在解决在多模态对比学习中，现有数据选择方法无法有效选择最具信息量样本的问题。现有方法通常依赖于质量评分，忽视了数据的分布特性，导致选择效果不佳。
核心思路：论文提出的方差对齐评分（VAS）通过对齐目标协方差矩阵与样本的协方差矩阵，来优化数据选择过程。该方法理论上能够更好地捕捉样本间的相关性，从而选择出更具信息量的样本。
技术框架：整体框架包括计算目标协方差矩阵和样本协方差矩阵，利用内积计算VAS，并设计数据选择算法以最大化总VAS。主要模块包括数据预处理、特征提取和数据选择。
关键创新：VAS作为一种新的数据选择度量，能够有效对齐样本的协方差矩阵，克服了传统方法对数据分布无感知的缺陷。与现有方法相比，VAS在选择样本时更加注重样本间的相关性。
关键设计：在实现VAS时，采用了单模态和多模态表示的张量积，确保了样本特征的全面性。实验中还发现，视觉特征在计算VAS时优于文本特征，提示了特征选择的重要性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，结合VAS和CLIP评分在38个评估集上，平均提升1.3%，在高质量数据集CC12M上提升2.5%。这些结果表明，VAS在数据选择中的有效性，尤其是在处理噪声数据时的优势。
🎯 应用场景
该研究的潜在应用领域包括大规模视觉-语言模型的预训练，尤其是在处理噪声数据集时。通过有效的数据选择方法，可以显著提升模型的性能和鲁棒性，未来可能在自动驾驶、智能助手等多模态应用中发挥重要作用。
📄 摘要（原文）
In recent years, data selection has emerged as a core issue for large-scale visual-language model pretraining, especially on noisy web-curated datasets. One widely adopted strategy assigns quality scores such as CLIP similarity for each sample and retains the data pairs with the highest scores. However, these approaches are agnostic of data distribution and always fail to select the most informative samples. To solve this problem, we propose a simple yet theoretically principled metric named Variance Alignment Score (VAS), which has the form $\langle Σ_{\text{test}}, Σ_i\rangle$. Here, $Σ_{\text{test}}$ represents the target (cross-)covariance matrix we aim to align, potentially based on prior knowledge, while $Σ_i$ denotes the tensor product of single or multi-modal representations for the $i$-th sample. We further design a new data selection method that maximizes the total VAS. We provide theoretical analysis in a simplified setting to demonstrate the theoretical advantage of VAS over random or other existing data selection. Experimentally, applying VAS and CLIP scores together can outperform baselines by a margin of $1.3\%$ average on 38 evaluation sets for noisy dataset DataComp and $2.5\%$ on VTAB for high-quality dataset CC12M. Additionally, our ablation study also shows visual features are better than text for calculating VAS, and the related classical experimental design methods may fail under this context.