Effective pruning of web-scale datasets based on complexity of concept clusters

📄 arXiv: 2401.04578v2 📥 PDF

作者: Amro Abbas, Evgenia Rusak, Kushal Tirumala, Wieland Brendel, Kamalika Chaudhuri, Ari S. Morcos

分类: cs.CV

发布日期: 2024-01-09 (更新: 2024-03-12)

备注: Accepted at ICLR 2024, code available at https://github.com/amro-kamal/effective_pruning

💡 一句话要点

提出基于概念复杂度的有效数据集剪枝方法以提升训练效率

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 数据集剪枝 概念复杂度 多模态学习 训练效率 机器学习模型

📋 核心要点

  1. 现有的剪枝方法在处理大规模多模态数据集时，计算需求高且效率低，难以满足实际应用需求。
  2. 本文提出了一种基于概念复杂度的剪枝方法，针对不同概念采用特定的剪枝率，从而提高数据利用效率。
  3. 实验结果显示，使用该方法训练的模型在多个任务上表现优异，尤其在ImageNet零-shot准确率上取得了显著提升。

📝 摘要（中文）

利用大规模网络数据集在机器学习模型中取得了前所未有的性能提升，但也带来了巨大的计算需求。本文针对CLIP风格模型的训练，提出了一种基于概念复杂度的剪枝方法。通过对LAION数据集进行概念特定的剪枝，使用简单直观的复杂度度量，成功将训练成本降低至常规训练的四分之一。实验结果表明，使用高质量的小规模数据集进行训练，不仅能提高性能，还能显著降低训练成本。具体而言，本文在ImageNet的零-shot准确率上超越了LAION训练的OpenCLIP-ViT-B32模型，使用的数据和计算量仅为27.7%。

🔬 方法详解

问题定义：当前大规模数据集的训练成本高昂，现有的剪枝方法未能有效考虑概念的复杂性，导致数据利用效率低下。

核心思路：本文提出根据概念复杂度进行特定剪枝，通过对LAION数据集的分析，调整剪枝率以适应不同概念的复杂性，从而优化训练数据的选择。

技术框架：整体方法包括数据集的概念聚类、复杂度评估和剪枝策略三个主要模块。首先对数据进行概念聚类，然后计算每个概念的复杂度，最后根据复杂度进行数据剪枝。

关键创新：最重要的创新在于提出了概念复杂度的度量方法，并将其应用于数据剪枝中，使得剪枝过程更加智能化和高效。与现有方法相比，能够更好地适应不同概念的特性。

关键设计：在剪枝过程中，采用了简单直观的复杂度度量，并设定了相应的剪枝率。此外，模型训练中使用了优化的损失函数和网络结构，以确保在减少数据量的同时保持模型性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，使用该剪枝方法训练的模型在ImageNet零-shot准确率上超越了LAION训练的OpenCLIP-ViT-B32模型，提升幅度为1.1个百分点，同时仅使用了27.7%的数据和计算资源。此外，在多个任务上也显示出更好的性能表现。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉、自然语言处理等多模态学习场景，能够有效降低训练成本，提高模型性能。未来，该方法可能推动大规模数据集的高效利用，促进更广泛的AI应用落地。

📄 摘要（原文）

Utilizing massive web-scale datasets has led to unprecedented performance gains in machine learning models, but also imposes outlandish compute requirements for their training. In order to improve training and data efficiency, we here push the limits of pruning large-scale multimodal datasets for training CLIP-style models. Today's most effective pruning method on ImageNet clusters data samples into separate concepts according to their embedding and prunes away the most prototypical samples. We scale this approach to LAION and improve it by noting that the pruning rate should be concept-specific and adapted to the complexity of the concept. Using a simple and intuitive complexity measure, we are able to reduce the training cost to a quarter of regular training. By filtering from the LAION dataset, we find that training on a smaller set of high-quality data can lead to higher performance with significantly lower training costs. More specifically, we are able to outperform the LAION-trained OpenCLIP-ViT-B32 model on ImageNet zero-shot accuracy by 1.1p.p. while only using 27.7% of the data and training compute. Despite a strong reduction in training cost, we also see improvements on ImageNet dist. shifts, retrieval tasks and VTAB. On the DataComp Medium benchmark, we achieve a new state-of-the-art Imagehttps://info.arxiv.org/help/prep#commentsNet zero-shot accuracy and a competitive average zero-shot accuracy on 38 evaluation tasks.