Dataset Distillation via Curriculum Data Synthesis in Large Data Era

📄 arXiv: 2311.18838v2 📥 PDF

作者: Zeyuan Yin, Zhiqiang Shen

分类: cs.CV, cs.AI, cs.LG

发布日期: 2023-11-30 (更新: 2024-11-24)

备注: TMLR 2024 Camera-ready Version. Code and distilled ImageNet-21K dataset are available at https://github.com/VILA-Lab/SRe2L/tree/main/CDA

🔗 代码/项目: GITHUB

💡 一句话要点

通过课程数据合成提出数据集蒸馏方法以提高训练效率

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 数据集蒸馏 课程数据增强 梯度精炼 深度学习 计算机视觉

📋 核心要点

  1. 现有的数据集蒸馏方法在梯度更新策略上存在不足，影响最终生成数据的质量。
  2. 论文提出了一种全球到局部的梯度精炼方法，结合课程数据增强以优化数据合成过程。
  3. 在ImageNet-1K和21K数据集上，提出的方法显著提升了Top-1准确率，缩小了与全数据训练的性能差距。

📝 摘要（中文）

数据集蒸馏旨在从大型数据集中生成一个更小但具有代表性的子集，以便更高效地训练模型，同时在原始测试数据分布上进行评估以实现良好性能。以往的解耦方法如SRe$^2$L仅使用统一的梯度更新方案从高斯噪声中合成数据，而我们注意到初始的几个更新迭代将决定最终合成的轮廓，因此不当的梯度更新策略可能会显著影响最终生成质量。为此，我们引入了一种简单而有效的全球到局部的梯度精炼方法，通过课程数据增强（CDA）来实现数据合成。该框架在大规模ImageNet-1K和21K上达到了当前已发布的最高准确率，分别为63.2%（IPC 50）和36.1%（IPC 20），并且在224×224的常规输入分辨率下实现了更快的收敛速度和更少的合成时间。

🔬 方法详解

问题定义：本论文旨在解决数据集蒸馏过程中，现有方法在梯度更新策略上的不足，导致生成数据质量不高的问题。

核心思路：通过引入全球到局部的梯度精炼方法，结合课程数据增强（CDA），优化数据合成过程，确保初始更新迭代的有效性，从而提升最终生成数据的质量。

技术框架：整体架构包括数据合成的初始阶段和后续的梯度精炼阶段。初始阶段从高斯噪声中生成数据，后续阶段通过CDA进行梯度的局部优化。

关键创新：该研究的主要创新在于引入了课程数据增强（CDA）作为梯度精炼的手段，显著提升了数据合成的质量，与以往方法相比，能够更有效地利用初始更新迭代的信息。

关键设计：在参数设置上，使用了224×224的输入分辨率，损失函数设计上考虑了生成数据的代表性，网络结构上则采用了适合大规模数据集的深度学习模型，以确保高效的训练和合成。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，提出的方法在ImageNet-1K和21K数据集上分别达到了63.2%和36.1%的Top-1准确率，较现有最先进的方法如SRe$^2$L、TESLA和MTT提升超过4%。此外，首次将与全数据训练的性能差距缩小至15%以内，标志着在大规模数据集蒸馏领域的重要进展。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉、深度学习模型的训练优化以及大规模数据集的有效利用。通过生成高质量的代表性数据集，能够在资源有限的情况下提升模型的训练效率和性能，具有重要的实际价值和未来影响。

📄 摘要（原文）

Dataset distillation or condensation aims to generate a smaller but representative subset from a large dataset, which allows a model to be trained more efficiently, meanwhile evaluating on the original testing data distribution to achieve decent performance. Previous decoupled methods like SRe$^2$L simply use a unified gradient update scheme for synthesizing data from Gaussian noise, while, we notice that the initial several update iterations will determine the final outline of synthesis, thus an improper gradient update strategy may dramatically affect the final generation quality. To address this, we introduce a simple yet effective global-to-local gradient refinement approach enabled by curriculum data augmentation ($\texttt{CDA}$) during data synthesis. The proposed framework achieves the current published highest accuracy on both large-scale ImageNet-1K and 21K with 63.2% under IPC (Images Per Class) 50 and 36.1% under IPC 20, using a regular input resolution of 224$\times$224 with faster convergence speed and less synthetic time. The proposed model outperforms the current state-of-the-art methods like SRe$^2$L, TESLA, and MTT by more than 4% Top-1 accuracy on ImageNet-1K/21K and for the first time, reduces the gap to its full-data training counterparts to less than absolute 15%. Moreover, this work represents the inaugural success in dataset distillation on the larger-scale ImageNet-21K dataset under the standard 224$\times$224 resolution. Our code and distilled ImageNet-21K dataset of 20 IPC, 2K recovery budget are available at https://github.com/VILA-Lab/SRe2L/tree/main/CDA.