Efficient Dataset Distillation via Minimax Diffusion
作者: Jianyang Gu, Saeed Vahidian, Vyacheslav Kungurtsev, Haonan Wang, Wei Jiang, Yang You, Yiran Chen
分类: cs.CV
发布日期: 2023-11-27 (更新: 2024-03-25)
备注: CVPR 2024
🔗 代码/项目: GITHUB
💡 一句话要点
提出最小最大扩散方法以高效蒸馏数据集
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 数据集蒸馏 生成扩散 最小最大优化 计算机视觉 深度学习
📋 核心要点
- 现有的数据集蒸馏方法依赖于样本级的迭代优化，计算资源消耗巨大，尤其在高分辨率和每类图像数量增加时。
- 本文提出了一种结合生成扩散技术的蒸馏方法，通过最小最大标准增强生成图像的代表性和多样性。
- 在ImageWoof的100-IPC设置下，所提方法的蒸馏时间不到之前方法的五分之一，且性能更优，展示了显著的效率提升。
📝 摘要（中文）
数据集蒸馏通过生成一个小的替代数据集来减少训练网络的存储和计算消耗，该替代数据集包含了原始大规模数据集的丰富信息。然而，现有的蒸馏方法过于依赖样本级的迭代优化方案，随着每类图像数量或图像分辨率的增加，所需的计算将消耗大量时间和资源。本文结合生成扩散技术来计算替代数据集，设计了额外的最小最大标准以增强生成图像的代表性和多样性。我们提出了一个层次扩散控制的理论模型，展示了扩散过程在不损害样本忠实度的情况下，灵活地针对这些标准进行优化。所提方法在验证性能上达到了最先进水平，同时显著降低了计算资源的需求。
🔬 方法详解
问题定义：本文旨在解决现有数据集蒸馏方法在高分辨率和每类图像数量增加时，计算资源消耗过大的问题。现有方法依赖样本级的迭代优化，导致效率低下。
核心思路：论文提出结合生成扩散技术，通过设计最小最大标准来增强生成图像的代表性和多样性，从而提高蒸馏效率。这样的设计使得生成的替代数据集能够更好地捕捉原始数据集的信息。
技术框架：整体方法包括生成扩散模型的训练阶段和蒸馏阶段。在训练阶段，利用最小最大标准优化生成图像的质量；在蒸馏阶段，使用生成的图像替代原始数据集进行网络训练。
关键创新：最重要的创新在于引入了最小最大标准来优化生成图像的代表性和多样性，这与传统的样本级迭代优化方法有本质区别。
关键设计：在损失函数设计上，结合了生成模型的损失和最小最大标准的损失，确保生成图像的多样性和代表性。同时，网络结构采用了层次化的扩散控制机制，以灵活调整生成过程。
🖼️ 关键图片
📊 实验亮点
实验结果表明，在ImageWoof的100-IPC设置下，所提方法的蒸馏时间不到之前方法的五分之一，同时在验证性能上达到了最先进水平，展示了显著的效率和效果提升。
🎯 应用场景
该研究的潜在应用领域包括计算机视觉中的图像分类、目标检测等任务，尤其适用于资源受限的环境中进行高效模型训练。通过生成高质量的替代数据集，可以显著降低训练成本，提高模型的推广能力，未来可能对大规模数据集的处理和利用产生深远影响。
📄 摘要（原文）
Dataset distillation reduces the storage and computational consumption of training a network by generating a small surrogate dataset that encapsulates rich information of the original large-scale one. However, previous distillation methods heavily rely on the sample-wise iterative optimization scheme. As the images-per-class (IPC) setting or image resolution grows larger, the necessary computation will demand overwhelming time and resources. In this work, we intend to incorporate generative diffusion techniques for computing the surrogate dataset. Observing that key factors for constructing an effective surrogate dataset are representativeness and diversity, we design additional minimax criteria in the generative training to enhance these facets for the generated images of diffusion models. We present a theoretical model of the process as hierarchical diffusion control demonstrating the flexibility of the diffusion process to target these criteria without jeopardizing the faithfulness of the sample to the desired distribution. The proposed method achieves state-of-the-art validation performance while demanding much less computational resources. Under the 100-IPC setting on ImageWoof, our method requires less than one-twentieth the distillation time of previous methods, yet yields even better performance. Source code and generated data are available in https://github.com/vimar-gu/MinimaxDiffusion.