Self-supervised Dataset Distillation: A Good Compression Is All You Need

📄 arXiv: 2404.07976v1 📥 PDF

作者: Muxin Zhou, Zeyuan Yin, Shitong Shao, Zhiqiang Shen

分类: cs.CV, cs.AI

发布日期: 2024-04-11

🔗 代码/项目: GITHUB

💡 一句话要点

提出自监督压缩框架SC-DD以优化数据集蒸馏

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 自监督学习 数据集蒸馏 模型压缩 深度学习 计算机视觉

📋 核心要点

  1. 现有的监督预训练模型在数据合成过程中难以恢复学习到的信息，尤其是随着模型规模的增大，信息量逐渐减少。
  2. 本文提出的SC-DD框架利用自监督模型的BN统计量，增强了合成过程中的信息量，从而实现更有效的数据压缩和恢复。
  3. 在CIFAR-100、Tiny-ImageNet和ImageNet-1K数据集上的实验表明，SC-DD在相同的恢复和后训练预算下，显著超越了现有的监督蒸馏方法。

📝 摘要（中文）

数据集蒸馏旨在将大规模原始数据集的信息压缩到一个新的紧凑数据集中，同时尽量保留原始数据的信息精髓。以往的研究主要集中在对齐原始数据和蒸馏数据之间的中间统计量，如权重轨迹、特征、梯度等。本文通过模型信息量的视角来解决这一任务，提出了一种简单而有效的自监督压缩框架SC-DD。该框架能够在数据合成过程中实现更丰富的信息压缩和恢复，尤其在使用大型预训练模型时，表现出显著的优势。大量实验结果表明，SC-DD在CIFAR-100、Tiny-ImageNet和ImageNet-1K数据集上超越了所有现有的监督数据集蒸馏方法。

🔬 方法详解

问题定义：本文解决的是数据集蒸馏中的信息压缩问题，现有方法在处理大型模型时，难以有效恢复学习到的信息，导致信息损失。

核心思路：通过引入自监督学习的视角，利用自监督模型的BN统计量，增强信息量，从而提高数据合成的有效性。

技术框架：SC-DD框架包括数据预处理、模型训练和信息压缩三个主要阶段。首先，通过自监督模型进行预训练，然后在压缩阶段利用BN统计量进行信息提取和恢复。

关键创新：SC-DD的核心创新在于利用自监督学习的BN统计量来增强信息量，这与传统的监督学习方法在信息恢复机制上有本质区别。

关键设计：在设计中，采用了特定的损失函数来优化信息压缩效果，并调整了网络结构以适应自监督学习的特点，确保在合成过程中保持信息的丰富性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，SC-DD在CIFAR-100、Tiny-ImageNet和ImageNet-1K数据集上均超越了所有现有的监督数据集蒸馏方法，尤其是在使用大型模型时，性能提升幅度达到显著水平，验证了其有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉、深度学习模型的训练优化以及大规模数据集的管理与使用。通过有效的数据集蒸馏，可以在资源受限的环境中实现高效的模型训练，提升模型的推理速度和准确性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Dataset distillation aims to compress information from a large-scale original dataset to a new compact dataset while striving to preserve the utmost degree of the original data informational essence. Previous studies have predominantly concentrated on aligning the intermediate statistics between the original and distilled data, such as weight trajectory, features, gradient, BatchNorm, etc. In this work, we consider addressing this task through the new lens of model informativeness in the compression stage on the original dataset pretraining. We observe that with the prior state-of-the-art SRe$^2$L, as model sizes increase, it becomes increasingly challenging for supervised pretrained models to recover learned information during data synthesis, as the channel-wise mean and variance inside the model are flatting and less informative. We further notice that larger variances in BN statistics from self-supervised models enable larger loss signals to update the recovered data by gradients, enjoying more informativeness during synthesis. Building on this observation, we introduce SC-DD, a simple yet effective Self-supervised Compression framework for Dataset Distillation that facilitates diverse information compression and recovery compared to traditional supervised learning schemes, further reaps the potential of large pretrained models with enhanced capabilities. Extensive experiments are conducted on CIFAR-100, Tiny-ImageNet and ImageNet-1K datasets to demonstrate the superiority of our proposed approach. The proposed SC-DD outperforms all previous state-of-the-art supervised dataset distillation methods when employing larger models, such as SRe$^2$L, MTT, TESLA, DC, CAFE, etc., by large margins under the same recovery and post-training budgets. Code is available at https://github.com/VILA-Lab/SRe2L/tree/main/SCDD/.