Exploiting Inter-sample and Inter-feature Relations in Dataset Distillation

📄 arXiv: 2404.00563v1 📥 PDF

作者: Wenxiao Deng, Wenbin Li, Tianyu Ding, Lei Wang, Hongguang Zhang, Kuihua Huang, Jing Huo, Yang Gao

分类: cs.CV

发布日期: 2024-03-31

备注: Accepted to CVPR 2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出类中心化约束与协方差匹配约束以解决数据集蒸馏问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 数据集蒸馏 深度学习 特征匹配 类中心化 协方差匹配 计算机视觉 模型训练

📋 核心要点

  1. 现有基于分布匹配的蒸馏方法在合成数据集中面临特征分布分散和均值特征一致性不足的问题，影响类间区分能力。
  2. 本文提出类中心化约束和协方差匹配约束，前者通过聚集类内样本提升类间区分，后者通过局部协方差矩阵实现更精确的特征匹配。
  3. 实验结果显示，本文方法在多个数据集上性能提升显著，CIFAR10提升6.6%，SVHN提升2.9%，且在跨架构设置中表现稳定。

📝 摘要（中文）

数据集蒸馏作为深度学习中的一种有效方法，能够利用小型合成数据集进行高效训练。然而，现有基于分布匹配的蒸馏方法存在特征分布分散和对均值特征一致性关注不足的问题。为此，本文引入类中心化约束和协方差匹配约束，前者增强类内样本聚集性，后者通过局部特征协方差矩阵实现更准确的特征分布匹配。实验结果表明，本文方法在CIFAR10、SVHN、CIFAR100和TinyImageNet上均有显著提升，且在跨架构设置中表现稳定。

🔬 方法详解

问题定义：本文旨在解决数据集蒸馏中合成数据集特征分布分散和均值特征一致性不足的问题，这些问题导致类间区分能力降低。

核心思路：通过引入类中心化约束和协方差匹配约束，增强类内样本的聚集性和特征分布的匹配精度，从而提升蒸馏效果。

技术框架：整体方法包括两个主要模块：类中心化模块，通过优化样本聚集性来提升类间区分；协方差匹配模块，通过计算局部特征协方差矩阵来实现更准确的特征分布匹配。

关键创新：类中心化约束和协方差匹配约束是本文的核心创新，与现有方法相比，能够更有效地处理特征分布问题，提升蒸馏性能。

关键设计：在损失函数中引入类中心化和协方差匹配的损失项，确保在训练过程中优化样本的聚集性和特征分布的准确性，具体参数设置和网络结构在实验中进行了详细调优。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，本文方法在CIFAR10上性能提升6.6%，在SVHN上提升2.9%，在CIFAR100和TinyImageNet上均提升2.5%。此外，方法在跨架构设置中表现稳定，最大性能下降仅为1.7%。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉、自然语言处理等深度学习任务，尤其是在数据稀缺的场景下，能够有效提升模型训练效率和性能。未来，随着数据集蒸馏技术的进一步发展，可能会在更多实际应用中发挥重要作用。

📄 摘要（原文）

Dataset distillation has emerged as a promising approach in deep learning, enabling efficient training with small synthetic datasets derived from larger real ones. Particularly, distribution matching-based distillation methods attract attention thanks to its effectiveness and low computational cost. However, these methods face two primary limitations: the dispersed feature distribution within the same class in synthetic datasets, reducing class discrimination, and an exclusive focus on mean feature consistency, lacking precision and comprehensiveness. To address these challenges, we introduce two novel constraints: a class centralization constraint and a covariance matching constraint. The class centralization constraint aims to enhance class discrimination by more closely clustering samples within classes. The covariance matching constraint seeks to achieve more accurate feature distribution matching between real and synthetic datasets through local feature covariance matrices, particularly beneficial when sample sizes are much smaller than the number of features. Experiments demonstrate notable improvements with these constraints, yielding performance boosts of up to 6.6% on CIFAR10, 2.9% on SVHN, 2.5% on CIFAR100, and 2.5% on TinyImageNet, compared to the state-of-the-art relevant methods. In addition, our method maintains robust performance in cross-architecture settings, with a maximum performance drop of 1.7% on four architectures. Code is available at https://github.com/VincenDen/IID.