Rethinking Dataset Distillation for Classification: Do Distilled Sets Outperform Coresets?
作者: Trisha Mittal, Akshay Mehra, Joshua Kimball
分类: cs.LG
发布日期: 2026-06-16
💡 一句话要点
评估数据集蒸馏在分类任务中的有效性与核心集的比较
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 数据集蒸馏 核心集选择 机器学习 数据中心学习 模型训练 评估协议
📋 核心要点
- 现有的数据集蒸馏方法在评估时缺乏一致性，难以准确判断其有效性。
- 本文通过标准化实验评估七种最先进的DD方法与核心集选择策略的表现。
- 实验结果显示，部分DD方法未能超越简单随机子集，核心集在覆盖率和计算效率上更具优势。
📝 摘要（中文）
数据集蒸馏（DD）作为数据中心机器学习中的一种重要方法，旨在通过压缩大数据集的信息生成小规模的合成样本以提高训练效率。然而，DD方法的评估往往缺乏一致性，难以准确判断其有效性。本文通过大规模实验，使用标准化的数据集和评估协议，比较了七种最先进的DD方法与三种核心集选择（CS）策略的表现。结果表明，部分DD方法甚至未能超越简单的随机子集，而在大规模数据集上，SOTA DD方法的表现与核心集相当或更差，且构建成本显著更高。这些发现突显了当前DD方法的实际优势有限，核心集在数据中心学习中仍然是更具计算效率的选择。
🔬 方法详解
问题定义：本文旨在解决数据集蒸馏方法在分类任务中的有效性评估问题，现有方法常常在不同的评估协议下进行比较，导致结果不一致，难以判断其真实效果。
核心思路：通过大规模实验，使用标准化的数据集和评估协议，系统地比较数据集蒸馏方法与核心集选择策略的表现，以揭示其内在有效性。
技术框架：研究中采用了七种最先进的DD方法，并在ImageNet-1K、ImageNet100和ImageNette等数据集上进行评估，使用三种广泛采用的训练协议与三种核心集策略进行对比。
关键创新：本文的创新在于通过标准化的实验设计，系统性地评估了DD方法与核心集的表现，揭示了当前DD方法在大规模数据集上的局限性。
关键设计：在实验中，采用了多种评估指标，包括准确性、代表性、多样性和质量，以全面评估合成集的表现，并发现核心集在覆盖原始数据分布方面表现更佳。
🖼️ 关键图片
📊 实验亮点
实验结果显示，部分数据集蒸馏方法未能超越简单的随机子集，而在大规模数据集上，最先进的DD方法与核心集的表现相当或更差，且构建成本显著更高。这表明核心集在数据覆盖和计算效率上具有明显优势。
🎯 应用场景
该研究的潜在应用领域包括机器学习模型的训练优化、数据选择策略的改进以及数据集构建方法的创新。通过揭示数据集蒸馏与核心集的比较，研究为数据中心学习提供了新的视角，可能影响未来的模型训练和数据处理策略。
📄 摘要（原文）
Dataset distillation (DD) has emerged as a prominent approach in data centric machine learning, aiming to synthesize compact training sets for efficient training by compressing the information in large datasets into a small number of synthetic samples. However, DD methods are often evaluated under inconsistent evaluation protocols, ranging from standard ERM to single/multi-teacher supervision, making it difficult to isolate the effectiveness of distilled data from evaluation. Moreover, many prior methods claim that DD outperforms data pruning approaches such as coreset selection (CS), based on the assumption that restricting condensed datasets to subsets of real samples fundamentally limits their expressiveness. In this work, we critically evaluate DD methods through large-scale experiments using standardized datasets and evaluation protocols to assess their intrinsic effectiveness. We benchmark seven state-of-the-art (SOTA) DD methods on ImageNet-1K, ImageNet100, and ImageNette, using three widely adopted training protocols against three CS strategies. Our results show that while some DD methods fail to outperform even simple random subsets, the SOTA DD approaches are comparable to or worse than coresets on large-scale datasets and incur a substantially higher cost for construction. Beyond accuracy, we also evaluate the representativeness, diversity, and quality of condensed sets, and find that coresets consistently achieve better coverage of the original data distribution. These findings highlight the limited practical advantages of current DD methods and show that coresets remain competitive and are often a more computationally efficient alternative for data-centric learning.