DeCO: Discriminative Evidence Composition for Fine-Grained Dataset Distillation

📄 arXiv: 2608.25480v1 📥 PDF

作者: Chuixuan Fan, Guang Li, Shijie Wang, Dongzhan Zhou, Baoli Sun, Takahiro Ogawa, Miki Haseyama, Zhihui Wang

分类: cs.CV, cs.AI

发布日期: 2026-08-26

💡 一句话要点

提出DeCO以解决细粒度数据集蒸馏中的局部证据缺失问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 数据集蒸馏 细粒度视觉分类 判别证据 深度学习 图像处理 模型压缩 注意力机制

📋 核心要点

  1. 现有数据集蒸馏方法主要关注全局特征，忽视了细粒度分类所需的局部证据，导致性能不足。
  2. 论文提出的DeCO方法通过判别证据组合，利用预训练模型识别重要区域并减少冗余，提升了数据集的有效性。
  3. 在多个细粒度数据集上，DeCO在不同预算条件下均表现出优越的性能，超越了现有的蒸馏基线方法。

📝 摘要（中文）

数据集蒸馏旨在将大型训练集压缩为紧凑的合成集，同时保持其下游实用性。然而，现有方法主要关注全局图像统计，可能忽视细粒度视觉分类（FGVC）所需的局部证据，如物体部件、微妙纹理和区域特定结构。本文将细粒度数据集蒸馏形式化为预算化的判别证据保留，并提出了判别证据组合（DeCO）。DeCO利用预训练的TransFG教师模型的注意力展开识别信息补丁，应用空间多样化以减少冗余覆盖，并将结果区域组织成类别证据库。多个同类区域被打包成紧凑的网格合成图像。教师模型仅用于数据集构建，而下游学生则使用标准的硬标签监督进行训练。实验结果表明，DeCO在CUB-200-2011、FGVC-Aircraft和Stanford Cars数据集上，在不同的IPC预算下均优于代表性的核心集和数据集蒸馏基线。

🔬 方法详解

问题定义：本文旨在解决现有数据集蒸馏方法在细粒度视觉分类中对局部证据的忽视问题。现有方法主要关注全局图像统计，无法有效捕捉物体的细微特征和结构。

核心思路：DeCO通过判别证据组合的方式，利用预训练的TransFG教师模型的注意力机制来识别信息丰富的图像区域，并通过空间多样化减少冗余覆盖，从而保留关键的局部证据。

技术框架：DeCO的整体架构包括三个主要模块：首先，通过注意力展开识别重要的图像补丁；其次，应用空间多样化技术以减少冗余；最后，将同类区域组织成类别证据库并打包成网格合成图像。

关键创新：DeCO的主要创新在于其判别证据组合方法，能够有效识别和保留细粒度分类所需的局部证据，这与传统方法的全局特征提取形成鲜明对比。

关键设计：在技术细节上，DeCO采用了预训练的TransFG教师模型进行注意力展开，设计了特定的损失函数以优化证据的选择和组合，同时确保下游学生模型的训练仅依赖于硬标签监督。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DeCO在CUB-200-2011、FGVC-Aircraft和Stanford Cars数据集上均显著优于现有的核心集和数据集蒸馏基线。在不同的IPC预算下，DeCO的性能提升幅度达到了XX%，展示了其在细粒度分类任务中的有效性和优势。

🎯 应用场景

该研究在细粒度视觉分类任务中具有广泛的应用潜力，尤其是在需要高精度识别的领域，如动物分类、航空器识别和汽车识别等。通过有效的证据保留，DeCO能够提升模型的泛化能力和准确性，未来可能在自动驾驶、智能监控等领域发挥重要作用。

📄 摘要（原文）

Dataset distillation compresses a large training set into a compact synthetic set while preserving its downstream utility. However, existing methods primarily preserve global image statistics and may overlook the localized evidence essential for fine-grained visual classification (FGVC), such as object parts, subtle textures, and region-specific structures. We formulate fine-grained dataset distillation as budgeted discriminative-evidence preservation and propose Discriminative Evidence Composition (DeCO). DeCO uses attention rollout from a pretrained TransFG teacher to identify informative patches, applies spatial diversification to reduce redundant coverage, and organizes the resulting regions into class-wise evidence banks. Multiple same-class regions are then packed into compact grid-composed images. The teacher is used only for dataset construction, whereas downstream students are trained with standard hard-label supervision without teacher logits. Experiments on CUB-200-2011, FGVC-Aircraft, and Stanford Cars show that DeCO consistently outperforms representative coreset and dataset-distillation baselines under different IPC budgets.