DD-RobustBench: An Adversarial Robustness Benchmark for Dataset Distillation
作者: Yifan Wu, Jiawei Du, Ping Liu, Yuewei Lin, Wei Xu, Wenqing Cheng
分类: cs.CV
发布日期: 2024-03-20 (更新: 2024-10-14)
备注: * denotes equal contributions; ^ denotes corresponding author. In this updated version, we have expanded our research to include more experiments on various adversarial attack methods and latest dataset distillation studies. All new results have been incorporated into the document
💡 一句话要点
提出DD-RobustBench以评估数据集蒸馏的对抗鲁棒性
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 数据集蒸馏 对抗鲁棒性 基准评估 深度学习 计算机视觉 对抗攻击 模型训练
📋 核心要点
- 现有的数据集蒸馏方法在提升评估准确性方面取得了一定进展，但对鲁棒性评估的关注不足，导致蒸馏数据集在对抗攻击下表现不佳。
- 本文提出了DD-RobustBench基准，旨在系统性地评估蒸馏数据集的对抗鲁棒性，整合了多种蒸馏方法和对抗攻击技术。
- 实验结果表明，蒸馏数据集在面对PGD和AutoAttack等对抗攻击时表现出更强的鲁棒性，并且将蒸馏数据与原始数据结合使用可进一步提升鲁棒性。
📝 摘要（中文）
数据集蒸馏是一种先进技术，旨在将数据集压缩为显著更小的版本，同时保持良好的训练性能。尽管已有大量研究致力于在有限压缩比下提升评估准确性，但对蒸馏数据集的鲁棒性关注不足。本文提出了一个全面的基准，旨在统一评估蒸馏数据集的对抗鲁棒性，涵盖了更广泛的数据集蒸馏方法和对抗攻击方法，并在更大范围的数据集上进行评估。我们还发现，将蒸馏数据纳入原始数据集的训练批次中可以提高鲁棒性。
🔬 方法详解
问题定义：本文解决了现有数据集蒸馏方法在对抗鲁棒性评估方面的不足，现有方法往往忽视了蒸馏数据集在面对对抗攻击时的表现。
核心思路：提出DD-RobustBench基准，通过整合多种数据集蒸馏方法和对抗攻击技术，系统性地评估蒸馏数据集的鲁棒性，旨在填补这一研究空白。
技术框架：该基准包括多个模块，首先是数据集蒸馏方法的选择，其次是对抗攻击方法的应用，最后是对蒸馏数据集的鲁棒性评估，涵盖了如ImageNet-1K等多种数据集。
关键创新：最重要的创新在于首次系统性地评估蒸馏数据集的对抗鲁棒性，并引入了最新的蒸馏方法如TESLA和SRe2L，显著扩展了现有研究的范围。
关键设计：在实验中，采用了PGD和AutoAttack等代表性对抗攻击算法，并从频率角度探讨了蒸馏数据集的鲁棒性，此外，蒸馏数据与原始数据结合的训练策略也被提出。
🖼️ 关键图片
📊 实验亮点
实验结果显示，使用DD-RobustBench评估的蒸馏数据集在PGD和AutoAttack攻击下表现出显著的鲁棒性提升，尤其是在结合蒸馏数据与原始数据的训练策略后，鲁棒性得到了进一步增强，具体提升幅度未知。
🎯 应用场景
该研究的潜在应用领域包括计算机视觉、深度学习模型的训练和评估等。通过提升蒸馏数据集的对抗鲁棒性，可以在实际应用中提高模型在面对恶意攻击时的安全性和可靠性，具有重要的实际价值和未来影响。
📄 摘要（原文）
Dataset distillation is an advanced technique aimed at compressing datasets into significantly smaller counterparts, while preserving formidable training performance. Significant efforts have been devoted to promote evaluation accuracy under limited compression ratio while overlooked the robustness of distilled dataset. In this work, we introduce a comprehensive benchmark that, to the best of our knowledge, is the most extensive to date for evaluating the adversarial robustness of distilled datasets in a unified way. Our benchmark significantly expands upon prior efforts by incorporating a wider range of dataset distillation methods, including the latest advancements such as TESLA and SRe2L, a diverse array of adversarial attack methods, and evaluations across a broader and more extensive collection of datasets such as ImageNet-1K. Moreover, we assessed the robustness of these distilled datasets against representative adversarial attack algorithms like PGD and AutoAttack, while exploring their resilience from a frequency perspective. We also discovered that incorporating distilled data into the training batches of the original dataset can yield to improvement of robustness.