IDeaL: Data-Free Multi-Teacher Distillation via Improved Dead Leaves

📄 arXiv: 2608.24759v1 📥 PDF

作者: Feyza Yavuz, Mert Bülent Sarıyıldız, Diane Larlus

分类: cs.CV

发布日期: 2026-08-25

备注: Accepted at ECCV 2026. Project Page is at https://blisgard.github.io/ideal_project

💡 一句话要点

提出IDeaL方法以解决无数据多教师蒸馏问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多教师蒸馏 无数据学习 模型蒸馏 去相关损失 计算机视觉 样本优化

📋 核心要点

  1. 现有的多教师蒸馏方法通常依赖于可用的训练数据，这在某些情况下可能并不现实。
  2. 论文提出了一种新方法，通过优化噪声生成教师特定的样本，从而实现无数据蒸馏。
  3. 实验结果显示，使用IDeaL样本的学生模型在性能上与使用真实图像蒸馏的模型相当，甚至在某些情况下超越了它们。

📝 摘要（中文）

多教师蒸馏已成为将多个互补教师模型结合为单一学生模型的一种方式，学生模型通过模仿教师在一组图像上的输出进行训练。本文质疑了这一假设，探索了替代方案。我们研究了在不同噪声类型下进行蒸馏的可能性，并提出了一种方法，通过在补丁和图像层面上的去相关损失，生成针对特定教师优化的改进样本，旨在实现无数据蒸馏。实验表明，我们的IDeaL样本能够有效捕捉教师的互补信息，显著缩小了与真实图像蒸馏学生的性能差距。

🔬 方法详解

问题定义：本文旨在解决多教师蒸馏中对训练数据的依赖问题，现有方法在缺乏数据时效果不佳。

核心思路：提出了一种通过生成教师特定的改进样本来进行无数据蒸馏的方法，利用去相关损失优化样本质量。

技术框架：整体流程包括噪声生成、样本优化和学生模型训练三个主要阶段，确保学生模型能够有效学习教师的知识。

关键创新：最重要的创新在于通过去相关损失生成优化样本，使得蒸馏过程不再依赖于真实数据，从而提升了模型的灵活性和适应性。

关键设计：在损失函数中引入了补丁和图像层面的去相关损失，确保生成的样本能够更好地反映教师模型的特征。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，使用IDeaL样本的学生模型在性能上与使用1K图像子集的ImageNet蒸馏模型相当，甚至在某些情况下超越了它们，表明该方法在无数据环境下的有效性和竞争力。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉、自然语言处理等需要模型蒸馏的场景，尤其是在数据获取受限的情况下。通过无数据蒸馏，能够降低对大规模标注数据的依赖，提高模型的训练效率和适用性，对未来的AI模型开发具有重要影响。

📄 摘要（原文）

Multi-teacher distillation has emerged as a way to combine complementary teacher models into a single student model that exhibits the strengths of all its teachers. The student is trained to mimic the output of the teachers on a set of images, typically the union of the individual teacher's training sets, assuming this data is available. In this paper, we question that assumption and explore alternative options. We first study how far one can go when distilling from teachers fed with different types of noise. Then, we show that information contained in the teachers can be leveraged to tailor the noise for multi-teacher distillation: we propose a method that, thanks to decorrelation losses at both patch and image levels, generates teacher-specific, improved samples optimized for data-free distillation. Experiments show that our most effective samples, IDeaL, lead to strong students that successfully capture complementary information from the teachers, yielding surprisingly competitive results that substantially narrow the gap with students distilled from real images. Moreover, given a limited budget of 1K images for distillation, students distilled using our IDeaL samples match or surpass the performance of those distilled using a 1K-image subset of ImageNet.