Efficient Hybrid Distillation: Synergizing Score and Adversarial Objectives for One-Step Diffusion
作者: Fei Peng, Junqiang Wu, Haoxian Tan, Jun Zhou, Jie Hu, Xiaoming Wei, Jie Guo, Xiu Li
分类: cs.CV
发布日期: 2026-11-02
备注: This paper is accepted by NeurIPS 2026
🔗 代码/项目: GITHUB
💡 一句话要点
提出高效混合蒸馏方法以优化扩散模型训练
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 混合蒸馏 扩散模型 得分蒸馏 对抗蒸馏 自适应采样 计算机视觉 图像生成
📋 核心要点
- 现有蒸馏方法多依赖简单目标组合，未能有效协同不同策略，导致性能提升有限。
- 提出高效对抗得分蒸馏（EASD）框架，通过自适应采样策略优化得分蒸馏与对抗蒸馏的协同作用。
- 在ImageNet 256×256上，EASD方法取得了1.39的FID，相较于基线有显著提升，展示了其有效性。
📝 摘要（中文）
本文探讨了混合蒸馏策略在加速扩散模型中的应用，特别是得分蒸馏与对抗蒸馏之间的协同作用。研究发现这两种方法在高噪声和低噪声区域各有优势，前者适合捕捉全局分布但在低噪声区域缺乏细粒度监督，后者在低噪声区域有效但在高噪声区域不稳定。基于此，提出了高效对抗得分蒸馏（EASD）框架，通过自适应采样策略使每个目标聚焦于其有效区间。实验证明，该方法在ImageNet 256×256上取得了1.39的FID，展示了混合蒸馏的潜力。
🔬 方法详解
问题定义：本文旨在解决现有蒸馏方法在扩散模型训练中的不足，尤其是简单目标组合导致的性能提升有限的问题。
核心思路：通过分析得分蒸馏与对抗蒸馏在不同噪声区域的表现，提出高效对抗得分蒸馏（EASD）框架，使得每个目标在其有效区间内发挥最大作用。
技术框架：EASD框架包括两个主要模块：得分蒸馏模块和对抗蒸馏模块。通过自适应采样策略，动态调整每个模块的关注区域，以优化整体性能。
关键创新：本研究的创新点在于提出了一种基于噪声区间的自适应采样策略，能够有效整合得分蒸馏与对抗蒸馏的优势，克服了各自的局限性。
关键设计：在损失函数设计上，结合了得分蒸馏和对抗蒸馏的损失，确保在不同噪声水平下的稳定性和有效性。网络结构上，采用了DiT基础的流匹配模型，增强了模型的表达能力。
🖼️ 关键图片
📊 实验亮点
实验结果显示，EASD方法在ImageNet 256×256数据集上取得了1.39的FID，相较于现有基线方法有显著提升，验证了其在高效蒸馏中的有效性和优势。
🎯 应用场景
该研究的潜在应用领域包括计算机视觉、图像生成和增强学习等。通过优化扩散模型的训练效率，EASD框架可以在图像合成、风格迁移等任务中发挥重要作用，推动相关技术的发展与应用。
📄 摘要（原文）
Numerous distillation methods have been developed to accelerate diffusion models. Recent research indicates that hybrid strategies---blending different paradigms---yield superior results compared to single-method approaches. However, current works predominantly rely on a simple combination of objectives, leaving the question of how to effectively synergize them largely underexplored. In this paper, we specifically investigate the synergy between Score Distillation and Adversarial Distillation. We reveal that their operating zones are distinct and complementary: Score Distillation is effective in high-noise regimes for capturing the global distribution yet lacks fine-grained supervision in low-noise regions. Conversely, Adversarial Distillation is effective in low-noise regions but is prone to instability and suffers from discriminator failure when applied to high-noise intervals. Leveraging this insight, we propose Efficient Adversarial Score Distillation (EASD), a framework that synergizes these objectives via a regime-adaptive sampling strategy, directing each objective to focus on its effective interval. We further apply this paradigm to DiT-based Flow Matching models. Empirically, our method achieves a promising one-step FID of 1.39 on ImageNet 256$\times$256 using the SiT-XL/2+REPA model. This work provides a concrete guideline for maximizing the potential of hybrid distillation. Our code and model are available at https://github.com/pf0607/EASD .