Adversarial Diffusion Distillation

📄 arXiv: 2311.17042v1 📥 PDF

作者: Axel Sauer, Dominik Lorenz, Andreas Blattmann, Robin Rombach

分类: cs.CV

发布日期: 2023-11-28

🔗 代码/项目: GITHUB | HUGGINGFACE

💡 一句话要点

提出对抗性扩散蒸馏方法以实现快速高质量图像合成

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 对抗性训练 扩散模型 图像生成 蒸馏学习 实时合成 深度学习

📋 核心要点

  1. 现有的图像生成方法在采样效率和图像质量之间存在权衡，尤其在少步采样时表现不佳。
  2. 论文提出的对抗性扩散蒸馏方法通过结合得分蒸馏和对抗损失，实现了在极少采样步骤下的高质量图像生成。
  3. 实验结果显示，ADD在单步采样时超越了现有的少步方法，并在四步内达到了最先进的扩散模型的性能。

📝 摘要（中文）

我们提出了一种新的训练方法——对抗性扩散蒸馏（ADD），该方法能够在仅需1-4步的情况下高效采样大规模基础图像扩散模型，同时保持高图像质量。我们利用得分蒸馏技术，将现成的大规模图像扩散模型作为教师信号，并结合对抗损失，以确保在仅有一到两步采样的低步数情况下仍能保持高图像保真度。我们的分析表明，ADD在单步采样时明显优于现有的少步方法（如GAN和潜在一致性模型），并且在仅四步内达到了最先进的扩散模型（SDXL）的性能。ADD是首个实现基础模型单步实时图像合成的方法。

🔬 方法详解

问题定义：现有的图像生成方法在少步采样时往往无法同时保证高效性和图像质量，导致生成图像的保真度不足。

核心思路：对抗性扩散蒸馏（ADD）通过结合得分蒸馏和对抗损失，利用现有的基础图像扩散模型作为教师信号，从而在低步数采样中保持高图像质量。

技术框架：ADD的整体架构包括教师模型的得分蒸馏模块和对抗训练模块。首先，教师模型生成的得分信号用于指导学生模型的学习，随后通过对抗损失优化生成图像的质量。

关键创新：ADD的创新之处在于首次实现了在单步采样情况下的实时图像合成，显著提升了生成效率，并且在四步内达到了最先进的扩散模型的性能。

关键设计：在损失函数设计上，ADD结合了对抗损失与得分蒸馏损失，确保生成图像的高保真度。网络结构上，学生模型的设计旨在快速适应教师模型的输出，优化采样过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ADD在单步采样时的性能明显优于现有的少步方法，如GAN和潜在一致性模型，且在仅四步内达到了最先进的扩散模型（SDXL）的性能。这一成果展示了ADD在图像生成领域的显著提升，尤其是在效率和质量之间的平衡。

🎯 应用场景

该研究的潜在应用领域包括实时图像生成、虚拟现实、游戏开发以及图像编辑等。通过提高图像生成的效率和质量，ADD能够为创意产业提供更强大的工具，推动相关技术的进步与应用。未来，随着模型的进一步优化，可能会在更多领域实现实时图像合成的应用。

📄 摘要（原文）

We introduce Adversarial Diffusion Distillation (ADD), a novel training approach that efficiently samples large-scale foundational image diffusion models in just 1-4 steps while maintaining high image quality. We use score distillation to leverage large-scale off-the-shelf image diffusion models as a teacher signal in combination with an adversarial loss to ensure high image fidelity even in the low-step regime of one or two sampling steps. Our analyses show that our model clearly outperforms existing few-step methods (GANs, Latent Consistency Models) in a single step and reaches the performance of state-of-the-art diffusion models (SDXL) in only four steps. ADD is the first method to unlock single-step, real-time image synthesis with foundation models. Code and weights available under https://github.com/Stability-AI/generative-models and https://huggingface.co/stabilityai/ .