Parallel Decoding Distillation for Fast Image and Video Generation

📄 arXiv: 2607.26004v1 📥 PDF

作者: Neta Shaul, Chao Liu, Arash Vahdat, Julius Berner

分类: cs.CV, cs.LG

发布日期: 2026-07-28

💡 一句话要点

提出并行解码蒸馏方法以加速图像和视频生成

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视频生成 扩散模型 蒸馏训练 快速推理 多样性提升

📋 核心要点

  1. 现有的加速方法在优化过程中面临困难，且容易导致生成视频的多样性下降。
  2. 本文提出的并行解码蒸馏（PDD）方法，通过轨迹基础的蒸馏方式，简化了生成过程并提高了推理速度。
  3. PDD在LTX-2.3、Wan 14B和Qwen-Image等多个基准上实现了4-8 NFE的SOTA性能，显著提升了视频生成的多样性。

📝 摘要（中文）

视频扩散或流模型的生成过程计算开销大，主要由于其缓慢的迭代采样过程。现有的加速方法依赖于变分评分蒸馏和对抗损失，虽然能生成高质量视频，但优化困难且易导致模式崩溃，影响视频多样性。本文提出了一种简化且可扩展的轨迹基础蒸馏方法——并行解码蒸馏（PDD），用于快速推理扩散和流匹配模型。该方法支持不同数量的函数评估（NFE），通过每次网络评估预测多个去噪步骤，从而加速生成。PDD在多个基准上实现了SOTA性能，并显著提高了生成视频的多样性。

🔬 方法详解

问题定义：本文旨在解决视频生成过程中的计算开销问题，现有方法在优化时容易导致模式崩溃，影响生成视频的多样性和运动表现。

核心思路：提出并行解码蒸馏（PDD）方法，通过轨迹基础的蒸馏方式，简化生成过程，允许在每次网络评估中预测多个去噪步骤，从而加速推理。

技术框架：PDD架构兼容任何预训练模型，支持不同数量的函数评估（NFE）。其流程包括输入处理、轨迹生成、去噪步骤预测和输出生成等主要模块。

关键创新：PDD的核心创新在于其轨迹基础的蒸馏方法，避免了对速度的导数回归，显著提高了生成效率和视频多样性。

关键设计：PDD的设计中，关键参数包括函数评估数量（NFE），损失函数的选择，以及网络结构的优化，使得模型在生成速度和质量之间达到良好平衡。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个基准测试中，PDD方法实现了4-8 NFE的SOTA性能，相较于现有方法，生成视频的多样性显著提高，展示了其在加速视频生成过程中的有效性和优势。

🎯 应用场景

该研究的潜在应用领域包括影视制作、游戏开发和虚拟现实等，能够在这些领域中实现快速且高质量的视频生成，提升创作效率和用户体验。未来，PDD方法可能会推动更多实时视频生成应用的发展，具有重要的实际价值。

📄 摘要（原文）

Generation in video diffusion or flow models is computationally expensive due to the slow and iterative sampling process. Current state-of-the-art (SOTA) acceleration methods heavily rely on variational score distillation (VSD) and adversarial losses to distill diffusion models into few-step generators. Albeit achieving high-quality video generation, these training losses are notoriously hard to optimize and suffer from mode collapse, leading to loss of video diversity and lack of motion. In this paper, we introduce Parallel Decoding Distillation (PDD), a simplified and scalable trajectory-based distillation method for fast inference of diffusion and flow matching models. Our architecture and training procedure are compatible with any pre-trained model and support sampling with a varying number of function evaluations (NFE). PDD accelerates generation by predicting multiple denoising steps per network evaluation. Conceptually, it learns a representation of the mean velocity without regressing its derivative using JVPs or finite-difference approximations. Our method achieves SOTA performance with 4-8 NFE on LTX-2.3 Text-to-Video/Audio, Wan 14B Text-to-Video, and Qwen-Image Text-to-Image. Moreover, PDD presents a significant improvement in generated video diversity.