DistillAlign: Coordinating Mode Covering and Mode Seeking in Autoregressive Video Distillation

📄 arXiv: 2607.26811v1 📥 PDF

作者: Jiaxing Li, Kai Zou, Cindy Zhou, Kaichen Huang, Junyao Gao, Zile Wang, Yang Liu, Bin Liu, Bo An, Yangguang Li

分类: cs.CV

发布日期: 2026-07-29

备注: Project page: https://lijiaxing0213.github.io/DistillAlign

💡 一句话要点

提出DistillAlign以解决自回归视频蒸馏中的分布对齐问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 自回归视频蒸馏 分布匹配 模式覆盖 联合蒸馏 生成模型 深度学习 计算机视觉

📋 核心要点

  1. 现有自回归视频蒸馏方法在初始化和分布匹配阶段之间存在解耦，导致目标分布不一致，影响生成效果。
  2. 本文提出联合蒸馏方法，将分布匹配的模式寻求目标与一致性蒸馏的模式覆盖约束相结合，以提高生成质量。
  3. 实验表明，所提方法在生成质量、覆盖度和多样性方面均优于现有基线，尤其在使用Wan-1.3B DMD教师时表现突出。

📝 摘要（中文）

现有的自回归视频蒸馏方法通常采用基于分布匹配蒸馏的多阶段流程，但在初始化和分布匹配阶段之间存在解耦，导致目标分布不一致。本文从分布的角度重新审视这一设计，提出了一种新的联合蒸馏方法，结合了模式覆盖约束与分布匹配目标。实验结果表明，该方法在生成质量、覆盖度和多样性方面均有显著提升，尤其是在使用较小的DMD教师模型时，仍能超越基线模型。

🔬 方法详解

问题定义：本文旨在解决现有自回归视频蒸馏方法中初始化与分布匹配阶段解耦的问题，导致目标分布不一致，影响生成效果。

核心思路：通过引入联合蒸馏方法，结合分布匹配的模式寻求目标与一致性蒸馏的模式覆盖约束，确保生成模型在训练过程中同时关注模式覆盖和分布对齐。

技术框架：整体架构包括初始化阶段和联合蒸馏阶段。在初始化阶段，模型通过对目标分布的模式覆盖进行优化；在联合蒸馏阶段，模型同时优化模式覆盖和分布匹配目标。

关键创新：最重要的技术创新在于提出了联合蒸馏方法，解决了传统方法中模式覆盖与分布匹配的矛盾，确保了生成模型的多样性和覆盖度。

关键设计：在损失函数中引入了模式覆盖约束，并设计了共享潜在空间的分布评估协议，以精确衡量学生与教师分布之间的精度和覆盖度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提DistillAlign方法在生成质量、覆盖度和多样性方面均显著优于基线方法，尤其在使用Wan-1.3B DMD教师模型时，生成效果超越了使用Wan-14B教师模型的基线，提升幅度明显。

🎯 应用场景

该研究在视频生成、自动化内容创作和虚拟现实等领域具有广泛的应用潜力。通过提高自回归视频蒸馏的生成质量和多样性，能够为相关行业提供更高效的内容生成工具，推动智能媒体的发展。

📄 摘要（原文）

Existing autoregressive video distillation methods commonly adopt a Distribution Matching Distillation (DMD)-based multi-stage pipeline. However, they typically decouple the initialization and DMD stages -- which then pursue different target distributions -- and judge the intermediate student mainly by visual scores such as VBench. In this paper, we revisit this design from a distributional perspective. Given the mode-seeking nature of the distribution matching loss, a good initialization should match the mode coverage of the target DMD teacher, rather than merely pursuing high quality. To analyze this, we introduce a distributional evaluation protocol that measures precision and coverage between student and teacher distributions in a shared latent space. It exposes differences hidden by visual scores: some initializations reach high precision but low coverage, leading to suboptimal refinement, while mode-covering ones preserve broader support. Furthermore, even when the target distributions are aligned, DMD's reverse-KL objective can still drive the student toward high-probability teacher regions in late training, reducing coverage and diversity. To address this, we propose joint distillation, which combines DMD's mode-seeking objective with a Consistency Distillation-based mode-covering constraint. Experiments show that our method improves generation quality, coverage, and diversity; notably, even with a Wan-1.3B DMD teacher, it outperforms baselines refined with Wan-14B, underscoring the importance of distributional alignment in autoregressive video distillation.