sDMD: Sinkhorn Distribution Matching Distillation

📄 arXiv: 2610.39889v1 📥 PDF

作者: Jaihoon Kim, Lingxiao Li, Soshi Shimada, Roshni Cooper, Minhyuk Sung, Yiwei Zhao

分类: cs.CV, cs.LG

发布日期: 2026-10-29

备注: Project Page: https://sinkhorn-dmd.github.io/

💡 一句话要点

提出sDMD以解决DMD在样本引导中的局限性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 分布匹配蒸馏 样本多样性 生成模型 Sinkhorn散度 最优传输 深度学习 图像生成 蒸馏训练

📋 核心要点

  1. 现有的DMD方法在低密度区域的教师评分不可靠，且可能导致学生模型集中于教师模式的子集。
  2. 本文提出sDMD，通过引入Sinkhorn散度的最优传输项，增强IKL的引导能力，改善样本的多样性和覆盖性。
  3. 在FLUX.1-dev、Qwen-Image-20B和Wan2.1-14B数据集上，sDMD在GenEval、DPG、WISE和VBench等评估指标上超越了蒸馏基线。

📝 摘要（中文）

分布匹配蒸馏（DMD）通过最小化反向KL散度将多步扩散模型蒸馏为少步生成器。尽管DMD表现优异，但其仅依赖局部密度引导样本，导致教师评分在低密度区域不可靠，并且反向KL的模式寻求行为可能使学生模型仅集中于教师模式的子集。本文将DMD与Wasserstein梯度流联系起来，提出通过引入最优传输项来增强积分KL（IKL），以解决上述问题。我们使用从有限批次估计的Sinkhorn散度实现该项，并提出sDMD，基于判别器输出自适应激活Sinkhorn修正，专注于IKL可能不可靠的异常样本。实验表明，sDMD在多个数据集上超越了蒸馏基线，同时提高了样本多样性。

🔬 方法详解

问题定义：本文旨在解决DMD方法在样本引导中的局限性，特别是在低密度区域教师评分的不可靠性和模式寻求行为导致的学生模型集中问题。

核心思路：通过将IKL与最优传输项结合，sDMD能够更好地引导异常样本，提升样本的多样性和覆盖性。这样的设计使得模型在处理低密度区域时更加稳健。

技术框架：sDMD的整体架构包括两个主要模块：首先是基于IKL的样本引导，其次是通过Sinkhorn散度进行的异常样本修正。模型根据判别器的输出动态调整Sinkhorn修正的激活。

关键创新：sDMD的核心创新在于自适应激活Sinkhorn修正，针对IKL可能不可靠的样本进行优化。这一方法显著改善了样本的多样性，区别于传统的DMD方法。

关键设计：在参数设置上，sDMD使用了从有限批次中估计的Sinkhorn散度，并通过判别器输出动态调整修正策略，确保在不同样本密度下的引导效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，sDMD在FLUX.1-dev、Qwen-Image-20B和Wan2.1-14B数据集上，使用2到4个采样步骤时，超越了多个蒸馏基线，在GenEval、DPG、WISE和VBench等评估指标上表现优异，同时提高了样本的多样性。

🎯 应用场景

该研究的潜在应用领域包括图像生成、视频合成和其他需要高质量样本生成的任务。通过提升生成模型的样本多样性，sDMD有望在艺术创作、虚拟现实和游戏开发等领域产生实际价值，并推动生成模型的进一步发展。

📄 摘要（原文）

Distribution Matching Distillation (DMD) distills multi-step diffusion models into few-step generators by minimizing reverse KL divergence. Despite its strong performance, DMD guides samples by local density alone, which introduces two limitations: teacher scores can be unreliable in regions of low teacher density, and the mode-seeking behavior of reverse KL can collapse the student onto a subset of the teacher modes. We first connect DMD to Wasserstein gradient flow, showing that its gradient follows from a fixed-point formulation with integral KL (IKL) as the energy functional. This perspective motivates augmenting IKL with an optimal transport term that addresses these limitations by guiding outlier samples toward the target and promoting mode coverage. We realize this term using Sinkhorn divergence estimated from finite batches. In practice, however, errors in the estimated Sinkhorn velocity can perturb in-domain samples for which IKL guidance is already accurate. To this end, we introduce sDMD, which adaptively activates the Sinkhorn correction based on discriminator outputs, focusing on outlier samples where IKL may be unreliable. With 2--4 sampling steps on FLUX.1-dev, Qwen-Image-20B, and Wan2.1-14B, sDMD outperforms distillation baselines on GenEval, DPG, WISE, and VBench while improving sample diversity over DMD2.