Stable Continuous-Time Consistency Distillation: An Empirical Study with a Multistep Extension
作者: Vinay Saji Mathew, Soundar R. Kumara, Gretta D Kellogg, William KM Lai
分类: cs.LG
发布日期: 2026-10-26
备注: Published in TMLR (2026). Reproducibility Certification
期刊: Transactions on Machine Learning Research, 2026
💡 一句话要点
提出稳定的连续时间一致性蒸馏方法以解决生成模型训练不稳定问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 一致性模型 蒸馏训练 生成模型 多步生成 深度学习
📋 核心要点
- 现有的连续时间一致性模型在训练过程中存在不稳定性，影响生成效果。
- 本文提出了多步一致性蒸馏（MS-sCD），通过段条件化的方式改进了现有的sCD方法。
- 在CIFAR-10上，学生模型成功重现了FID指标，而在ImageNet-64上则存在一定的性能差距。
📝 摘要（中文）
连续时间一致性模型为少步生成提供了有吸引力的途径，消除了离散时间模型依赖的时间步网格中的离散化误差。然而，训练这些模型的过程一直不稳定。Lu & Song（2025）通过TrigFlow框架及一系列架构和训练目标的调整来解决这一问题。本文对该框架进行了独立的实证研究，使用CIFAR-10和ImageNet-64数据集，训练了从头开始的TrigFlow教师模型，并验证了学生模型的一致性蒸馏和一致性训练行为。结果显示，在CIFAR-10上，学生模型在一步和两步生成中重现了报告的FID，而在ImageNet-64上则未能达到预期，可能与教师模型及未明确的架构选择有关。我们还提出了多步一致性蒸馏（MS-sCD），作为sCD的连续时间、段条件多步推广。
🔬 方法详解
问题定义：本文旨在解决连续时间一致性模型训练不稳定的问题，现有方法在生成过程中存在离散化误差，影响生成质量。
核心思路：提出多步一致性蒸馏（MS-sCD），通过段条件化的方式改进一致性蒸馏，旨在提高生成模型的稳定性和性能。
技术框架：整体架构包括从头训练TrigFlow教师模型，随后使用该教师模型进行学生模型的一致性蒸馏和训练。MS-sCD在此基础上引入段条件化，替代了sCM的两步中间时间。
关键创新：最重要的创新在于引入段条件化的多步一致性蒸馏方法，使得生成过程更加稳定，并能够在不同步长下进行有效的生成。
关键设计：在参数设置上，本文注意到Adaptive Double Normalization中的尺度和偏移条件投影，导致模型大小与文献中所述存在约5%的差距。
🖼️ 关键图片
📊 实验亮点
在CIFAR-10上，学生模型成功重现了一步和两步生成的FID指标，验证了方法的有效性。在ImageNet-64上，尽管未能达到预期，但为后续研究提供了重要的参考和改进方向。
🎯 应用场景
该研究的潜在应用领域包括图像生成、视频生成及其他需要高质量生成的任务。通过提高生成模型的稳定性和性能，未来可在艺术创作、虚拟现实等领域发挥重要作用。
📄 摘要（原文）
Continuous-time consistency models are an attractive route to few-step generation. They remove the discretization error inherent to the timestep grid that discrete-time consistency models depend on. Until recently, however, training them was unstable. Lu & Song (2025) address this with the TrigFlow formulation and a coordinated set of architectural and training-objective changes. We conduct an independent empirical study of this framework on CIFAR-10 and ImageNet-64. No open-weight TrigFlow teachers exist at these scales, so we train them from scratch and then verify the consistency distillation (sCD) and consistency training (sCT) behavior of students initialized from these teachers. On CIFAR-10, our students reproduce the reported FID at one and two steps. On ImageNet-64, they fall short, a gap that appears related to our teacher and to architectural choices the paper leaves unspecified. We also report a parameter-count gap of about 5% between the model size stated in the paper and a faithful re-implementation, which we attribute to the scale-and-shift conditioning projections in Adaptive Double Normalization. We then propose Multistep sCD (MS-sCD), a continuous-time, segment-conditioned multistep generalization of sCD. The segment-conditioning idea is borrowed from the discrete-time multistep consistency distillation of Heek et al. (2024); we build on their preliminary continuous-time experiments within the TrigFlow/sCM framework. The rest of the algorithm follows sCD. MS-sCD replaces sCM's two-step intermediate time with a fixed segment-boundary schedule and recovers sCD at M = 1. We report FID at M = 2, 4, 8 and compare against the discrete-time MSCD baseline. Code, model weights, and training scripts are available on GitHub (Mathew et al., 2026).