Cross-Space Distillation: Teaching One-Step Students with Modern Diffusion Teachers
作者: Anh Nguyen, Ngan Nguyen, Duc Vu, Trung Dao, Viet Nguyen, Quan Dao, Kien Nguyen, Chi Tran, Phong Nguyen, Khoi Nguyen, Cuong Pham, Dimitris Metaxas, Vishal M. Patel, Anh Tran
分类: cs.CV
发布日期: 2026-06-30
备注: ECCV 2026
💡 一句话要点
提出跨空间蒸馏方法以解决教师与学生潜在空间不匹配问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 跨空间蒸馏 潜在空间映射 扩散模型 知识转移 高效模型 计算机视觉 模型压缩
📋 核心要点
- 现有的一步扩散模型依赖于教师和学生共享潜在空间，这限制了知识的有效转移。
- 本文提出跨空间蒸馏方法，通过引入Bridge接口解决教师与学生潜在空间不匹配的问题。
- 实验结果表明，使用Bridge后，SD 1.5的性能显著提升，HPSv3从5.4提高至9.4，且保持低延迟和兼容性。
📝 摘要（中文）
现代的一步扩散模型通过基于分布的时间步蒸馏实现了卓越的质量。然而，它们依赖于一个关键假设：教师和学生必须处于相同的潜在空间。这一共享空间的限制阻碍了现代高容量教师（如SD 3.5和Flux）向紧凑、适合部署的学生（如SD 1.5）的知识转移。本文将这一被忽视的领域正式化为跨空间蒸馏，其中教师和学生在潜在分辨率和VAE空间上存在差异。为了解决这一不匹配，我们引入了Bridge，一个轻量级的潜在接口，将学生的潜在映射到教师空间，而不修改学生的主干网络。Bridge结合了一个冻结的学生VAE解码器作为空间先验和一个紧凑的可学习投影器，并通过潜在重建和注意力保真度目标进行训练，以实现稳定的教师空间对齐。通过多种现代教师，Bridge显著提升了紧凑的一步学生的性能，例如将SD 1.5的HPSv3从5.4提升至9.4，同时保持一步推理、低延迟和广泛的生态系统兼容性。这些结果表明，异构的大型教师可以通过轻量级的潜在空间接口蒸馏为高效、可部署的主干网络。
🔬 方法详解
问题定义：现有的一步扩散模型要求教师和学生在相同的潜在空间中进行知识转移，这限制了高容量教师向紧凑学生的有效蒸馏，导致性能瓶颈。
核心思路：本文提出跨空间蒸馏方法，通过设计Bridge接口，将学生的潜在映射到教师空间，从而解决潜在分辨率和VAE参数化的差异。
技术框架：整体架构包括Bridge模块，该模块结合冻结的学生VAE解码器和可学习的投影器，进行潜在重建和注意力保真度训练，以实现教师空间的稳定对齐。
关键创新：最重要的技术创新在于Bridge接口的设计，使得不同潜在空间的教师和学生能够有效进行知识转移，这是与现有方法的本质区别。
关键设计：Bridge使用冻结的学生VAE解码器作为空间先验，结合紧凑的可学习投影器，训练过程中采用潜在重建损失和注意力保真度损失，以确保教师空间的对齐稳定性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，使用Bridge接口后，SD 1.5的HPSv3从5.4提升至9.4，显著提高了模型的推理速度，同时保持了一步推理的优势和低延迟，展现了跨空间蒸馏的有效性。
🎯 应用场景
该研究的潜在应用领域包括图像生成、视频处理和其他需要高效模型的计算机视觉任务。通过实现高容量教师与紧凑学生之间的有效知识转移，能够在实际部署中提升模型性能，降低计算资源消耗，具有重要的实际价值和未来影响。
📄 摘要（原文）
Modern one-step diffusion models achieve impressive quality through distribution-based timestep distillation. Yet, they rely on a critical assumption: Teacher and Student must inhabit the same latent space. This Shared-Space constraint prevents knowledge transfer from modern high-capacity Teachers (e.g., SD 3.5 and Flux) into compact, deployment-friendly Students such as SD 1.5, whose latent resolution and VAE parameterization differ from the Teacher. We formalize this overlooked regime as Cross-Space Distillation, where Teacher and Student differ in both latent resolution and VAE space. To enable distillation under this mismatch, we introduce the Bridge, a lightweight latent interface that maps Student latents into the Teacher space without modifying the Student backbone. Bridge combines a frozen Student VAE decoder as a spatial prior with a compact learnable projector, and is trained with latent reconstruction and attention fidelity objectives for stable Teacher-space alignment. Across diverse modern Teachers, Bridge enables substantial gains for compact one-step Students; for example, it improves SD 1.5 from 5.4 to 9.4 HPSv3 while preserving one-step inference, low latency, and broad ecosystem compatibility. These results show that heterogeneous large Teachers can be distilled into efficient, deployable backbones through a lightweight latent-space interface.