SpectralDiT: Timestep-Conditioned Spectral Residual Correction for Flow-Matching DiTs

📄 arXiv: 2606.18765v1 📥 PDF

作者: Jiayu Tian

分类: cs.CV

发布日期: 2026-06-17

💡 一句话要点

提出SpectralDiT以改善流匹配扩散变换器的性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion)

关键词: 流匹配 扩散变换器 频谱校正 图像生成 深度学习

📋 核心要点

  1. 现有的流匹配扩散变换器在生成图像时存在频谱不匹配的问题，影响生成质量。
  2. SpectralDiT通过引入时间步条件的频谱校正模块，分解残差更新为低频和高频成分，从而改善模型性能。
  3. 在CIFAR-10上，SpectralDiT显著降低FID值，并在ImageNet-100上也表现出优越的生成能力，验证了其有效性。

📝 摘要（中文）

我们提出了SpectralDiT，这是一种对流匹配扩散变换器的轻量级修改，增加了基于时间步的频谱校正模块。该模块将每次残差更新分解为低频和高频成分，并在补丁令牌网格上学习一个零初始化的加性门，以便模型最初与基线DiT匹配。在CIFAR-10的像素空间生成中，SpectralDiT将FID从20.78改善至19.71，并减少了径向傅里叶谱差距。此外，我们将该方法扩展到ImageNet-100的潜在扩散中，增加0.6%的理论FLOPs和1.36%的参数，SpectralDiT在无分类器引导下实现了8.7%的相对FID降低。所有结果均为五次随机种子的平均值。对CIFAR-10的消融实验和门可视化揭示了稳定的块特定频谱校正模式。

🔬 方法详解

问题定义：论文旨在解决流匹配扩散变换器在生成图像时频谱不匹配的问题，现有方法在处理高频信息时存在不足，导致生成质量下降。

核心思路：SpectralDiT通过引入时间步条件的频谱校正模块，将残差更新分解为低频和高频成分，从而使模型能够更好地捕捉图像的细节和结构。

技术框架：整体架构包括一个流匹配扩散变换器，增加了一个频谱校正模块，该模块在补丁令牌网格上操作，学习一个零初始化的加性门以实现初始匹配。

关键创新：最重要的技术创新在于引入了时间步条件的频谱校正，允许模型在不同时间步对频谱特征进行动态调整，与现有方法相比，显著提高了生成质量。

关键设计：在参数设置上，增加了0.6%的理论FLOPs和1.36%的参数，损失函数设计考虑了频谱匹配的稳定性，网络结构中引入了低频和高频分离处理的机制。

📊 实验亮点

在CIFAR-10数据集上，SpectralDiT将FID从20.78降低至19.71，显示出显著的性能提升。同时，在ImageNet-100上，采用无分类器引导的情况下，SpectralDiT实现了8.7%的相对FID降低，验证了其在潜在扩散中的有效性。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉中的图像生成、图像修复和风格迁移等任务。通过改善生成模型的性能，SpectralDiT可以为艺术创作、游戏开发及虚拟现实等领域提供更高质量的视觉内容，具有重要的实际价值和未来影响。

📄 摘要（原文）

We propose SpectralDiT, a lightweight modification to flow-matching Diffusion Transformers that adds timestep-conditioned spectral correction to the MLP residual branch. The module decomposes each residual update into low- and high-frequency components on the patch-token grid, then learns a zero-initialized additive gate so the model initially matches the baseline DiT. On CIFAR-10 pixel-space generation, SpectralDiT improves FID from 20.78 to 19.71 at patch size 1 and reduces the radial Fourier spectrum gap. Furthermore, we scale our method to latent diffusion on ImageNet-100. With 0.6% additional theoretical FLOPs and 1.36% additional parameters, SpectralDiT improves latent flow-matching, achieving an 8.7% relative FID reduction under classifier-free guidance (CFG 2.0). All reported results are averaged over five seeds. Ablations and gate visualizations on CIFAR-10 reveal stable block-specific spectral correction patterns.