SPARE: Structural Parameter-Free Affinity Regularization for Flow Matching

📄 arXiv: 2608.01990v1 📥 PDF

作者: Zong-Wei Hong, Jinglun Li, Shen Zhang, Yuhan Liu, Linze Li, Yao Tang

分类: cs.CV, cs.AI

发布日期: 2026-08-03

备注: Preprint

💡 一句话要点

提出SPARE以解决去噪扩散变换器训练收敛慢的问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion)

关键词: 去噪扩散变换器 正则化方法 亲和力匹配 图像生成 计算机视觉 深度学习 训练加速

📋 核心要点

  1. 现有的去噪扩散变换器训练方法收敛慢，且正则化方法存在依赖外部特征或完全无参考的局限性。
  2. 本文提出SPARE，通过匹配中间token的亲和力与干净潜在数据的亲和力，直接利用图像间的空间结构。
  3. 在ImageNet数据集上，SPARE在不增加额外编码器和参数的情况下，达到了最低的FID，显著提升了训练效果。

📝 摘要（中文）

去噪扩散变换器在生成质量上表现优异，但训练收敛速度较慢。现有的正则化方法分为两类：基于目标的方法需要外部编码器和可学习的投影头，而无目标的方法则完全不依赖外部参考，导致结构信息的丢失。本文提出了一种新的正则化方法SPARE，通过匹配中间token的成对亲和力与干净潜在数据的亲和力，充分利用图像间的空间结构，显著提升了训练效率。在ImageNet $256 imes 256$数据集上，SPARE在不增加额外参数的情况下，达到了最低的FID，并在多种设置下表现优异。

🔬 方法详解

问题定义：本文旨在解决去噪扩散变换器训练过程中收敛速度慢的问题。现有的正则化方法要么依赖外部特征，增加了复杂性，要么完全无参考，导致结构信息的丢失。

核心思路：SPARE的核心思想是利用干净数据潜在空间中token之间的关系作为目标，通过匹配中间token的亲和力来加速训练。这种方法避免了对外部编码器和投影头的依赖，直接利用数据内部结构。

技术框架：SPARE的整体架构包括两个主要模块：首先，计算中间token的成对亲和力；其次，将这些亲和力与干净潜在数据的亲和力进行匹配。该过程在训练中通过单一的学习目标进行校准。

关键创新：SPARE的创新之处在于它将亲和力匹配扩展到跨图像的token对，这与以往无目标方法的排斥机制形成鲜明对比。通过这种方式，SPARE能够充分利用图像间的空间结构。

关键设计：SPARE在设计上不增加任何额外的编码器或参数，仅增加0.08 GB的训练内存。损失函数通过匹配亲和力来优化，确保了训练过程的高效性和有效性。整体设计简洁，易于集成到现有的训练框架中。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SPARE在ImageNet $256 imes 256$数据集上表现出色，达到了最低的FID，且在所有测试设置中均优于其他无参数正则化方法。与REPA结合时，SPARE能够恢复37%到54%的FID降低，最终在1M迭代下达到FID 1.90，显示出显著的性能提升。

🎯 应用场景

SPARE的研究成果在图像生成、计算机视觉等领域具有广泛的应用潜力。通过加速去噪扩散变换器的训练过程，SPARE可以提高生成模型的效率，推动高质量图像生成技术的发展，具有重要的实际价值和未来影响。

📄 摘要（原文）

Denoising diffusion transformers achieve strong generation quality but converge slowly during training. Regularizing their internal representations has emerged as an effective accelerator, yet existing methods split into two families with complementary costs. Target-based methods strengthen representations by aligning them to external features, which requires an external encoder and a learnable projection head to bridge feature spaces. Target-free methods hold no reference at all, and can only repel the model's own features across samples or layers, discarding whatever structure the data contains. Prior work suggests that spatial structure, rather than global semantics, drives the gains of alignment. We therefore ask whether such structure can serve as a target directly, and whether it exists not only within an image but across images. Our key insight is that the clean data latent already carries this structure in the relations among its tokens, where a relation is the similarity between two tokens, a single scalar comparable across feature spaces without a projection head. We propose Structural Parameter-free Affinity Regularization (SPARE), a regularizer that matches the pairwise affinities of intermediate tokens to those of the clean latents. To exploit this structure fully, SPARE extends the matching to token pairs across images, precisely the pairs that prior target-free methods repel by default, and calibrates both relation types with a single learning objective. On ImageNet $256 \times 256$ with SiT backbones under matched 400K-iteration budgets, SPARE adds no encoder, head, or parameters and only 0.08 GB of training memory, yet attains the lowest FID among parameter-free regularizers in every tested setting, recovers 37 to 54\% of REPA's FID reduction, and improves over REPA when combined with it, reaching FID 1.90 under classifier-free guidance at 1M iterations.