Balancing Frequencies and Pixels in Flow Matching

📄 arXiv: 2609.02748v1 📥 PDF

作者: Lucas Degeorge, Paul Couairon, Arijit Ghosh, Alexei A. Efros, David Picard, Vicky Kalogeiton

分类: cs.CV

发布日期: 2026-09-02

💡 一句话要点

提出Focal Log-Frequency Loss以解决像素空间流匹配中的频谱不平衡问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 频谱平衡 像素空间流匹配 高频成分 训练效率 图像生成

📋 核心要点

  1. 现有的像素空间流匹配方法在处理频谱时存在不平衡，导致低频信号主导优化，影响细节学习。
  2. 本文提出Focal Log-Frequency Loss，通过均衡频率学习信号，强调高频成分，从而改善训练效果。
  3. 实验结果表明，该方法在多个模型规模上收敛速度提高了40%，同时FID和感知保真度显著提升。

📝 摘要（中文）

自然图像遵循$1/f^2$的频谱分布，大部分信号能量集中在低频，而重要的结构如纹理和边缘则位于稀疏的高频带。现有的像素空间重建目标对所有空间误差的处理过于均匀，导致低频信号主导优化过程，延缓了细节学习。本文识别出这一目标级别的频谱不平衡作为训练像素空间流模型的关键低效因素。为此，我们提出了一种Focal Log-Frequency Loss（f-loss），该损失函数在频率上实现学习信号的均衡，强调在像素空间目标中被低估的高频成分。此外，我们引入了一种简单的训练策略，结合频率和像素监督，先强调频域学习以捕获所有频率，然后过渡到标准的像素空间v-loss进行空间细化。这种平衡减轻了像素损失的低频偏差，并使训练信号与模型的演变需求相一致。我们的方案概念简单，无需架构更改，并可作为流匹配损失的替代方案。通过多种模型规模的实验，收敛速度提高了40%，同时FID和感知保真度也得到了持续改善。

🔬 方法详解

问题定义：本文旨在解决像素空间流匹配中的频谱不平衡问题。现有方法对所有空间误差的处理过于均匀，导致低频信号主导优化，延缓了高频细节的学习。

核心思路：我们提出Focal Log-Frequency Loss（f-loss），该损失函数通过均衡不同频率的学习信号，特别强调高频成分的学习，从而克服低频偏差。

技术框架：整体方法包括两个阶段：首先在频域进行学习以捕获所有频率，然后转向标准的像素空间v-loss进行细化。这种策略确保了模型在训练初期能够充分学习高频信息。

关键创新：最重要的创新在于提出了f-loss损失函数，它能够在频率上均衡学习信号，解决了传统像素损失对低频的偏向，显著提升了模型的训练效率。

关键设计：在损失函数设计上，f-loss强调高频成分的学习，且整个方法不需要对现有网络架构进行修改，易于集成和应用。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，采用Focal Log-Frequency Loss后，模型在多个规模上收敛速度提高了40%，同时FID（Fréchet Inception Distance）和感知保真度均有显著提升，验证了该方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉中的图像生成、图像修复和超分辨率等任务。通过改善流匹配的训练效率和图像质量，能够在实际应用中提升生成模型的性能，具有重要的实际价值和影响。

📄 摘要（原文）

Natural images follow a $1/f^2$ spectral distribution: most signal energy lies in the low spatial frequencies, while the perceptually important structures such as textures and edges occupy sparse high-frequency bands. Pixel-space reconstruction objectives, however, treat all spatial errors uniformly, causing low frequencies to dominate the optimization signal and delaying the learning of fine-scale details. In this work, we identify this objective-level spectral imbalance as a key inefficiency in training pixel-space flow models. To address it, we propose a Focal Log-Frequency Loss (f-loss), a spectrally balanced objective that equalizes the learning signal across frequencies, emphasizing high-frequency components that are otherwise underrepresented in pixel-space objectives. Building on this, we introduce a simple training strategy that combines frequency and pixel supervision: we first emphasize frequency-domain learning early to capture all frequencies, and then transition to standard pixel-space v-loss for spatial refinement. This balancing mitigates the low-frequency bias of pixel losses and aligns the training signal with the evolving needs of the model. Our approach is conceptually simple, requires no architectural changes, and acts as a drop-in replacement for flow matching losses. Across multiple model scales, it accelerates convergence by up to 40% while consistently improving FID and perceptual fidelity. We will release code and models.