Straighter Flow Matching via a Diffusion-Based Coupling Prior

📄 arXiv: 2311.16507v2 📥 PDF

作者: Siyu Xing, Jie Cao, Huaibo Huang, Haichao Shi, Xiao-Yu Zhang

分类: cs.CV, cs.LG

发布日期: 2023-11-28 (更新: 2025-09-04)

💡 一句话要点

提出StraightFM以解决流匹配中的轨迹直线化问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 流匹配 生成模型 扩散模型 图像生成 轨迹直线化 多模态生成

📋 核心要点

  1. 现有流匹配方法在轨迹直线化和少步生成方面存在多轮训练和小批量知识依赖的不足，难以找到有效的耦合策略。
  2. 本文提出的StraightFM方法通过扩散模型在整个分布层面创建图像与噪声的耦合，从而实现轨迹直线化，提升生成效率。
  3. 实验结果显示，StraightFM在5步内生成的样本质量优于现有方法，且无条件版本兼容多模态条件生成，表现出色。

📝 摘要（中文）

流匹配作为生成模型的一种范式在多个领域取得了显著成功。然而，现有方法使用多轮训练或依赖小批量内的知识，导致在寻找有效的耦合策略以实现轨迹直线化和少步生成时面临挑战。为了解决这一问题，本文提出了一种新方法——流匹配的直线轨迹（StraightFM）。该方法通过一个扩散模型在整个分布层面创建图像与噪声的耦合，从而实现轨迹的直线化以进行少步生成。实验结果表明，StraightFM在像素空间和潜在空间中均能在5步内生成高质量样本，并且其无条件版本与无训练的多模态条件生成无缝兼容，保持了高质量的图像生成。

🔬 方法详解

问题定义：本文旨在解决流匹配中轨迹直线化的问题。现有方法依赖多轮训练或小批量知识，导致生成效率低下和样本质量不稳定。

核心思路：StraightFM通过一个扩散模型在整个分布层面创建图像与噪声的耦合，旨在实现轨迹的直线化，从而提高少步生成的效果。

技术框架：该方法的整体架构包括数据预处理、扩散模型训练、耦合生成和样本评估四个主要模块。首先，通过扩散模型生成噪声，然后与图像进行耦合，最后进行轨迹直线化和样本生成。

关键创新：StraightFM的主要创新在于其耦合策略的设计，能够在整个分布层面进行耦合，而非仅依赖于小批量数据，从而显著提升生成质量和效率。

关键设计：在技术细节上，StraightFM使用了特定的损失函数来优化耦合效果，并设计了适应性网络结构以支持扩散模型的训练和生成过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，StraightFM在像素空间和潜在空间中均能在5步内生成高质量样本，相较于现有方法，样本质量显著提升，且无条件版本在多模态条件生成中表现优异，展示了良好的兼容性。

🎯 应用场景

该研究的潜在应用领域包括图像生成、视频合成和多模态生成等。通过提高生成效率和样本质量，StraightFM可在艺术创作、虚拟现实和计算机视觉等领域发挥重要作用，推动相关技术的发展。

📄 摘要（原文）

Flow matching as a paradigm of generative model achieves notable success across various domains. However, existing methods use either multi-round training or knowledge within minibatches, posing challenges in finding a favorable coupling strategy for straightening trajectories to few-step generation. To address this issue, we propose a novel approach, Straighter trajectories of Flow Matching (StraightFM). It straightens trajectories with the coupling strategy from the entire distribution level. More specifically, during training, StraightFM creates couplings of images and noise via one diffusion model as a coupling prior to straighten trajectories for few-step generation. Our coupling strategy can also integrate with the existing coupling direction from real data to noise, improving image quality in few-step generation. Experimental results on pixel space and latent space show that StraightFM yields attractive samples within 5 steps. Moreover, our unconditional StraightFM is seamlessly compatible with training-free multimodal conditional generation, maintaining high-quality image generation in few steps.