Difficulty-Calibrated Interpolation Paths for Conditional Flow Matching
作者: Airin Akter Tania, Md Raihan Khan
分类: cs.CV
发布日期: 2026-08-21
💡 一句话要点
提出难度校准插值路径以优化条件流匹配
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion)
关键词: 条件流匹配 生成模型 插值调度 难度校准 深度学习 图像生成
📋 核心要点
- 现有的条件流匹配方法在插值调度上固定，导致收敛性和样本质量受限，无法适应不同数据和模型。
- 本文提出的难度校准流匹配方法通过模型自身推导插值调度，使得学习过程更具针对性，优化了训练效率。
- 在CIFAR-10、MNIST和Fashion-MNIST的实验中，校准路径显著提升了FID指标，尤其在计算资源有限的情况下表现优异。
📝 摘要（中文）
条件流匹配通过将网络回归到指定噪声到数据插值路径的速度来训练生成模型。插值调度影响收敛性和样本质量，但通常是预先固定的，与数据和模型无关。本文提出难度校准流匹配，从模型本身推导调度，通过短期试运行记录每个时间点的损失，并根据难度分布设置调度，使得轨迹在学习最困难的速度处停留。该方法仅需一个超参数，保持训练目标和梯度等价，能够与无分类器引导相结合，并增加约2%的训练开销。在CIFAR-10、MNIST和Fashion-MNIST的实验中，校准路径在全采样预算下在CIFAR-10上获得最佳FID，并在大批量、少更新的情况下明显优于所有固定调度。
🔬 方法详解
问题定义：本文旨在解决条件流匹配中插值调度固定导致的收敛性和样本质量问题。现有方法未能根据数据和模型动态调整调度，影响了生成模型的性能。
核心思路：提出难度校准流匹配，通过短期试运行记录每个时间点的损失，推导出适应性插值调度，使得模型在学习最困难的速度时停留更久，从而提高训练效果。
技术框架：整体流程包括短期试运行阶段和难度校准阶段。首先进行线性插值的试运行，记录损失，然后根据损失的分布设置调度，最后进行正式训练。
关键创新：最重要的创新在于动态调整插值调度，使其依赖于模型的学习难度，而非固定的预设值。这一方法与传统的静态调度形成鲜明对比，能够更有效地利用计算资源。
关键设计：该方法仅需一个超参数，保持训练目标和梯度等价，且能够与无分类器引导相结合，增加的训练开销约为2%。
🖼️ 关键图片
📊 实验亮点
在CIFAR-10数据集上，校准路径在全采样预算下获得最佳FID，且在大批量、少更新的设置中明显优于所有固定调度，展示了约2%的训练开销带来的显著性能提升。
🎯 应用场景
该研究的潜在应用领域包括图像生成、数据增强和其他生成模型的训练。通过优化插值路径，能够提高生成模型在实际应用中的表现，尤其是在计算资源有限的情况下，具有重要的实际价值和影响。
📄 摘要（原文）
Conditional Flow Matching trains generative models by regressing a network onto the velocity of a prescribed noise-to-data interpolation path. The interpolation schedule that shapes this path is known to affect convergence and sample quality, yet it is invariably fixed in advance, independent of both the data and the model. We show that the regression difficulty of Conditional Flow Matching varies systematically along the path, and we propose Difficulty-Calibrated Flow Matching, which derives the schedule from the model itself: a short pilot run with the linear path records the per-time loss, and the schedule is set to the quantile function of this difficulty profile, so the trajectory lingers where the velocity is hardest to learn. The method has a single hyperparameter, leaves the training objective and its gradient equivalence intact, composes with classifier-free guidance, and adds about two percent training overhead. In controlled experiments on CIFAR-10, MNIST, and Fashion-MNIST with an identical compact U-Net, the calibrated path attains the best FID on CIFAR-10 at full sampling budget and clearly outperforms all fixed schedules in the large-batch, few-update regime, precisely the setting where compute is scarcest.