When Can Conditional Flow Matching Replace Pointwise Negative Log-Likelihood?

📄 arXiv: 2608.28010v1 📥 PDF

作者: Yansen Han, Hongxin Sun, Tao Lin

分类: cs.LG, cs.AI

发布日期: 2026-08-28

💡 一句话要点

提出条件流匹配替代点对点负对数似然的条件

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 条件流匹配 负对数似然 无似然训练 线性高斯 模型优化 机器学习 生成模型

📋 核心要点

  1. 现有的条件流匹配方法在某些情况下无法准确替代点对点负对数似然，导致估计偏差。
  2. 论文通过精确分解端点NLL，提出了在特定条件下使用CFM的有效性，揭示了残差的影响。
  3. 实验结果表明，CFM在不同维度和分布下的表现支持了理论分析，展示了其在训练中的潜力。

📝 摘要（中文）

流匹配技术使得无似然训练成为可能，但现有方法越来越多地将条件流匹配（CFM）损失作为端点负对数似然（NLL）使用。本文探讨了这些替代方案何时有效。对于线性高斯路径，本文精确地将端点NLL分解为熵、加权CFM目标、内部速度-得分残差和边界残差。结果表明，只有在相应的残差相互抵消时，CFM估计及其差异才是精确的。实验结果支持这些结论，并为将基于似然的LLM方法适应于流匹配提供了理论基础。

🔬 方法详解

问题定义：本文旨在解决条件流匹配（CFM）在替代点对点负对数似然（NLL）时的有效性问题。现有方法在某些情况下可能导致估计偏差，特别是在离线策略优化时。

核心思路：论文通过对线性高斯路径的端点NLL进行精确分解，提出了在特定条件下使用CFM的有效性，强调了残差的影响。

技术框架：整体架构包括对端点NLL的分解，涉及熵、加权CFM目标、内部速度-得分残差和边界残差等模块。通过分析这些模块的相互关系，确定了CFM的有效性条件。

关键创新：本文的主要创新在于精确分解端点NLL，揭示了CFM估计的准确性与残差相互抵消的关系。这一理论基础为流匹配方法的进一步发展提供了新视角。

关键设计：论文中设计了特定的加权CFM目标函数，并通过调整参数w_sc(t)=(1-t)/t来消除内部残差，从而提高了估计的准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，条件流匹配在不同维度和分布下的表现优于传统的点对点负对数似然估计，特别是在消除内部残差后，模型的估计准确性得到了显著提升，验证了理论分析的有效性。

🎯 应用场景

该研究的潜在应用领域包括生成模型、强化学习和其他需要无似然训练的机器学习任务。通过提供更准确的训练方法，可能会显著提升模型的性能和稳定性，推动相关领域的进一步发展。

📄 摘要（原文）

Flow matching enables likelihood-free training, yet alignment methods increasingly reuse conditional flow matching (CFM) losses as endpoint negative log-likelihoods (NLLs) and their old/new differences as log-likelihood ratios. We characterize when these substitutions are valid. For linear Gaussian paths, we exactly decompose endpoint NLL into entropy, a weighted CFM objective, an interior velocity--score residual, and a boundary residual. Thus CFM-only estimates and differences are exact only when the corresponding residuals cancel. At the off-policy population optimum, ordinary CFM is not generally a pointwise NLL estimator, whereas (w_{\mathrm{sc}}(t)=(1-t)/t) removes the interior residual; this positive result does not extend generally to training or on-policy alignment. On-policy log-ratios can remain biased even for identical endpoint laws or after surrogate optimization. Experiments across dimensions, distributions, and geometries support these conclusions and the mechanisms that make inexact ratios useful. More broadly, the decomposition provides a theoretical basis for adapting likelihood-based LLM methods to flow matching, while distinguishing exact substitutions from controlled surrogates.