The Reward Was in Your Data All Along: Correcting Flow Matching with Discriminator-Guided RL

📄 arXiv: 2606.19162v1 📥 PDF

作者: Nicolas Beltran-Velez, Felix Friedrich, Zhang Xiaofeng, Reyhane Askari-Hemmat, Xiaochuang Han, Adriana Romero-Soriano, Michal Drozdzal

分类: cs.LG, cs.CV

发布日期: 2026-06-17

备注: 84 pages, including appendices

💡 一句话要点

提出判别器引导的强化学习以解决流匹配问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 流匹配 强化学习 判别器 生成模型 计算机视觉

📋 核心要点

  1. 现有的流匹配模型在对齐主观偏好和恢复视觉属性方面存在结构不匹配的问题，导致样本质量不佳。
  2. 论文提出的判别器引导的强化学习（DRL）通过训练判别器来优化奖励，避免了对人类偏好的依赖。
  3. 实验结果显示，DRL在多个基准上显著提升了模型性能，例如在SiT上FID从9.38降低到2.62。

📝 摘要（中文）

得分和流匹配模型通常依赖于基于偏好的强化学习来对齐主观偏好，并恢复视觉现实性和一致的物体结构等属性。我们认为这反映了结构不匹配的问题。现有的匹配损失在训练时的边际下测量$ ext{l}_2$回归误差，这与推断时决定样本质量的视觉和语义属性不匹配。为了解决这一问题，我们提出了判别器引导的强化学习（DRL），该方法通过训练判别器在预训练表示空间中区分数据和基础模型样本，并使用其logit作为KL正则化强化学习中的奖励。实验结果表明，DRL在多个基准上显著降低了无引导FID和语义空间FD，并在不依赖人类偏好的情况下提高了人类偏好奖励。

🔬 方法详解

问题定义：本论文旨在解决流匹配模型在对齐主观偏好和恢复视觉属性时的结构不匹配问题。现有方法依赖于匹配损失，这种方法在推断时无法有效反映样本质量。

核心思路：论文提出的判别器引导的强化学习（DRL）通过训练一个判别器来区分真实数据和模型生成样本，并利用判别器的logit作为奖励信号，从而优化模型性能。

技术框架：DRL的整体架构包括三个主要模块：首先，预训练的表示空间用于训练判别器；其次，判别器输出的logit作为强化学习中的奖励；最后，通过KL正则化来优化模型。

关键创新：DRL的核心创新在于通过判别器引导的奖励机制，避免了对昂贵的人类偏好的依赖，直接优化与数据分布一致的奖励信号。

关键设计：在DRL中，判别器的训练使用了预训练的表示空间，以确保其在感知上有意义的方向。同时，logit的设计使其能够有效估计数据与模型之间的对数似然比，成为针对数据分布的最佳奖励。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DRL在多个基准上显著提升了模型性能，例如在SiT上FID从9.38降低到2.62，语义空间FD从88.2降低到19.3，且在所有骨干网络上均表现出一致的性能提升。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉、生成模型和强化学习等。通过优化模型生成的样本质量，DRL可以在图像生成、视频合成和自动驾驶等实际场景中发挥重要作用，提升系统的智能化水平和用户体验。

📄 摘要（原文）

Score- and flow-matching models often rely on preference-based reinforcement learning for two purposes: aligning with subjective preferences and, surprisingly, recovering properties such as visual realism and coherent object structure that matching-based training is intended to learn from the data itself. We argue that this reflects a structural mismatch. Matching losses measure $\ell_2$ regression error on the velocity or score field under training-time marginals, a proxy poorly aligned with the visual and semantic properties that determine sample quality at inference. Given a reward aligned with these properties, RL sidesteps the mismatch by evaluating the model on its own samples and following the reward landscape directly. The challenge is to obtain such a reward without relying on human preferences, which are expensive and conflate data realism with annotator inclinations. We propose Discriminator-Guided RL (DRL). DRL trains a discriminator to separate data from base-model samples in a pretrained representation space and uses its logit as the reward in KL-regularized RL. The pretrained space restricts the discriminator to perceptually meaningful directions, and the logit estimates the log-likelihood ratio between data and model, which is the optimal reward for targeting the data distribution. Across SiT, JiT, REPA, and RAE, DRL reduces guidance-free FID (e.g., $9.38 \to 2.62$ on SiT) and semantic-space FD (e.g., $88.2 \to 19.3$ on DINOv3 for SiT), with consistent gains across all backbones, and improves human-preference rewards without training on them. It also yields a better Pareto frontier between preference reward and image fidelity under subsequent preference-based post-training, increasing alignment while reducing low-level artifacts such as oversaturation and excessive brightness.