FlowAWR: Online Adaptive Flow Reinforcement via Advantage-Weighted Rectification
作者: Zheming Fu, Ruizhe He, Wei Shang, Xiaoxiao Ma, Lei Wang, Chang Liu, Siming Fu
分类: cs.LG, cs.CV
发布日期: 2026-06-29
💡 一句话要点
提出FlowAWR以解决生成流模型在线适应性问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion)
关键词: 生成流模型 在线强化学习 优势加权修正 速度场优化 多奖励约束
📋 核心要点
- 现有方法在生成流模型的在线适应性上存在轨迹似然性不可处理的问题，导致训练与推理不一致。
- FlowAWR通过将生成策略优化转化为对最优速度场的监督回归，提供了一种新颖的解决方案，避免了SDE和CFG的使用。
- 在SD3.5-Medium上的比较评估中，FlowAWR在对齐性能上有所提升，并实现了2到5倍的收敛加速。
📝 摘要（中文）
通过在线强化学习对连续空间的生成流模型进行对齐面临不可处理的轨迹似然性问题。现有的密度近似策略梯度方法依赖于随机SDE采样器构建可处理的转移核，这引入了训练与推理的不一致性，并需要无分类器引导（CFG）。本文提出的FlowAWR框架将连续生成策略优化重构为对理论最优速度场的监督回归，从而实现无SDE优化和无CFG生成。
🔬 方法详解
问题定义：本文旨在解决生成流模型在连续空间中对齐时的轨迹似然性不可处理问题，现有方法的训练与推理不一致性是主要痛点。
核心思路：FlowAWR通过将生成策略优化重构为对理论最优速度场的监督回归，避免了传统方法中的SDE和CFG问题，从而提高了优化效率。
技术框架：FlowAWR的整体架构包括从KL约束的奖励最大化出发，推导出最优速度场，并采用优势加权修正形式进行优化。主要模块包括策略优化、速度场推导和优势加权修正。
关键创新：FlowAWR的核心创新在于其优势加权修正形式的速度场优化，这与现有方法的固定幅度修正形成鲜明对比，允许优化强度根据组内质量进行调整。
关键设计：在参数设置上，FlowAWR采用了针对速度场的动态调整机制，损失函数设计上则强调了对优势的加权，以确保生成质量的稳定性和一致性。
🖼️ 关键图片
📊 实验亮点
FlowAWR在SD3.5-Medium上的实验结果显示，其对齐性能显著提升，达到24.12的PickScore，收敛速度较DiffusionNFT提高了2到5倍，展示了其在多奖励约束下的稳定生成质量。
🎯 应用场景
该研究在生成模型、机器人控制和智能体学习等领域具有广泛的应用潜力。通过提高生成流模型的适应性和效率，FlowAWR能够在复杂环境中实现更高质量的决策和生成，推动智能系统的实际应用和发展。
📄 摘要（原文）
Aligning generative flow models on continuous spaces via online reinforcement learning is constrained by intractable trajectory likelihoods. Existing density-approximated policy gradient methods rely on stochastic SDE samplers to construct tractable transition kernels, which introduce training-inference inconsistencies and necessitates Classifier-Free Guidance (CFG). While implicit frameworks such as DiffusionNFT directly optimize forward-process velocity fields, its heuristic fixed-magnitude corrections prevent optimization strength from relative intra-group quality. We propose \textit{Flow Advantage-Weighted Rectification} (\textbf{FlowAWR}), a paradigm that recasts continuous generative policy optimization as supervised regression toward a theoretically optimal velocity field. Starting from the optimal policy of a KL-constrained reward maximization, FlowAWR derives the optimal velocity field that admits a magnitude-aware, advantage-weighted rectification form, yielding SDE-free optimization and CFG-free generation. In comparative evaluations on SD3.5-Medium, FlowAWR achieves improved alignment performance alongside a 2$\times$ to 5$\times$ convergence acceleration over DiffusionNFT (e.g., reaching a 24.12 PickScore in 1.2k steps, versus 23.82 in 2.0k steps for DiffusionNFT and 23.50 in $>$4k steps for FlowGRPO). Under multi-reward constraints, FlowAWR sustains generation quality, satisfying structural rules while maintaining stable out-of-domain performance.