NormGuard: Reward-Preserving Norm Constraints in Flow-Matching Reinforcement Learning

📄 arXiv: 2606.27771v1 📥 PDF

作者: Tianlin Pan, Lianyu Pang, Cheng Da, Huan Yang, Changqian Yu, Kun Gai, Wenhan Luo

分类: cs.LG, cs.CV

发布日期: 2026-06-26

💡 一句话要点

提出NormGuard以解决流匹配强化学习中的奖励保持问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion)

关键词: 强化学习 流匹配 奖励保持 图像生成 速度范数 铰链惩罚 模型微调

📋 核心要点

  1. 现有的后训练方法在提高奖励对齐的同时，常导致生成图像的感知质量下降，未能有效捕捉这种变化。
  2. 论文提出NormGuard，通过在训练时对速度范数进行铰链惩罚，抑制速度范数的膨胀，从而改善生成质量。
  3. 实验结果显示，NormGuard在多个基准模型和奖励代理下均显著提升了图像质量，并在少步推理时效果更佳。

📝 摘要（中文）

强化学习（RL）后训练提高了基于流的生成器的奖励对齐，但常常降低感知质量，且这种降低未被奖励代理捕捉。我们发现，RL微调导致每步速度范数$ |v_θ| $相较于参考值膨胀5%至15%。虽然在无分类器引导（CFG）中研究过这种范数膨胀，但在RL中，推理时的重新缩放并未改善奖励或修复质量下降。因此，训练时的干预成为合适的策略。基于此，我们提出了NormGuard，一种在$ |v_θ| $超过$ |v_{ ext{ref}}| $时激活的铰链惩罚，能够与任何速度局部基础损失相加。实验表明，NormGuard在多个模型和奖励代理下均能提升图像质量和法医真实感，同时保持奖励。

🔬 方法详解

问题定义：论文要解决的问题是流匹配强化学习中后训练导致的速度范数膨胀问题，这种膨胀影响了生成图像的感知质量，而现有的推理时修正方法未能有效解决这一问题。

核心思路：论文的核心思路是引入NormGuard铰链惩罚机制，在训练过程中对速度范数进行控制，以防止其膨胀，从而保持奖励并改善生成质量。

技术框架：整体架构包括训练阶段和推理阶段。在训练阶段，NormGuard根据速度范数的变化动态调整损失函数；在推理阶段，保持速度范数在参考值附近。

关键创新：最重要的技术创新点是提出了在速度范数超过参考值时激活的铰链惩罚机制，这与传统的推理时修正方法本质上不同，能够在训练阶段直接影响模型权重。

关键设计：关键设计包括铰链惩罚的具体实现方式，损失函数的组合方式，以及如何在不同的基础模型和奖励代理中进行适配。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，NormGuard在多个基准模型和奖励代理下均显著提升了图像质量，尤其在少步推理时效果更佳，提升幅度未被早停现象解释，显示出其有效性和稳定性。

🎯 应用场景

该研究的潜在应用领域包括图像生成、视频合成和虚拟现实等领域，能够有效提升生成内容的质量和真实感，具有重要的实际价值和广泛的应用前景。未来，NormGuard可能会在更多的生成模型和任务中得到应用，推动相关技术的发展。

📄 摘要（原文）

Reinforcement learning (RL) post-training improves the reward alignment of flow-based generators, but often degrades perceptual quality in ways that are not captured by the reward proxy. We identify a simple structural signature of this drift: across three post-training methods (NFT, AWM, DPO), RL fine-tuning inflates the per-step velocity norm $\|v_θ\|$ by $5\%$ to $15\%$ relative to the reference. A form of norm inflation has been studied in classifier-free guidance (CFG), where rescaling the velocity back to a reference norm at inference time can mitigate the resulting artifacts. However, this inference-time correction does not transfer cleanly to RL: rescaling $v_θ$ to match $\|v_{\text{ref}}\|$ at inference time neither improves reward nor fixes the quality degradation, because the inflation is co-adapted into the model weights. Furthermore, an adjoint sensitivity analysis shows that velocity magnitude rescaling carries no coherent first-order reward signal at the batch level, indicating that suppressing norm inflation is unlikely to remove a consistently reward-carrying component. Since inference-time renormalization fails while norm suppression carries no reward cost, training-time intervention is the appropriate strategy. Together, these findings motivate \methodname, a hinge penalty that activates only when $\|v_θ\|$ exceeds $\|v_{\text{ref}}\|$ and composes additively with any velocity-local base loss. Across two base models, three post-training methods, and two reward proxies, \methodname consistently improves MLLM-judged image quality and forensic realism while preserving reward, with gains that amplify under few-step inference and are not explained by early stopping.