RL-Native Distillation: Exploiting Scored Trajectories for Few-Step Image Generation

📄 arXiv: 2608.09226v1 📥 PDF

作者: Yuhan Li, Fangao Zeng, Sicong Kang, Mengfei Xu, Hao Zhou, Wei Li, Pipei Huang, Bingbing Ni

分类: cs.CV, cs.AI

发布日期: 2026-08-10

💡 一句话要点

提出REST框架以解决高效图像生成中的蒸馏问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 文本到图像生成 强化学习 蒸馏训练 轨迹学习 生成模型

📋 核心要点

  1. 现有的文本到图像生成方法在蒸馏过程中通常是顺序执行，导致训练成本高且可能损失奖励增益。
  2. 本文提出REST框架，利用RL教师生成的轨迹作为蒸馏监督，避免了额外的图像生成和数据集需求。
  3. 实验表明，REST在少步推理中超越了40步RL教师，且训练成本仅增加25%，显著提高了生成质量。

📝 摘要（中文）

高效的文本到图像生成需要强化学习（RL）奖励对齐和少步蒸馏，但现有方法通常是顺序执行，增加了训练成本并可能导致奖励增益的损失。本文提出REST（奖励增强评分轨迹蒸馏），一种单阶段的RL蒸馏共同训练框架，利用RL教师的演化轨迹为学生提供蒸馏监督。通过引入优势调制蒸馏（AMD），该方法强化了来自优选轨迹的监督，同时抑制低奖励轨迹的影响。实验结果表明，REST在少步推理中表现优异，训练成本仅增加25%。

🔬 方法详解

问题定义：本文旨在解决高效文本到图像生成中的蒸馏问题，现有方法在执行过程中往往顺序进行，导致训练成本增加和奖励增益的损失。

核心思路：提出REST框架，利用RL教师生成的奖励评分轨迹作为蒸馏监督，而不是将其视为一次性采样的副产品，从而实现更高效的训练。

技术框架：REST框架包括一个解耦的学生网络与任意RL教师的共同训练，学生从教师的演化轨迹中进行分段学习，保持教师的优化过程不变。

关键创新：引入优势调制蒸馏（AMD），将轨迹优势转化为基于蒸馏损失的加权，强化来自优选轨迹的监督，同时抑制低奖励轨迹的影响，这是与现有方法的本质区别。

关键设计：该框架不需要额外的图像生成、独立的蒸馏数据集或对抗训练，设计上轻量且易于集成，损失函数和网络结构经过优化以适应蒸馏过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，REST在少步CFG-free推理中表现优异，能够匹配或超越其40步RL教师的性能，且训练成本仅增加25%。在DrawBench PickScore上，REST比RTDMD提升了0.82，同时训练迭代次数仅为后者的五分之一。

🎯 应用场景

该研究的潜在应用领域包括高效的文本到图像生成、视觉文本渲染以及人类偏好对齐等。REST框架的轻量化设计使其能够快速集成到现有的生成模型中，提升生成质量，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Efficient text-to-image generation requires both reinforcement-learning (RL)-based reward alignment and few-step distillation, yet these procedures are typically performed sequentially, increasing training cost and risking the loss of reward gains during compression. We instead take an RL-native perspective: diffusion RL already generates reward-scored finite-step trajectories, whose intermediate states provide a natural source of distillation supervision rather than a disposable byproduct of sampling. Based on this insight, we propose REST (Reward-Enhanced Scored-Trajectory Distillation), a single-stage RL-distillation co-training framework that attaches a decoupled student to an arbitrary RL teacher. The student learns segment-wise from the teacher's evolving rollout trajectories while leaving the original teacher optimization unchanged. To prevent uniform imitation from preserving undesirable low-reward behaviors, we further introduce Advantage-Modulated Distillation (AMD), which transforms rollout advantages into signed weights over a base distillation loss. AMD strengthens supervision from preferred trajectories and mildly repels the student from low-reward ones. The resulting framework is lightweight and plug-and-play, requires no extra image rollouts, no separate distillation dataset, and no adversarial training. Experiments on compositional generation, visual text rendering, and human-preference alignment show that REST enables few-step CFG-free inference that matches or surpasses its 40-step RL teacher, with an overall additional training cost below 25% over pure RL. REST improves DrawBench PickScore over RTDMD by 0.82 while requiring only one-fifth of the training iterations.