On-Policy Self-Distillation in Diffusion Models

📄 arXiv: 2608.24646v1 📥 PDF

作者: Wei Zhou, Xiongwei Zhu, Lingdong Kong, Bo Chen, Lei Zhang, Yongyuan Liang, Xiaoxia Hou, Ye Tian, Xian Sun, Yingshuo Wang, Linfeng Li, Shengqiong Wu, Leigang Qu, Feng Li, Wei Liu, Julian McAuley, Tat-Seng Chua

分类: cs.CV

发布日期: 2026-08-25

备注: Technical Report; Project Page at https://diffusionopsd.github.io GitHub Repo at https://github.com/worldbench/DiffusionOPSD

💡 一句话要点

提出DiffusionOPSD以解决扩散模型与人类偏好对齐问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 扩散模型 强化学习 自蒸馏 图像生成 模型对齐 训练效率 奖励机制

📋 核心要点

  1. 现有的扩散模型在与人类偏好对齐时，缺乏明确的中间去噪预测指导，导致训练效率低下。
  2. 本文提出DiffusionOPSD框架，通过在线自蒸馏将图像级奖励转化为清晰的中间监督目标，提升模型训练效果。
  3. 在多个实验设置中，DiffusionOPSD在性能上超越了最强竞争方法，且显著减少了训练时间。

📝 摘要（中文）

强化学习可以使扩散模型与人类偏好和特定任务目标对齐，但现有的端点奖励并未明确指示中间去噪预测应如何变化。本文提出DiffusionOPSD作为一种在线自蒸馏框架，将图像级奖励指导转化为清晰输出预测的显式目标。在每次外部迭代中，冻结的行为策略生成轨迹并提供查询状态和锚点。奖励梯度在每个锚点周围构建有界的正负目标。可训练策略通过有限拟合来适应这些目标，然后通过指数移动平均更新刷新行为策略。实验结果表明，该方法在19个奖励匹配设置中取得了最佳的最终得分，相较于DiffusionNFT减少了训练GPU小时数。

🔬 方法详解

问题定义：本文旨在解决扩散模型在强化学习中与人类偏好对齐的困难，现有方法未能提供中间去噪预测的明确指导，导致训练效果不佳。

核心思路：提出DiffusionOPSD框架，通过将图像级奖励转化为清晰的目标，利用在线自蒸馏机制，提升模型的训练效率和对齐效果。

技术框架：该框架包括冻结的行为策略生成轨迹、奖励梯度构建目标、可训练策略适应目标以及指数移动平均更新行为策略等主要模块。

关键创新：DiffusionOPSD的核心创新在于将图像级奖励转化为中间监督目标，并通过在线自蒸馏机制实现高效的模型训练，与传统方法相比，提供了更为清晰的目标指导。

关键设计：在设计中，采用了有限拟合的策略适应机制，构建了有界的正负目标，并通过指数移动平均更新来保持行为策略的稳定性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

在19个奖励匹配设置中，DiffusionOPSD在性能上超越了最强竞争方法，提升幅度高达44.0%。此外，相较于DiffusionNFT，训练GPU小时数减少了40%至63%，显示出显著的效率提升。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉、图像生成和强化学习等。通过提高扩散模型的训练效率和对齐能力，DiffusionOPSD能够在多种任务中实现更优的性能，推动智能系统的实际应用和发展。

📄 摘要（原文）

Reinforcement learning can align diffusion models with human preferences and task-specific objectives, but endpoint rewards do not specify how an intermediate denoising prediction should change. We introduce DiffusionOPSD as an on-policy self-distillation framework that converts image-level reward guidance into explicit targets for clean-output predictions at sampled queries. At each outer iteration, a frozen behavior policy generates trajectories and supplies query states and anchors. Reward gradients construct bounded positive and negative targets around each anchor. The trainable policy fits these targets as detached supervision through finite fitting before an exponential moving average update refreshes the behavior policy. This setup lets us measure target construction and finite realization separately. Controlled same-query experiments show that larger target-construction gains do not necessarily translate into larger realized gains after a single fitting update. Across SD 3.5-M and the step-distilled Z-Image-Turbo, our approach achieves the best final held-out scores in 19 of 20 reward-matched settings across two backbones and ten evaluators. It outperforms the strongest competing method by up to 44.0% and reduces training GPU-hours relative to DiffusionNFT by 40% on SD 3.5-M and 63% on Z-Image-Turbo. These results support on-policy self-distillation as an efficient and analyzable approach to diffusion post-training by converting image-level reward guidance into explicit and continually refreshed intermediate supervision, thereby opening a path toward more efficient and diagnosable alignment.