Using Human Feedback to Fine-tune Diffusion Models without Any Reward Model

📄 arXiv: 2311.13231v3 📥 PDF

作者: Kai Yang, Jian Tao, Jiafei Lyu, Chunjiang Ge, Jiaxin Chen, Qimai Li, Weihan Shen, Xiaolong Zhu, Xiu Li

分类: cs.LG, cs.AI, cs.CV

发布日期: 2023-11-22 (更新: 2024-03-23)

备注: CVPR 2024 accepted; huggingface daily paper

🔗 代码/项目: GITHUB

💡 一句话要点

提出D3PO方法以解决扩散模型奖励模型训练问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 扩散模型 人类反馈 强化学习 图像生成 模型微调 直接偏好优化 计算机视觉

📋 核心要点

  1. 现有的扩散模型微调方法依赖于奖励模型的训练，过程复杂且资源消耗大。
  2. 本文提出D3PO方法，直接在扩散模型上进行微调，省略了奖励模型的训练步骤。
  3. 实验结果表明，D3PO在图像生成质量上与传统方法相当，同时降低了计算开销。

📝 摘要（中文）

使用人类反馈的强化学习（RLHF）在扩散模型的微调中展现出显著的潜力。现有方法需先训练一个与人类偏好对齐的奖励模型，随后利用RL技术进行微调，这一过程耗时且成本高昂。为此，本文提出直接偏好去噪扩散策略优化（D3PO）方法，直接对扩散模型进行微调，省略了奖励模型的训练。理论分析表明，D3PO有效地充当了通过人类反馈数据训练的最优奖励模型，且在实验中使用目标的相对规模作为人类偏好的代理，取得了与使用真实奖励的方法相当的结果，同时降低了图像失真率，生成更安全的图像。我们的代码已公开发布。

🔬 方法详解

问题定义：现有方法在微调扩散模型时需要训练奖励模型，这一过程不仅耗时且需要大量数据和手动调参，限制了其应用。

核心思路：D3PO方法通过直接优化偏好，省略了奖励模型的训练，利用人类反馈数据指导学习过程，从而实现更高效的微调。

技术框架：D3PO的整体架构包括数据收集、偏好优化和模型更新三个主要模块。首先收集人类反馈数据，然后通过相对目标规模进行偏好优化，最后更新扩散模型。

关键创新：D3PO的最大创新在于不再依赖于奖励模型，而是直接通过优化偏好来指导模型学习，这一方法显著降低了计算资源的需求。

关键设计：在D3PO中，采用了相对目标规模作为人类偏好的代理，设计了适应于扩散模型的损失函数，确保了模型在去噪过程中的有效性和稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，D3PO方法在图像生成任务中与传统的奖励模型方法相比，能够有效降低图像失真率，并生成更安全的图像，且在计算资源消耗上显著减少，证明了其优越性。

🎯 应用场景

该研究在图像生成、计算机视觉和人机交互等领域具有广泛的应用潜力。通过简化扩散模型的微调过程，D3PO方法能够加速模型的开发与部署，降低成本，提升生成图像的质量和安全性，未来可应用于艺术创作、虚拟现实等多个场景。

📄 摘要（原文）

Using reinforcement learning with human feedback (RLHF) has shown significant promise in fine-tuning diffusion models. Previous methods start by training a reward model that aligns with human preferences, then leverage RL techniques to fine-tune the underlying models. However, crafting an efficient reward model demands extensive datasets, optimal architecture, and manual hyperparameter tuning, making the process both time and cost-intensive. The direct preference optimization (DPO) method, effective in fine-tuning large language models, eliminates the necessity for a reward model. However, the extensive GPU memory requirement of the diffusion model's denoising process hinders the direct application of the DPO method. To address this issue, we introduce the Direct Preference for Denoising Diffusion Policy Optimization (D3PO) method to directly fine-tune diffusion models. The theoretical analysis demonstrates that although D3PO omits training a reward model, it effectively functions as the optimal reward model trained using human feedback data to guide the learning process. This approach requires no training of a reward model, proving to be more direct, cost-effective, and minimizing computational overhead. In experiments, our method uses the relative scale of objectives as a proxy for human preference, delivering comparable results to methods using ground-truth rewards. Moreover, D3PO demonstrates the ability to reduce image distortion rates and generate safer images, overcoming challenges lacking robust reward models. Our code is publicly available at https://github.com/yk7333/D3PO.