Diffusion Model Alignment Using Direct Preference Optimization

📄 arXiv: 2311.12908v1 📥 PDF

作者: Bram Wallace, Meihua Dang, Rafael Rafailov, Linqi Zhou, Aaron Lou, Senthil Purushwalkam, Stefano Ermon, Caiming Xiong, Shafiq Joty, Nikhil Naik

分类: cs.CV, cs.AI, cs.GR, cs.LG

发布日期: 2023-11-21

💡 一句话要点

提出Diffusion-DPO以优化扩散模型对人类偏好的对齐

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 扩散模型 人类偏好 直接偏好优化 文本到图像 模型微调 生成模型 人工智能

📋 核心要点

  1. 现有的文本到图像扩散模型在对齐人类偏好方面的研究较少，主要依赖于高质量图像和标题的微调方法，效果有限。
  2. 本文提出Diffusion-DPO，通过直接优化人类比较数据，重新构建了直接偏好优化（DPO）以适应扩散模型的特性。
  3. 实验结果表明，微调后的模型在视觉吸引力和文本对齐方面显著优于基础SDXL-1.0模型，且与使用AI反馈的变体表现相当。

📝 摘要（中文）

大型语言模型（LLMs）通过人类比较数据进行微调，以增强其与用户偏好的对齐性。然而，文本到图像的扩散模型在这一领域的研究相对较少。本文提出Diffusion-DPO，一种通过直接优化人类比较数据来对齐扩散模型的方法。Diffusion-DPO基于直接偏好优化（DPO），重新构建了DPO以适应扩散模型的似然性，并利用证据下界推导出可微分目标。通过使用851K的众包成对偏好数据集，我们对最先进的Stable Diffusion XL（SDXL）-1.0模型进行了微调，结果显示微调后的模型在视觉吸引力和文本对齐方面显著优于基础模型和更大规模的SDXL-1.0模型。

🔬 方法详解

问题定义：本文旨在解决文本到图像扩散模型在对齐人类偏好方面的不足，现有方法主要依赖高质量图像和标题的微调，效果不尽如人意。

核心思路：提出Diffusion-DPO，通过直接优化人类比较数据来对齐扩散模型，避免了传统RLHF方法的复杂性，直接优化满足人类偏好的策略。

技术框架：Diffusion-DPO的整体架构包括数据收集、模型微调和评估三个主要阶段。首先，利用众包数据集收集人类偏好数据，然后对基础模型进行微调，最后通过人类评估进行效果验证。

关键创新：Diffusion-DPO的核心创新在于将直接偏好优化（DPO）重新构建为适应扩散模型的目标函数，利用证据下界推导出可微分的优化目标，这与现有的RLHF方法有本质区别。

关键设计：在模型微调过程中，采用了特定的损失函数来优化人类偏好，同时设计了适应扩散模型的网络结构，确保优化过程的有效性和稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，微调后的Diffusion-DPO模型在视觉吸引力和文本对齐方面显著优于基础的SDXL-1.0模型，提升幅度达到XX%（具体数据待补充），并且与使用AI反馈的变体表现相当，展示了其在扩散模型对齐中的有效性。

🎯 应用场景

该研究的潜在应用领域包括生成艺术、广告创作和游戏开发等，能够显著提升生成图像的质量和与用户需求的对齐程度。未来，Diffusion-DPO方法有望在更多的生成模型中推广应用，进一步推动人机交互的智能化进程。

📄 摘要（原文）

Large language models (LLMs) are fine-tuned using human comparison data with Reinforcement Learning from Human Feedback (RLHF) methods to make them better aligned with users' preferences. In contrast to LLMs, human preference learning has not been widely explored in text-to-image diffusion models; the best existing approach is to fine-tune a pretrained model using carefully curated high quality images and captions to improve visual appeal and text alignment. We propose Diffusion-DPO, a method to align diffusion models to human preferences by directly optimizing on human comparison data. Diffusion-DPO is adapted from the recently developed Direct Preference Optimization (DPO), a simpler alternative to RLHF which directly optimizes a policy that best satisfies human preferences under a classification objective. We re-formulate DPO to account for a diffusion model notion of likelihood, utilizing the evidence lower bound to derive a differentiable objective. Using the Pick-a-Pic dataset of 851K crowdsourced pairwise preferences, we fine-tune the base model of the state-of-the-art Stable Diffusion XL (SDXL)-1.0 model with Diffusion-DPO. Our fine-tuned base model significantly outperforms both base SDXL-1.0 and the larger SDXL-1.0 model consisting of an additional refinement model in human evaluation, improving visual appeal and prompt alignment. We also develop a variant that uses AI feedback and has comparable performance to training on human preferences, opening the door for scaling of diffusion model alignment methods.