Self-Play Fine-Tuning of Diffusion Models for Text-to-Image Generation

📄 arXiv: 2402.10210v1 📥 PDF

作者: Huizhuo Yuan, Zixiang Chen, Kaixuan Ji, Quanquan Gu

分类: cs.LG, cs.AI, cs.CL, cs.CV, stat.ML

发布日期: 2024-02-15

备注: 28 pages, 8 figures, 10 tables

💡 一句话要点

提出自我对弈微调方法以提升扩散模型的文本到图像生成能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 扩散模型 自我对弈 文本到图像生成 微调方法 生成式人工智能 用户偏好对齐 视觉吸引力

📋 核心要点

  1. 现有的扩散模型在微调过程中性能容易达到瓶颈，尤其在数据量有限的情况下。
  2. 本文提出自我对弈微调（SPIN-Diffusion），通过模型间的竞争实现自我改进，替代传统的监督微调和强化学习方法。
  3. 实验结果显示，SPIN-Diffusion在用户偏好对齐和视觉吸引力方面优于传统方法，并在第二次迭代中超越了强化学习微调方法。

📝 摘要（中文）

微调扩散模型在生成人工智能领域仍然是一个未被充分探索的前沿，尤其是与大型语言模型的微调进展相比。现有的扩散模型如Stable Diffusion依赖于监督微调，其性能在接触一定数据量后会达到瓶颈。本文提出了一种创新的自我对弈微调技术（SPIN-Diffusion），通过让扩散模型与其早期版本进行竞争，促进了迭代自我改进过程。实验结果表明，SPIN-Diffusion在Pick-a-Pic数据集上在用户偏好对齐和视觉吸引力方面优于现有的监督微调方法，并在第二次迭代中超越了基于强化学习的微调方法，且所需数据量更少。

🔬 方法详解

问题定义：本文旨在解决扩散模型在微调过程中的性能瓶颈问题，现有方法如监督微调和强化学习需要大量数据且效果有限。

核心思路：提出自我对弈微调（SPIN-Diffusion），通过让模型与自身早期版本竞争，促进模型的迭代自我改进，减少对人类偏好数据的依赖。

技术框架：SPIN-Diffusion的整体架构包括模型的自我对弈机制、迭代训练过程和性能评估模块，主要阶段为模型生成、竞争评估和参数更新。

关键创新：最重要的创新在于引入自我对弈机制，使得模型能够在没有额外人类标注的情况下进行有效的自我优化，显著提升了模型的性能和对齐度。

关键设计：在参数设置上，采用了适应性学习率和特定的损失函数来优化自我对弈过程，网络结构上则保持了扩散模型的基本架构，同时增加了竞争评估模块以支持自我对弈。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SPIN-Diffusion在用户偏好对齐和视觉吸引力方面优于现有的监督微调方法，且在第二次迭代中超越了基于强化学习的方法，整体性能提升显著，所需数据量更少。

🎯 应用场景

该研究的潜在应用领域包括图像生成、艺术创作、游戏设计等，能够为生成式人工智能提供更高效的微调方法，提升生成内容的质量和用户体验。未来，该方法可能推动更多领域的自我学习和自我优化技术的发展。

📄 摘要（原文）

Fine-tuning Diffusion Models remains an underexplored frontier in generative artificial intelligence (GenAI), especially when compared with the remarkable progress made in fine-tuning Large Language Models (LLMs). While cutting-edge diffusion models such as Stable Diffusion (SD) and SDXL rely on supervised fine-tuning, their performance inevitably plateaus after seeing a certain volume of data. Recently, reinforcement learning (RL) has been employed to fine-tune diffusion models with human preference data, but it requires at least two images ("winner" and "loser" images) for each text prompt. In this paper, we introduce an innovative technique called self-play fine-tuning for diffusion models (SPIN-Diffusion), where the diffusion model engages in competition with its earlier versions, facilitating an iterative self-improvement process. Our approach offers an alternative to conventional supervised fine-tuning and RL strategies, significantly improving both model performance and alignment. Our experiments on the Pick-a-Pic dataset reveal that SPIN-Diffusion outperforms the existing supervised fine-tuning method in aspects of human preference alignment and visual appeal right from its first iteration. By the second iteration, it exceeds the performance of RLHF-based methods across all metrics, achieving these results with less data.