DiffChat: Learning to Chat with Text-to-Image Synthesis Models for Interactive Image Creation

📄 arXiv: 2403.04997v1 📥 PDF

作者: Jiapeng Wang, Chengyu Wang, Tingfeng Cao, Jun Huang, Lianwen Jin

分类: cs.CL, cs.CV

发布日期: 2024-03-08

💡 一句话要点

提出DiffChat以实现与文本到图像合成模型的交互式图像创作

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文本到图像合成 大型语言模型 交互式图像创作 强化学习 用户偏好 内容完整性

📋 核心要点

  1. 现有的文本到图像合成模型在用户交互和图像生成的灵活性上存在不足，难以满足复杂的用户需求。
  2. DiffChat通过结合大型语言模型和文本到图像合成模型，利用指令跟随数据集进行监督训练，提升了图像生成的质量和相关性。
  3. 实验结果显示，DiffChat在多个评估指标上超越了基线模型，尤其在美学和用户偏好方面表现显著提升。

📝 摘要（中文）

我们提出了DiffChat，这是一种新颖的方法，旨在将大型语言模型（LLMs）与以提示为输入的文本到图像合成（TIS）模型（如Stable Diffusion）对齐，以实现交互式图像创作。DiffChat能够根据原始提示/图像和用户指定的指令，进行适当的修改并生成目标提示，从而创造出高质量的目标图像。为此，我们首先收集了一个名为InstructPE的指令跟随提示工程数据集，用于DiffChat的监督训练。接着，我们提出了一个强化学习框架，基于美学、用户偏好和内容完整性三个核心标准进行图像创作的反馈。该框架采用动态修改技术以获得更相关的正样本和更具挑战性的负样本。内容完整性也被引入到价值估计函数中，以进一步改善生成的图像。我们的研究表明，DiffChat在自动和人工评估中均优于基线模型和强竞争对手，充分展示了其有效性。

🔬 方法详解

问题定义：本论文旨在解决现有文本到图像合成模型在用户交互和图像生成灵活性不足的问题，尤其是在处理复杂用户指令时的局限性。

核心思路：DiffChat的核心思路是通过将大型语言模型与文本到图像合成模型结合，利用指令跟随数据集进行监督训练，从而实现更高质量的图像生成和用户交互。

技术框架：DiffChat的整体架构包括数据收集、模型训练和强化学习反馈三个主要模块。首先，通过收集InstructPE数据集进行模型的监督训练，然后引入强化学习框架进行图像生成的优化。

关键创新：DiffChat的主要创新在于引入了动态修改技术和内容完整性作为价值估计函数的一部分，这使得模型能够在生成过程中更好地适应用户需求，并提高生成图像的质量。

关键设计：在模型设计中，DiffChat采用了强化学习的反馈机制，结合美学、用户偏好和内容完整性三个标准进行优化。同时，动态修改技术用于生成更相关的正样本和更具挑战性的负样本，以提升模型的学习效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DiffChat在美学、用户偏好和内容完整性方面的评估中，均显著优于基线模型，特别是在用户偏好方面提升幅度达到20%以上，显示出其在实际应用中的强大潜力。

🎯 应用场景

DiffChat的潜在应用领域包括艺术创作、广告设计、游戏开发等需要高质量图像生成的场景。其交互式图像创作能力能够为用户提供更灵活的创作体验，未来可能在创意产业中产生深远影响。

📄 摘要（原文）

We present DiffChat, a novel method to align Large Language Models (LLMs) to "chat" with prompt-as-input Text-to-Image Synthesis (TIS) models (e.g., Stable Diffusion) for interactive image creation. Given a raw prompt/image and a user-specified instruction, DiffChat can effectively make appropriate modifications and generate the target prompt, which can be leveraged to create the target image of high quality. To achieve this, we first collect an instruction-following prompt engineering dataset named InstructPE for the supervised training of DiffChat. Next, we propose a reinforcement learning framework with the feedback of three core criteria for image creation, i.e., aesthetics, user preference, and content integrity. It involves an action-space dynamic modification technique to obtain more relevant positive samples and harder negative samples during the off-policy sampling. Content integrity is also introduced into the value estimation function for further improvement of produced images. Our method can exhibit superior performance than baseline models and strong competitors based on both automatic and human evaluations, which fully demonstrates its effectiveness.