UNIMO-G: Unified Image Generation through Multimodal Conditional Diffusion

📄 arXiv: 2401.13388v3 📥 PDF

作者: Wei Li, Xue Xu, Jiachen Liu, Xinyan Xiao

分类: cs.CV

发布日期: 2024-01-24 (更新: 2024-06-06)

备注: Accepted by ACL 2024, Main Conference, Long Paper

💡 一句话要点

提出UNIMO-G以解决多模态条件图像生成问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态生成 条件扩散 图像合成 深度学习 文本到图像

📋 核心要点

  1. 现有文本到图像生成模型在处理复杂细节时面临挑战，尤其是当文本描述过于简洁时。
  2. UNIMO-G通过引入多模态提示，结合文本和视觉输入，提供了一种统一的图像生成框架。
  3. 实验结果表明，UNIMO-G在文本到图像生成和零-shot主题驱动合成方面均表现优异，生成高保真图像的能力显著提升。

📝 摘要（中文）

现有的文本到图像扩散模型主要依赖文本提示生成图像，但文本描述的简洁性使得生成复杂细节图像面临挑战。本文提出UNIMO-G，一个简单的多模态条件扩散框架，能够处理交错的文本和视觉输入，展示了文本驱动和主题驱动图像生成的统一能力。UNIMO-G包含两个核心组件：用于编码多模态提示的多模态大语言模型（MLLM）和基于编码的多模态输入生成图像的条件去噪扩散网络。通过两阶段训练策略，首先在大规模文本-图像对上进行预训练，然后使用多模态提示进行指令调优，从而实现统一的图像生成能力。UNIMO-G在文本到图像生成和零-shot主题驱动合成方面表现出色，能够从复杂的多模态提示中生成高保真图像。

🔬 方法详解

问题定义：本文旨在解决现有文本到图像生成模型在生成复杂细节图像时的不足，尤其是文本描述的简洁性导致的图像合成挑战。

核心思路：UNIMO-G通过引入多模态提示，结合文本和视觉信息，提供了一种统一的生成框架，旨在提升图像生成的细节和准确性。

技术框架：UNIMO-G的整体架构包括两个主要模块：多模态大语言模型（MLLM）用于编码多模态提示，以及条件去噪扩散网络用于生成图像。框架采用两阶段训练策略，首先进行大规模文本-图像对的预训练，然后进行多模态提示的指令调优。

关键创新：UNIMO-G的核心创新在于其能够处理交错的文本和视觉输入，提供统一的图像生成能力，这与传统的仅依赖文本提示的生成方法有本质区别。

关键设计：在设计中，采用了精心设计的数据处理管道，包括语言基础和图像分割，以构建多模态提示。此外，训练过程中使用了特定的损失函数和网络结构，以确保生成图像的高保真度和细节丰富性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，UNIMO-G在文本到图像生成任务中，相较于现有基线模型，生成图像的保真度和细节丰富性显著提升，尤其在处理复杂多模态提示时，表现出色。具体性能数据表明，UNIMO-G在多个标准数据集上均取得了优于现有技术的结果。

🎯 应用场景

UNIMO-G的研究成果在多个领域具有潜在应用价值，包括艺术创作、广告设计、虚拟现实和游戏开发等。通过提供更高质量的图像生成能力，UNIMO-G能够帮助创作者更好地实现其视觉构思，提升用户体验。未来，该技术可能在自动化内容生成和人机交互中发挥更大作用。

📄 摘要（原文）

Existing text-to-image diffusion models primarily generate images from text prompts. However, the inherent conciseness of textual descriptions poses challenges in faithfully synthesizing images with intricate details, such as specific entities or scenes. This paper presents UNIMO-G, a simple multimodal conditional diffusion framework that operates on multimodal prompts with interleaved textual and visual inputs, which demonstrates a unified ability for both text-driven and subject-driven image generation. UNIMO-G comprises two core components: a Multimodal Large Language Model (MLLM) for encoding multimodal prompts, and a conditional denoising diffusion network for generating images based on the encoded multimodal input. We leverage a two-stage training strategy to effectively train the framework: firstly pre-training on large-scale text-image pairs to develop conditional image generation capabilities, and then instruction tuning with multimodal prompts to achieve unified image generation proficiency. A well-designed data processing pipeline involving language grounding and image segmentation is employed to construct multi-modal prompts. UNIMO-G excels in both text-to-image generation and zero-shot subject-driven synthesis, and is notably effective in generating high-fidelity images from complex multimodal prompts involving multiple image entities.