$λ$-ECLIPSE: Multi-Concept Personalized Text-to-Image Diffusion Models by Leveraging CLIP Latent Space

📄 arXiv: 2402.05195v2 📥 PDF

作者: Maitreya Patel, Sangmin Jung, Chitta Baral, Yezhou Yang

分类: cs.CV, cs.CL

发布日期: 2024-02-07 (更新: 2024-04-09)

备注: Project page: https://eclipse-t2i.github.io/Lambda-ECLIPSE/

💡 一句话要点

提出$λ$-ECLIPSE以解决个性化文本到图像生成的资源效率问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 个性化生成 文本到图像 潜在扩散模型 CLIP模型 多主题驱动 资源效率 图像生成

📋 核心要点

  1. 现有个性化文本到图像生成方法在资源利用上效率低下，训练时间长且结果不稳定。
  2. $λ$-ECLIPSE通过在预训练的CLIP模型潜在空间中进行图像-文本交错预训练，提供了一种高效的多主题驱动生成方案。
  3. 实验结果显示，$λ$-ECLIPSE在构图对齐上超越了现有基线，同时保持了概念对齐性能，资源利用显著降低。

📝 摘要（中文）

尽管个性化文本到图像生成模型（P-T2I）近年来取得了进展，但在资源高效的情况下进行无微调的多主题驱动生成仍然具有挑战性。现有方法通常依赖于重计算资源，训练时间从600到12300 GPU小时不等。本文提出的$λ$-ECLIPSE通过利用预训练的CLIP模型的潜在空间，提供了一种新的先前训练策略，避免了对扩散UNet模型的依赖。实验表明，$λ$-ECLIPSE在保持概念对齐性能的同时，超越了现有基线，并且仅需34M参数和74 GPU小时的训练时间，展现了多概念插值的独特能力。

🔬 方法详解

问题定义：本文旨在解决个性化文本到图像生成（P-T2I）中资源效率低下的问题。现有方法通常依赖于重计算资源，导致训练时间长且结果不一致。

核心思路：$λ$-ECLIPSE提出了一种新的先前训练策略，利用预训练的CLIP模型的潜在空间进行快速有效的多主题驱动生成，避免了对扩散UNet模型的依赖。

技术框架：该方法的整体架构包括图像-文本交错预训练阶段，利用CLIP模型的潜在空间进行多主题生成。主要模块包括潜在空间映射和多主题插值。

关键创新：$λ$-ECLIPSE的核心创新在于其不依赖于扩散模型的设计，使得生成过程更加高效，且在资源利用上显著降低。

关键设计：该方法使用了34M参数，训练时间仅需74 GPU小时，采用了适合多主题生成的损失函数和网络结构，确保了生成结果的质量与一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，$λ$-ECLIPSE在构图对齐方面超越了现有基线，保持了概念对齐性能，且资源利用显著降低，训练仅需34M参数和74 GPU小时，展现出良好的性能提升。

🎯 应用场景

$λ$-ECLIPSE的研究成果在艺术创作、广告设计和虚拟现实等领域具有广泛的应用潜力。其高效的生成能力可以帮助创作者快速生成多样化的视觉内容，提升创作效率，降低资源消耗。

📄 摘要（原文）

Despite the recent advances in personalized text-to-image (P-T2I) generative models, it remains challenging to perform finetuning-free multi-subject-driven T2I in a resource-efficient manner. Predominantly, contemporary approaches, involving the training of Hypernetworks and Multimodal Large Language Models (MLLMs), require heavy computing resources that range from 600 to 12300 GPU hours of training. These subject-driven T2I methods hinge on Latent Diffusion Models (LDMs), which facilitate T2I mapping through cross-attention layers. While LDMs offer distinct advantages, P-T2I methods' reliance on the latent space of these diffusion models significantly escalates resource demands, leading to inconsistent results and necessitating numerous iterations for a single desired image. In this paper, we present $λ$-ECLIPSE, an alternative prior-training strategy that works in the latent space of a pre-trained CLIP model without relying on the diffusion UNet models. $λ$-ECLIPSE leverages the image-text interleaved pre-training for fast and effective multi-subject-driven P-T2I. Through extensive experiments, we establish that $λ$-ECLIPSE surpasses existing baselines in composition alignment while preserving concept alignment performance, even with significantly lower resource utilization. $λ$-ECLIPSE performs multi-subject driven P-T2I with just 34M parameters and is trained on a mere 74 GPU hours. Additionally, $λ$-ECLIPSE demonstrates the unique ability to perform multi-concept interpolations.