Improving Explicit Spatial Relationships in Text-to-Image Generation through an Automatically Derived Dataset

📄 arXiv: 2403.00587v1 📥 PDF

作者: Ander Salaberria, Gorka Azkune, Oier Lopez de Lacalle, Aitor Soroa, Eneko Agirre, Frank Keller

分类: cs.CV, cs.AI

发布日期: 2024-03-01

备注: 12 pages and 5 figures

💡 一句话要点

提出自动生成数据集以改善文本到图像生成中的空间关系问题

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting)

关键词: 文本到图像生成 空间关系 数据集构建 模型微调 计算机视觉

📋 核心要点

  1. 现有文本到图像生成系统未能准确反映对象间的空间关系，导致生成结果不理想。
  2. 论文提出了一种自动生成合成标题的方法，以增强训练数据中的空间关系表达。
  3. 微调Stable Diffusion模型后，SR4G在VISOR指标上提升了最多9分，且在未见对象上也表现出良好的泛化能力。

📝 摘要（中文）

现有的文本到图像生成系统未能准确反映对象之间的明确空间关系，如'左边'或'下面'。我们假设这是因为用于训练这些模型的图像标题中很少出现明确的空间关系。为此，我们提出了一种自动生成方法，基于现有图像生成合成标题，包含14种明确的空间关系。我们引入了空间关系生成数据集（SR4G），包含990万对图像-标题对用于训练，以及超过6万条用于评估的标题。通过对两个不同的Stable Diffusion模型进行微调，SR4G在VISOR指标上提高了最多9分，且在'未见'数据集上也能保持良好的泛化能力。该数据集和代码将公开发布。

🔬 方法详解

问题定义：论文要解决的问题是现有文本到图像生成系统在生成图像时未能准确反映对象之间的空间关系，导致生成结果的质量下降。现有方法在训练数据中缺乏明确的空间关系描述，限制了模型的学习能力。

核心思路：论文的核心思路是通过自动生成合成标题来增强训练数据，特别是包含14种明确的空间关系。这种方法旨在增加模型对空间关系的理解，从而提高生成图像的准确性。

技术框架：整体架构包括数据集的构建和模型的微调两个主要阶段。首先，利用现有图像生成合成标题，形成SR4G数据集；然后，对Stable Diffusion模型进行微调，以适应新的数据集。

关键创新：最重要的技术创新点在于SR4G数据集的构建，这是第一个专门用于空间微调的文本到图像生成数据集。与现有方法相比，SR4G提供了更丰富的空间关系信息，显著提升了模型的表现。

关键设计：在关键设计上，SR4G数据集包含990万对图像-标题对，且在评估时提供了超过6万条标题。微调过程中，采用了标准的损失函数和网络结构，确保模型在新数据集上的有效学习。通过对比实验，验证了模型在未见对象上的泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，微调后的Stable Diffusion模型（SD$_{SR4G}$）在VISOR指标上提升了最多9分，并且在未见数据集上也表现出良好的泛化能力。这一改进在参数数量较少的情况下实现，显示出SR4G在提升生成质量方面的有效性。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉、自动图像生成和人机交互等。通过改善文本到图像生成中的空间关系理解，能够提升生成图像的质量，进而在广告、游戏设计和虚拟现实等领域产生实际价值。未来，该方法可能推动更复杂的多模态生成任务的发展。

📄 摘要（原文）

Existing work has observed that current text-to-image systems do not accurately reflect explicit spatial relations between objects such as 'left of' or 'below'. We hypothesize that this is because explicit spatial relations rarely appear in the image captions used to train these models. We propose an automatic method that, given existing images, generates synthetic captions that contain 14 explicit spatial relations. We introduce the Spatial Relation for Generation (SR4G) dataset, which contains 9.9 millions image-caption pairs for training, and more than 60 thousand captions for evaluation. In order to test generalization we also provide an 'unseen' split, where the set of objects in the train and test captions are disjoint. SR4G is the first dataset that can be used to spatially fine-tune text-to-image systems. We show that fine-tuning two different Stable Diffusion models (denoted as SD${SR4G}$) yields up to 9 points improvements in the VISOR metric. The improvement holds in the 'unseen' split, showing that SD${SR4G}$ is able to generalize to unseen objects. SD$_{SR4G}$ improves the state-of-the-art with fewer parameters, and avoids complex architectures. Our analysis shows that improvement is consistent for all relations. The dataset and the code will be publicly available.