An Intermediate Fusion ViT Enables Efficient Text-Image Alignment in Diffusion Models

📄 arXiv: 2403.16530v1 📥 PDF

作者: Zizhao Hu, Shaochong Jia, Mohammad Rostami

分类: cs.CV, cs.AI

发布日期: 2024-03-25

💡 一句话要点

提出中间融合ViT以提高扩散模型中的文本-图像对齐效率

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 扩散模型 文本到图像生成 多模态融合 中间融合机制 视觉-语言对齐 U型ViT 计算效率

📋 核心要点

  1. 现有的扩散模型在生成视觉内容时，难以有效对齐语言中的高层语义信息，影响生成质量。
  2. 本文提出了一种中间融合机制，通过优化文本与图像特征的融合方式，提升文本到图像的对齐效果。
  3. 实验结果显示，中间融合模型在生成质量和效率上均优于传统的早期融合方法，显著提升了训练速度和生成效果。

📝 摘要（中文）

扩散模型在条件数据跨模态生成任务中得到了广泛应用，如文本到图像和文本到视频。然而，现有的最先进模型在将生成的视觉概念与语言中的高层语义（如对象数量、空间关系等）对齐方面仍存在不足。本文从多模态数据融合的角度出发，探讨不同融合策略对视觉-语言对齐的影响。研究发现，与广泛使用的早期融合方法相比，特别设计的中间融合能够提升文本到图像的对齐效果，改善生成质量，并通过减少低秩文本到图像的注意力计算，提高训练和推理效率。实验结果表明，本文的中间融合模型在MS-COCO数据集上的CLIP得分更高，FID更低，FLOPs减少20%，训练速度提高50%。

🔬 方法详解

问题定义：本文旨在解决扩散模型在文本到图像生成任务中，生成的视觉内容与语言高层语义对齐不足的问题。现有方法主要依赖早期融合策略，导致生成质量和效率的局限性。

核心思路：提出了一种中间融合机制，通过在预训练图像特征空间中进行文本条件的中间融合，来增强文本与图像之间的对齐效果。这种设计旨在减少低秩注意力计算，从而提高生成质量和效率。

技术框架：整体架构基于U型ViT骨干网络，包含文本特征提取、图像特征提取和中间融合模块。中间融合模块在文本和图像特征之间进行交互，以优化对齐效果。

关键创新：最重要的创新在于中间融合机制的引入，与传统的早期融合方法相比，它能够显著提升文本到图像的对齐效果，并减少计算复杂度。

关键设计：在模型设计中，采用了特定的损失函数来优化对齐效果，并通过调整注意力机制的参数设置，降低了FLOPs，同时提高了训练速度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，本文提出的中间融合模型在MS-COCO数据集上实现了更高的CLIP得分和更低的FID，相较于强基线U-ViT，FLOPs减少了20%，训练速度提高了50%，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括文本到图像生成、图像检索和多模态内容创作等。通过提高文本与图像的对齐效率，能够在艺术创作、广告设计和教育等多个领域产生实际价值，推动多模态生成技术的发展。

📄 摘要（原文）

Diffusion models have been widely used for conditional data cross-modal generation tasks such as text-to-image and text-to-video. However, state-of-the-art models still fail to align the generated visual concepts with high-level semantics in a language such as object count, spatial relationship, etc. We approach this problem from a multimodal data fusion perspective and investigate how different fusion strategies can affect vision-language alignment. We discover that compared to the widely used early fusion of conditioning text in a pretrained image feature space, a specially designed intermediate fusion can: (i) boost text-to-image alignment with improved generation quality and (ii) improve training and inference efficiency by reducing low-rank text-to-image attention calculations. We perform experiments using a text-to-image generation task on the MS-COCO dataset. We compare our intermediate fusion mechanism with the classic early fusion mechanism on two common conditioning methods on a U-shaped ViT backbone. Our intermediate fusion model achieves a higher CLIP Score and lower FID, with 20% reduced FLOPs, and 50% increased training speed compared to a strong U-ViT baseline with an early fusion.