Open-Vocabulary Attention Maps with Token Optimization for Semantic Segmentation in Diffusion Models

📄 arXiv: 2403.14291v1 📥 PDF

作者: Pablo Marcos-Manchón, Roberto Alcover-Couso, Juan C. SanMiguel, Jose M. Martínez

分类: cs.CV

发布日期: 2024-03-21

期刊: IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR 2024)

💡 一句话要点

提出开放词汇注意力图以解决语义分割问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 扩散模型 语义分割 注意力机制 开放词汇 图像生成 深度学习 优化算法

📋 核心要点

  1. 现有的扩散模型在生成语义分割伪掩码时，主要依赖于与文本提示相关的注意力提取，限制了生成的灵活性。
  2. 本文提出开放词汇注意力图（OVAM），一种无训练的方法，能够为任意词生成注意力图，并引入轻量级优化过程以提升分割精度。
  3. 实验结果显示，优化后的模型在合成图像的伪掩码上，mIoU从52.1提升至86.6，证明了该方法的有效性。

📝 摘要（中文）

扩散模型代表了文本到图像生成的新范式。除了从文本提示生成高质量图像外，像Stable Diffusion这样的模型已成功扩展到语义分割伪掩码的联合生成。然而，现有扩展主要依赖于提取与图像合成相关的提示词的注意力，这限制了生成未包含在文本提示中的词令的分割掩码。本文提出了一种无训练的开放词汇注意力图（OVAM）方法，能够为任何词生成注意力图。此外，我们基于OVAM提出了一种轻量级优化过程，用于寻找生成准确注意力图的对象类令牌。实验表明，优化后的令牌能够显著提升现有方法的性能。

🔬 方法详解

问题定义：本文旨在解决现有扩散模型在生成语义分割伪掩码时的局限性，特别是对未包含在文本提示中的词令的支持不足。

核心思路：提出开放词汇注意力图（OVAM），通过无训练的方法生成任意词的注意力图，并结合轻量级优化过程来寻找生成准确注意力图的令牌。

技术框架：整体框架包括两个主要模块：开放词汇注意力图生成模块和令牌优化模块。前者负责生成任意词的注意力图，后者则通过优化过程提升注意力图的准确性。

关键创新：最重要的创新点在于OVAM的提出，使得模型能够生成与文本提示无关的注意力图，从而扩展了模型的应用范围。与现有方法相比，OVAM不需要额外的训练过程。

关键设计：在设计中，采用了轻量级的优化算法来寻找最佳令牌，确保生成的注意力图能够准确反映对象类的特征，同时保持计算效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，优化后的模型在合成图像的伪掩码上，mIoU从52.1提升至86.6，显示出显著的性能提升。这一结果证明了优化令牌在提升现有方法性能方面的有效性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、医学影像分析和机器人视觉等。通过提高语义分割的准确性，能够在这些领域中实现更高效的图像理解和处理，进而推动相关技术的发展与应用。

📄 摘要（原文）

Diffusion models represent a new paradigm in text-to-image generation. Beyond generating high-quality images from text prompts, models such as Stable Diffusion have been successfully extended to the joint generation of semantic segmentation pseudo-masks. However, current extensions primarily rely on extracting attentions linked to prompt words used for image synthesis. This approach limits the generation of segmentation masks derived from word tokens not contained in the text prompt. In this work, we introduce Open-Vocabulary Attention Maps (OVAM)-a training-free method for text-to-image diffusion models that enables the generation of attention maps for any word. In addition, we propose a lightweight optimization process based on OVAM for finding tokens that generate accurate attention maps for an object class with a single annotation. We evaluate these tokens within existing state-of-the-art Stable Diffusion extensions. The best-performing model improves its mIoU from 52.1 to 86.6 for the synthetic images' pseudo-masks, demonstrating that our optimized tokens are an efficient way to improve the performance of existing methods without architectural changes or retraining.