Training-Free Open-Vocabulary Segmentation with Offline Diffusion-Augmented Prototype Generation
作者: Luca Barsellotti, Roberto Amoroso, Marcella Cornia, Lorenzo Baraldi, Rita Cucchiara
分类: cs.CV
发布日期: 2024-04-09
备注: CVPR 2024. Project page: https://aimagelab.github.io/freeda/
💡 一句话要点
提出FreeDA以解决开放词汇语义分割问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 开放词汇分割 语义分割 扩散模型 无训练方法 多模态对齐 计算机视觉 图像处理
📋 核心要点
- 现有方法依赖于大量图像-文本对进行训练，计算成本高且缺乏对单个概念的精确定位。
- 本文提出FreeDA，通过离线生成文本-视觉嵌入，利用扩散模型进行开放词汇语义分割，无需训练。
- FreeDA在五个数据集上表现优异，mIoU平均提升超过7.0分，展示了其有效性和优越性。
📝 摘要（中文）
开放词汇语义分割旨在对以文本形式表达的任意类别进行分割。以往的方法依赖于大量图像-文本对进行训练，以实现像素级的多模态对齐。然而，文本提供了关于图像语义的全局信息，但缺乏对单个概念的直接定位。此外，在大规模数据集上训练不可避免地带来了显著的计算成本。本文提出了FreeDA，一种无训练的扩散增强方法，利用扩散模型的能力来可视化生成的概念，并通过局部-全局相似性将类无关区域与语义类别匹配。我们的方案包括一个离线阶段，在该阶段收集文本-视觉参考嵌入，利用大量的文本描述和视觉语义上下文。在测试时，这些嵌入被查询以支持视觉匹配过程，综合考虑类无关区域和全局语义相似性。广泛的分析表明，FreeDA在五个数据集上实现了最先进的性能，mIoU平均提升超过7.0分，且无需任何训练。
🔬 方法详解
问题定义：本文旨在解决开放词汇语义分割中的训练成本高和概念定位不准确的问题。现有方法依赖于大量图像-文本对进行训练，导致计算资源的浪费和效率低下。
核心思路：FreeDA的核心思路是利用扩散模型的能力进行概念的视觉定位，并通过局部-全局相似性匹配类无关区域与语义类别，从而实现无训练的分割。
技术框架：该方法包括两个主要阶段：离线阶段和测试阶段。在离线阶段，收集文本-视觉参考嵌入；在测试阶段，通过查询这些嵌入来支持视觉匹配过程，综合考虑类无关区域和全局语义相似性。
关键创新：FreeDA的创新在于其无训练的特性和利用扩散模型进行概念定位的能力，这与传统方法依赖于大规模训练数据的方式本质上不同。
关键设计：在技术细节上，FreeDA设计了高效的文本-视觉嵌入收集机制，并通过局部和全局特征的结合来优化匹配过程，确保了分割的准确性和效率。
🖼️ 关键图片
📊 实验亮点
FreeDA在五个数据集上实现了最先进的性能，mIoU平均提升超过7.0分，相较于以往方法表现出显著的优势，且无需任何训练，展示了其高效性和实用性。
🎯 应用场景
该研究在计算机视觉领域具有广泛的应用潜力，尤其是在自动标注、图像检索和增强现实等场景中。FreeDA的无训练特性使其在资源受限的环境中也能有效应用，未来可能推动更多实时语义分割系统的发展。
📄 摘要（原文）
Open-vocabulary semantic segmentation aims at segmenting arbitrary categories expressed in textual form. Previous works have trained over large amounts of image-caption pairs to enforce pixel-level multimodal alignments. However, captions provide global information about the semantics of a given image but lack direct localization of individual concepts. Further, training on large-scale datasets inevitably brings significant computational costs. In this paper, we propose FreeDA, a training-free diffusion-augmented method for open-vocabulary semantic segmentation, which leverages the ability of diffusion models to visually localize generated concepts and local-global similarities to match class-agnostic regions with semantic classes. Our approach involves an offline stage in which textual-visual reference embeddings are collected, starting from a large set of captions and leveraging visual and semantic contexts. At test time, these are queried to support the visual matching process, which is carried out by jointly considering class-agnostic regions and global semantic similarities. Extensive analyses demonstrate that FreeDA achieves state-of-the-art performance on five datasets, surpassing previous methods by more than 7.0 average points in terms of mIoU and without requiring any training.