TAG: Guidance-free Open-Vocabulary Semantic Segmentation

📄 arXiv: 2403.11197v1 📥 PDF

作者: Yasufumi Kawano, Yoshimitsu Aoki

分类: cs.CV

发布日期: 2024-03-17

备注: 18 pages

🔗 代码/项目: GITHUB

💡 一句话要点

提出TAG以解决无指导开放词汇语义分割问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 语义分割 开放词汇 无监督学习 计算机视觉 深度学习 图像处理 预训练模型

📋 核心要点

  1. 现有的语义分割方法依赖于像素级注释和有限的类别，难以处理新类别和稀有类别。
  2. TAG方法通过利用预训练模型，实现了无训练、无注释和无指导的开放词汇语义分割，灵活性更高。
  3. 在PascalVOC等数据集上，TAG的性能显著提升，mIoU提高了15.3，展现了其有效性。

📝 摘要（中文）

语义分割是计算机视觉中的一项关键任务，旨在将图像中的每个像素分类到特定类别。然而，传统方法面临着需要像素级注释和大量训练的挑战，且由于监督学习使用有限的预定义类别，模型通常难以识别稀有类别或新类别。为了解决这些问题，论文提出了一种新方法TAG，实现了无训练、无注释和无指导的开放词汇语义分割。TAG利用预训练模型如CLIP和DINO，在不需要额外训练或密集注释的情况下，将图像分割为有意义的类别，并从外部数据库中检索类标签，提供了适应新场景的灵活性。TAG在PascalVOC、PascalContext和ADE20K上实现了开放词汇分割的最新结果，PascalVOC的mIoU提升了15.3。

🔬 方法详解

问题定义：本论文旨在解决传统语义分割方法在处理新类别和稀有类别时的局限性，尤其是依赖于大量像素级注释和预定义类别的问题。

核心思路：TAG通过结合预训练模型CLIP和DINO，提出了一种无训练、无注释和无指导的开放词汇语义分割方法，允许模型在没有明确类别标签的情况下进行图像分割。

技术框架：TAG的整体架构包括数据输入、特征提取、类标签检索和分割输出四个主要模块。首先，输入图像经过CLIP和DINO提取特征，然后从外部数据库中检索相关类标签，最后进行语义分割。

关键创新：TAG的主要创新在于其完全不依赖于用户提供的文本查询，能够自动从外部数据库中获取类标签，从而实现开放词汇的灵活性。这一设计使得模型能够适应新的场景和类别。

关键设计：在技术细节上，TAG使用了特定的损失函数来优化分割效果，并在网络结构上结合了CLIP和DINO的特征提取能力，确保了高效的图像分割性能。具体的参数设置和网络结构细节将在代码中提供。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

TAG在PascalVOC、PascalContext和ADE20K数据集上取得了显著的实验结果，特别是在PascalVOC上，mIoU提升了15.3，展现了其在开放词汇语义分割任务中的领先性能。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、医学影像分析和机器人视觉等。通过实现开放词汇的语义分割，TAG能够在多种场景中灵活适应新类别，提高了计算机视觉系统的智能化水平，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Semantic segmentation is a crucial task in computer vision, where each pixel in an image is classified into a category. However, traditional methods face significant challenges, including the need for pixel-level annotations and extensive training. Furthermore, because supervised learning uses a limited set of predefined categories, models typically struggle with rare classes and cannot recognize new ones. Unsupervised and open-vocabulary segmentation, proposed to tackle these issues, faces challenges, including the inability to assign specific class labels to clusters and the necessity of user-provided text queries for guidance. In this context, we propose a novel approach, TAG which achieves Training, Annotation, and Guidance-free open-vocabulary semantic segmentation. TAG utilizes pre-trained models such as CLIP and DINO to segment images into meaningful categories without additional training or dense annotations. It retrieves class labels from an external database, providing flexibility to adapt to new scenarios. Our TAG achieves state-of-the-art results on PascalVOC, PascalContext and ADE20K for open-vocabulary segmentation without given class names, i.e. improvement of +15.3 mIoU on PascalVOC. All code and data will be released at https://github.com/Valkyrja3607/TAG.