Emergent Open-Vocabulary Semantic Segmentation from Off-the-shelf Vision-Language Models

📄 arXiv: 2311.17095v4 📥 PDF

作者: Jiayun Luo, Siddhesh Khandelwal, Leonid Sigal, Boyang Li

分类: cs.CV, cs.AI

发布日期: 2023-11-28 (更新: 2024-06-15)

备注: Accepted to CVPR 2024; Earlier version of this paper contained an unintentional error stemming from a bug in the code. This version corrects this error, which had to do with filtering of class names. In consultation with CVPR Program Chairs it was suggested errata be submitted as the updated (fixed) code reinforced original findings (albeit with slightly different final numbers)

🔗 代码/项目: GITHUB

💡 一句话要点

提出PnP-OVSS以解决开放词汇语义分割问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 开放词汇 语义分割 视觉-语言模型 显著性丢弃 图像-文本匹配 无训练方法 深度学习

📋 核心要点

  1. 现有的视觉-语言模型在开放词汇语义分割任务中难以有效利用图像与文本的关联，导致分割效果不佳。
  2. 本文提出的PnP-OVSS方法通过直接文本-图像交叉注意力和显著性丢弃机制，提供了一种无需训练的解决方案。
  3. 实验结果表明，PnP-OVSS在Pascal VOC、MS COCO等数据集上分别提升了26.2%、20.5%的mIoU，显示出显著的性能改进。

📝 摘要（中文）

大规模视觉-语言模型（VLMs）通过图像-文本对隐式学习图像区域与词汇的关联，虽然在视觉问答等任务中表现出色，但在开放词汇语义分割中仍面临挑战。本文提出了一种简单而有效的无训练技术——插拔式开放词汇语义分割（PnP-OVSS）。该方法利用VLM的直接文本-图像交叉注意力和图像-文本匹配损失，通过引入显著性丢弃机制来平衡过分割与欠分割的问题。PnP-OVSS无需任何神经网络训练，且在没有分割注释的情况下进行超参数调优。实验结果显示，PnP-OVSS在多个数据集上显著提升了性能。

🔬 方法详解

问题定义：本文旨在解决开放词汇语义分割中的有效性问题，现有方法在利用视觉-语言模型的图像与文本关联时，往往无法达到理想的分割效果，导致过分割或欠分割现象。

核心思路：PnP-OVSS的核心思路是利用VLM的文本-图像交叉注意力机制，结合显著性丢弃技术，通过迭代丢弃模型最关注的图像区域，来更好地确定分割掩膜的完整范围。

技术框架：PnP-OVSS的整体架构包括图像输入、文本输入、交叉注意力计算和显著性丢弃模块。该方法首先计算图像与文本的匹配，然后通过显著性丢弃来优化分割结果。

关键创新：最重要的创新点在于显著性丢弃机制的引入，它通过动态调整模型关注的区域，显著提高了分割的准确性，与传统的训练方法相比，PnP-OVSS无需额外的训练过程。

关键设计：PnP-OVSS在损失函数上采用图像-文本匹配损失，并通过超参数调优来优化模型性能，且不依赖于任何分割注释，增强了方法的灵活性和适用性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

PnP-OVSS在多个数据集上表现出色，具体而言，在Pascal VOC上提升了26.2%的mIoU，在MS COCO上提升了20.5%，在COCO Stuff和ADE20K上分别提升了3.1%和3.0%。这些结果表明，该方法在开放词汇语义分割任务中具有显著的性能优势。

🎯 应用场景

PnP-OVSS在开放词汇语义分割任务中具有广泛的应用潜力，能够有效支持自动驾驶、智能监控、图像检索等领域。其无需训练的特性使得该方法在实际应用中更加灵活，能够快速适应不同的场景和需求，推动相关技术的发展。

📄 摘要（原文）

From image-text pairs, large-scale vision-language models (VLMs) learn to implicitly associate image regions with words, which prove effective for tasks like visual question answering. However, leveraging the learned association for open-vocabulary semantic segmentation remains a challenge. In this paper, we propose a simple, yet extremely effective, training-free technique, Plug-and-Play Open-Vocabulary Semantic Segmentation (PnP-OVSS) for this task. PnP-OVSS leverages a VLM with direct text-to-image cross-attention and an image-text matching loss. To balance between over-segmentation and under-segmentation, we introduce Salience Dropout; by iteratively dropping patches that the model is most attentive to, we are able to better resolve the entire extent of the segmentation mask. PnP-OVSS does not require any neural network training and performs hyperparameter tuning without the need for any segmentation annotations, even for a validation set. PnP-OVSS demonstrates substantial improvements over comparable baselines (+26.2% mIoU on Pascal VOC, +20.5% mIoU on MS COCO, +3.1% mIoU on COCO Stuff and +3.0% mIoU on ADE20K). Our codebase is at https://github.com/letitiabanana/PnP-OVSS.