Open-Vocabulary Segmentation with Unpaired Mask-Text Supervision

📄 arXiv: 2402.08960v2 📥 PDF

作者: Zhaoqing Wang, Xiaobo Xia, Ziye Chen, Xiao He, Yandong Guo, Mingming Gong, Tongliang Liu

分类: cs.CV, cs.AI

发布日期: 2024-02-14 (更新: 2024-06-11)

备注: 27 pages, 18 figures, 10 tables

💡 一句话要点

提出Unpair-Seg以解决开放词汇分割中的标注成本问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 开放词汇分割 弱监督学习 图像处理 多模态学习 伪标签生成

📋 核心要点

  1. 现有开放词汇分割方法依赖于图像-掩码-文本三元组注释，获取成本高且难以扩展。
  2. 提出Unpair-Seg框架，通过非配对的图像-掩码和图像-文本对进行弱监督学习，降低标注成本。
  3. 在ADE-847和PASCAL Context-459数据集上，Unpair-Seg分别取得14.6%和19.5%的mIoU，性能显著提升。

📝 摘要（中文）

当前最先进的开放词汇分割方法通常依赖于图像-掩码-文本三元组注释进行监督。然而，获取如此详细的注释劳动强度大，并在复杂的现实场景中面临可扩展性挑战。现有的弱监督方法利用图像-文本对来降低注释成本，但缺乏掩码监督使得模型难以准确定位多个实例并对相似语义的像素进行分组，显著影响了模型的通用性和性能。本文提出了Unpair-Seg，一个新的弱监督开放词汇分割框架，利用非配对的图像-掩码和图像-文本对进行学习。该框架展示了出色的性能，在ADE-847和PASCAL Context-459数据集上分别达到了14.6%和19.5%的mIoU，显著缩小了全监督与弱监督方法之间的差距。

🔬 方法详解

问题定义：本文旨在解决开放词汇分割中对图像-掩码-文本三元组注释的依赖，现有方法在标注成本和可扩展性上存在显著挑战。

核心思路：提出Unpair-Seg框架，利用非配对的图像-掩码和图像-文本对进行学习，生成伪标签并对区域嵌入与文本嵌入进行对齐，从而实现开放词汇分割。

技术框架：Unpair-Seg框架包括初步预测二进制掩码、生成伪标签、训练特征适配器等主要模块。首先通过图像生成掩码，然后识别置信度高的掩码与文本实体对，最后进行特征对齐。

关键创新：本研究的创新在于利用非配对的图像-掩码和图像-文本对进行弱监督学习，克服了传统方法对配对数据的依赖，提升了模型的灵活性和适应性。

关键设计：采用视觉-语言大模型重新标注输入图像，提取精确实体，并设计多尺度匹配策略以减少噪声掩码-实体对，提高伪标签的可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Unpair-Seg在ADE-847和PASCAL Context-459数据集上分别取得14.6%和19.5%的mIoU，显著优于现有弱监督方法，缩小了与全监督方法之间的性能差距，展示了其在开放词汇分割任务中的有效性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、医学影像分析和智能监控等场景，能够在减少人工标注成本的同时，提高模型在复杂环境中的适应能力和性能，具有重要的实际价值和未来影响。

📄 摘要（原文）

Current state-of-the-art open-vocabulary segmentation methods typically rely on image-mask-text triplet annotations for supervision. However, acquiring such detailed annotations is labour-intensive and poses scalability challenges in complex real-world scenarios. While existing weakly-supervised approaches leverage image-text pairs to reduce the expansive annotation cost, the lack of mask supervision makes it difficult for the model to locate multiple instances and accurately group pixels with similar semantics, significantly hampering versatility and performance. In this paper, we introduce Unpair-Seg, a novel weakly-supervised open-vocabulary segmentation framework that learns from unpaired image-mask and image-text pairs, which can be independently and efficiently collected. Unpair-Seg initially predicts a set of binary masks and generates pseudo labels by identifying confident pairs of masks and text entities. We then train a feature adapter to align region embeddings with text embeddings based on these pseudo labels, achieving open-vocabulary segmentation. However, the inherent noise in the mask-entity correspondence poses a challenge to obtaining reliable pairs. To address this, we employ a vision-language large model to re-caption the input images and extract precise entities, and we design a multi-scale matching strategy to reduce noisy mask-entity pairs. Our Unpair-Seg framework demonstrates impressive performance, achieving 14.6\% and 19.5\% mIoU on the ADE-847 and PASCAL Context-459 datasets, significantly narrowing the gap between fully-supervised and weakly-supervised methods.