Generalizable Semantic Vision Query Generation for Zero-shot Panoptic and Semantic Segmentation

📄 arXiv: 2402.13697v1 📥 PDF

作者: Jialei Chen, Daisuke Deguchi, Chenkai Zhang, Hiroshi Murase

分类: cs.CV

发布日期: 2024-02-21

💡 一句话要点

提出CONCAT以解决零-shot全景分割问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 零-shot学习 全景分割 语义查询 视觉对齐 生成模型 深度学习 计算机视觉

📋 核心要点

  1. 核心问题：现有方法在零-shot全景分割中面临视觉数据稀疏和泛化能力不足的挑战。
  2. 方法要点：提出CONCAT框架，通过条件标记对齐和循环转换生成可泛化的语义视觉查询。
  3. 实验或效果：在ZPS任务中，实验结果显示性能提升5.2%，并且推理速度提高了两倍。

📝 摘要（中文）

零-shot全景分割（ZPS）旨在识别前景实例和背景内容，而无需在训练中使用包含未见类别的图像。由于视觉数据稀疏和从已见类别到未见类别的泛化困难，这一任务仍然具有挑战性。为更好地泛化到未见类别，本文提出了条件标记对齐与循环转换（CONCAT），以生成可泛化的语义视觉查询。通过训练特征提取器，CON能够将视觉与语义链接，从而提供目标查询。实验结果显示，ZPS在性能上超越了现有最优方法，提升了5.2%的hPQ，并在推理速度上提高了两倍。

🔬 方法详解

问题定义：本文解决零-shot全景分割（ZPS）问题，现有方法在未见类别的视觉查询生成上存在困难，特别是在描述细粒度视觉细节方面的不足。

核心思路：提出条件标记对齐与循环转换（CONCAT），通过对齐语义查询与视觉标记，生成可泛化的视觉查询，从而提高对未见类别的识别能力。

技术框架：整体架构包括特征提取器和生成器两个主要模块。特征提取器通过CON对齐视觉和语义信息，生成目标查询；生成器则通过语义-视觉和视觉-语义的方式训练，以生成伪视觉查询。

关键创新：最重要的创新在于提出了视觉查询对比方法，通过拉近伪视觉查询与目标之间的距离，同时推远与无目标的距离，从而增强视觉细节的描述能力。

关键设计：在训练过程中，采用了特定的损失函数来确保生成的查询保留语义信息，并通过真实的语义嵌入进行监督。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，提出的方法在零-shot全景分割任务中实现了5.2%的hPQ提升，超越了当前最优技术（SOTA）。此外，推理速度提高了两倍，显示出在实际应用中的高效性。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在自动驾驶、机器人视觉和智能监控等领域。通过提高对未见类别的识别能力，能够增强系统在复杂环境中的适应性和智能化水平，推动相关技术的进步与应用。

📄 摘要（原文）

Zero-shot Panoptic Segmentation (ZPS) aims to recognize foreground instances and background stuff without images containing unseen categories in training. Due to the visual data sparsity and the difficulty of generalizing from seen to unseen categories, this task remains challenging. To better generalize to unseen classes, we propose Conditional tOken aligNment and Cycle trAnsiTion (CONCAT), to produce generalizable semantic vision queries. First, a feature extractor is trained by CON to link the vision and semantics for providing target queries. Formally, CON is proposed to align the semantic queries with the CLIP visual CLS token extracted from complete and masked images. To address the lack of unseen categories, a generator is required. However, one of the gaps in synthesizing pseudo vision queries, ie, vision queries for unseen categories, is describing fine-grained visual details through semantic embeddings. Therefore, we approach CAT to train the generator in semantic-vision and vision-semantic manners. In semantic-vision, visual query contrast is proposed to model the high granularity of vision by pulling the pseudo vision queries with the corresponding targets containing segments while pushing those without segments away. To ensure the generated queries retain semantic information, in vision-semantic, the pseudo vision queries are mapped back to semantic and supervised by real semantic embeddings. Experiments on ZPS achieve a 5.2% hPQ increase surpassing SOTA. We also examine inductive ZPS and open-vocabulary semantic segmentation and obtain comparative results while being 2 times faster in testing.