PosSAM: Panoptic Open-vocabulary Segment Anything

📄 arXiv: 2403.09620v1 📥 PDF

作者: Vibashan VS, Shubhankar Borse, Hyojin Park, Debasmit Das, Vishal Patel, Munawar Hayat, Fatih Porikli

分类: cs.CV

发布日期: 2024-03-14

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出PosSAM以解决开放词汇全景分割问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 开放词汇 全景分割 视觉语言 深度学习 实例识别 模型融合 计算机视觉

📋 核心要点

  1. 现有方法在全景分割中存在物体类别识别不足和过度分割的问题，限制了其应用效果。
  2. PosSAM通过结合SAM的空间特征和CLIP的语义特征，提出了一种端到端的全景分割解决方案。
  3. 实验结果显示，PosSAM在多个数据集上实现了显著的性能提升，超越了现有的最先进方法。

📝 摘要（中文）

本文提出了一种开放词汇全景分割模型PosSAM，该模型有效地将Segment Anything Model (SAM)的空间感知能力与视觉语言CLIP模型结合在一个端到端的框架中。虽然SAM在生成空间感知的掩膜方面表现出色，但其解码器在识别物体类别信息时存在不足，且在缺乏额外指导的情况下容易过度分割。PosSAM通过引入局部区分池化（LDP）模块，利用无类别的SAM特征和有类别的CLIP特征，实现了无偏的开放词汇分类。此外，本文还提出了掩膜感知选择性集成（MASE）算法，能够自适应地提高生成掩膜的质量，从而在推理过程中提升开放词汇分类的性能。实验结果表明，PosSAM在多个数据集上表现出强大的泛化能力，超越了现有的开放词汇全景分割方法，尤其在COCO到ADE20K和ADE20K到COCO的设置中，分别提升了2.4 PQ和4.6 PQ。

🔬 方法详解

问题定义：本文旨在解决开放词汇全景分割中的物体类别识别不足和过度分割问题。现有方法通常依赖多阶段技术和独立模型，导致效率低下和性能不佳。

核心思路：PosSAM通过整合SAM的空间特征与CLIP的语义特征，提出了一种新的端到端模型，旨在提高实例识别的准确性和分割质量。

技术框架：PosSAM的整体架构包括局部区分池化（LDP）模块和掩膜感知选择性集成（MASE）算法。LDP模块利用无类别的SAM特征和有类别的CLIP特征进行分类，而MASE算法则在推理过程中自适应地提升掩膜质量。

关键创新：最重要的创新在于引入LDP模块和MASE算法，使得模型能够在开放词汇环境下进行无偏的分类和高质量的掩膜生成，与传统方法相比，显著提高了分类性能。

关键设计：在模型设计中，LDP模块的参数设置和损失函数的选择至关重要，确保了特征的有效融合和分类的准确性。MASE算法则通过动态调整掩膜生成过程，进一步优化了模型的推理效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，PosSAM在COCO到ADE20K和ADE20K到COCO的设置中，分别实现了2.4 PQ和4.6 PQ的显著提升，超越了现有的最先进方法，展示了其强大的泛化能力和优越的性能。

🎯 应用场景

PosSAM的研究成果在多个领域具有广泛的应用潜力，包括自动驾驶、机器人视觉、医疗影像分析等。其开放词汇的特性使得模型能够适应多变的环境和任务需求，提升了智能系统的灵活性和准确性。未来，PosSAM有望在更复杂的视觉理解任务中发挥重要作用。

📄 摘要（原文）

In this paper, we introduce an open-vocabulary panoptic segmentation model that effectively unifies the strengths of the Segment Anything Model (SAM) with the vision-language CLIP model in an end-to-end framework. While SAM excels in generating spatially-aware masks, it's decoder falls short in recognizing object class information and tends to oversegment without additional guidance. Existing approaches address this limitation by using multi-stage techniques and employing separate models to generate class-aware prompts, such as bounding boxes or segmentation masks. Our proposed method, PosSAM is an end-to-end model which leverages SAM's spatially rich features to produce instance-aware masks and harnesses CLIP's semantically discriminative features for effective instance classification. Specifically, we address the limitations of SAM and propose a novel Local Discriminative Pooling (LDP) module leveraging class-agnostic SAM and class-aware CLIP features for unbiased open-vocabulary classification. Furthermore, we introduce a Mask-Aware Selective Ensembling (MASE) algorithm that adaptively enhances the quality of generated masks and boosts the performance of open-vocabulary classification during inference for each image. We conducted extensive experiments to demonstrate our methods strong generalization properties across multiple datasets, achieving state-of-the-art performance with substantial improvements over SOTA open-vocabulary panoptic segmentation methods. In both COCO to ADE20K and ADE20K to COCO settings, PosSAM outperforms the previous state-of-the-art methods by a large margin, 2.4 PQ and 4.6 PQ, respectively. Project Website: https://vibashan.github.io/possam-web/.