CLIP-VIS: Adapting CLIP for Open-Vocabulary Video Instance Segmentation

📄 arXiv: 2403.12455v3 📥 PDF

作者: Wenqi Zhu, Jiale Cao, Jin Xie, Shuangming Yang, Yanwei Pang

分类: cs.CV

发布日期: 2024-03-19 (更新: 2024-10-08)

备注: Accepted by IEEE TCSVT

🔗 代码/项目: GITHUB

💡 一句话要点

提出CLIP-VIS以解决开放词汇视频实例分割问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 开放词汇 视频实例分割 CLIP模型 类无关掩码 时间匹配 加权分类 深度学习

📋 核心要点

  1. 现有方法在开放词汇视频实例分割中面临类别标注缺失和实例跟踪困难等挑战。
  2. 论文提出的CLIP-VIS通过冻结CLIP并引入类无关掩码生成等模块，解决了开放类别的实例分割问题。
  3. 实验结果显示，CLIP-VIS在多个数据集上显著提升了性能，尤其是在新类别的处理上表现优异。

📝 摘要（中文）

开放词汇视频实例分割旨在对视频中属于开放类别集合的实例进行分割和跟踪。对比语言-图像预训练模型（CLIP）在图像级开放词汇任务中展现了强大的零样本分类能力。本文提出了一种简单的编码器-解码器网络CLIP-VIS，以适应开放词汇视频实例分割。CLIP-VIS采用冻结的CLIP，并引入了三个模块，包括类无关的掩码生成、时间顶K增强匹配和加权开放词汇分类。实验结果表明，CLIP-VIS在多个视频实例分割数据集上表现出色，尤其是在新类别上。使用ConvNeXt-B作为骨干网络时，CLIP-VIS在LV-VIS数据集的验证集上达到了32.2%和40.2%的AP和APn分数，分别比OV2Seg提高了11.1%和23.9%。

🔬 方法详解

问题定义：本文旨在解决开放词汇视频实例分割中的实例类别和身份缺乏标注的问题。现有方法在处理新类别时效果不佳，限制了其应用场景。

核心思路：CLIP-VIS的核心思路是利用冻结的CLIP模型，通过引入类无关掩码生成、时间顶K增强匹配和加权开放词汇分类等模块，来实现对开放类别的有效分割和跟踪。

技术框架：CLIP-VIS的整体架构包括三个主要模块：类无关掩码生成模块负责生成初始查询的掩码，时间顶K增强匹配模块用于跨帧匹配查询，最后加权开放词汇分类模块进行最终的分类和评分。

关键创新：CLIP-VIS的关键创新在于其类无关掩码生成和加权分类策略，使其在没有类别标注的情况下，依然能够有效处理开放词汇任务。这与现有方法的依赖于类别标注的设计形成了鲜明对比。

关键设计：在设计上，CLIP-VIS采用了像素解码器和变换器解码器来生成掩码，并通过掩码池化生成查询视觉特征，结合物体分数和掩码IoU分数进行加权分类。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CLIP-VIS在LV-VIS数据集的验证集上取得了32.2%和40.2%的AP和APn分数，分别比基线OV2Seg提高了11.1%和23.9%。这一显著提升表明了该方法在处理新类别时的有效性和优越性。

🎯 应用场景

CLIP-VIS在开放词汇视频实例分割中的应用潜力巨大，能够广泛应用于视频监控、自动驾驶、智能视频编辑等领域。其无须类别标注的特性使得在动态环境中对新出现对象的处理更加灵活，具有重要的实际价值和未来影响。

📄 摘要（原文）

Open-vocabulary video instance segmentation strives to segment and track instances belonging to an open set of categories in a videos. The vision-language model Contrastive Language-Image Pre-training (CLIP) has shown robust zero-shot classification ability in image-level open-vocabulary tasks. In this paper, we propose a simple encoder-decoder network, called CLIP-VIS, to adapt CLIP for open-vocabulary video instance segmentation. Our CLIP-VIS adopts frozen CLIP and introduces three modules, including class-agnostic mask generation, temporal topK-enhanced matching, and weighted open-vocabulary classification. Given a set of initial queries, class-agnostic mask generation introduces a pixel decoder and a transformer decoder on CLIP pre-trained image encoder to predict query masks and corresponding object scores and mask IoU scores. Then, temporal topK-enhanced matching performs query matching across frames using the K mostly matched frames. Finally, weighted open-vocabulary classification first employs mask pooling to generate query visual features from CLIP pre-trained image encoder, and second performs weighted classification using object scores and mask IoU scores. Our CLIP-VIS does not require the annotations of instance categories and identities. The experiments are performed on various video instance segmentation datasets, which demonstrate the effectiveness of our proposed method, especially for novel categories. When using ConvNeXt-B as backbone, our CLIP-VIS achieves the AP and APn scores of 32.2% and 40.2% on the validation set of LV-VIS dataset, which outperforms OV2Seg by 11.1% and 23.9% respectively. We will release the source code and models at https://github.com/zwq456/CLIP-VIS.git.