The devil is in the object boundary: towards annotation-free instance segmentation using Foundation Models

📄 arXiv: 2404.11957v1 📥 PDF

作者: Cheng Shi, Sibei Yang

分类: cs.CV

发布日期: 2024-04-18

备注: ICLR2024, Code is released at https://github.com/ChengShiest/Zip-Your-CLIP

🔗 代码/项目: GITHUB

💡 一句话要点

提出Zip以解决实例分割中的注释依赖问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 实例分割 物体检测 基础模型 无注释学习 计算机视觉 CLIP SAM 开放词汇

📋 核心要点

  1. 现有基础模型在物体检测和实例分割任务中依赖大量人工注释，导致性能不足，尤其是在物体边界识别方面。
  2. 论文提出的Zip方法结合了CLIP和SAM，通过分类优先的流程实现无注释的复杂场景物体检测和实例分割。
  3. 实验结果显示，Zip方法在COCO数据集上提升了SAM的掩膜AP达12.5%，并在多种设置中达到了最先进的性能。

📝 摘要（中文）

基础模型在各种下游任务中展现了令人印象深刻的零样本能力，但在物体检测和实例分割等依赖大量人工注释的计算机视觉任务中表现不佳。本文首次揭示了基础模型在识别物体边界方面的不足，提出了Zip方法，通过结合CLIP和SAM，构建了一种新的无注释实例分割框架。实验表明，Zip显著提升了SAM在COCO数据集上的掩膜AP，并在多个设置中达到了最先进的性能，甚至在无注释情况下与最佳开放词汇物体检测器的表现相当。

🔬 方法详解

问题定义：本文旨在解决基础模型在实例分割任务中对物体边界的识别不足，现有方法如SAM和DINO在这一方面表现不佳，导致整体性能受限。

核心思路：论文提出的Zip方法利用CLIP模型提供的实例级边界先验，通过分类优先的方式进行物体检测和实例分割，避免了对人工注释的依赖。

技术框架：Zip方法的整体架构包括两个主要模块：首先通过CLIP提取特征并进行分类，然后利用SAM进行实例分割，形成一个分类优先的发现流程。

关键创新：Zip方法的创新在于首次将CLIP与SAM结合，利用CLIP的边界先验来提升实例分割的效果，这一设计与传统依赖注释的方法本质上不同。

关键设计：在技术细节上，Zip方法通过优化损失函数和调整网络结构，确保了在无注释情况下仍能获得高效的实例分割性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Zip方法在COCO数据集上提升了SAM的掩膜AP达12.5%，并在无注释、半监督和标签高效微调等多种设置中均达到了最先进的性能，展现了其强大的应用潜力。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、智能监控和机器人视觉等，能够在无需大量人工标注的情况下，实现高效的物体检测与实例分割，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Foundation models, pre-trained on a large amount of data have demonstrated impressive zero-shot capabilities in various downstream tasks. However, in object detection and instance segmentation, two fundamental computer vision tasks heavily reliant on extensive human annotations, foundation models such as SAM and DINO struggle to achieve satisfactory performance. In this study, we reveal that the devil is in the object boundary, \textit{i.e.}, these foundation models fail to discern boundaries between individual objects. For the first time, we probe that CLIP, which has never accessed any instance-level annotations, can provide a highly beneficial and strong instance-level boundary prior in the clustering results of its particular intermediate layer. Following this surprising observation, we propose $\textbf{Zip}$ which $\textbf{Z}$ips up CL$\textbf{ip}$ and SAM in a novel classification-first-then-discovery pipeline, enabling annotation-free, complex-scene-capable, open-vocabulary object detection and instance segmentation. Our Zip significantly boosts SAM's mask AP on COCO dataset by 12.5% and establishes state-of-the-art performance in various settings, including training-free, self-training, and label-efficient finetuning. Furthermore, annotation-free Zip even achieves comparable performance to the best-performing open-vocabulary object detecters using base annotations. Code is released at https://github.com/ChengShiest/Zip-Your-CLIP