Enhancing Novel Object Detection via Cooperative Foundational Models

📄 arXiv: 2311.12068v4 📥 PDF

作者: Rohit Bharadwaj, Muzammal Naseer, Salman Khan, Fahad Shahbaz Khan

分类: cs.CV, cs.AI, cs.LG

发布日期: 2023-11-19 (更新: 2025-01-15)

备注: Accepted at WACV 2025

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出一种新方法以解决新颖物体检测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 新颖物体检测 开放集检测 预训练模型 合作机制 物体检测性能

📋 核心要点

  1. 现有的物体检测算法通常是封闭集的，无法有效处理新颖物体检测（NOD）问题，限制了其应用范围。
  2. 本研究提出了一种新方法，通过合作机制将预训练基础模型CLIP和SAM的优势结合，转变现有封闭集检测器为开放集检测器。
  3. 在实验中，我们的方法在LVIS数据集上实现了17.42 mAP的新颖物体检测和42.08 mAP的已知物体检测，且在COCO OVD分割上超越了现有最先进水平。

📝 摘要（中文）

在本研究中，我们解决了新颖物体检测（NOD）这一具有挑战性的问题，重点在于推理过程中准确检测已知和新颖物体类别。传统的物体检测算法通常是封闭集的，限制了它们处理NOD的能力。我们提出了一种新方法，通过合作机制利用预训练基础模型（如CLIP和SAM）的互补优势，将现有的封闭集检测器转变为开放集检测器。此外，我们将该机制与最先进的开放集检测器GDINO相结合，在物体检测性能上建立了新的基准。我们的方法在具有挑战性的LVIS数据集上实现了17.42 mAP的新颖物体检测和42.08 mAP的已知物体检测。将我们的方法应用于COCO OVD分割时，我们在新类上超越了当前的最先进水平，提升幅度达到7.2 $ ext{AP}_{50} $。

🔬 方法详解

问题定义：本研究旨在解决新颖物体检测（NOD）问题，现有的封闭集检测器无法有效识别新类别物体，限制了其应用。

核心思路：我们提出了一种通过合作机制将预训练基础模型CLIP和SAM的优势结合，转变现有的封闭集检测器为开放集检测器，从而提升新颖物体的检测能力。

技术框架：整体架构包括三个主要模块：首先是利用CLIP和SAM进行特征提取，其次是通过合作机制整合这些特征，最后与GDINO等开放集检测器结合进行物体检测。

关键创新：最重要的创新在于提出了合作机制，利用预训练模型的互补优势，使得检测器能够识别新颖物体类别，与传统方法相比，显著提升了检测性能。

关键设计：在参数设置上，我们优化了损失函数以平衡已知和新颖物体的检测，同时设计了适应性强的网络结构，以便于与不同的基础模型进行有效结合。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，我们的方法在LVIS数据集上实现了17.42 mAP的新颖物体检测和42.08 mAP的已知物体检测，且在COCO OVD分割上超越了现有最先进水平，提升幅度达到7.2 $ ext{AP}_{50} $，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括智能监控、自动驾驶、机器人视觉等，能够在动态环境中有效识别新出现的物体，提升系统的智能化水平。未来，该方法可能推动物体检测技术在更广泛场景中的应用，尤其是在需要实时反应的任务中。

📄 摘要（原文）

In this work, we address the challenging and emergent problem of novel object detection (NOD), focusing on the accurate detection of both known and novel object categories during inference. Traditional object detection algorithms are inherently closed-set, limiting their capability to handle NOD. We present a novel approach to transform existing closed-set detectors into open-set detectors. This transformation is achieved by leveraging the complementary strengths of pre-trained foundational models, specifically CLIP and SAM, through our cooperative mechanism. Furthermore, by integrating this mechanism with state-of-the-art open-set detectors such as GDINO, we establish new benchmarks in object detection performance. Our method achieves 17.42 mAP in novel object detection and 42.08 mAP for known objects on the challenging LVIS dataset. Adapting our approach to the COCO OVD split, we surpass the current state-of-the-art by a margin of 7.2 $ \text{AP}_{50} $ for novel classes. Our code is available at https://rohit901.github.io/coop-foundation-models/ .