Open-Vocabulary Object Detection with Meta Prompt Representation and Instance Contrastive Optimization

📄 arXiv: 2403.09433v1 📥 PDF

作者: Zhao Wang, Aoxue Li, Fengwei Zhou, Zhenguo Li, Qi Dou

分类: cs.CV

发布日期: 2024-03-14

备注: BMVC 2023

💡 一句话要点

提出Meta Prompt与实例对比优化以解决开放词汇目标检测问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 开放词汇目标检测 实例对比学习 Meta Prompt 目标检测 深度学习

📋 核心要点

  1. 现有的开放词汇目标检测方法在基础类别上容易过拟合，并且对额外数据和复杂训练过程依赖较大。
  2. 本文提出了一种结合Meta Prompt和实例对比学习的框架，以提高对新类别物体的检测能力。
  3. 实验结果表明，MIC在COCO和Objects365数据集上分别提升了4.3%和1.9%的AP，展现了优越的泛化能力。

📝 摘要（中文）

传统目标检测器无法检测未见过的新类别物体。为了解决这一问题，提出了开放词汇目标检测（OVOD），旨在检测候选类别列表中的物体。然而，现有OVOD模型在基础类别上过拟合，严重依赖大规模额外数据，并且训练过程复杂。为克服这些问题，本文提出了一种新颖的框架，结合了Meta Prompt和实例对比学习（MIC）方案。通过模拟新类别出现的场景，帮助提示学习器泛化到新类别，同时设计实例级对比策略以促进类内紧凑性和类间分离性。我们的MIC在不使用知识蒸馏、集成模型或额外训练数据的情况下，超越了以往的SOTA方法，尤其在新类别上展现出良好的泛化能力。

🔬 方法详解

问题定义：本文旨在解决开放词汇目标检测中，传统模型无法检测新类别物体的问题。现有方法在基础类别上过拟合，且对额外数据和复杂训练过程依赖较大。

核心思路：提出的MIC框架通过模拟新类别出现的场景，帮助模型学习更具泛化能力的提示，同时采用实例级对比策略以增强类内紧凑性和类间分离性。

技术框架：MIC框架主要包括两个模块：Meta Prompt学习模块和实例对比学习模块。前者用于生成适应新类别的提示，后者则通过对比学习增强模型的分类能力。

关键创新：MIC的核心创新在于不依赖知识蒸馏和额外训练数据，直接通过对比学习提升模型的泛化能力，这与现有方法形成了显著区别。

关键设计：在设计上，MIC采用了特定的损失函数来优化类内和类间的对比，同时在网络结构上进行了调整，以适应新类别的学习需求。具体参数设置和网络细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，MIC在不使用额外数据的情况下，分别在COCO和Objects365数据集上提升了4.3%和1.9%的AP，超越了以往的SOTA方法，展现了显著的性能提升和良好的泛化能力。

🎯 应用场景

该研究的潜在应用领域包括智能监控、自动驾驶、机器人视觉等，能够有效提升系统对新类别物体的检测能力，具有重要的实际价值。未来，该方法有望在更多实际场景中推广应用，推动开放词汇目标检测技术的发展。

📄 摘要（原文）

Classical object detectors are incapable of detecting novel class objects that are not encountered before. Regarding this issue, Open-Vocabulary Object Detection (OVOD) is proposed, which aims to detect the objects in the candidate class list. However, current OVOD models are suffering from overfitting on the base classes, heavily relying on the large-scale extra data, and complex training process. To overcome these issues, we propose a novel framework with Meta prompt and Instance Contrastive learning (MIC) schemes. Firstly, we simulate a novel-class-emerging scenario to help the prompt learner that learns class and background prompts generalize to novel classes. Secondly, we design an instance-level contrastive strategy to promote intra-class compactness and inter-class separation, which benefits generalization of the detector to novel class objects. Without using knowledge distillation, ensemble model or extra training data during detector training, our proposed MIC outperforms previous SOTA methods trained with these complex techniques on LVIS. Most importantly, MIC shows great generalization ability on novel classes, e.g., with $+4.3\%$ and $+1.9\% \ \mathrm{AP}$ improvement compared with previous SOTA on COCO and Objects365, respectively.