DetCLIPv3: Towards Versatile Generative Open-vocabulary Object Detection

📄 arXiv: 2404.09216v1 📥 PDF

作者: Lewei Yao, Renjie Pi, Jianhua Han, Xiaodan Liang, Hang Xu, Wei Zhang, Zhenguo Li, Dan Xu

分类: cs.CV

发布日期: 2024-04-14

备注: Accepted to CVPR2024

💡 一句话要点

提出DetCLIPv3以解决开放词汇物体检测的局限性

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 开放词汇检测 生成模型 多功能架构 自动标注 高效训练

📋 核心要点

  1. 现有开放词汇物体检测方法依赖用户预定义类别，限制了其灵活性和应用范围。
  2. DetCLIPv3通过集成生成能力和开放集检测框架，提供了更强的物体检测和标签生成能力。
  3. 实验结果显示，DetCLIPv3在多个基准测试中显著提升了检测性能，尤其在LVIS和VG数据集上表现突出。

📝 摘要（中文）

现有的开放词汇物体检测器通常需要用户预定义类别，限制了其应用场景。本文提出DetCLIPv3，这是一种高性能检测器，不仅在开放词汇物体检测中表现出色，还能为检测到的物体生成层次化标签。DetCLIPv3的核心设计包括：多功能模型架构、信息密度高的数据和高效的训练策略。通过这些设计，DetCLIPv3在开放词汇检测中表现优异，Swin-T骨干网络在LVIS minival基准上实现了47.0的零-shot固定AP，超越了GLIPv2、GroundingDINO和DetCLIPv2，且在VG数据集的密集标注任务中达到了19.7的AP，展现了其强大的生成能力。

🔬 方法详解

问题定义：现有的开放词汇物体检测器通常需要用户预定义类别，这限制了其在多样化场景中的应用，且难以适应新出现的物体类别。

核心思路：DetCLIPv3通过引入生成能力和开放集检测框架，旨在实现更灵活的物体检测和标签生成，提升检测器的适应性和准确性。

技术框架：DetCLIPv3的整体架构包括三个主要模块：多功能模型架构、自动标注管道和高效训练策略。首先，模型架构支持开放集检测并集成了生成能力；其次，自动标注管道利用视觉大语言模型优化图像-文本对的描述；最后，通过预训练和微调阶段，提升模型的学习效率和检测性能。

关键创新：DetCLIPv3的核心创新在于其多功能模型架构和高信息密度的数据处理方式，使得检测器不仅能识别物体，还能生成丰富的层次化标签。这与传统方法的单一检测功能形成了鲜明对比。

关键设计：在训练过程中，使用低分辨率输入进行预训练，以便模型能够有效学习广泛的视觉概念；随后，利用少量高分辨率样本进行微调，以进一步提升检测性能。

📊 实验亮点

DetCLIPv3在开放词汇检测任务中表现卓越，Swin-T骨干网络在LVIS minival基准上取得了47.0的零-shot固定AP，相较于GLIPv2、GroundingDINO和DetCLIPv2分别提升了18.0、19.6和6.6 AP。此外，在VG数据集的密集标注任务中，DetCLIPv3达到了19.7的AP，展现了其强大的生成能力。

🎯 应用场景

DetCLIPv3在开放词汇物体检测和生成标签的能力使其在多个领域具有广泛的应用潜力，包括智能监控、自动驾驶、机器人视觉和图像检索等。其灵活性和高效性将推动相关技术的进步，促进更智能的视觉系统发展。

📄 摘要（原文）

Existing open-vocabulary object detectors typically require a predefined set of categories from users, significantly confining their application scenarios. In this paper, we introduce DetCLIPv3, a high-performing detector that excels not only at both open-vocabulary object detection, but also generating hierarchical labels for detected objects. DetCLIPv3 is characterized by three core designs: 1. Versatile model architecture: we derive a robust open-set detection framework which is further empowered with generation ability via the integration of a caption head. 2. High information density data: we develop an auto-annotation pipeline leveraging visual large language model to refine captions for large-scale image-text pairs, providing rich, multi-granular object labels to enhance the training. 3. Efficient training strategy: we employ a pre-training stage with low-resolution inputs that enables the object captioner to efficiently learn a broad spectrum of visual concepts from extensive image-text paired data. This is followed by a fine-tuning stage that leverages a small number of high-resolution samples to further enhance detection performance. With these effective designs, DetCLIPv3 demonstrates superior open-vocabulary detection performance, \eg, our Swin-T backbone model achieves a notable 47.0 zero-shot fixed AP on the LVIS minival benchmark, outperforming GLIPv2, GroundingDINO, and DetCLIPv2 by 18.0/19.6/6.6 AP, respectively. DetCLIPv3 also achieves a state-of-the-art 19.7 AP in dense captioning task on VG dataset, showcasing its strong generative capability.