Generative Region-Language Pretraining for Open-Ended Object Detection

📄 arXiv: 2403.10191v1 📥 PDF

作者: Chuang Lin, Yi Jiang, Lizhen Qu, Zehuan Yuan, Jianfei Cai

分类: cs.CV

发布日期: 2024-03-15

备注: CVPR 2024

💡 一句话要点

提出GenerateU以解决开放式物体检测问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 开放式物体检测 生成模型 视觉-语言模型 Deformable DETR 零样本学习 智能监控 自动驾驶

📋 核心要点

  1. 现有的开放词汇物体检测方法依赖于预定义的类别名称，限制了其在推理阶段的灵活性。
  2. 本文提出的GenerateU框架将物体检测视为生成问题，能够以自由形式生成物体名称，增强了检测的灵活性。
  3. 在LVIS数据集上，GenerateU的零样本检测性能与现有的开放词汇物体检测方法GLIP相当，展示了显著的效果提升。

📝 摘要（中文）

近年来，开放词汇物体检测任务受到广泛关注，旨在超越训练期间标记的有限类别，检测在推理时由任意类别名称描述的物体。与传统物体检测相比，开放词汇物体检测大大扩展了物体检测的类别。然而，它仍依赖于计算图像区域与预训练的视觉-语言模型中一组任意类别名称之间的相似性。这引发了一个问题：如果在推理时我们对物体类别没有确切的知识，该如何处理？本文提出了一种新的设置，称为生成开放式物体检测，提出了一个名为GenerateU的框架，能够以自由形式检测密集物体并生成其名称。我们采用Deformable DETR作为区域提议生成器，并使用语言模型将视觉区域翻译为物体名称。实验表明，GenerateU在零样本检测性能上表现优异。

🔬 方法详解

问题定义：本文解决的是在推理阶段缺乏确切物体类别知识的开放式物体检测问题。现有方法依赖于预定义类别，限制了其灵活性和适用性。

核心思路：论文提出将物体检测视为生成问题，设计了GenerateU框架，能够在没有预定义类别的情况下，检测物体并生成其名称，从而增强了检测的开放性和灵活性。

技术框架：GenerateU框架主要包括两个模块：区域提议生成器（采用Deformable DETR）和语言模型（将视觉区域翻译为物体名称）。整个流程从图像输入开始，经过区域提议生成，再到名称生成，形成完整的检测链。

关键创新：最重要的创新在于将物体检测任务转化为生成任务，允许模型在推理阶段自由生成物体名称，而不是依赖于固定的类别列表。这一设计使得模型在开放式检测场景中表现更为出色。

关键设计：在技术细节上，GenerateU使用了Deformable DETR作为基础网络，结合了特定的损失函数以优化生成的名称与实际物体之间的匹配度，同时在训练过程中采用了大量的无标签数据以提升模型的泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，GenerateU在LVIS数据集上的零样本检测性能与开放词汇物体检测方法GLIP相当，展示了强大的检测能力。尽管在推理阶段未见过类别名称，GenerateU仍能有效生成物体名称，证明了其创新方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括智能监控、自动驾驶、机器人视觉等场景，能够在没有明确类别知识的情况下，灵活识别和命名物体，提升系统的智能化水平。未来，该方法有望在多种实际应用中实现更广泛的适用性，推动开放式物体检测技术的发展。

📄 摘要（原文）

In recent research, significant attention has been devoted to the open-vocabulary object detection task, aiming to generalize beyond the limited number of classes labeled during training and detect objects described by arbitrary category names at inference. Compared with conventional object detection, open vocabulary object detection largely extends the object detection categories. However, it relies on calculating the similarity between image regions and a set of arbitrary category names with a pretrained vision-and-language model. This implies that, despite its open-set nature, the task still needs the predefined object categories during the inference stage. This raises the question: What if we do not have exact knowledge of object categories during inference? In this paper, we call such a new setting as generative open-ended object detection, which is a more general and practical problem. To address it, we formulate object detection as a generative problem and propose a simple framework named GenerateU, which can detect dense objects and generate their names in a free-form way. Particularly, we employ Deformable DETR as a region proposal generator with a language model translating visual regions to object names. To assess the free-form object detection task, we introduce an evaluation method designed to quantitatively measure the performance of generative outcomes. Extensive experiments demonstrate strong zero-shot detection performance of our GenerateU. For example, on the LVIS dataset, our GenerateU achieves comparable results to the open-vocabulary object detection method GLIP, even though the category names are not seen by GenerateU during inference. Code is available at: https:// github.com/FoundationVision/GenerateU .