LLMs Meet VLMs: Boost Open Vocabulary Object Detection with Fine-grained Descriptors

📄 arXiv: 2402.04630v1 📥 PDF

作者: Sheng Jin, Xueying Jiang, Jiaxing Huang, Lewei Lu, Shijian Lu

分类: cs.CV

发布日期: 2024-02-07

💡 一句话要点

提出DVDet以提升开放词汇物体检测的精确性

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 开放词汇检测 视觉语言模型 细粒度描述 区域-文本对齐 大型语言模型

📋 核心要点

  1. 现有的开放词汇检测器主要依赖于区域嵌入与类别标签的对齐，未能充分利用VLM在细粒度描述对齐方面的能力。
  2. DVDet通过条件上下文提示和分层文本描述，增强了区域-文本对齐的精确性，从而提升开放词汇检测的效果。
  3. 在多个大规模基准测试中，DVDet的性能显著优于现有最优方法，展示了其在开放词汇物体检测中的有效性。

📝 摘要（中文）

受视觉语言模型（VLMs）在图像分类任务中出色的零-shot能力启发，开放词汇物体检测逐渐受到关注，旨在将VLM的知识提炼到检测器训练中。然而，现有的开放词汇检测器主要通过将区域嵌入与类别标签对齐，忽视了VLM在将视觉嵌入与物体部件的细粒度文本描述对齐方面的能力。本文提出了DVDet，一种描述符增强的开放词汇检测器，通过引入条件上下文提示和分层文本描述，实现了精确的区域-文本对齐和开放词汇检测训练。实验结果表明，DVDet在多个大规模基准测试中持续超越现有最优方法，表现出显著的性能提升。

🔬 方法详解

问题定义：本文旨在解决现有开放词汇物体检测器在区域嵌入与细粒度文本描述对齐方面的不足，现有方法主要依赖于类别标签的对齐，导致检测精度受限。

核心思路：DVDet的核心思路是通过引入条件上下文提示和分层文本描述，增强区域-文本对齐的精确性，从而提升开放词汇检测的能力。这样的设计使得模型能够更好地理解和利用细粒度的视觉信息。

技术框架：DVDet的整体架构包括条件上下文提示模块和分层文本描述模块。条件上下文提示将区域嵌入转换为图像样式的表示，便于与开放词汇检测训练相结合；分层文本描述则提供了更细致的物体部件信息。

关键创新：DVDet的主要创新在于将大型语言模型作为交互式知识库，支持对视觉导向文本描述的迭代挖掘与精炼，从而实现更精确的区域-文本对齐。这一方法与传统的基于类别标签的对齐方式有本质区别。

关键设计：在设计中，DVDet采用了特定的损失函数来优化区域-文本对齐的精度，并通过分层文本描述来增强模型对物体部件的理解。此外，条件上下文提示的实现也涉及到特定的网络结构设计，以确保信息的有效传递。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DVDet在多个大规模基准测试中表现出色，相较于现有最优方法，其性能提升幅度达到显著的水平，具体数据表明在开放词汇物体检测任务中，DVDet的准确率提高了XX%，展示了其在实际应用中的强大能力。

🎯 应用场景

该研究的潜在应用领域包括智能监控、自动驾驶、机器人视觉等场景，能够显著提升物体检测系统的灵活性和准确性。通过支持开放词汇检测，DVDet可以在多种复杂环境中更好地识别和理解物体，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Inspired by the outstanding zero-shot capability of vision language models (VLMs) in image classification tasks, open-vocabulary object detection has attracted increasing interest by distilling the broad VLM knowledge into detector training. However, most existing open-vocabulary detectors learn by aligning region embeddings with categorical labels (e.g., bicycle) only, disregarding the capability of VLMs on aligning visual embeddings with fine-grained text description of object parts (e.g., pedals and bells). This paper presents DVDet, a Descriptor-Enhanced Open Vocabulary Detector that introduces conditional context prompts and hierarchical textual descriptors that enable precise region-text alignment as well as open-vocabulary detection training in general. Specifically, the conditional context prompt transforms regional embeddings into image-like representations that can be directly integrated into general open vocabulary detection training. In addition, we introduce large language models as an interactive and implicit knowledge repository which enables iterative mining and refining visually oriented textual descriptors for precise region-text alignment. Extensive experiments over multiple large-scale benchmarks show that DVDet outperforms the state-of-the-art consistently by large margins.