Language-conditioned Detection Transformer

📄 arXiv: 2311.17902v1 📥 PDF

作者: Jang Hyun Cho, Philipp Krähenbühl

分类: cs.CV

发布日期: 2023-11-29

备注: Code is at https://github.com/janghyuncho/DECOLA

🔗 代码/项目: GITHUB

💡 一句话要点

提出语言条件检测变换器以解决开放词汇检测问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 开放词汇检测 语言条件检测 伪标签生成 零样本学习 DECOLA 计算机视觉 深度学习

📋 核心要点

  1. 现有的开放词汇检测方法在准确性和适应性方面存在不足，尤其是在缺乏充分标注数据时。
  2. 论文提出的DECOLA框架通过语言条件检测器生成高质量的伪标签，从而提升开放词汇检测的性能。
  3. DECOLA在零样本LVIS基准测试中超越了之前的研究，提升幅度达到17.1 AP-rare和9.4 mAP，展现出强大的性能。

📝 摘要（中文）

我们提出了一种新的开放词汇检测框架。该框架在可用时使用图像级标签和详细的检测注释。框架分为三个步骤：首先，在完全监督的检测数据上训练一个语言条件对象检测器，该检测器在训练期间能够看到真实类别的存在或缺失，并根据当前类别进行预测。接着，使用该检测器对图像进行伪标注，生成比以往方法更准确的伪标签。最后，在伪注释图像上训练一个无条件的开放词汇检测器，命名为DECOLA。DECOLA在开放词汇LVIS基准测试中表现出强大的零样本性能，并在LVIS、COCO、Object365和OpenImages等直接零样本迁移基准上超越了之前的研究。

🔬 方法详解

问题定义：本论文旨在解决开放词汇检测中的准确性和适应性问题，尤其是在标注数据稀缺的情况下，现有方法往往无法有效利用图像级标签和检测注释。

核心思路：论文的核心思路是通过训练一个语言条件对象检测器，利用其对真实类别的感知能力，生成更为准确的伪标签，从而为后续的开放词汇检测提供高质量的训练数据。

技术框架：整体框架分为三个主要阶段：首先训练语言条件对象检测器；其次使用该检测器生成伪标签；最后在伪标注图像上训练无条件的开放词汇检测器DECOLA。

关键创新：最重要的创新点在于引入语言条件机制，使得检测器能够根据当前类别进行预测，从而显著提高伪标签的准确性，这与传统方法的无条件预测形成鲜明对比。

关键设计：在设计中，采用了特定的损失函数来优化检测器的性能，同时在网络结构上进行了调整，以适应不同规模和架构的模型，确保在开放源数据和学术规模计算下的有效训练。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DECOLA在开放词汇LVIS基准测试中取得了17.1 AP-rare和9.4 mAP的显著提升，超越了之前的研究成果，展示了其在零样本检测任务中的强大能力，尤其是在多种模型规模和架构下均表现出色。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、智能监控、机器人视觉等，能够在缺乏充分标注数据的情况下，依然实现高效的物体检测。未来，DECOLA框架有望推动开放词汇检测技术的发展，提升多种视觉任务的性能。

📄 摘要（原文）

We present a new open-vocabulary detection framework. Our framework uses both image-level labels and detailed detection annotations when available. Our framework proceeds in three steps. We first train a language-conditioned object detector on fully-supervised detection data. This detector gets to see the presence or absence of ground truth classes during training, and conditions prediction on the set of present classes. We use this detector to pseudo-label images with image-level labels. Our detector provides much more accurate pseudo-labels than prior approaches with its conditioning mechanism. Finally, we train an unconditioned open-vocabulary detector on the pseudo-annotated images. The resulting detector, named DECOLA, shows strong zero-shot performance in open-vocabulary LVIS benchmark as well as direct zero-shot transfer benchmarks on LVIS, COCO, Object365, and OpenImages. DECOLA outperforms the prior arts by 17.1 AP-rare and 9.4 mAP on zero-shot LVIS benchmark. DECOLA achieves state-of-the-art results in various model sizes, architectures, and datasets by only training on open-sourced data and academic-scale computing. Code is available at https://github.com/janghyuncho/DECOLA.