Real-time Transformer-based Open-Vocabulary Detection with Efficient Fusion Head

📄 arXiv: 2403.06892v2 📥 PDF

作者: Tiancheng Zhao, Peng Liu, Xuan He, Lu Zhang, Kyusong Lee

分类: cs.CV, cs.CL

发布日期: 2024-03-11 (更新: 2024-12-02)

备注: Preprint

🔗 代码/项目: GITHUB

💡 一句话要点

提出OmDet-Turbo以解决实时开放词汇检测问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 开放词汇检测 变换器模型 实时推理 高效融合头 物体检测 深度学习 计算机视觉

📋 核心要点

  1. 现有的端到端变换器检测器在实时物体检测中面临高计算需求的挑战，限制了其应用。
  2. 本文提出的OmDet-Turbo通过引入高效融合头模块，优化了现有模型的性能瓶颈。
  3. 实验结果表明，OmDet-Turbo在多个基准数据集上达到了新的最先进水平，且推理速度显著提升。

📝 摘要（中文）

基于端到端变换器的检测器（DETRs）在闭集和开放词汇物体检测（OVD）任务中表现出色，但其高计算需求限制了在实时物体检测场景中的应用。本文分析了OVDEval基准中OmDet和Grounding-DINO的局限性，并提出了OmDet-Turbo。这一新型实时OVD模型引入了高效融合头（EFH）模块，旨在缓解OmDet和Grounding-DINO中的瓶颈。OmDet-Turbo-Base在应用TensorRT和语言缓存技术时达到了每秒100.2帧的速度，并在COCO和LVIS数据集的零样本场景中表现接近当前最先进的监督模型。此外，它在ODinW和OVDEval上建立了新的最先进基准，分别达到了30.1的AP和26.86的NMS-AP，显示出其在工业应用中的实际价值。

🔬 方法详解

问题定义：本文旨在解决实时开放词汇物体检测中的高计算需求问题。现有的OmDet和Grounding-DINO模型在推理速度和性能上存在瓶颈，限制了其实际应用。

核心思路：论文提出了OmDet-Turbo模型，设计了高效融合头（EFH）模块，以优化信息融合过程，提升检测速度和准确性。通过这种设计，模型能够在保持高性能的同时，显著降低计算资源的消耗。

技术框架：OmDet-Turbo的整体架构包括输入处理、特征提取、EFH模块和输出生成等主要阶段。EFH模块在特征融合过程中起到关键作用，确保了信息的高效整合。

关键创新：最重要的技术创新在于高效融合头（EFH）的设计，它通过优化特征融合策略，解决了现有模型在实时检测中的性能瓶颈，与传统方法相比，显著提升了推理速度和准确性。

关键设计：在模型设计中，采用了TensorRT和语言缓存技术，以实现每秒100.2帧的推理速度。此外，损失函数和网络结构经过精心调整，以确保在零样本场景下的最佳性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

OmDet-Turbo在COCO和LVIS数据集的零样本场景中表现出色，达到了接近最先进监督模型的性能。同时，在ODinW和OVDEval基准上，分别取得了30.1的AP和26.86的NMS-AP，展示了其在开放词汇检测中的领先地位。

🎯 应用场景

OmDet-Turbo在实时物体检测任务中具有广泛的应用潜力，尤其适用于需要快速响应的工业场景，如自动驾驶、智能监控和机器人视觉等领域。其高效的推理速度和优越的检测性能使其在实际应用中具备显著的价值，能够满足实时处理的需求。

📄 摘要（原文）

End-to-end transformer-based detectors (DETRs) have shown exceptional performance in both closed-set and open-vocabulary object detection (OVD) tasks through the integration of language modalities. However, their demanding computational requirements have hindered their practical application in real-time object detection (OD) scenarios. In this paper, we scrutinize the limitations of two leading models in the OVDEval benchmark, OmDet and Grounding-DINO, and introduce OmDet-Turbo. This novel transformer-based real-time OVD model features an innovative Efficient Fusion Head (EFH) module designed to alleviate the bottlenecks observed in OmDet and Grounding-DINO. Notably, OmDet-Turbo-Base achieves a 100.2 frames per second (FPS) with TensorRT and language cache techniques applied. Notably, in zero-shot scenarios on COCO and LVIS datasets, OmDet-Turbo achieves performance levels nearly on par with current state-of-the-art supervised models. Furthermore, it establishes new state-of-the-art benchmarks on ODinW and OVDEval, boasting an AP of 30.1 and an NMS-AP of 26.86, respectively. The practicality of OmDet-Turbo in industrial applications is underscored by its exceptional performance on benchmark datasets and superior inference speed, positioning it as a compelling choice for real-time object detection tasks. Code: \url{https://github.com/om-ai-lab/OmDet}