An Open and Comprehensive Pipeline for Unified Object Grounding and Detection

📄 arXiv: 2401.02361v2 📥 PDF

作者: Xiangyu Zhao, Yicheng Chen, Shilin Xu, Xiangtai Li, Xinjiang Wang, Yining Li, Haian Huang

分类: cs.CV

发布日期: 2024-01-04 (更新: 2024-01-05)

备注: 10 pages, 6 figures

🔗 代码/项目: GITHUB

💡 一句话要点

提出MM-Grounding-DINO以解决Grounding-DINO模型细节缺失问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 开放集检测 短语定位 指代表达理解 开源模型 视觉任务 MMDetection 性能提升

📋 核心要点

  1. 现有的Grounding-DINO模型缺乏公开的训练代码，导致技术细节不够透明，影响了其应用和推广。
  2. 论文提出MM-Grounding-DINO，作为一个开源的、全面的基线，旨在提供详细的技术细节和复现设置。
  3. 实验结果表明，MM-Grounding-DINO-Tiny在多个基准测试中性能优于Grounding-DINO-Tiny，展示了其有效性。

📝 摘要（中文）

Grounding-DINO是一种先进的开放集检测模型，能够处理开放词汇检测、短语定位和指代表达理解等多种视觉任务。然而，原始的Grounding-DINO模型由于缺乏公开的训练代码，未能提供全面的技术细节。为了解决这一问题，我们提出了MM-Grounding-DINO，这是一个开源、全面且用户友好的基线，基于MMDetection工具箱构建。该模型采用丰富的视觉数据集进行预训练，并在多个检测和定位数据集上进行微调。通过对各项结果的全面分析，我们的MM-Grounding-DINO-Tiny在性能上超越了Grounding-DINO-Tiny基线。所有模型和代码已向研究社区开放。

🔬 方法详解

问题定义：本论文旨在解决Grounding-DINO模型缺乏公开训练代码的问题，导致其技术细节不透明，限制了研究者的复现和应用。

核心思路：提出MM-Grounding-DINO作为一个开源的、用户友好的基线，利用MMDetection工具箱，提供全面的技术细节和复现设置，以便于研究者进行深入研究和应用。

技术框架：整体架构包括预训练和微调两个阶段，预训练阶段使用丰富的视觉数据集，微调阶段则在多个检测和定位数据集上进行，以提升模型的性能和适应性。

关键创新：MM-Grounding-DINO的最大创新在于其开放性和全面性，提供了详细的复现设置和技术细节，解决了原有模型的透明性问题，促进了研究的进一步发展。

关键设计：在模型设计中，采用了多种损失函数和网络结构，以优化模型在不同任务上的表现，同时确保了模型的可复现性和易用性。具体的参数设置和训练策略在论文中进行了详细说明。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，MM-Grounding-DINO-Tiny在多个基准测试中表现优异，超越了Grounding-DINO-Tiny基线，展示了显著的性能提升。具体的性能数据和对比结果在论文中进行了详细列举，证明了该模型的有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉中的开放集检测、短语定位和指代表达理解等任务。MM-Grounding-DINO的开源特性使得研究者能够在此基础上进行二次开发和应用，推动相关领域的研究进展，具有重要的实际价值和未来影响。

📄 摘要（原文）

Grounding-DINO is a state-of-the-art open-set detection model that tackles multiple vision tasks including Open-Vocabulary Detection (OVD), Phrase Grounding (PG), and Referring Expression Comprehension (REC). Its effectiveness has led to its widespread adoption as a mainstream architecture for various downstream applications. However, despite its significance, the original Grounding-DINO model lacks comprehensive public technical details due to the unavailability of its training code. To bridge this gap, we present MM-Grounding-DINO, an open-source, comprehensive, and user-friendly baseline, which is built with the MMDetection toolbox. It adopts abundant vision datasets for pre-training and various detection and grounding datasets for fine-tuning. We give a comprehensive analysis of each reported result and detailed settings for reproduction. The extensive experiments on the benchmarks mentioned demonstrate that our MM-Grounding-DINO-Tiny outperforms the Grounding-DINO-Tiny baseline. We release all our models to the research community. Codes and trained models are released at https://github.com/open-mmlab/mmdetection/tree/main/configs/mm_grounding_dino.