VL-DINO: Leveraging CLIP Vision-Language Knowledge for Open-Vocabulary Object Detectio

📄 arXiv: 2606.11546v1 📥 PDF

作者: Hao Zhang, Qinran Lin, Linqi Song, Yong Li

分类: cs.CV

发布日期: 2026-06-10

💡 一句话要点

提出VL-DINO以解决开放词汇物体检测中的知识融合问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 开放词汇检测 视觉语言模型 CLIP DINO 多模态学习

📋 核心要点

  1. 现有的开放词汇物体检测方法在将视觉和文本知识有效整合到检测架构中面临挑战，导致性能受限。
  2. 本文提出VL-DINO，通过查询引导的正样本构建模块和视觉语义编码器，增强DINO框架以更好地利用CLIP的知识。
  3. 在LVIS基准测试中，VL-DINO-T和VL-DINO-L分别取得36.3和38.1的AP，显著优于现有方法，验证了其有效性。

📝 摘要（中文）

视觉语言模型如CLIP能够为开放词汇物体检测提供丰富的语义先验。然而，将文本和视觉知识有效整合到检测架构中仍然具有挑战性。本文提出了VL-DINO，一个通过更有效地利用CLIP的视觉语言知识来增强DINO的开放词汇检测器。具体而言，首先开发了一个查询引导的正样本构建模块（QPSC），以构建额外的高质量正样本，使得原始DINO框架能够更好地适应异构数据源的混合训练，并提供更多的视觉语言对齐信号，从而在训练过程中融入更丰富的文本知识。在此基础上，引入了视觉语义编码器（VSE）模块，将CLIP的视觉知识提炼到主干提取的特征中，生成用于后续编码器优化的融合特征。基于融合特征，物体区域语义对齐模块（ORSA）提取以物体为中心的区域特征，并将其与相应的文本嵌入对齐，进一步融入文本线索。在零样本设置下，VL-DINO-T和VL-DINO-L在LVIS基准上分别达到了36.3和38.1的AP，持续超越了之前的先进方法。大量实验表明了所提设计的有效性和竞争力。

🔬 方法详解

问题定义：本文旨在解决开放词汇物体检测中视觉与文本知识融合的困难，现有方法在处理异构数据源时效果不佳，导致检测性能受限。

核心思路：VL-DINO通过引入查询引导的正样本构建模块和视觉语义编码器，增强了DINO框架，使其能够更有效地利用CLIP的视觉语言知识，从而提高检测性能。

技术框架：整体架构包括三个主要模块：查询引导的正样本构建模块（QPSC）、视觉语义编码器（VSE）和物体区域语义对齐模块（ORSA）。QPSC用于生成高质量正样本，VSE用于提炼视觉知识，ORSA则对齐物体区域特征与文本嵌入。

关键创新：最重要的创新在于QPSC模块的设计，它通过构建额外的正样本来增强训练过程中的视觉语言对齐信号，显著提升了模型的开放词汇检测能力。

关键设计：在参数设置上，模型采用了多层次特征融合策略，损失函数设计上结合了对齐损失和分类损失，以确保模型在不同数据源上的泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在LVIS基准测试中，VL-DINO-T和VL-DINO-L分别实现了36.3和38.1的AP，相较于以往先进方法有显著提升，验证了其在开放词汇物体检测中的有效性和竞争力。

🎯 应用场景

VL-DINO的研究成果在开放词汇物体检测领域具有广泛的应用潜力，能够用于智能监控、自动驾驶、机器人视觉等场景。通过更好地理解和识别未见物体，提升了系统的智能化水平和适应能力，未来可能推动相关技术的进一步发展。

📄 摘要（原文）

Vision-language models like CLIP can provide rich semantic priors for open-vocabulary object detection. However, jointly integrating both textual and visual knowledge into detection architectures remains challenging. In this paper, we propose VL-DINO, an open-vocabulary detector that enhances DINO through more effective exploitation of CLIP's vision-language knowledge. Specifically, a Query-guided Positive Sample Construction (QPSC) module is first developed to construct additional high-quality positive samples, enabling the vanilla DINO framework to better accommodate mixed training across heterogeneous data sources while providing more vision-language alignment signals, thereby incorporating richer textual knowledge during training. A Visual Semantic Encoder (VSE) module is then introduced to distill CLIP visual knowledge into backbone-extracted features, producing fused features for subsequent encoder refinement. Based on the fused features, an Object-Region Semantic Alignment (ORSA) module extracts object-centric region features and aligns them with the corresponding textual embeddings, further incorporating textual cues. In the zero-shot setting, VL-DINO-T and VL-DINO-L achieve 36.3 and 38.1 AP on the LVIS benchmark, respectively, consistently outperforming prior advanced approaches. Extensive experiments demonstrate the effectiveness and competitive performance of the proposed design.