Domain Adaptation for Large-Vocabulary Object Detectors

📄 arXiv: 2401.06969v2 📥 PDF

作者: Kai Jiang, Jiaxing Huang, Weiying Xie, Jie Lei, Yunsong Li, Ling Shao, Shijian Lu

分类: cs.CV

发布日期: 2024-01-13 (更新: 2024-05-10)

💡 一句话要点

提出KGD以解决大词汇量物体检测器的领域适应问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识图谱 领域适应 物体检测 CLIP 跨领域分类 视觉语言模型 大词汇量检测

📋 核心要点

  1. 现有的大词汇量物体检测器在不同领域数据上识别物体时面临数据分布和词汇差异的挑战。
  2. 本文提出的KGD技术通过提取CLIP中的知识图谱，帮助LVDs有效适应不同的下游领域。
  3. 实验结果显示，KGD在多个广泛采用的检测基准上持续超越现有最优方法，提升幅度显著。

📝 摘要（中文）

大词汇量物体检测器（LVDs）旨在检测多类别物体，但由于数据分布和物体词汇的领域差异，识别能力受到限制。本文提出了知识图谱蒸馏技术（KGD），利用CLIP中的隐式知识图谱，有效地将LVDs适应于不同下游领域。KGD包括两个阶段：首先通过CLIP对下游领域数据进行编码，构建包含丰富语义关系的知识图谱；其次将提取的知识图谱转移到LVDs中，实现准确的跨领域物体分类。实验结果表明，KGD在多个检测基准上显著超越了现有最优方法。

🔬 方法详解

问题定义：本文解决的是大词汇量物体检测器在不同领域数据上识别物体时，由于数据分布和物体词汇的领域差异而导致的识别困难。现有方法在处理这些领域差异时效果不佳。

核心思路：KGD的核心思路是利用CLIP中的隐式知识图谱，通过知识图谱的提取和封装，帮助LVDs更好地适应不同下游领域，从而提高物体分类的准确性。

技术框架：KGD的整体架构分为两个主要阶段：第一阶段是知识图谱提取，使用CLIP对下游领域数据进行编码，构建节点和边的特征关系；第二阶段是知识图谱封装，将提取的知识图谱转移到LVDs中，以实现跨领域物体分类。

关键创新：KGD的主要创新在于利用CLIP中的知识图谱进行领域适应，这一方法与传统的领域适应技术相比，能够更好地捕捉和利用语义关系，从而提升检测性能。

关键设计：在技术细节上，KGD通过特征距离构建知识图谱的边，并独立提取视觉和文本知识图谱，为物体定位和分类提供互补的信息。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在多个广泛采用的检测基准上，KGD技术的实验结果显示出显著的性能提升，超越了现有最优方法，提升幅度达到XX%（具体数据未知），证明了其在跨领域物体分类中的有效性。

🎯 应用场景

该研究的潜在应用领域包括智能监控、自动驾驶、机器人视觉等，能够提升这些领域中物体检测的准确性和鲁棒性。未来，KGD技术有望在更多实际场景中得到应用，推动物体检测技术的发展。

📄 摘要（原文）

Large-vocabulary object detectors (LVDs) aim to detect objects of many categories, which learn super objectness features and can locate objects accurately while applied to various downstream data. However, LVDs often struggle in recognizing the located objects due to domain discrepancy in data distribution and object vocabulary. At the other end, recent vision-language foundation models such as CLIP demonstrate superior open-vocabulary recognition capability. This paper presents KGD, a Knowledge Graph Distillation technique that exploits the implicit knowledge graphs (KG) in CLIP for effectively adapting LVDs to various downstream domains. KGD consists of two consecutive stages: 1) KG extraction that employs CLIP to encode downstream domain data as nodes and their feature distances as edges, constructing KG that inherits the rich semantic relations in CLIP explicitly; and 2) KG encapsulation that transfers the extracted KG into LVDs to enable accurate cross-domain object classification. In addition, KGD can extract both visual and textual KG independently, providing complementary vision and language knowledge for object localization and object classification in detection tasks over various downstream domains. Experiments over multiple widely adopted detection benchmarks show that KGD outperforms the state-of-the-art consistently by large margins.