Toward Open Vocabulary Aerial Object Detection with CLIP-Activated Student-Teacher Learning

📄 arXiv: 2311.11646v4 📥 PDF

作者: Yan Li, Weiwei Guo, Xue Yang, Ning Liao, Dunyun He, Jiaqi Zhou, Wenxian Yu

分类: cs.CV

发布日期: 2023-11-20 (更新: 2024-10-28)

备注: Accepted by ECCV2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出CastDet框架以解决开放词汇航空物体检测问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 开放词汇检测 航空图像 CLIP模型 学生-教师学习 伪标签生成 动态标签队列 物体检测

📋 核心要点

  1. 现有的物体检测方法在处理开放词汇任务时，往往依赖于大量标注数据，限制了其扩展性。
  2. 本文提出的CastDet框架利用CLIP模型，通过学生-教师自学习机制，生成高质量的区域提议和伪标签。
  3. 实验结果显示，CastDet在多个数据集上表现优异，尤其在新类别检测上显著提升，达到46.5%的mAP。

📝 摘要（中文）

随着遥感图像数量的激增，开发可扩展的物体检测器成为必要，以便在不昂贵收集新标注数据的情况下检测超出训练类别的物体。本文旨在开发开放词汇物体检测技术，扩展航空图像中的物体词汇量。我们提出了CastDet，一个基于CLIP激活的学生-教师开放词汇物体检测框架，通过自学习机制生成高质量的区域提议和伪标签。实验结果表明，CastDet在多个航空物体检测数据集上表现优异，尤其在VisDroneZSD新类别上达到46.5%的mAP，超越了当前最先进的开放词汇检测器21.0%的mAP。

🔬 方法详解

问题定义：本文解决的是开放词汇物体检测（OVD）在航空图像中的应用问题。现有方法通常依赖于大量标注数据，难以扩展到新的物体类别，限制了其实际应用。

核心思路：我们提出的CastDet框架通过CLIP激活的学生-教师学习机制，能够在不需要额外标注数据的情况下，生成高质量的区域提议和伪标签，从而提升开放词汇检测的能力。

技术框架：CastDet框架包括两个主要模块：学生模型和教师模型。教师模型使用RemoteCLIP，提供丰富的知识支持；学生模型则负责生成物体提议和伪标签。整个过程是端到端的，采用动态标签队列策略以保持伪标签的高质量。

关键创新：CastDet的核心创新在于将CLIP模型作为教师，利用其丰富的知识来提升学生模型的学习效果。这种设计使得模型能够更好地处理新类别的检测任务。

关键设计：在训练过程中，我们设计了动态标签队列策略，以确保伪标签的质量。此外，损失函数的设计也经过精心调整，以适应开放词汇检测的需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CastDet在VisDroneZSD新类别上达到了46.5%的mAP，显著超过了现有最先进的开放词汇检测器21.0%的mAP。这一成果展示了CastDet在开放词汇物体检测任务中的优越性和实用性。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在无人机监控、环境监测和灾害响应等领域。通过提升开放词汇物体检测能力，CastDet能够帮助相关领域的研究者和从业者更有效地识别和分类新出现的物体，推动智能监控和自动化系统的发展。

📄 摘要（原文）

An increasingly massive number of remote-sensing images spurs the development of extensible object detectors that can detect objects beyond training categories without costly collecting new labeled data. In this paper, we aim to develop open-vocabulary object detection (OVD) technique in aerial images that scales up object vocabulary size beyond training data. The performance of OVD greatly relies on the quality of class-agnostic region proposals and pseudo-labels for novel object categories. To simultaneously generate high-quality proposals and pseudo-labels, we propose CastDet, a CLIP-activated student-teacher open-vocabulary object Detection framework. Our end-to-end framework following the student-teacher self-learning mechanism employs the RemoteCLIP model as an extra omniscient teacher with rich knowledge. By doing so, our approach boosts not only novel object proposals but also classification. Furthermore, we devise a dynamic label queue strategy to maintain high-quality pseudo labels during batch training. We conduct extensive experiments on multiple existing aerial object detection datasets, which are set up for the OVD task. Experimental results demonstrate our CastDet achieving superior open-vocabulary detection performance, e.g., reaching 46.5% mAP on VisDroneZSD novel categories, which outperforms the state-of-the-art open-vocabulary detectors by 21.0% mAP. To our best knowledge, this is the first work to apply and develop the open-vocabulary object detection technique for aerial images. The code is available at https://github.com/lizzy8587/CastDet.