SKDF: A Simple Knowledge Distillation Framework for Distilling Open-Vocabulary Knowledge to Open-world Object Detector

📄 arXiv: 2312.08653v2 📥 PDF

作者: Shuailei Ma, Yuefeng Wang, Ying Wei, Jiaqi Fan, Enming Zhang, Xinyu Sun, Peihao Chen

分类: cs.CV

发布日期: 2023-12-14 (更新: 2024-03-30)

备注: arXiv admin note: substantial text overlap with arXiv:2303.11623

🔗 代码/项目: GITHUB

💡 一句话要点

提出SKDF框架以解决开放世界物体检测中的知识蒸馏问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 知识蒸馏 开放世界检测 物体识别 自动伪标签 深度学习

📋 核心要点

  1. 现有方法在进行未知物体检测时，容易导致已知物体学习的灾难性遗忘，影响检测性能。
  2. 本文提出下权重损失函数和级联解耦解码结构，旨在减轻知识蒸馏对已知物体学习的负面影响。
  3. 实验结果表明，所提方法在多个基准上均显著提升了未知物体检测的性能，验证了其有效性。

📝 摘要（中文）

本文旨在通过知识蒸馏将开放世界知识专门化为语言无关的检测器，以应对开放世界物体检测任务。研究发现，简单的知识蒸馏方法与自动伪标签机制的结合能够在少量数据下实现未知物体检测的性能提升。然而，传统结构的检测器在进行未知物体的知识蒸馏时，容易导致已知物体学习的灾难性遗忘。为此，本文提出了下权重损失函数和级联解耦解码结构，以减轻已知和未知物体类别间的相互影响。通过在OWOD、MS-COCO及新提出的基准上进行的综合实验，验证了方法的有效性。

🔬 方法详解

问题定义：本文主要解决开放世界物体检测中，知识蒸馏对已知物体学习造成的灾难性遗忘问题。现有方法在处理未知物体时，往往会影响已知物体的检测性能。

核心思路：提出下权重损失函数和级联解耦解码结构，以减轻已知和未知物体之间的类别相互影响，从而提高检测器的整体性能。

技术框架：整体架构包括知识蒸馏模块、下权重损失计算和解耦解码结构。知识蒸馏模块负责从视觉-语言模型中提取知识，下权重损失函数用于调整已知物体的学习权重，而解耦解码结构则将定位和识别过程分开进行。

关键创新：最重要的创新在于提出的下权重损失函数和级联解耦解码结构，这两者有效地缓解了知识蒸馏对已知物体学习的负面影响，与传统方法相比，显著提高了未知物体的检测能力。

关键设计：下权重损失函数通过调整损失计算中的权重，降低了已知物体的学习干扰；级联解耦解码结构则通过分离定位和识别任务，减少了类别间的相互影响。这些设计使得模型在处理复杂场景时更加鲁棒。

📊 实验亮点

实验结果显示，所提方法在未知物体检测任务中，相较于基线模型，性能提升达到了XX%，在StandardSet和IntensiveSet基准上均取得了显著的效果，验证了方法的有效性和实用性。

🎯 应用场景

该研究在开放世界物体检测领域具有重要应用潜力，能够提升智能监控、自动驾驶和机器人视觉等场景中的物体识别能力。通过有效识别未知物体，系统可以更好地适应动态环境，增强安全性和可靠性。

📄 摘要（原文）

In this paper, we attempt to specialize the VLM model for OWOD tasks by distilling its open-world knowledge into a language-agnostic detector. Surprisingly, we observe that the combination of a simple \textbf{knowledge distillation} approach and the automatic pseudo-labeling mechanism in OWOD can achieve better performance for unknown object detection, even with a small amount of data. Unfortunately, knowledge distillation for unknown objects severely affects the learning of detectors with conventional structures for known objects, leading to catastrophic forgetting. To alleviate these problems, we propose the \textbf{down-weight loss function} for knowledge distillation from vision-language to single vision modality. Meanwhile, we propose the \textbf{cascade decouple decoding structure} that decouples the learning of localization and recognition to reduce the impact of category interactions of known and unknown objects on the localization learning process. Ablation experiments demonstrate that both of them are effective in mitigating the impact of open-world knowledge distillation on the learning of known objects. Additionally, to alleviate the current lack of comprehensive benchmarks for evaluating the ability of the open-world detector to detect unknown objects in the open world, we propose two benchmarks, which we name "\textbf{StandardSet}$\heartsuit$" and "\textbf{IntensiveSet}$\spadesuit$" respectively, based on the complexity of their testing scenarios. Comprehensive experiments performed on OWOD, MS-COCO, and our proposed benchmarks demonstrate the effectiveness of our methods. The code and proposed dataset are available at \url{https://github.com/xiaomabufei/SKDF}.