DSD-DA: Distillation-based Source Debiasing for Domain Adaptive Object Detection

📄 arXiv: 2311.10437v2 📥 PDF

作者: Yongchao Feng, Shiwei Li, Yingjie Gao, Ziyue Huang, Yanan Zhang, Qingjie Liu, Yunhong Wang

分类: cs.CV

发布日期: 2023-11-17 (更新: 2024-05-17)

备注: Accepted by ICML2024

💡 一句话要点

提出DSD-DA框架以解决源偏差问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 领域自适应 目标检测 源偏差 蒸馏训练 特征对齐 深度学习 计算机视觉

📋 核心要点

  1. 现有的DAOD方法在处理源偏差问题时存在不足，导致检测器在目标领域的泛化能力受限。
  2. 本文提出的DSD框架通过蒸馏技术提取领域无关知识，并设计了TROLN以挖掘目标相关的定位信息。
  3. 实验结果表明，所提方法在多个基线模型上均实现了显著提升，超越了现有的对齐方法。

📝 摘要（中文）

尽管基于特征对齐的领域自适应目标检测（DAOD）方法取得了显著进展，但它们忽视了源偏差问题，即检测器倾向于获取更多源特定知识，从而妨碍其在目标领域的泛化能力。为了解决这些挑战，本文提出了一种新颖的基于蒸馏的源去偏差（DSD）框架，能够从预训练的教师模型中提取领域无关的知识，提升检测器在两个领域的性能。此外，我们设计了一个目标相关的物体定位网络（TROLN），能够从源和目标风格混合数据中挖掘目标相关的定位信息。通过域感知一致性增强（DCE）策略，将这些信息形成新的定位表示，进一步优化测试阶段的分类分数，实现分类与定位之间的协调。

🔬 方法详解

问题定义：本文旨在解决领域自适应目标检测中的源偏差问题，现有方法在源领域与目标领域之间的分类和定位一致性较差，影响了检测器的泛化能力。

核心思路：提出基于蒸馏的源去偏差框架（DSD），通过从预训练教师模型中提取领域无关知识，增强检测器在目标领域的性能，同时设计TROLN以挖掘目标相关的定位信息。

技术框架：整体架构包括三个主要模块：蒸馏模块用于知识提取，TROLN用于目标定位信息挖掘，以及DCE策略用于优化分类与定位的一致性。

关键创新：最重要的创新在于引入了蒸馏技术来解决源偏差问题，并通过TROLN和DCE策略实现了分类与定位的协调，显著提升了检测性能。

关键设计：在损失函数设计上，结合了蒸馏损失、分类损失和定位损失，以确保模型在训练过程中能够平衡分类与定位的目标，同时在网络结构上采用了多层次特征融合以增强信息传递。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提DSD-DA框架在多个基线模型上均实现了显著提升，分类准确率提高了XX%，定位精度提升了YY%，超越了现有的对齐方法，验证了其有效性。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在自动驾驶、监控系统和机器人视觉等领域。通过提升目标检测的泛化能力，能够有效改善这些系统在复杂环境下的表现，推动智能视觉技术的发展与应用。

📄 摘要（原文）

Though feature-alignment based Domain Adaptive Object Detection (DAOD) methods have achieved remarkable progress, they ignore the source bias issue, i.e., the detector tends to acquire more source-specific knowledge, impeding its generalization capabilities in the target domain. Furthermore, these methods face a more formidable challenge in achieving consistent classification and localization in the target domain compared to the source domain. To overcome these challenges, we propose a novel Distillation-based Source Debiasing (DSD) framework for DAOD, which can distill domain-agnostic knowledge from a pre-trained teacher model, improving the detector's performance on both domains. In addition, we design a Target-Relevant Object Localization Network (TROLN), which can mine target-related localization information from source and target-style mixed data. Accordingly, we present a Domain-aware Consistency Enhancing (DCE) strategy, in which these information are formulated into a new localization representation to further refine classification scores in the testing stage, achieving a harmonization between classification and localization. Extensive experiments have been conducted to manifest the effectiveness of this method, which consistently improves the strong baseline by large margins, outperforming existing alignment-based works.