FD-CanKD: Frequency-Decoupled Cross-Attention Distillation as a Refinement Prior for Compact Object Detectors

📄 arXiv: 2608.18590v1 📥 PDF

作者: YoungJae Cheong, Jhonghyun An

分类: cs.CV

发布日期: 2026-08-19

备注: 16 pages, 5 figures, 6 tables

💡 一句话要点

提出FD-CanKD以解决紧凑型目标检测器的知识蒸馏问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 紧凑型目标检测 知识蒸馏 交叉注意力 频率解耦 深度学习

📋 核心要点

  1. 现有的紧凑型目标检测器因表示能力有限，导致与大型模型的准确性存在显著差距。
  2. 论文提出FD-CanKD框架，通过头级、关系级和频率级的知识转移，增强学生模型的特征表示能力。
  3. 实验结果显示，经过FD-CanKD蒸馏的学生模型在COCO数据集上达到了48.87的mAP，优于传统的蒸馏方法。

📝 摘要（中文）

紧凑型目标检测器适用于资源受限的视觉感知，但其有限的表示能力导致与大型模型之间存在准确性差距。传统的检测器蒸馏通常依赖于预测级监督或单一特征对齐目标，如响应、分布、相关性或频域匹配。本文提出频率解耦交叉注意力知识蒸馏（FD-CanKD），作为一种面向检测器的框架，通过头级预测监督、关系级非局部上下文转移和频率级组件选择性对齐三个互补层次转移教师知识。在受控的Microsoft COCO实验中，FD-CanKD在从头开始的50个周期比较中仍然与代表性的检测器知识蒸馏基线保持竞争力。后续的细化训练使得学生模型的性能进一步提升，达到48.87的平均精度（mAP），并在20个额外周期后，学生模型参数保持在19.7M。

🔬 方法详解

问题定义：紧凑型目标检测器在资源受限环境中应用广泛，但其表示能力不足，导致准确性低于大型模型。现有的蒸馏方法多依赖于单一特征对齐，难以全面提升学生模型性能。

核心思路：FD-CanKD通过引入频率解耦交叉注意力机制，从头级预测、关系级上下文转移和频率级对齐三个层次转移教师知识，旨在全面提升学生模型的特征表达能力。

技术框架：该框架包括三个主要模块：1) 头级预测监督，通过教师模型的预测指导学生模型；2) 关系级非局部上下文转移，利用交叉注意力机制聚合教师模型的空间上下文；3) 频率级组件选择性对齐，确保学生模型保留重要的结构和细节信息。

关键创新：FD-CanKD的创新在于其频率解耦设计，使得知识转移不仅限于单一特征对齐，而是通过多层次的知识融合，显著提升了学生模型的性能。

关键设计：在训练过程中，采用了特定的损失函数来平衡不同层次的知识转移，同时确保学生模型在蒸馏后保持19.7M的参数量，便于实际部署。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，经过FD-CanKD蒸馏的学生模型在COCO数据集上达到了48.87的mAP，65.84的mAP50和53.40的mAP75，显著优于传统蒸馏方法，展示了其在紧凑型目标检测器中的有效性。

🎯 应用场景

该研究的潜在应用领域包括智能监控、自动驾驶、无人机视觉等资源受限的视觉感知任务。通过提升紧凑型目标检测器的性能，FD-CanKD能够在实际应用中实现更高的准确性和效率，推动相关技术的发展与应用。

📄 摘要（原文）

Compact object detectors are suitable for resource-constrained visual perception, but their limited representation capacity creates an accuracy gap relative to large models. Conventional detector distillation often relies on prediction-level supervision or a single feature-alignment target, such as response, distribution, correlation, or frequency-domain matching. Frequency-Decoupled Cross-Attention Knowledge Distillation (FD-CanKD) is presented as a detector-oriented framework that transfers teacher knowledge at three complementary levels: head-level prediction supervision, relation-level non-local context transfer, and frequency-level component-selective alignment. Student features first aggregate teacher-side spatial context through cross-attention-based relation transfer, after which frequency-aware alignment preserves complementary structural and detail-sensitive cues. Under controlled Microsoft Common Objects in Context (COCO) experiments, fixed 50-epoch from-scratch comparisons show that FD-CanKD remains competitive with representative detector knowledge distillation baselines. Post-distillation continued fine-tuning further produces a stronger refinement-ready student than detector-only fine-tuning, reaching 48.87 mean average precision (mAP) at intersection-over-union thresholds from 0.50 to 0.95 (mAP50:95), 65.84 mAP50, and 53.40 mAP75 after 20 additional epochs. All distillation modules are removed after training, leaving the deployed student unchanged at 19.7M parameters. The framework is instantiated and evaluated in a controlled YOLOv12 teacher-student setting as a representative compact-detector case study.