FreqKD: Frequency-Decoupled Cross-Modal Knowledge Distillation for Infrared Object Detection
作者: Keval Thaker, Venkatraman Narayanan, Abdalmalek Aburaddaha, Samir A. Rawashdeh
分类: cs.CV
发布日期: 2026-06-10
💡 一句话要点
提出FreqKD以解决红外目标检测中的知识蒸馏问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 知识蒸馏 红外目标检测 多模态学习 频率解耦 特征对齐 迁移学习 深度学习
📋 核心要点
- 现有的知识蒸馏方法在RGB与红外图像之间的迁移学习中存在显著的模态差异，导致特征对齐困难。
- FreqKD通过分析频率特征的差异，提出了频率解耦的蒸馏框架，针对低频和高频成分采用不同的损失函数。
- 在KAIST数据集上，FreqKD达到了64.1 mAP50，相比于基线模型DINOv2提升了2.4个百分点，展示了良好的迁移能力。
📝 摘要（中文）
从大规模RGB基础模型向红外（IR）图像进行迁移学习通过知识蒸馏（KD）面临挑战，主要由于图像形成物理的根本差异。本文研究了RGB-IR模态间的光谱结构差异，发现特征偏差在空间频率上并不均匀：低频成分（形状、布局）显示出更好的跨模态一致性，而高频成分（纹理、细边缘）则反映了模态特有的特征。基于此分析，提出了FreqKD，一个频率解耦的蒸馏框架，采用适应于每个频段的非对称监督。该方法在低频段使用严格的均方误差（MSE），以保留共享的结构信息，而在高频段使用放宽的对数均方误差损失（权重为0.1），以提供边缘指导，同时容忍纹理差异。实验结果表明，FreqKD在KAIST多光谱行人检测中实现了64.1 mAP50，相较于DINOv2基线提升了2.4个百分点。
🔬 方法详解
问题定义：本文旨在解决从RGB模型到红外图像的知识蒸馏中，由于图像形成物理差异导致的特征对齐困难。现有方法未能有效处理低频和高频特征的不同对齐程度。
核心思路：FreqKD的核心思路是通过频率解耦的方式，分别对低频和高频特征采用不同的监督策略，以提高跨模态的一致性和特征对齐效果。
技术框架：该框架包括两个主要模块：低频特征的严格均方误差（MSE）损失计算和高频特征的放宽对数均方误差损失计算。通过这种方式，低频特征保留结构信息，而高频特征则提供边缘指导。
关键创新：最重要的创新在于提出了频率解耦的知识蒸馏方法，针对不同频率特征的特性设计了非对称的损失函数，这与传统的统一损失函数形成了鲜明对比。
关键设计：在损失函数设计上，低频段使用严格的MSE损失，而高频段则使用权重为0.1的放宽对数均方误差损失，以容忍纹理差异并增强边缘特征的指导作用。
🖼️ 关键图片
📊 实验亮点
在KAIST多光谱行人检测任务中，FreqKD达到了64.1 mAP50，相比于DINOv2基线提升了2.4个百分点。此外，该方法在不同数据集和任务间的迁移能力也得到了验证，表现出良好的适应性。
🎯 应用场景
该研究具有广泛的应用潜力，尤其是在红外图像处理、自动驾驶、安防监控等领域。通过提高红外目标检测的准确性，FreqKD能够为相关技术提供更为可靠的支持，推动多模态学习的进一步发展。
📄 摘要（原文）
Transfer learning from large-scale RGB foundation models to infrared (IR) imagery through knowledge distillation (KD) remains challenging due to fundamental differences in image formation physics. We investigate the spectral structure of the RGB--IR modality gap and observe that feature divergence is not uniform across spatial frequencies: low-frequency components (shape, layout) show greater cross-modal alignment than high-frequency components (texture, fine edges), which reflect modality-specific characteristics. Based on this analysis, we propose FreqKD, a frequency-decoupled distillation framework that applies asymmetric supervision adapted to each band's cross-modal consistency. The method employs strict mean squared error (MSE) on the low-frequency band to preserve shared structural information and a relaxed log-MSE loss (weighted at 0.1) on the high-frequency band to provide edge guidance while tolerating texture differences. Spectral divergence analysis on 500 paired samples shows that high-frequency divergence exceeds low-frequency divergence by a factor of 2.4x on average across all analysed transformer layers. On KAIST multispectral pedestrian detection, FreqKD achieves 64.1 mAP50, improving 2.4 points over the DINOv2 baseline. The learned representation transfers across datasets (FLIR ADAS, +2.1 mAP50), tasks (MFNet segmentation, +1.85 mean intersection-over-union), and architectures (ResNet-50, +1.0 mAP50). Code is available at: https://anonymous.4open.science/r/freq_decoupled_kd-5E5A