SFKD: Spatial--Frequency Joint-Aware Heterogeneous Knowledge Distillation via Multi-Level Wavelet Spectral Interaction

📄 arXiv: 2607.01906v1 📥 PDF

作者: Cuipeng Wang, Haipeng Wang

分类: cs.CV

发布日期: 2026-07-02

备注: Accepted by ECCV 2026

💡 一句话要点

提出SFKD框架以解决异构模型知识蒸馏中的空间信息损失问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 知识蒸馏 异构模型 小波变换 频率损失 计算机视觉 模型压缩 多模态学习

📋 核心要点

  1. 现有知识蒸馏方法主要针对同构模型，忽视了异构模型间的知识转移潜力，导致空间信息损失。
  2. 本文提出SFKD框架，通过多级小波变换和频率损失结合，充分利用异构表示中的空间信息。
  3. 在多个基准数据集上进行的实验表明，SFKD在性能上显著优于传统的异构知识蒸馏方法。

📝 摘要（中文）

现有的知识蒸馏方法大多集中于同构模型（如CNN到CNN），忽视了异构模型之间知识转移的灵活性和潜力。由于异构模型之间固有的归纳偏差差异，导致空间分布不一致，先前的异构蒸馏方法常常削弱或丢弃异构表示中的空间信息。为了更好地利用异构表示中编码的空间信息，本文提出了一种空间-频率联合感知的异构知识蒸馏框架（SFKD）。通过多级离散小波变换显式解耦空间信息，并结合高斯滤波频率损失，选择性捕捉有用的全局信息。大量实验表明该方法在多个基准数据集上优于现有方法。

🔬 方法详解

问题定义：本文旨在解决异构模型知识蒸馏中空间信息的损失问题。现有方法往往忽略了异构表示中的空间信息，导致知识转移效果不佳。

核心思路：提出SFKD框架，通过多级离散小波变换解耦空间信息，并结合频率损失，旨在保留和利用异构模型中的空间特征。

技术框架：整体架构包括多级离散小波变换模块、双流双阶段精炼模块，以及结合高斯滤波的频率损失模块，形成一个完整的知识蒸馏流程。

关键创新：最重要的创新在于将小波变换与频率损失相结合，充分利用了空间和频率信息的互补特性，显著提升了异构模型间的知识转移效果。

关键设计：在损失函数设计上，采用高斯滤波频率损失，以选择性捕捉全局信息；网络结构上，设计了双流双阶段精炼模块，以增强信息的提取和融合能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个基准数据集上的实验结果显示，SFKD框架在异构模型知识蒸馏任务中表现出色，相较于传统方法，性能提升幅度达到XX%（具体数据待补充），验证了其有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉、自然语言处理和多模态学习等。通过提高异构模型间的知识转移效率，SFKD框架可以在实际应用中提升模型的性能，尤其是在资源受限的环境中。未来，该方法可能会推动更多跨领域的知识蒸馏研究，促进模型的灵活性和适应性。

📄 摘要（原文）

Most existing knowledge distillation methods focus on homogeneous models (e.g., CNN-to-CNN), thereby overlooking the flexibility and potential of knowledge transfer across heterogeneous models. Due to intrinsic inductive bias discrepancies between heterogeneous models that cause spatial distribution inconsistencies, prior heterogeneous distillation methods often weaken or discard spatial information in heterogeneous representations. However, the spatial information in representations often encodes transferable global structural semantics as well as architecture-specific local details, and therefore should not be directly ignored. To better leverage the spatial information encoded in heterogeneous representations, we propose a Spatial-Frequency Joint-Aware Heterogeneous Knowledge Distillation framework (SFKD). By leveraging the complementary properties of wavelet transform spatial locality and Fourier representations in characterizing global energy distributions, we first apply multi-level discrete wavelet transform to explicitly decouple spatial information. The resulting wavelet sub-bands are further refined by a dual-stream dual-stage refinement module, and finally combined with a Gaussian-filtered frequency loss to selectively capture informative global information. Extensive experiments on multiple benchmark datasets under both homogeneous and heterogeneous models demonstrate the superiority of our method.