SFKD: Spatial--Frequency Joint-Aware Heterogeneous Knowledge Distillation via Multi-Level Wavelet Spectral Interaction

📄 arXiv: 2607.01906 📥 PDF

作者: Cuipeng Wang, Haipeng Wang

分类: cs.CV

发布日期: 2026-07-05

💡 一句话要点

提出SFKD框架以解决异构模型间知识蒸馏问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 知识蒸馏 异构模型 小波变换 傅里叶表示 空间信息 深度学习 模型优化

📋 核心要点

  1. 现有知识蒸馏方法主要集中在同构模型之间，忽略了异构模型间知识转移的潜力，导致空间信息的损失。
  2. 论文提出了一种新的SFKD框架，通过小波变换和傅里叶表示的结合，显式解耦和利用异构表示中的空间信息。
  3. 实验结果显示，SFKD在多个基准数据集上相较于传统方法有显著提升，证明了其有效性和优越性。

📝 摘要（中文）

大多数现有的知识蒸馏方法集中于同构模型（如CNN到CNN），忽视了异构模型间知识转移的灵活性和潜力。由于异构模型之间固有的归纳偏差差异导致空间分布不一致，先前的异构蒸馏方法常常削弱或丢弃异构表示中的空间信息。然而，表示中的空间信息通常编码了可转移的全局结构语义以及特定于架构的局部细节，因此不应被直接忽视。为更好地利用异构表示中编码的空间信息，我们提出了一种空间-频率联合感知的异构知识蒸馏框架（SFKD）。通过利用小波变换的空间局部性和傅里叶表示在表征全局能量分布方面的互补特性，我们首先应用多级离散小波变换显式解耦空间信息。得到的小波子带通过双流双阶段精炼模块进一步优化，最后与高斯滤波频率损失结合，以选择性捕获信息丰富的全局信息。在多个基准数据集上进行的广泛实验表明了我们方法的优越性。

🔬 方法详解

问题定义：本论文旨在解决异构模型间知识蒸馏时空间信息的损失问题。现有方法往往忽视了异构表示中的空间信息，导致知识转移效果不佳。

核心思路：提出SFKD框架，利用小波变换的空间局部性和傅里叶表示的全局特性，显式解耦空间信息，从而更好地进行知识蒸馏。

技术框架：整体架构包括多级离散小波变换模块、双流双阶段精炼模块和高斯滤波频率损失模块，分别负责空间信息的解耦、优化和全局信息的捕获。

关键创新：最重要的创新在于结合小波变换与傅里叶表示，显式解耦空间信息，克服了传统方法对空间信息的忽视，提升了知识蒸馏的效果。

关键设计：在损失函数设计上，结合了高斯滤波频率损失，以选择性捕获信息丰富的全局信息；网络结构上采用双流双阶段精炼模块，增强了模型对空间信息的利用能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SFKD在多个基准数据集上相较于传统异构知识蒸馏方法有显著提升，具体性能数据未提供，但实验表明其有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉、自然语言处理等多个需要知识蒸馏的任务。通过提升异构模型间的知识转移能力，SFKD框架能够在多种实际场景中提高模型的性能，具有重要的实际价值和未来影响。

📄 摘要（原文）

Most existing knowledge distillation methods focus on homogeneous models (e.g., CNN-to-CNN), thereby overlooking the flexibility and potential of knowledge transfer across heterogeneous models. Due to intrinsic inductive bias discrepancies between heterogeneous models that cause spatial distribution inconsistencies, prior heterogeneous distillation methods often weaken or discard spatial information in heterogeneous representations. However, the spatial information in representations often encodes transferable global structural semantics as well as architecture-specific local details, and therefore should not be directly ignored. To better leverage the spatial information encoded in heterogeneous representations, we propose a Spatial-Frequency Joint-Aware Heterogeneous Knowledge Distillation framework (SFKD). By leveraging the complementary properties of wavelet transform spatial locality and Fourier representations in characterizing global energy distributions, we first apply multi-level discrete wavelet transform to explicitly decouple spatial information. The resulting wavelet sub-bands are further refined by a dual-stream dual-stage refinement module, and finally combined with a Gaussian-filtered frequency loss to selectively capture informative global information. Extensive experiments on multiple benchmark datasets under both homogeneous and heterogeneous models demonstrate the superiority of our method.