Heterogeneous Knowledge Distillation via Geometry Decoupling and Momentum-Aware Gradient Regulation

📄 arXiv: 2606.24557v1 📥 PDF

作者: Wuming Yang, Xiang Zhang, Hongmin Zhao

分类: cs.CV

发布日期: 2026-06-23

备注: Preprint. Under review

💡 一句话要点

提出SPOFA框架以解决异构知识蒸馏中的训练不稳定问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 异构知识蒸馏 知识转移 特征解耦 梯度调节 深度学习 模型压缩 优化算法

📋 核心要点

  1. 现有的异构知识蒸馏方法在不同架构间转移知识时，面临特征范数差异和梯度冲突导致的训练不稳定性。
  2. 论文提出的SPOFA框架通过特征和梯度双重稳定机制，解决了训练过程中的不稳定问题，确保了知识的有效转移。
  3. 在多个主流基准测试上，SPOFA实现了最先进的准确率，显著超越了计算成本高昂的方法，同时引入的计算开销极小。

📝 摘要（中文）

异构知识蒸馏（HKD）旨在跨不同架构（如从Transformer到CNN）转移知识，但面临严重的训练不稳定性。我们发现，这种不稳定性源于两个高度耦合的挑战：特征范数差异导致的优化拖延，以及主要目标与蒸馏目标之间的梯度冲突。为实现稳定的蒸馏，我们提出了SPOFA框架，基于一种新颖的特征与梯度双重稳定机制。在特征层面，我们引入了一种基于LayerNorm的解耦投影器，明确将特征的大小与方向解耦，创建一个有界且稳定的语义对齐空间。在梯度层面，我们提出了一种动量驱动的指数移动平均（MEMA）动态缩放器，通过建立优化轨迹的稳健历史基线，主动评估瞬时梯度冲突并自适应惩罚有害的蒸馏信号，确保稳定收敛。重要的是，SPOFA以极轻的参数开销实现了这种双重稳定性。

🔬 方法详解

问题定义：论文要解决的具体问题是异构知识蒸馏中的训练不稳定性，现有方法在特征范数差异和梯度冲突方面存在显著不足，导致优化过程不稳定。

核心思路：论文的核心解决思路是通过引入特征和梯度的双重稳定机制，分别在特征层和梯度层进行优化，确保知识蒸馏过程的稳定性。

技术框架：整体架构包括两个主要模块：特征解耦模块和梯度动态调整模块。特征解耦模块使用LayerNorm进行特征的方向与大小解耦，梯度动态调整模块则利用动量驱动的MEMA来评估和调整梯度冲突。

关键创新：最重要的技术创新点在于引入了LayerNorm-based解耦投影器和MEMA动态缩放器，这与现有方法的本质区别在于能够有效地减少特征和梯度之间的冲突，确保稳定收敛。

关键设计：在特征解耦中，使用LayerNorm来处理特征的方向与大小；在梯度调整中，MEMA通过历史基线动态调整梯度，确保对有害信号的自适应惩罚，优化过程中的参数设置极为轻量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个主流基准测试中，SPOFA框架实现了最先进的准确率，相较于计算成本高昂的方法，性能提升显著，且计算开销仅为标准基线的极小部分，展示了其高效性与实用性。

🎯 应用场景

该研究的潜在应用领域包括跨架构模型的知识转移，如在计算资源有限的设备上部署高效的深度学习模型。通过稳定的知识蒸馏，能够提升模型的泛化能力和性能，具有重要的实际价值和未来影响。

📄 摘要（原文）

Heterogeneous Knowledge Distillation (HKD) aims to transfer knowledge across varying architectures (e.g., from Transformer to CNN) but inherently suffers from severe training instability. We reveal that this instability stems from two highly coupled challenges: massive feature norm discrepancies that cause optimization drag, and severe gradient conflicts between the primary and distillation objectives arising from distinct inductive biases. To achieve stable distillation, we propose SPOFA, a framework built upon a novel Feature and Gradient Dual Stabilization mechanism. Specifically, at the feature level, we introduce a LayerNorm-based decoupling projector that explicitly decouples feature magnitude from direction, creating a bounded and stable space for semantic alignment. At the gradient level, we propose a momentum-driven Exponential Moving Average (MEMA) dynamic scaler. By establishing a robust historical baseline of the optimization trajectory, MEMA actively evaluates instantaneous gradient conflicts and adaptively penalizes harmful distillation signals, guaranteeing stable convergence. Importantly, SPOFA achieves this dual stabilization with an extremely lightweight parameter footprint. Extensive experiments on two mainstream benchmarks demonstrate that SPOFA achieves state-of-the-art accuracy, significantly outperforming computationally expensive methods while introducing only minimal computational overhead compared to standard baselines.