Anti-Shortcut Distillation via Temporal Negative Knowledge Transfer
作者: Syed Muhammad Raza, Omer Tariq, Jeongbae Son
分类: cs.CV
发布日期: 2026-08-12
备注: 17 pages, 3 figures, 21 pages supplementary material
💡 一句话要点
提出反快捷蒸馏方法以提升知识蒸馏效果
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 知识蒸馏 反快捷蒸馏 模型压缩 计算机视觉 抗干扰能力 深度学习 特征学习
📋 核心要点
- 现有知识蒸馏方法未能充分利用教师模型的优化轨迹，导致学生模型在学习过程中可能吸收不必要的快捷学习方向。
- 本文提出反快捷蒸馏（ASD）框架，通过将收敛的教师模型视为正向语义锚点，早期教师模型作为负向参考，指导学生模型避免快捷学习方向。
- 在多个数据集上进行的实验表明，ASD在清晰度和抗干扰能力方面均显著优于传统的知识蒸馏方法，验证了其有效性。
📝 摘要（中文）
知识蒸馏（KD）通过将紧凑的学生模型吸引至收敛的教师模型来进行训练，但现有方法未能有效利用教师模型的优化轨迹来指导学生模型避免不必要的学习方向。本文提出了反快捷蒸馏（ASD）框架，利用早期教师模型作为负参考，结合时间对比损失和快捷抑制损失，显著提升了学生模型的性能。在CIFAR-100、ImageNet-100和TinyImageNet数据集上，ASD在超过10对教师-学生模型中达到了最高的清晰度top-1准确率，并在12个对比中超越了标准KD方法。此外，在CIFAR-100-C的抗干扰能力测试中，ASD在最具挑战性的跨架构对比中取得了最低的平均腐败错误（86.1 mCE）。
🔬 方法详解
问题定义：本文旨在解决现有知识蒸馏方法未能有效利用教师模型优化轨迹的问题，导致学生模型可能学习到不必要的快捷方向。
核心思路：提出反快捷蒸馏（ASD）框架，利用早期教师模型作为负参考，结合时间对比损失和快捷抑制损失，指导学生模型避免不必要的学习方向。
技术框架：ASD框架包括两个主要损失函数：时间对比损失（Ltc）和快捷抑制损失（Lss）。Ltc通过将早期教师特征作为同样样本的负样本，与最终教师特征进行对比；Lss则惩罚学生模型在早期到最终特征位移的主特征向量上的投影。
关键创新：ASD的创新在于利用教师模型的优化轨迹来识别学生模型应避免的学习方向，形成了一种新的推拉蒸馏框架，区别于传统的单一教师模型指导。
关键设计：ASD框架中的损失函数设计精巧，Ltc采用了InfoNCE目标，Lss则基于未中心化的二阶矩阵特征位移，确保学生模型在学习过程中有效抑制快捷学习方向。实验中，ASD在多个数据集上表现出色，验证了其设计的有效性和实用性。
🖼️ 关键图片
📊 实验亮点
ASD在CIFAR-100、ImageNet-100和TinyImageNet数据集上表现优异，超过10对教师-学生模型中达到了最高的清晰度top-1准确率，并在12个对比中超越了标准KD方法。在CIFAR-100-C的抗干扰测试中，ASD取得了最低的平均腐败错误（86.1 mCE），显示出其在复杂环境下的优越性。
🎯 应用场景
该研究的潜在应用领域包括计算机视觉、自然语言处理等需要模型压缩和性能提升的场景。通过有效的知识蒸馏方法，ASD可用于提升小型模型在实际应用中的表现，尤其是在资源受限的环境中。未来，ASD的理念和方法也可能扩展到其他领域，如强化学习和多模态学习等。
📄 摘要（原文）
Knowledge distillation (KD) trains a compact student by attracting it towards a converged teacher. It is silent about which directions the teacher itself learned to suppress: repulsive and bias-aware objectives exist, but none exploits the teacher's own trajectory to identify what the student should avoid. We observe that the missing signal is already encoded in the teacher's optimization trajectory: features that an early-stage teacher emphasizes but that a converged teacher attenuates are precisely the shortcut directions worth pushing the student away from. We instantiate this observation as \textbf{A}nti-\textbf{S}hortcut \textbf{D}istillation (ASD), a push--pull KD framework that treats the converged teacher $\Tfinal$ as a positive semantic anchor and an early-checkpoint teacher $\Tearly$ as a temporal negative reference. ASD couples two losses: a temporal contrastive loss ($\Ltc$) that places the early-teacher feature as a same-sample negative against in-batch and memory-bank final-teacher features in an InfoNCE objective; and a shortcut suppression loss ($\Lss$) that penalizes student projection onto the top eigenvectors of $\E[\Dh\Dh^{\top}]$, the uncentered second-moment matrix of early-to-final feature displacements. Across 13 teacher--student pairs on CIFAR-100, ImageNet-100, and TinyImageNet, ASD attains the highest clean top-1 accuracy on more than 10 pairs and outperforms standard KD on 12. On CIFAR-100-C corruption robustness, ASD obtains the lowest mean Corruption Error ($86.1$\,mCE) on the most challenging cross-architecture pair (WRN-40-2$\to$ShuffleNet-V2). Mechanistic diagnostics confirm the intended geometry: the ASD student is systematically anti-aligned with the shortcut direction, while its projection onto the robust subspace is substantially larger ($0.45$ vs.\ $0.12$).