Rethinking Centered Kernel Alignment in Knowledge Distillation

📄 arXiv: 2401.11824v4 📥 PDF

作者: Zikai Zhou, Yunhang Shen, Shitong Shao, Linrui Gong, Shaohui Lin

分类: cs.CV

发布日期: 2024-01-22 (更新: 2024-04-30)

🔗 代码/项目: GITHUB

💡 一句话要点

提出关系中心核对齐框架以简化知识蒸馏过程

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 知识蒸馏 中心核对齐 关系中心核对齐 最大均值差异 图像分类 目标检测 计算机视觉

📋 核心要点

  1. 现有知识蒸馏方法复杂，未能有效利用中心核对齐（CKA），导致表示相似性评估不足。
  2. 本文提出关系中心核对齐（RCKA）框架，解耦CKA与最大均值差异（MMD），实现简单有效的蒸馏。
  3. 在CIFAR-100、ImageNet-1k和MS-COCO上的实验表明，RCKA在图像分类和目标检测任务中表现优异，验证了其有效性。

📝 摘要（中文）

知识蒸馏已成为弥合大规模模型与轻量级模型之间表示差异的有效方法。现有方法通常依赖于适当的度量来最小化教师模型提取的知识与学生模型学习的知识之间的差异。中心核对齐（CKA）被广泛用于测量表示相似性，但现有方法复杂，未能揭示CKA的本质。本文从理论角度阐明CKA的有效性，并提出一种新的关系中心核对齐（RCKA）框架，动态定制CKA的应用，显著减少计算资源，同时在CIFAR-100、ImageNet-1k和MS-COCO上实现了几乎所有教师-学生对的最先进性能。

🔬 方法详解

问题定义：本文旨在解决现有知识蒸馏方法复杂且未能充分利用CKA的问题，导致表示相似性评估的不足。

核心思路：提出关系中心核对齐（RCKA）框架，通过将CKA与最大均值差异（MMD）相结合，简化蒸馏过程并提高效率。

技术框架：RCKA框架包括两个主要模块：首先是CKA的计算模块，其次是基于任务特征动态定制CKA应用的模块。

关键创新：RCKA的核心创新在于将CKA解耦为MMD的上界和常数项，从而实现了更简单有效的知识蒸馏方法。

关键设计：在设计中，RCKA根据不同任务的特征动态调整CKA的应用，减少计算资源消耗，同时保持与现有方法相当的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，RCKA在CIFAR-100、ImageNet-1k和MS-COCO数据集上几乎所有教师-学生对的性能均达到最先进水平，验证了其在图像分类和目标检测中的有效性，提升幅度显著。

🎯 应用场景

该研究的潜在应用领域包括图像分类、目标检测等计算机视觉任务，能够有效提升轻量级模型的性能，具有广泛的实际价值和未来影响，尤其在资源受限的环境中尤为重要。

📄 摘要（原文）

Knowledge distillation has emerged as a highly effective method for bridging the representation discrepancy between large-scale models and lightweight models. Prevalent approaches involve leveraging appropriate metrics to minimize the divergence or distance between the knowledge extracted from the teacher model and the knowledge learned by the student model. Centered Kernel Alignment (CKA) is widely used to measure representation similarity and has been applied in several knowledge distillation methods. However, these methods are complex and fail to uncover the essence of CKA, thus not answering the question of how to use CKA to achieve simple and effective distillation properly. This paper first provides a theoretical perspective to illustrate the effectiveness of CKA, which decouples CKA to the upper bound of Maximum Mean Discrepancy~(MMD) and a constant term. Drawing from this, we propose a novel Relation-Centered Kernel Alignment~(RCKA) framework, which practically establishes a connection between CKA and MMD. Furthermore, we dynamically customize the application of CKA based on the characteristics of each task, with less computational source yet comparable performance than the previous methods. The extensive experiments on the CIFAR-100, ImageNet-1k, and MS-COCO demonstrate that our method achieves state-of-the-art performance on almost all teacher-student pairs for image classification and object detection, validating the effectiveness of our approaches. Our code is available in https://github.com/Klayand/PCKA