Generative Denoise Distillation: Simple Stochastic Noises Induce Efficient Knowledge Transfer for Dense Prediction

📄 arXiv: 2401.08332v2 📥 PDF

作者: Zhaoge Liu, Xiaohao Xu, Yunkang Cao, Weiming Shen

分类: cs.CV

发布日期: 2024-01-16 (更新: 2024-01-17)

🔗 代码/项目: GITHUB

💡 一句话要点

提出生成去噪蒸馏方法以提升密集预测任务性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 知识蒸馏 生成模型 去噪技术 密集预测 计算机视觉 深度学习 特征学习

📋 核心要点

  1. 现有知识蒸馏方法在特征学习上存在冗余，无法有效提取空间特征。
  2. 本文提出生成去噪蒸馏（GDD），通过随机噪声增强学生模型的特征表示。
  3. GDD在目标检测和分割任务上取得了显著性能提升，尤其在Cityscapes数据集上表现突出。

📝 摘要（中文）

知识蒸馏是将强大模型（教师）知识转移到简单模型（学生）的过程。现有方法通常直接让学生模仿教师的知识，但这种方式导致学习到的表示冗余，无法有效提取每个空间位置的特征。为此，本文提出了一种创新方法——生成去噪蒸馏（GDD），通过向学生的概念特征中添加随机噪声，将其嵌入来自浅层网络的生成实例特征中，并将生成的实例特征与教师的知识对齐。我们在目标检测、实例分割和语义分割等任务上进行了广泛实验，验证了该方法的有效性和通用性。GDD在这些任务上均取得了新的最优性能，尤其在语义分割上显著提升了PspNet和DeepLabV3的表现。

🔬 方法详解

问题定义：现有的知识蒸馏方法通常直接让学生模型模仿教师模型的知识，导致学习到的特征表示冗余，无法有效提取每个空间位置的特征。

核心思路：本文提出生成去噪蒸馏（GDD）方法，通过向学生的概念特征中添加随机噪声，增强其特征表示能力，并将生成的实例特征与教师模型的知识进行对齐。

技术框架：GDD的整体架构包括三个主要模块：首先，学生模型生成概念特征；其次，向概念特征添加随机噪声；最后，将生成的实例特征与教师模型的知识进行对齐。

关键创新：GDD的核心创新在于通过随机噪声的引入，促进了学生模型对教师模型知识的有效吸收，显著减少了特征冗余，与传统的直接模仿方法形成鲜明对比。

关键设计：在实现中，GDD采用了特定的损失函数来衡量生成实例特征与教师知识的对齐程度，并使用了ResNet-18作为基础网络结构，确保了模型的高效性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

GDD在语义分割任务中显著提升了PspNet和DeepLabV3的性能，分别达到了74.67和77.69的mIoU分数，较之前的69.85和73.20有显著提高，展示了该方法的有效性和优越性。

🎯 应用场景

该研究在目标检测、实例分割和语义分割等计算机视觉任务中具有广泛的应用潜力。通过提升模型的特征学习能力，GDD可以在自动驾驶、智能监控和医疗影像分析等领域发挥重要作用，推动相关技术的发展与应用。

📄 摘要（原文）

Knowledge distillation is the process of transferring knowledge from a more powerful large model (teacher) to a simpler counterpart (student). Numerous current approaches involve the student imitating the knowledge of the teacher directly. However, redundancy still exists in the learned representations through these prevalent methods, which tend to learn each spatial location's features indiscriminately. To derive a more compact representation (concept feature) from the teacher, inspired by human cognition, we suggest an innovative method, termed Generative Denoise Distillation (GDD), where stochastic noises are added to the concept feature of the student to embed them into the generated instance feature from a shallow network. Then, the generated instance feature is aligned with the knowledge of the instance from the teacher. We extensively experiment with object detection, instance segmentation, and semantic segmentation to demonstrate the versatility and effectiveness of our method. Notably, GDD achieves new state-of-the-art performance in the tasks mentioned above. We have achieved substantial improvements in semantic segmentation by enhancing PspNet and DeepLabV3, both of which are based on ResNet-18, resulting in mIoU scores of 74.67 and 77.69, respectively, surpassing their previous scores of 69.85 and 73.20 on the Cityscapes dataset of 20 categories. The source code is available at https://github.com/ZhgLiu/GDD.