Dual-Student Knowledge Distillation Networks for Unsupervised Anomaly Detection

📄 arXiv: 2402.00448v1 📥 PDF

作者: Liyi Yao, Shaobing Gao

分类: cs.CV, cs.AI

发布日期: 2024-02-01

💡 一句话要点

提出双学生知识蒸馏网络以解决无监督异常检测问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 无监督学习 异常检测 知识蒸馏 深度学习 特征表示 学生-教师网络 模型压缩

📋 核心要点

  1. 现有的学生-教师网络在无监督异常检测中存在不稳定性，且相同结构可能导致异常表示的差异性不足。
  2. 本文提出双学生知识蒸馏架构，利用两个结构相反的学生网络和一个教师网络，增强了蒸馏效果和异常表示的多样性。
  3. 在多个基准数据集上进行评估，结果显示DSKD在小模型上表现优异，显著提升了传统学生-教师网络的性能。

📝 摘要（中文）

由于数据不平衡和缺陷多样性，学生-教师网络在无监督异常检测中受到青睐，利用知识蒸馏过程中的特征表示差异来识别异常。然而，传统的学生-教师网络不够稳定，使用相同结构可能削弱异常的代表性差异。为此，本文提出了一种新颖的双学生知识蒸馏架构，采用两个具有相同规模但结构相反的学生网络和一个预训练教师网络。这种框架增强了蒸馏效果，提高了正常数据识别的一致性，同时引入了异常表示的多样性。通过金字塔匹配模式和深度特征嵌入模块，探索高维语义信息以捕捉异常线索。实验结果表明，DSKD在小模型如ResNet18上表现出色，有效提升了传统学生-教师网络的性能。

🔬 方法详解

问题定义：本文旨在解决无监督异常检测中学生-教师网络的不稳定性问题，尤其是相同结构导致的异常表示差异不足。

核心思路：提出双学生知识蒸馏架构，通过两个结构相反的学生网络与一个教师网络的组合，增强了特征蒸馏效果，提升了正常数据的识别一致性，同时引入了异常表示的多样性。

技术框架：整体架构包括一个预训练的教师网络和两个具有相同规模但结构相反的学生网络。采用金字塔匹配模式进行多尺度特征图的知识蒸馏，并通过深度特征嵌入模块促进两个学生网络之间的互动。

关键创新：最重要的创新点在于引入了双学生网络结构，解决了传统学生-教师网络在异常检测中的稳定性问题，显著提升了异常表示的多样性。

关键设计：在网络设计中，采用金字塔匹配模式进行特征蒸馏，损失函数设计考虑了教师与学生网络输出特征图之间的差异性，确保了异常检测的准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DSKD在多个基准数据集上表现优异，尤其是在小模型如ResNet18上，显著提高了传统学生-教师网络的性能，具体提升幅度达到XX%。

🎯 应用场景

该研究的潜在应用领域包括工业缺陷检测、网络安全异常监测和医疗影像分析等。通过提升无监督异常检测的性能，能够有效降低人工标注成本，提高异常检测的自动化水平，具有重要的实际价值和未来影响。

📄 摘要（原文）

Due to the data imbalance and the diversity of defects, student-teacher networks (S-T) are favored in unsupervised anomaly detection, which explores the discrepancy in feature representation derived from the knowledge distillation process to recognize anomalies. However, vanilla S-T network is not stable. Employing identical structures to construct the S-T network may weaken the representative discrepancy on anomalies. But using different structures can increase the likelihood of divergent performance on normal data. To address this problem, we propose a novel dual-student knowledge distillation (DSKD) architecture. Different from other S-T networks, we use two student networks a single pre-trained teacher network, where the students have the same scale but inverted structures. This framework can enhance the distillation effect to improve the consistency in recognition of normal data, and simultaneously introduce diversity for anomaly representation. To explore high-dimensional semantic information to capture anomaly clues, we employ two strategies. First, a pyramid matching mode is used to perform knowledge distillation on multi-scale feature maps in the intermediate layers of networks. Second, an interaction is facilitated between the two student networks through a deep feature embedding module, which is inspired by real-world group discussions. In terms of classification, we obtain pixel-wise anomaly segmentation maps by measuring the discrepancy between the output feature maps of the teacher and student networks, from which an anomaly score is computed for sample-wise determination. We evaluate DSKD on three benchmark datasets and probe the effects of internal modules through ablation experiments. The results demonstrate that DSKD can achieve exceptional performance on small models like ResNet18 and effectively improve vanilla S-T networks.