Robust feature knowledge distillation for enhanced performance of lightweight crack segmentation models

📄 arXiv: 2404.06258v1 📥 PDF

作者: Zhaohui Chen, Elyas Asadi Shamsabadi, Sheng Jiang, Luming Shen, Daniel Dias-da-Costa

分类: cs.CV

发布日期: 2024-04-09

备注: 24 pages, 13 figures

💡 一句话要点

提出鲁棒特征知识蒸馏以提升轻量裂缝分割模型性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 知识蒸馏 裂缝检测 轻量模型 鲁棒性 计算机视觉

📋 核心要点

  1. 现有的知识蒸馏方法在抗噪声鲁棒性方面存在妥协，影响了轻量裂缝分割模型的性能。
  2. 本文提出鲁棒特征知识蒸馏（RFKD）框架，通过从教师模型提取知识来增强轻量模型的鲁棒性和精度。
  3. 实验结果表明，RFKD在处理噪声图像时，平均Dice分数提升了62%，显著优于现有的知识蒸馏方法。

📝 摘要（中文）

基于视觉的裂缝检测在部署时面临着模型体积和边缘设备限制的挑战。本文提出了一种鲁棒特征知识蒸馏（RFKD）框架，旨在提高轻量模型的鲁棒性，同时保持其精度。RFKD从教师模型的logit层和中间特征图中提取知识，并利用混合的干净与噪声图像将鲁棒模式转移到学生模型，从而提升其精度、泛化能力和抗噪声性能。通过设计一个仅有0.5M参数的轻量裂缝分割模型PoolingCrack Tiny（PCT）作为学生模型，验证了RFKD的有效性。实验结果显示，在噪声图像上，RFKD相比于现有的知识蒸馏方法，平均Dice分数提升了62%。

🔬 方法详解

问题定义：本文旨在解决现有知识蒸馏方法在抗噪声鲁棒性方面的不足，导致轻量裂缝分割模型在实际应用中的性能下降。

核心思路：RFKD框架通过从教师模型的logit层和中间特征图中提取知识，同时利用混合的干净与噪声图像，增强学生模型的鲁棒性和精度。

技术框架：RFKD的整体架构包括知识提取模块、特征映射模块和知识转移模块。知识提取模块从教师模型中获取信息，特征映射模块处理输入图像，知识转移模块将提取的知识应用于学生模型。

关键创新：RFKD的主要创新在于同时利用教师模型的logit层和中间特征图进行知识蒸馏，这种方法在提升鲁棒性的同时保持了模型的精度，与现有方法形成了明显的区别。

关键设计：在设计中，RFKD采用了特定的损失函数以平衡知识蒸馏和模型训练的目标，同时选择了适合的网络结构，以确保轻量模型在处理噪声时的有效性。实验中使用的PoolingCrack Tiny模型仅有0.5M参数，确保了轻量化的同时不牺牲性能。

📊 实验亮点

实验结果显示，RFKD在处理噪声图像时，平均Dice分数提升了62%，显著优于现有的知识蒸馏方法。这一提升表明RFKD在实际应用中能够有效提高裂缝检测的准确性和可靠性。

🎯 应用场景

该研究的潜在应用领域包括基础设施监测、建筑安全评估和自动化检测系统。通过提升轻量裂缝分割模型的鲁棒性和精度，RFKD能够在资源受限的边缘设备上实现高效的裂缝检测，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Vision-based crack detection faces deployment challenges due to the size of robust models and edge device limitations. These can be addressed with lightweight models trained with knowledge distillation (KD). However, state-of-the-art (SOTA) KD methods compromise anti-noise robustness. This paper develops Robust Feature Knowledge Distillation (RFKD), a framework to improve robustness while retaining the precision of light models for crack segmentation. RFKD distils knowledge from a teacher model's logit layers and intermediate feature maps while leveraging mixed clean and noisy images to transfer robust patterns to the student model, improving its precision, generalisation, and anti-noise performance. To validate the proposed RFKD, a lightweight crack segmentation model, PoolingCrack Tiny (PCT), with only 0.5 M parameters, is also designed and used as the student to run the framework. The results show a significant enhancement in noisy images, with RFKD reaching a 62% enhanced mean Dice score (mDS) compared to SOTA KD methods.