Double Reverse Regularization Network Based on Self-Knowledge Distillation for SAR Object Classification

📄 arXiv: 2311.15231v1 📥 PDF

作者: Bo Xu, Hao Zheng, Zhigang Hu, Liu Yang, Meiguang Zheng

分类: cs.CV, cs.LG, eess.IV

发布日期: 2023-11-26

备注: 6 pages, 8 figures

💡 一句话要点

提出双重反向正则化网络以解决SAR目标分类中的过拟合问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 合成孔径雷达 目标分类 自知识蒸馏 正则化 深度学习 小样本学习 模型泛化

📋 核心要点

  1. 现有的SAR目标分类方法面临严重的过拟合问题，主要由于数据集规模小和数据噪声影响。
  2. 本文提出的DRRNet-SKD通过自知识蒸馏技术，结合离线与在线蒸馏，采用双重反向思路进行有效的正则化。
  3. 在OpenSARShip和FUSAR-Ship数据集上的实验结果显示，DRRNet-SKD在经典CNN上实现了显著的性能提升。

📝 摘要（中文）

在合成孔径雷达(SAR)目标分类中，数据集有限和噪声数据导致严重的过拟合问题。本文提出了一种基于自知识蒸馏的双重反向正则化网络(DRRNet-SKD)，通过探索蒸馏权重对蒸馏过程的影响，结合离线和在线蒸馏的互补方式，设计了自适应权重分配模块(AWA)，使学生网络更好地从两个教师网络中受益。实验结果表明，DRRNet-SKD在OpenSARShip和FUSAR-Ship数据集上表现出显著的性能提升，超越了现有的自知识蒸馏方法。

🔬 方法详解

问题定义：本文旨在解决合成孔径雷达(SAR)目标分类中的过拟合问题，现有方法因数据集有限和噪声影响而表现不佳。

核心思路：提出的DRRNet-SKD通过自知识蒸馏技术，结合离线和在线蒸馏，采用双重反向思路进行正则化，以提高模型的泛化能力。

技术框架：该方法包括两个主要模块：离线蒸馏和在线蒸馏，利用自适应权重分配模块(AWA)动态调整蒸馏权重，确保学生网络能够充分利用教师网络的知识。

关键创新：最重要的创新在于双重反向正则化思想的引入，通过自知识蒸馏实现了更有效的标签平滑，显著提升了模型的性能。

关键设计：设计了自适应权重分配模块(AWA)，根据网络性能动态调整蒸馏权重，优化了损失函数和网络结构，以适应不同的训练阶段。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DRRNet-SKD在OpenSARShip和FUSAR-Ship数据集上显著提升了分类性能，相较于现有的自知识蒸馏方法，性能提升幅度达到XX%，展现出其优越性。

🎯 应用场景

该研究在合成孔径雷达目标分类领域具有重要应用价值，能够有效提升模型在小样本和噪声数据环境下的分类性能，未来可扩展至其他计算机视觉任务，如目标检测和图像分割等。

📄 摘要（原文）

In current synthetic aperture radar (SAR) object classification, one of the major challenges is the severe overfitting issue due to the limited dataset (few-shot) and noisy data. Considering the advantages of knowledge distillation as a learned label smoothing regularization, this paper proposes a novel Double Reverse Regularization Network based on Self-Knowledge Distillation (DRRNet-SKD). Specifically, through exploring the effect of distillation weight on the process of distillation, we are inspired to adopt the double reverse thought to implement an effective regularization network by combining offline and online distillation in a complementary way. Then, the Adaptive Weight Assignment (AWA) module is designed to adaptively assign two reverse-changing weights based on the network performance, allowing the student network to better benefit from both teachers. The experimental results on OpenSARShip and FUSAR-Ship demonstrate that DRRNet-SKD exhibits remarkable performance improvement on classical CNNs, outperforming state-of-the-art self-knowledge distillation methods.