ClST: A Convolutional Transformer Framework for Automatic Modulation Recognition by Knowledge Distillation

📄 arXiv: 2312.17446v1 📥 PDF

作者: Dongbin Hou, Lixin Li, Wensheng Lin, Junli Liang, Zhu Han

分类: cs.LG, cs.AI, eess.SP

发布日期: 2023-12-29

DOI: 10.1109/TWC.2023.3347537

💡 一句话要点

提出卷积链接信号Transformer（ClST）和信号知识蒸馏（SKD）方法，提升复杂信道下自动调制识别性能。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 自动调制识别 卷积神经网络 Transformer 知识蒸馏 信号处理 深度学习 注意力机制

📋 核心要点

  1. 现有深度学习AMR方法在复杂信道下因训练数据不足和模型规模过大而难以部署。
  2. 论文提出ClST网络和SKD知识蒸馏方法，旨在提升模型性能并降低模型复杂度。
  3. 实验结果表明，ClST优于现有模型，SKD方法训练的轻量级模型在精度和复杂度上均有提升。

📝 摘要（中文）

近年来，深度学习(DL)在自动调制识别(AMR)领域取得了很高的精度。然而，复杂信道环境下训练信号数据不足以及大规模DL模型是DL方法难以在实践中部署的关键因素。针对这些问题，我们提出了一种新的神经网络，名为卷积链接信号Transformer (ClST)和一种新的知识蒸馏方法，名为信号知识蒸馏(SKD)。ClST通过三个主要修改实现：包含卷积的Transformer层级结构，一种名为并行空间-通道注意力(PSCA)机制的新型注意力机制，以及一种名为卷积-Transformer投影(CTP)的新型卷积Transformer块，以利用卷积投影。SKD是一种知识蒸馏方法，可以有效地减少神经网络的参数和复杂性。我们使用SKD算法训练了两个轻量级神经网络，KD-CNN和KD-MobileNet，以满足神经网络可以在小型化设备上使用的需求。仿真结果表明，ClST在所有数据集上都优于先进的神经网络。此外，KD-CNN和KD-MobileNet都以更少的网络复杂性获得了更高的识别精度，这对于在小型化通信设备上部署AMR非常有利。

🔬 方法详解

问题定义：自动调制识别（AMR）旨在识别接收信号的调制方式。现有基于深度学习的AMR方法在复杂信道环境下，面临训练数据不足的问题，导致模型泛化能力差。此外，为了达到较高的识别精度，通常需要使用大规模的深度学习模型，这使得模型难以部署在资源受限的通信设备上。

核心思路：论文的核心思路是结合卷积神经网络（CNN）和Transformer的优势，设计一种新的网络结构ClST，以提升模型对信号特征的提取能力。同时，采用知识蒸馏（KD）方法，将ClST学习到的知识迁移到轻量级模型（KD-CNN和KD-MobileNet）上，以降低模型复杂度，使其能够在小型化设备上部署。

技术框架：ClST网络主要由以下几个部分组成：1）包含卷积的Transformer层级结构：通过堆叠多个Transformer块，形成层级结构，以提取不同层次的信号特征。2）并行空间-通道注意力（PSCA）机制：一种新型的注意力机制，同时考虑空间和通道维度上的信息，以增强模型对重要特征的关注。3）卷积-Transformer投影（CTP）块：利用卷积投影，将卷积操作融入到Transformer块中，以增强模型对局部特征的提取能力。SKD方法则使用ClST作为教师模型，KD-CNN和KD-MobileNet作为学生模型，通过最小化学生模型和教师模型输出之间的差异，实现知识迁移。

关键创新：论文的关键创新在于以下几个方面：1）提出了ClST网络，将CNN和Transformer有效结合，提升了模型对信号特征的提取能力。2）提出了PSCA机制，能够同时关注空间和通道维度上的信息，增强了模型对重要特征的关注。3）提出了SKD方法，能够有效地将ClST学习到的知识迁移到轻量级模型上，降低了模型复杂度。

关键设计：ClST网络中，Transformer块的数量、PSCA机制的参数、CTP块中卷积核的大小等都是需要仔细设计的参数。SKD方法中，损失函数的设计至关重要，需要平衡学生模型自身的损失和学生模型与教师模型之间的差异。论文中具体参数设置未知，但强调了卷积与Transformer的结合，以及并行空间-通道注意力的重要性。

📊 实验亮点

实验结果表明，ClST在多个数据集上均优于现有的先进神经网络，验证了其有效性。通过SKD方法训练的KD-CNN和KD-MobileNet，在保持较高识别精度的同时，显著降低了模型复杂度，使得模型能够在小型化通信设备上部署。具体的性能提升数据未知，但摘要强调了优于现有方法。

🎯 应用场景

该研究成果可应用于无线通信、卫星通信、雷达信号处理等领域。通过提升自动调制识别的精度和降低模型复杂度，可以实现更高效、更智能的通信系统。例如，在认知无线电中，可以利用该技术动态地识别信道中的调制方式，从而选择合适的通信参数，提高频谱利用率。此外，该技术还可以应用于军事通信领域，用于识别敌方信号的调制方式，从而进行干扰或解密。

📄 摘要（原文）

With the rapid development of deep learning (DL) in recent years, automatic modulation recognition (AMR) with DL has achieved high accuracy. However, insufficient training signal data in complicated channel environments and large-scale DL models are critical factors that make DL methods difficult to deploy in practice. Aiming to these problems, we propose a novel neural network named convolution-linked signal transformer (ClST) and a novel knowledge distillation method named signal knowledge distillation (SKD). The ClST is accomplished through three primary modifications: a hierarchy of transformer containing convolution, a novel attention mechanism named parallel spatial-channel attention (PSCA) mechanism and a novel convolutional transformer block named convolution-transformer projection (CTP) to leverage a convolutional projection. The SKD is a knowledge distillation method to effectively reduce the parameters and complexity of neural networks. We train two lightweight neural networks using the SKD algorithm, KD-CNN and KD-MobileNet, to meet the demand that neural networks can be used on miniaturized devices. The simulation results demonstrate that the ClST outperforms advanced neural networks on all datasets. Moreover, both KD-CNN and KD-MobileNet obtain higher recognition accuracy with less network complexity, which is very beneficial for the deployment of AMR on miniaturized communication devices.