Dual Knowledge Distillation for Efficient Sound Event Detection

📄 arXiv: 2402.02781v1 📥 PDF

作者: Yang Xiao, Rohan Kumar Das

分类: cs.SD, cs.AI, cs.CL, cs.LG, eess.AS

发布日期: 2024-02-05

备注: Accepted to ICASSP 2024 (Deep Neural Network Model Compression Workshop)

💡 一句话要点

提出双重知识蒸馏以解决高效声音事件检测问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 声音事件检测 知识蒸馏 边缘计算 深度学习 特征提取 模型压缩 智能设备

📋 核心要点

  1. 现有声音事件检测方法在设备端应用中面临计算资源有限的挑战，导致性能受限。
  2. 本文提出双重知识蒸馏框架，包括时间平均知识蒸馏和嵌入增强特征蒸馏，以提高SED系统的效率和性能。
  3. 在DCASE 2023 Task 4A数据集上，所提SED系统参数仅为基线模型的三分之一，但在性能上显著提升。

📝 摘要（中文）

声音事件检测（SED）对于识别特定声音及其在声学信号中的时间位置至关重要。然而，在设备端应用中，由于计算资源有限，这一任务变得尤为困难。为了解决这一问题，本文提出了一种新颖的双重知识蒸馏框架，旨在开发高效的SED系统。该框架首先通过时间平均知识蒸馏（TAKD）实现学生模型从预训练教师模型间接学习，确保知识蒸馏的稳定性。随后，引入嵌入增强特征蒸馏（EEFD），通过在学生模型中加入嵌入蒸馏层来增强上下文学习。在DCASE 2023 Task 4A公共评估数据集上，采用双重知识蒸馏的SED系统参数仅为基线模型的三分之一，却在PSDS1和PSDS2指标上表现出色，突显了该方法在紧凑SED系统中的重要性，尤其适合边缘设备。

🔬 方法详解

问题定义：本文旨在解决声音事件检测（SED）在设备端应用中由于计算资源有限而导致的性能不足问题。现有方法在资源受限的环境中难以实现高效的声音识别与定位。

核心思路：论文提出的双重知识蒸馏框架通过时间平均知识蒸馏（TAKD）和嵌入增强特征蒸馏（EEFD）来实现高效的知识传递，确保学生模型能够有效学习教师模型的知识，从而提高SED系统的性能。

技术框架：整体架构包括两个主要模块：首先是TAKD模块，通过对学生模型参数进行时间平均来稳定知识蒸馏；其次是EEFD模块，通过在学生模型中引入嵌入蒸馏层来增强上下文学习能力。

关键创新：最重要的技术创新在于双重知识蒸馏的设计，特别是时间平均知识蒸馏的引入，使得学生模型能够更稳定地学习教师模型的知识，这与传统的单一知识蒸馏方法有本质区别。

关键设计：在模型设计中，采用了特定的损失函数来平衡教师与学生模型之间的知识传递，同时在嵌入增强特征蒸馏中，设计了嵌入层以提升上下文信息的学习效果。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在DCASE 2023 Task 4A公共评估数据集上，采用双重知识蒸馏的SED系统参数仅为基线模型的三分之一，然而在PSDS1和PSDS2指标上表现出色，显示出显著的性能提升，验证了该方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括智能家居、监控系统和移动设备等，能够在资源受限的环境中实现高效的声音事件检测。其实际价值在于提升边缘设备的智能化水平，未来可能推动更多基于声音识别的应用场景的发展。

📄 摘要（原文）

Sound event detection (SED) is essential for recognizing specific sounds and their temporal locations within acoustic signals. This becomes challenging particularly for on-device applications, where computational resources are limited. To address this issue, we introduce a novel framework referred to as dual knowledge distillation for developing efficient SED systems in this work. Our proposed dual knowledge distillation commences with temporal-averaging knowledge distillation (TAKD), utilizing a mean student model derived from the temporal averaging of the student model's parameters. This allows the student model to indirectly learn from a pre-trained teacher model, ensuring a stable knowledge distillation. Subsequently, we introduce embedding-enhanced feature distillation (EEFD), which involves incorporating an embedding distillation layer within the student model to bolster contextual learning. On DCASE 2023 Task 4A public evaluation dataset, our proposed SED system with dual knowledge distillation having merely one-third of the baseline model's parameters, demonstrates superior performance in terms of PSDS1 and PSDS2. This highlights the importance of proposed dual knowledge distillation for compact SED systems, which can be ideal for edge devices.