SKILL: Similarity-aware Knowledge distILLation for Speech Self-Supervised Learning

📄 arXiv: 2402.16830v1 📥 PDF

作者: Luca Zampierin, Ghouthi Boukli Hacene, Bac Nguyen, Mirco Ravanelli

分类: eess.AS, cs.CL, cs.LG, cs.SD

发布日期: 2024-02-26

备注: Accepted at the Self-supervision in Audio, Speech and Beyond (SASB) Workshop at ICASSP 2024

💡 一句话要点

提出SKILL以提升语音自监督学习的蒸馏效率

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 自监督学习 知识蒸馏 语音处理 层次聚类 模型压缩 深度学习 WavLM

📋 核心要点

  1. 现有方法在自监督学习中常常只对单层进行蒸馏，导致信息利用不充分，效率低下。
  2. SKILL通过对层组进行蒸馏，利用层相似性进行层次聚类，从而优化了知识传递过程。
  3. 实验结果显示，SKILL在多个SUPERB任务中超越了DPHuBERT，表现出色，具有更高的模型效率。

📝 摘要（中文）

自监督学习（SSL）在各种语音处理任务中取得了显著成功。为了提高其效率，之前的研究常常利用压缩技术。最近的一个重要尝试是DPHuBERT，它结合了知识蒸馏（KD）和结构化剪枝，学习出一个显著更小的SSL模型。本文提出SKILL，一种新颖的方法，通过对层组进行蒸馏，而不是对教师网络中任意选择的单层进行蒸馏。层的选择通过对层相似性度量进行层次聚类程序来实现。大量实验表明，我们蒸馏后的WavLM Base+不仅超越了DPHuBERT，还在多个SUPERB任务中实现了30M参数模型类别的最新成果。

🔬 方法详解

问题定义：本文旨在解决自监督学习中知识蒸馏效率低的问题。现有方法通常只关注单层蒸馏，导致信息损失和模型性能不足。

核心思路：SKILL的核心思想是通过对层组进行蒸馏，利用层之间的相似性来选择蒸馏层，从而提高知识传递的效率和效果。

技术框架：SKILL的整体架构包括层相似性度量、层次聚类和蒸馏过程。首先计算各层之间的相似性，然后通过聚类选择蒸馏层，最后进行知识蒸馏。

关键创新：SKILL的主要创新在于其层组蒸馏方法，通过层次聚类选择蒸馏层，显著提高了知识传递的效率，与传统的单层蒸馏方法形成鲜明对比。

关键设计：在技术细节上，SKILL采用了特定的相似性度量方法和聚类算法，以确保选择的层能够有效传递知识，同时在损失函数的设计上也进行了优化，以适应层组蒸馏的需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SKILL蒸馏后的WavLM Base+模型在多个SUPERB任务中表现优异，超越了DPHuBERT，且在30M参数模型类别中达到了最新的性能水平，显示出显著的提升幅度。

🎯 应用场景

该研究的潜在应用领域包括语音识别、语音合成和自然语言处理等多个语音处理任务。通过提高自监督学习模型的效率，SKILL能够在资源受限的环境中实现更好的性能，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Self-supervised learning (SSL) has achieved remarkable success across various speech-processing tasks. To enhance its efficiency, previous works often leverage the use of compression techniques. A notable recent attempt is DPHuBERT, which applies joint knowledge distillation (KD) and structured pruning to learn a significantly smaller SSL model. In this paper, we contribute to this research domain by introducing SKILL, a novel method that conducts distillation across groups of layers instead of distilling individual arbitrarily selected layers within the teacher network. The identification of the layers to distill is achieved through a hierarchical clustering procedure applied to layer similarity measures. Extensive experiments demonstrate that our distilled version of WavLM Base+ not only outperforms DPHuBERT but also achieves state-of-the-art results in the 30M parameters model class across several SUPERB tasks.