tinyCLAP: Distilling Constrastive Language-Audio Pretrained Models

📄 arXiv: 2311.14517v3 📥 PDF

作者: Francesco Paissan, Elisabetta Farella

分类: cs.SD, cs.CL, cs.LG, eess.AS

发布日期: 2023-11-24 (更新: 2024-09-24)

备注: Proceedings of Interspeech. Please use the citation available at https://www.isca-archive.org/interspeech_2024/paissan24_interspeech.html

DOI: 10.21437/Interspeech.2024-193

💡 一句话要点

提出tinyCLAP以降低对比语言-音频预训练模型的复杂性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 对比学习 音频处理 模型蒸馏 多模态学习 声音事件检测

📋 核心要点

  1. 现有的对比语言-音频预训练模型在训练时需要大量数据，推理时计算复杂性高，限制了其应用。
  2. 本文提出tinyCLAP，通过单模态蒸馏损失和剪枝技术，显著降低了模型的参数量和复杂性。
  3. 实验结果表明，tinyCLAP在保持性能的同时，仅使用了原始模型6%的参数，零-shot分类性能几乎不受影响。

📝 摘要（中文）

对比语言-音频预训练（CLAP）在音频和语音处理领域具有重要意义，应用范围涵盖声音事件检测到文本转音频生成。然而，训练过程需要大量数据，推理时的计算复杂性也是一个主要限制。本文探讨如何降低对比语言-音频预训练模型的复杂性，提出了一种高效模型tinyCLAP。我们从基本原理推导出单模态蒸馏损失，并探讨通过剪枝减少共享多模态潜在空间的维度。tinyCLAP仅使用原始Microsoft CLAP参数的6%，在三个声音事件检测数据集上零-shot分类性能减少不足5%。

🔬 方法详解

问题定义：本文旨在解决对比语言-音频预训练模型在训练和推理过程中面临的高数据需求和计算复杂性问题。现有方法在这方面存在显著的局限性，影响了其广泛应用。

核心思路：论文的核心思路是通过引入单模态蒸馏损失和剪枝技术，减少模型的参数量和计算复杂性，从而提高模型的效率。这样的设计旨在在尽量不损失性能的前提下，简化模型结构。

技术框架：整体架构包括两个主要模块：首先是单模态蒸馏损失的计算，其次是通过剪枝技术对多模态潜在空间进行维度减少。这两个模块共同作用，形成了tinyCLAP的高效模型。

关键创新：最重要的技术创新点在于提出了一种新的单模态蒸馏损失，能够有效地从原始模型中提取知识，同时通过剪枝减少模型的复杂性。这与现有方法的本质区别在于，tinyCLAP在保持性能的同时，显著降低了参数量。

关键设计：在参数设置上，tinyCLAP仅使用原始模型的6%参数，损失函数设计为单模态蒸馏损失，网络结构经过优化以适应剪枝后的多模态潜在空间。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，tinyCLAP在三个声音事件检测数据集上的零-shot分类性能仅减少了不到5%，同时参数量减少至原始模型的6%。这一结果表明，tinyCLAP在保持性能的同时，显著提高了模型的效率。

🎯 应用场景

该研究的潜在应用领域包括声音事件检测、语音识别和文本转音频生成等。tinyCLAP的高效性使其在资源受限的环境中也能有效运行，具有重要的实际价值。未来，tinyCLAP可能推动更多低资源场景下的音频处理应用，促进相关技术的发展。

📄 摘要（原文）

Contrastive Language-Audio Pretraining (CLAP) became of crucial importance in the field of audio and speech processing. Its employment ranges from sound event detection to text-to-audio generation. However, one of the main limitations is the considerable amount of data required in the training process and the overall computational complexity during inference. This paper investigates how we can reduce the complexity of contrastive language-audio pre-trained models, yielding an efficient model that we call tinyCLAP. We derive an unimodal distillation loss from first principles and explore how the dimensionality of the shared, multimodal latent space can be reduced via pruning. TinyCLAP uses only 6% of the original Microsoft CLAP parameters with a minimal reduction (less than 5%) in zero-shot classification performance across the three sound event detection datasets on which it was tested