Investigating the Emergent Audio Classification Ability of ASR Foundation Models

📄 arXiv: 2311.09363v2 📥 PDF

作者: Rao Ma, Adian Liusie, Mark J. F. Gales, Kate M. Knill

分类: cs.CL

发布日期: 2023-11-15 (更新: 2024-03-28)

备注: NAACL 2024 (main conference)

💡 一句话要点

提出无监督重标定方法以提升ASR模型的零-shot音频分类能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 音频分类 零-shot学习 ASR模型 无监督学习 重标定方法 模型规模 性能提升

📋 核心要点

  1. 现有的ASR基础模型通常针对特定任务进行微调，缺乏在零-shot设置下的通用能力，限制了其应用范围。
  2. 本文提出利用简单的模板文本提示和无监督重标定方法，探索ASR模型在音频分类任务中的零-shot能力。
  3. 实验结果显示，Whisper在多个数据集上表现优异，平均提升9%的准确率，且模型规模越大，性能越好。

📝 摘要（中文）

文本和视觉基础模型在零-shot设置下能够执行多项任务，然而ASR基础模型在这一领域的研究相对较少。本文探讨了Whisper和MMS这两种主要用于语音识别的ASR基础模型在零-shot音频分类中的能力。通过简单的模板文本提示，利用解码概率生成零-shot预测，Whisper在8个音频分类数据集上表现出色，平均超越现有最先进的零-shot基线9%。研究表明，去偏见处理是解锁这一新兴能力的重要步骤，简单的无监督重标定方法显著提升了性能。此外，模型规模的增加也与零-shot性能的提升相关联。

🔬 方法详解

问题定义：本文旨在解决ASR基础模型在零-shot音频分类任务中的能力不足，现有方法通常依赖于特定任务的微调，限制了模型的通用性和适用性。

核心思路：通过使用简单的模板文本提示和无监督重标定方法，探索ASR模型在未见数据上的分类能力，旨在提升模型的零-shot性能。

技术框架：整体流程包括使用文本提示生成解码概率，随后应用无监督重标定方法对类概率进行调整，以提高分类性能。主要模块包括文本提示生成、概率解码和重标定处理。

关键创新：最重要的创新在于提出了一种简单有效的无监督重标定方法，显著提升了ASR模型的零-shot分类能力，与传统的微调方法形成鲜明对比。

关键设计：在实验中，采用了简单的模板文本提示，结合无监督的类概率重标定，未增加任何新参数，确保了方法的简洁性和有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Whisper在8个音频分类数据集上表现优异，平均超越现有最先进的零-shot基线9%。此外，采用无监督重标定方法后，模型性能显著提升，且随着模型规模的增加，零-shot性能也随之提高。

🎯 应用场景

该研究的潜在应用领域包括语音助手、自动音频标注和多媒体内容检索等。通过提升ASR模型的零-shot分类能力，可以在低资源环境中实现更广泛的应用，降低对标注数据的依赖，推动相关技术的普及与发展。

📄 摘要（原文）

Text and vision foundation models can perform many tasks in a zero-shot setting, a desirable property that enables these systems to be applied in general and low-resource settings. There has been far less work, however, on the zero-shot abilities of ASR foundation models, with these systems typically fine-tuned to specific tasks or constrained to applications that match their training criterion and data annotation. In this work we investigate the ability of Whisper and MMS, ASR foundation models trained primarily for speech recognition, to perform zero-shot audio classification. We use simple template-based text prompts at the decoder and use the resulting decoding probabilities to generate zero-shot predictions. Without training the model on extra data or adding any new parameters, we demonstrate that Whisper shows promising zero-shot classification performance on a range of 8 audio-classification datasets, outperforming the accuracy of existing state-of-the-art zero-shot baselines by an average of 9%. One important step to unlock the emergent ability is debiasing, where a simple unsupervised reweighting method of the class probabilities yields consistent significant performance gains. We further show that performance increases with model size, implying that as ASR foundation models scale up, they may exhibit improved zero-shot performance.