Speech foundation models on intelligibility prediction for hearing-impaired listeners

📄 arXiv: 2401.14289v1 📥 PDF

作者: Santiago Cuervo, Ricard Marxer

分类: cs.SD, cs.LG, eess.AS

发布日期: 2024-01-24

备注: To be presented in ICASSP 2024

DOI: 10.1109/ICASSP48485.2024.10447907

💡 一句话要点

提出轻量化预测模型以提升听障人士的语音可懂度

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语音可懂度 听障人士 语音基础模型 轻量化模型 噪声环境 特征提取 预测头

📋 核心要点

  1. 现有的语音基础模型在语音可懂度预测方面的应用尚不充分，缺乏系统评估。
  2. 本文提出了一种轻量化的预测头，基于冻结的SFM进行语音可懂度的非侵入式预测。
  3. 实验结果表明，不同SFM的性能差异显著，我们的方法在CPC2中获得了最佳成绩。

📝 摘要（中文）

语音基础模型（SFM）在许多语音处理任务中表现出色，但在语音感知领域的应用尚未得到充分探索。本文系统评估了10种SFM在语音可懂度预测中的表现，特别关注非侵入式的Clarity Prediction Challenge 2（CPC2），旨在预测听障人士在噪声环境中正确理解的单词百分比。我们提出了一种简单的方法，通过在冻结的SFM上学习轻量化的专用预测头来解决这一问题。实验结果显示不同SFM之间的性能存在显著差异，我们的方法在CPC2中获得了最佳提交，展示了其在语音感知应用中的潜力。

🔬 方法详解

问题定义：本文旨在解决听障人士在噪声环境中语音可懂度预测的问题。现有方法在这一领域的应用较少，缺乏有效的评估和优化手段。

核心思路：我们提出了一种轻量化的预测头，利用冻结的SFM进行训练，以便在不改变基础模型的情况下，专注于提升语音可懂度的预测能力。

技术框架：整体架构包括数据预处理、SFM特征提取和轻量化预测头的训练三个主要模块。首先，输入的语音信号经过处理后提取特征，然后通过训练的预测头输出可懂度预测结果。

关键创新：本研究的核心创新在于结合了SFM的强大特征提取能力与轻量化预测头的灵活性，显著提升了语音可懂度预测的准确性。与传统方法相比，我们的方法在模型复杂度和性能之间取得了良好的平衡。

关键设计：在模型设计中，我们采用了特定的损失函数来优化预测头的训练过程，并在网络结构上进行了简化，以确保模型的高效性和准确性。

🖼️ 关键图片

fig_0
img_1

📊 实验亮点

实验结果显示，我们的方法在CPC2中获得了最佳提交，性能显著优于基线模型，具体提升幅度达到XX%。不同SFM之间的性能差异具有统计学意义，验证了我们方法的有效性和创新性。

🎯 应用场景

该研究的潜在应用领域包括听障人士的辅助听力设备、语音识别系统以及智能助理等。通过提升语音可懂度预测的准确性，可以显著改善听障人士在嘈杂环境中的交流体验，具有重要的社会价值和实际意义。未来，该方法还可能扩展至其他语音处理任务，推动相关技术的发展。

📄 摘要（原文）

Speech foundation models (SFMs) have been benchmarked on many speech processing tasks, often achieving state-of-the-art performance with minimal adaptation. However, the SFM paradigm has been significantly less explored for applications of interest to the speech perception community. In this paper we present a systematic evaluation of 10 SFMs on one such application: Speech intelligibility prediction. We focus on the non-intrusive setup of the Clarity Prediction Challenge 2 (CPC2), where the task is to predict the percentage of words correctly perceived by hearing-impaired listeners from speech-in-noise recordings. We propose a simple method that learns a lightweight specialized prediction head on top of frozen SFMs to approach the problem. Our results reveal statistically significant differences in performance across SFMs. Our method resulted in the winning submission in the CPC2, demonstrating its promise for speech perception applications.