Large Language Models are Efficient Learners of Noise-Robust Speech Recognition

📄 arXiv: 2401.10446v1 📥 PDF

作者: Yuchen Hu, Chen Chen, Chao-Han Huck Yang, Ruizhe Li, Chao Zhang, Pin-Yu Chen, EnSiong Chng

分类: cs.CL, cs.AI, cs.LG, cs.SD, eess.AS

发布日期: 2024-01-19

备注: Accepted to ICLR 2024, Spotlight top 5%, 24 pages. This work will be open sourced at: https://github.com/YUCHEN005/RobustGER under MIT license

💡 一句话要点

提出语言空间噪声嵌入以提升噪声鲁棒语音识别

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 生成错误修正 噪声鲁棒性 知识蒸馏 语音识别 多模态学习 互信息估计

📋 核心要点

  1. 现有的生成错误修正方法在噪声鲁棒性方面存在不足，难以有效处理噪声干扰。
  2. 论文提出通过从N-best列表中提取语言空间噪声嵌入来表示噪声条件，从而增强LLMs的去噪能力。
  3. 实验结果显示，所提方法在字错误率上提升了53.9%，展示了LLMs在噪声环境下的强大去噪能力。

📝 摘要（中文）

近年来，大型语言模型（LLMs）的进展推动了自动语音识别（ASR）中的生成错误修正（GER），利用LLMs的语言知识和推理能力来改善识别结果。最新研究提出了一个GER基准，利用HyPoradise数据集，通过高效的LLM微调学习ASR N-best假设与真实转录之间的映射。尽管效果显著，但在噪声鲁棒ASR方面缺乏具体性。本文扩展了该基准至噪声条件，探讨如何教会LLMs进行去噪，提出从N-best列表中提取语言空间噪声嵌入以表示源语音的噪声条件，并设计了通过互信息估计的知识蒸馏方法以增强音频噪声的表示能力。实验表明，该方法在有限训练数据下实现了高达53.9%的字错误率改善。

🔬 方法详解

问题定义：本文旨在解决现有生成错误修正方法在噪声环境下的鲁棒性不足问题，直接引入音频编码器的噪声嵌入可能会导致LLM微调效果下降。

核心思路：通过从ASR N-best列表中提取语言空间噪声嵌入，表示源语音的噪声条件，以此促进LLMs的去噪过程。

技术框架：整体架构包括噪声信息提取模块、LLM微调模块和知识蒸馏模块。噪声信息提取模块从N-best列表中生成噪声嵌入，微调模块利用这些嵌入进行LLM的训练，蒸馏模块则通过互信息估计将音频嵌入中的真实噪声信息转移到语言嵌入中。

关键创新：提出的语言空间噪声嵌入方法有效解决了跨模态差距问题，显著提升了LLMs在噪声条件下的去噪能力，与传统方法相比具有本质区别。

关键设计：在参数设置上，采用了互信息估计作为损失函数，确保音频嵌入与语言嵌入之间的有效信息传递，网络结构则结合了LLM的预训练能力与噪声嵌入的特征表示。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提出的方法在字错误率上实现了高达53.9%的提升，相较于基线方法具有显著的性能改善，展示了LLMs在处理噪声鲁棒性问题上的新突破。

🎯 应用场景

该研究的潜在应用领域包括语音助手、电话客服系统以及各种需要语音识别的智能设备，能够在嘈杂环境中提供更高的识别准确率，提升用户体验。未来，该方法有望在更广泛的语音处理任务中得到应用，推动智能语音技术的发展。

📄 摘要（原文）

Recent advances in large language models (LLMs) have promoted generative error correction (GER) for automatic speech recognition (ASR), which leverages the rich linguistic knowledge and powerful reasoning ability of LLMs to improve recognition results. The latest work proposes a GER benchmark with HyPoradise dataset to learn the mapping from ASR N-best hypotheses to ground-truth transcription by efficient LLM finetuning, which shows great effectiveness but lacks specificity on noise-robust ASR. In this work, we extend the benchmark to noisy conditions and investigate if we can teach LLMs to perform denoising for GER just like what robust ASR do}, where one solution is introducing noise information as a conditioner into LLM. However, directly incorporating noise embeddings from audio encoder could harm the LLM tuning due to cross-modality gap. To this end, we propose to extract a language-space noise embedding from the N-best list to represent the noise conditions of source speech, which can promote the denoising process in GER. Furthermore, in order to enhance its representation ability of audio noise, we design a knowledge distillation (KD) approach via mutual information estimation to distill the real noise information in audio embeddings to our language embedding. Experiments on various latest LLMs demonstrate our approach achieves a new breakthrough with up to 53.9% correction improvement in terms of word error rate while with limited training data. Analysis shows that our language-space noise embedding can well represent the noise conditions of source speech, under which off-the-shelf LLMs show strong ability of language-space denoising.