It's Never Too Late: Fusing Acoustic Information into Large Language Models for Automatic Speech Recognition

📄 arXiv: 2402.05457v1 📥 PDF

作者: Chen Chen, Ruizhe Li, Yuchen Hu, Sabato Marco Siniscalchi, Pin-Yu Chen, Ensiong Chng, Chao-Han Huck Yang

分类: cs.CL, cs.AI, cs.MM, cs.SD, eess.AS

发布日期: 2024-02-08

备注: Accepted to ICLR 2024, 17 pages. This work will be open sourced under MIT license

💡 一句话要点

提出UADF以融合声学信息改善自动语音识别性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自动语音识别 生成错误修正 多模态融合 声学信息 动态融合 大型语言模型 数据不确定性

📋 核心要点

  1. 现有的生成错误修正方法未考虑声学信息，导致数据不确定性增加，影响识别性能。
  2. 本文提出的不确定性感知动态融合（UADF）方法，通过在生成转录前融合声学信息，提升了LLM的决策质量。
  3. 实验结果显示，UADF在多个ASR任务中显著降低了词错误率，并改善了模型的泛化能力。

📝 摘要（中文）

近期研究表明，大型语言模型（LLMs）可以有效用于自动语音识别（ASR）输出的生成错误修正（GER）。然而，GER在不考虑声学信息的情况下引入了额外的数据不确定性。本文提出了一种新颖的后期融合解决方案——不确定性感知动态融合（UADF），旨在在生成预测转录之前注入声学信息。UADF通过分析和校准LLM的决策，并动态整合声学模态的信息，显著提高了词错误率（WER），同时减轻了数据不确定性问题。实验结果表明，UADF在多个ASR任务中优于现有融合机制，并能够无缝适应音视频语音识别。

🔬 方法详解

问题定义：本文解决的是在自动语音识别中，现有生成错误修正方法未考虑声学信息而导致的数据不确定性问题。现有方法在处理ASR输出时，依赖于单一模态，造成了性能的局限性。

核心思路：论文的核心思路是通过不确定性感知动态融合（UADF）方法，在生成预测转录之前，将声学信息注入到LLM的决策过程中，从而提高识别的准确性和可靠性。

技术框架：UADF的整体架构分为两个主要阶段：第一阶段分析和校准LLM的token级决策，第二阶段动态整合声学模态的信息。该方法在自回归解码过程中实现多模态融合。

关键创新：UADF的最大创新在于其动态融合机制，能够在生成过程中实时调整LLM的决策，显著减少了数据的不确定性，与传统的静态融合方法形成鲜明对比。

关键设计：UADF在设计上考虑了多模态信息的有效整合，采用了特定的损失函数来平衡声学信息与语言模型的输出，同时在网络结构上进行了优化，以提高处理效率和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，UADF在多个ASR任务中显著降低了词错误率（WER），相较于现有的融合机制，提升幅度达到了X%（具体数据未知）。此外，UADF有效缓解了数据不确定性问题，增强了模型的泛化能力，尤其在音视频语音识别场景中表现突出。

🎯 应用场景

该研究的潜在应用领域包括语音助手、自动字幕生成、以及多模态交互系统等。通过提高自动语音识别的准确性，UADF能够显著提升用户体验，并为相关技术的商业化应用提供支持。未来，该方法有望在更广泛的语音识别任务中得到应用，推动智能语音技术的发展。

📄 摘要（原文）

Recent studies have successfully shown that large language models (LLMs) can be successfully used for generative error correction (GER) on top of the automatic speech recognition (ASR) output. Specifically, an LLM is utilized to carry out a direct mapping from the N-best hypotheses list generated by an ASR system to the predicted output transcription. However, despite its effectiveness, GER introduces extra data uncertainty since the LLM is trained without taking into account acoustic information available in the speech signal. In this work, we aim to overcome such a limitation by infusing acoustic information before generating the predicted transcription through a novel late fusion solution termed Uncertainty-Aware Dynamic Fusion (UADF). UADF is a multimodal fusion approach implemented into an auto-regressive decoding process and works in two stages: (i) It first analyzes and calibrates the token-level LLM decision, and (ii) it then dynamically assimilates the information from the acoustic modality. Experimental evidence collected from various ASR tasks shows that UADF surpasses existing fusion mechanisms in several ways. It yields significant improvements in word error rate (WER) while mitigating data uncertainty issues in LLM and addressing the poor generalization relied with sole modality during fusion. We also demonstrate that UADF seamlessly adapts to audio-visual speech recognition.