Multilingual and Fully Non-Autoregressive ASR with Large Language Model Fusion: A Comprehensive Study

📄 arXiv: 2401.12789v1 📥 PDF

作者: W. Ronny Huang, Cyril Allauzen, Tongzhou Chen, Kilol Gupta, Ke Hu, James Qin, Yu Zhang, Yongqiang Wang, Shuo-Yiin Chang, Tara N. Sainath

分类: cs.CL, cs.SD, eess.AS

发布日期: 2024-01-23

备注: ICASSP 2024

💡 一句话要点

提出非自回归语言模型融合的ASR系统以降低延迟

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 非自回归解码 语言模型融合 自动语音识别 实时语音处理 多语言支持

📋 核心要点

  1. 现有的自回归解码方法在处理大型模型时，延迟成为了一个重要的瓶颈，影响了实时语音识别的效率。
  2. 本文提出了一种非自回归的ASR系统，通过融合通用语音模型和大型语言模型，利用并行计算能力来提升识别速度和准确性。
  3. 实验结果表明，该方法在FLEURS和YouTube字幕数据集上分别实现了10.8%和3.6%的字错误率改善，展示了其有效性。

📝 摘要（中文）

在大型模型时代，自回归解码的特性常导致延迟成为显著瓶颈。本文提出了一种非自回归的语言模型融合自动语音识别（ASR）系统，充分利用加速硬件的并行化能力。该方法结合了通用语音模型（USM）和PaLM 2语言模型，在每个段落评分模式下实现了显著的性能提升。在FLEURS数据集上，所有语言的平均相对字错误率（WER）改善达10.8%，在YouTube字幕上改善3.6%。此外，全面的消融研究分析了LLM大小、上下文长度、词汇大小和融合方法等关键参数。

🔬 方法详解

问题定义：本文旨在解决自回归解码在大型模型应用中导致的延迟问题，影响实时语音识别的性能和用户体验。

核心思路：提出一种非自回归的ASR系统，通过融合通用语音模型（USM）和大型语言模型（PaLM 2），实现并行化解码，降低延迟并提高识别准确性。

技术框架：系统整体架构包括数据输入模块、特征提取模块、USM与PaLM 2的融合模块，以及输出评分模块，支持每段的并行处理。

关键创新：最重要的创新在于将非自回归解码与大型语言模型的融合，突破了传统自回归模型的限制，显著提高了处理速度和准确性。

关键设计：在实验中，探讨了LLM大小（从128M到340B参数）、上下文长度、词汇大小和融合方法等关键参数的影响，优化了模型性能。具体的损失函数和网络结构设计也经过精心调整，以适应非自回归的特性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提非自回归ASR系统在FLEURS数据集上实现了平均相对字错误率改善10.8%，在YouTube字幕上改善3.6%。这些结果表明该方法在多语言环境下的有效性和优越性，尤其是在处理大型模型时的性能提升。

🎯 应用场景

该研究的潜在应用领域包括实时语音识别、语音助手、自动字幕生成等，能够显著提升用户体验和系统响应速度。随着大型语言模型的不断发展，该方法在多语言和多场景下的应用价值将愈加显著，推动语音技术的进一步普及与应用。

📄 摘要（原文）

In the era of large models, the autoregressive nature of decoding often results in latency serving as a significant bottleneck. We propose a non-autoregressive LM-fused ASR system that effectively leverages the parallelization capabilities of accelerator hardware. Our approach combines the Universal Speech Model (USM) and the PaLM 2 language model in per-segment scoring mode, achieving an average relative WER improvement across all languages of 10.8% on FLEURS and 3.6% on YouTube captioning. Furthermore, our comprehensive ablation study analyzes key parameters such as LLM size, context length, vocabulary size, fusion methodology. For instance, we explore the impact of LLM size ranging from 128M to 340B parameters on ASR performance. This study provides valuable insights into the factors influencing the effectiveness of practical large-scale LM-fused speech recognition systems.