OWSM-CTC: An Open Encoder-Only Speech Foundation Model for Speech Recognition, Translation, and Language Identification

📄 arXiv: 2402.12654v3 📥 PDF

作者: Yifan Peng, Yui Sudo, Muhammad Shakeel, Shinji Watanabe

分类: cs.CL, cs.SD, eess.AS

发布日期: 2024-02-20 (更新: 2024-08-27)

备注: Accepted at ACL 2024 main conference

💡 一句话要点

提出OWSM-CTC以解决多任务语音识别与翻译问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语音识别 语音翻译 语言识别 连接时序分类 多语言处理 模型优化 推理速度

📋 核心要点

  1. 现有的自回归模型在推理时速度较慢，并且存在幻觉风险，限制了其在多任务语音处理中的应用。
  2. 本文提出OWSM-CTC，一个基于连接时序分类的编码器仅语音基础模型，旨在提高多语言语音识别和翻译的效率与准确性。
  3. 实验结果表明，OWSM-CTC在ASR上表现出竞争力，并在ST上实现了高达24%的相对提升，同时推理速度提高了3到4倍。

📝 摘要（中文）

近年来，针对能够在单一模型中执行多任务的大型语音模型的兴趣日益增加。这类模型通常采用编码器-解码器或仅解码器架构，尽管自回归模型在推理时可能较慢，并存在幻觉风险。尽管先前研究在小规模任务中观察到非自回归模型的良好效果，但在多语言和多任务的语音转文本生成中能否扩展仍不明确。受Open Whisper风格语音模型（OWSM）项目的启发，本文提出了基于连接时序分类（CTC）的新型编码器仅语音基础模型OWSM-CTC。该模型在18万小时的公共音频数据上进行训练，适用于多语言自动语音识别（ASR）、语音翻译（ST）和语言识别（LID）。与编码器-解码器的OWSM相比，OWSM-CTC在ASR上取得了竞争性结果，在ST上实现了高达24%的相对提升，同时推理速度更快，稳健性更强，长文本ASR结果提升了20倍。我们将公开发布代码、预训练模型和训练日志，以促进语音基础模型的开放科学。

🔬 方法详解

问题定义：本文旨在解决现有自回归模型在多任务语音处理中的推理速度慢和幻觉风险等问题。现有方法在多语言和多任务的语音转文本生成中扩展性不足。

核心思路：OWSM-CTC采用编码器仅的架构，结合连接时序分类（CTC）技术，旨在提高语音识别、翻译和语言识别的效率和准确性。通过这种设计，模型能够在推理时更快且更稳健。

技术框架：OWSM-CTC的整体架构包括一个编码器模块，负责处理输入的音频信号，并通过CTC损失函数进行训练，以实现多任务目标。模型在18万小时的公共音频数据上进行训练，涵盖多种语言和任务。

关键创新：OWSM-CTC的主要创新在于其编码器仅的设计和CTC的应用，使其在推理速度和稳健性上优于传统的编码器-解码器模型。这一设计使得模型在多任务处理上表现出色。

关键设计：模型的关键设计包括CTC损失函数的优化、编码器的网络结构调整，以及在训练过程中对多语言数据的有效利用。这些设计确保了模型在多任务处理中的高效性和准确性。

🖼️ 关键图片

fig_0

📊 实验亮点

OWSM-CTC在自动语音识别（ASR）任务中表现出竞争力，并在语音翻译（ST）任务上实现了高达24%的相对提升。此外，模型的推理速度提高了3到4倍，长文本ASR结果提升了20倍，显示出显著的性能优势。

🎯 应用场景

OWSM-CTC模型在多语言自动语音识别、语音翻译和语言识别等领域具有广泛的应用潜力。其高效的推理速度和准确性使其适用于实时语音翻译、语音助手、以及多语言客服系统等场景，未来可能推动语音技术的普及与发展。

📄 摘要（原文）

There has been an increasing interest in large speech models that can perform multiple tasks in a single model. Such models usually adopt an encoder-decoder or decoder-only architecture due to their popularity and good performance in many domains. However, autoregressive models can be slower during inference compared to non-autoregressive models and also have potential risks of hallucination. Though prior studies observed promising results of non-autoregressive models for certain tasks at small scales, it remains unclear if they can be scaled to speech-to-text generation in diverse languages and tasks. Inspired by the Open Whisper-style Speech Model (OWSM) project, we propose OWSM-CTC, a novel encoder-only speech foundation model based on Connectionist Temporal Classification (CTC). It is trained on 180k hours of public audio data for multilingual automatic speech recognition (ASR), speech translation (ST), and language identification (LID). Compared to encoder-decoder OWSM, our OWSM-CTC achieves competitive results on ASR and up to 24% relative improvement on ST, while it is more robust and 3 to 4 times faster for inference. OWSM-CTC also improves the long-form ASR result with 20x speed-up. We will publicly release our code, pre-trained model, and training logs to promote open science in speech foundation models.