From Monolingual to Multilingual: Evaluating Mamba for ASR in South African Languages

📄 arXiv: 2607.01502 📥 PDF

作者: Jesujoba O. Alabi, Julian Herreilers, Badr M. Abdullah, Dietrich Klakow

分类: cs.CL

发布日期: 2026-07-05

💡 一句话要点

评估Mamba模型在南非语言的自动语音识别中的应用

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 自动语音识别 南非语言 多语言训练 Mamba模型 语言嵌入 低资源环境 模型泛化

📋 核心要点

  1. 现有的ASR方法在非洲语言中的有效性尚未得到充分探索，尤其是在资源有限的情况下。
  2. 本研究提出使用Mamba模型进行南非七种语言的ASR评估，并探索多语言训练的效果。
  3. 实验结果表明，Mamba在计算资源和训练速度上优于Conformer，同时多语言训练提升了模型性能。

📝 摘要（中文）

近年来，自动语音识别（ASR）技术取得了显著进展，尤其是在不同序列模型的探索上，包括基于Conformer的模型和新型状态空间模型Mamba。尽管已有研究评估了这些架构在多种语言中的有效性，但在非洲语言中的应用仍然较少。本研究评估了Mamba在七种南非语言中的ASR表现。在单语实验中，每种语言训练50小时的语音数据，结果显示Mamba在计算资源和训练速度上优于Conformer，同时保持相似的识别准确率。我们还研究了多语言ASR，发现多语言训练在性能上优于单语训练，但显式语言信息的添加对领域内表现没有提升，反而增强了跨语料的鲁棒性。

🔬 方法详解

问题定义：本论文旨在解决现有ASR方法在南非语言中的有效性不足，尤其是在资源有限的情况下，现有模型在长语音的泛化能力较差。

核心思路：论文提出使用Mamba模型进行南非七种语言的ASR评估，并探索多语言训练的效果，旨在提高模型的识别准确率和训练效率。

技术框架：整体架构包括单语和多语训练两个阶段，单语训练使用50小时的语音数据，而多语训练则将所有语言数据汇聚在一起进行训练。

关键创新：Mamba模型在计算资源和训练速度上优于传统的Conformer模型，同时通过多语言训练显著提升了模型的性能，尤其是在低资源环境下。

关键设计：在多语言训练中，添加了语言和语言家族的嵌入作为偏置，采用CTC ASR目标和语言识别头进行多任务学习。实验表明，语言嵌入的使用对模型性能有显著影响。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，Mamba模型在计算资源和训练速度上优于Conformer，同时在多语言训练中表现出一致的性能提升。具体而言，使用语言嵌入的模型在低资源环境下的表现显著优于不使用嵌入的模型，表明语言信息对模型的鲁棒性有重要影响。

🎯 应用场景

该研究的潜在应用领域包括南非的语音助手、翻译系统以及教育技术等。通过提升南非语言的ASR性能，可以更好地服务于当地用户，促进语言的数字化和信息获取。未来，该研究可能对其他低资源语言的ASR系统开发产生积极影响。

📄 摘要（原文）

Recent advances in automatic speech recognition (ASR) have explored different sequence models, including Conformer-based models and newer state space models such as Mamba. Although prior work has evaluated these architectures in multiple languages, their effectiveness in African languages remains underexplored. In this work, we evaluate Mamba for ASR on seven South African languages. In monolingual experiments, each model is trained on 50 hours of speech per language, and we compare Mamba to a Conformer baseline of similar parameter scale. Mamba achieves similar recognition accuracy to Conformer while using fewer computational resources and training faster. We further evaluate generalization in this setting and find that both models struggle to generalize to speech that is much longer than what they were trained on. We then study multilingual ASR using Mamba models, where the baseline is pooling all languages together. On top of this, we tested three extensions: training with language-family information by adding both language and language-family embeddings as biases to the downsampled acoustic representations, and multitask learning with a CTC ASR objective and a language identification (LID) head. We find that multilingual training consistently improves performance over monolingual training. However, adding explicit language information does not improve in-domain performance but does improve cross-corpus robustness. We conducted ablation studies in low-resource multilingual settings using 5-hour and 10-hour per-language training data, where we observed gains from using language embeddings and further demonstrated that removing or altering them hurt model performance. Lastly, we analysed these embeddings and find that they do not capture linguistic similarity in a typological sense, but instead act as task-specific control vectors.