Breaking the Curse ofMultilinguality inMany-to-Many Speech-to-Text Translation via a Resource-AwareMixture of Speech Encoders

📄 arXiv: 2608.04586v1 📥 PDF

作者: Yexing Du, Kaiyuan Liu, Youcheng Pan, Bo Yang, Chengpeng Fu, Yu Wang, Ming Liu

分类: cs.CL, cs.AI

发布日期: 2026-08-05

💡 一句话要点

提出资源感知的混合语音编码器以解决多语言语音转文本翻译问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多语言处理 语音转文本 混合编码器 资源感知 课程学习 专家系统 低资源语言 大语言模型

📋 核心要点

  1. 现有的单一语音编码器在多语言语音输入中面临多语言性诅咒，导致低资源语言性能下降。
  2. 提出了资源感知的混合语音编码器（MoSE），通过语言路由器将语音片段分配给不同的专家编码器。
  3. 在45种语言的实验中，模型在低资源语言上取得了显著提升，且整体性能优于更大基线模型。

📝 摘要（中文）

多模态大语言模型在语音转文本翻译中取得了显著成功。然而，现有的单一语音编码器在处理多语言输入时面临多语言性诅咒的问题，导致高资源语言的表现良好，而低资源语言的性能显著下降。为了解决这一问题并提高多语言一致性，本文提出了MSRT框架，基于资源感知的混合语音编码器（MoSE）。MoSE通过显式语言路由器将每个语音片段分配给合适的专家编码器，从而在保持高资源语言能力的同时，适应中低资源语言。实验表明，该模型在45种语言的翻译中表现出色，尤其在低资源语言上取得了显著提升。

🔬 方法详解

问题定义：本文旨在解决多语言语音转文本翻译中的多语言性诅咒问题。现有方法使用单一语音编码器，导致高资源语言与低资源语言之间的表现不均衡，低资源语言的性能显著下降。

核心思路：提出资源感知的混合语音编码器（MoSE），通过显式语言路由器将每个语音片段分配给适合的专家编码器。高资源语言使用冻结的专家编码器，而中低资源语言则使用可训练的专家编码器，以提高其适应性和专业性。

技术框架：整体架构包括语言路由器和多个专家编码器。语言路由器根据输入的语言类型选择合适的专家编码器进行处理。模型还引入了五阶段的课程学习策略，以减少对数据的依赖。

关键创新：最重要的创新在于资源感知的混合语音编码器设计，能够同时提升高、中、低资源语言的性能，尤其在低资源语言上取得了显著的提升，打破了多语言性诅咒。

关键设计：模型参数为4B，采用课程学习策略，仅需每种语言10小时的配对数据即可实现有效对齐。实验评估了45种语言的翻译方向，系统性地验证了模型的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，提出的4B参数模型在45种语言的翻译任务中表现优异，尤其在低资源语言上取得了显著提升，超越了更大规模的基线模型。具体而言，低资源语言的性能提升幅度最大，验证了MoSE在多语言处理中的有效性。

🎯 应用场景

该研究具有广泛的应用潜力，特别是在多语言环境下的语音转文本翻译中。随着全球化的推进，能够有效处理低资源语言的技术将极大促进跨语言交流和信息获取，推动多语言AI应用的发展。未来，该框架可扩展至更多语言和领域，提升多模态交互的智能化水平。

📄 摘要（原文）

Multimodal large language models (MLLMs) have achieved significant success in speech-to-text translation (S2TT). However, when processing multilingual speech inputs, a single speech encoder shared across all languages suffers from the curse of multilinguality: languages at different resource levels compete for limited representation capacity, leading to strong high-resource performance but substantial degradation on low-resource speech. To address this problem and improve multilingual consistency, we propose MSRT, a novel framework built around a resource-aware Mixture of Speech Encoders (MoSE). MoSE uses an explicit language router to assign each utterance to an appropriate expert encoder. A frozen expert preserves high-resource language capabilities, while a trainable expert adapts to and specializes in medium- and low-resource languages. We further introduce a five-stage curriculum learning strategy that substantially reduces data dependence, requiring only 10 hours of paired S2TT data per language for effective alignment. We conduct extensive experiments on 45 languages, systematically evaluating all $45 \times 44$ translation directions. Our 4B-parameter model achieves state-of-the-art performance, outperforming substantially larger baselines. Empirical analyses show that MoSE improves high-, medium-, and low-resource languages simultaneously, with the largest gains on low-resource speech, thereby breaking the curse of multilinguality without compromising high-resource performance. To support future multilingual S2TT research, we release our code and models.