NAVER LABS Europe Submission to the Instruction-following 2026 Short Track

📄 arXiv: 2607.01960v1 📥 PDF

作者: Marcely Zanon Boito, Hemant Yadav, Jean-Luc Meunier, Ioan Calapodescu

分类: cs.CL

发布日期: 2026-07-02

备注: IWSLT 2026 system paper

💡 一句话要点

提出基于SpeechMapper的多语言指令跟随系统以提升语音处理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语音处理 多语言系统 自动语音识别 合成数据 机器学习

📋 核心要点

  1. 现有方法在多语言语音处理任务中面临性能和模型复杂度的挑战，尤其是在资源有限的情况下。
  2. 论文提出了一种新的多阶段训练流程，利用SpeechMapper进行语音到LLM嵌入的学习，显著提升了模型的性能。
  3. 实验结果显示，改进后的系统在短赛中与去年最佳系统相比，性能更优且模型更紧凑，最终并列第一。

📝 摘要（中文）

本文描述了NAVER LABS Europe在IWSLT 2026指令跟随语音处理短赛中的提交。我们再次参与受限设置，开发能够联合执行ASR、ST和SQA的系统，将英语语音转换为中文、意大利语和德语。在去年的短赛中排名第一的基础上，我们更新了多阶段训练流程，采用SpeechMapper替代了语音投影器，该方法仅使用ASR数据学习语音到LLM的嵌入投影器。此外，我们引入了合成SQA数据集fakACL，由人工生成的科学演讲组成。通过改进的语音投影机制和特定领域的合成数据，我们的模型超越了去年的最佳短赛系统，同时更加紧凑，并依赖于较弱的LLM骨干。今年的结果使我们的系统在整体短赛排名中并列第一。

🔬 方法详解

问题定义：本文旨在解决多语言语音处理中的ASR（自动语音识别）、ST（语音翻译）和SQA（语音问答）任务的联合执行问题。现有方法在处理复杂语音输入时，往往面临性能不足和模型复杂度高的挑战。

核心思路：论文的核心思路是通过引入SpeechMapper，利用仅有的ASR数据来学习语音到LLM的嵌入投影器，从而提高语音处理的效率和准确性。这样的设计旨在减少对复杂模型的依赖，同时提升系统的整体性能。

技术框架：整体架构包括多个阶段，首先通过ASR模块进行语音识别，然后利用SpeechMapper进行语音嵌入，接着执行ST和SQA任务。该流程的每个模块都经过精心设计，以确保信息的有效传递和处理。

关键创新：最重要的技术创新在于引入了合成数据集fakACL和SpeechMapper的结合使用，使得模型在特定领域的表现大幅提升。这与现有方法的本质区别在于，前者依赖于真实数据，而后者则通过合成数据增强了模型的训练。

关键设计：在模型设计中，关键参数设置包括SpeechMapper的训练策略和损失函数的选择，确保模型在学习过程中能够有效捕捉语音特征。此外，网络结构经过优化，以适应多语言处理的需求。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，改进后的系统在短赛中表现优异，与去年最佳系统相比，性能提升显著，且模型体积更小，依赖于较弱的LLM骨干，最终在整体短赛排名中并列第一。

🎯 应用场景

该研究的潜在应用领域包括多语言语音助手、实时翻译系统以及教育领域的智能学习工具。通过提升语音处理能力，该系统能够在多种语言环境中提供更为流畅和准确的用户体验，具有广泛的实际价值和未来影响。

📄 摘要（原文）

In this paper, we describe NAVER LABS Europe's submission to the instruction-following speech processing short track at IWSLT 2026. We participate again in the constrained setting, developing systems capable of jointly performing ASR, ST, and SQA from English speech into Chinese, Italian, and German. Building on our previous submission, ranked first in last year's short track, we update our multi-stage training pipeline by replacing the speech projector with SpeechMapper, a method for learning a speech-to-LLM embedding projector using only ASR data. In addition, we introduce a synthetic SQA dataset, fakACL, composed of artificially generated scientific presentations. This dataset is built by prompting the LLM backbone, segmenting the generated talks, and synthesizing speech with SeamlessM4T-large-v2. The combination of an improved speech projection mechanism and domain-specific synthetic data allows our model to outperform last year's best short-track system, while being considerably more compact and relying on a weaker LLM backbone. This year's results place our system tied for first place in the overall short track ranking.