NAVER LABS Europe Submission to the Instruction-following 2026 Short Track
作者: Marcely Zanon Boito, Hemant Yadav, Jean-Luc Meunier, Ioan Calapodescu
分类: cs.CL
发布日期: 2026-07-05
💡 一句话要点
提出基于SpeechMapper的多语言指令跟随系统以提升语音处理性能
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 语音识别 多语言处理 指令跟随 合成数据 SpeechMapper 机器学习 自然语言处理
📋 核心要点
- 现有的语音处理系统在多语言转换和指令跟随任务中面临性能和效率的挑战。
- 论文提出了一种新的多阶段训练流程，利用SpeechMapper改进语音投影机制，结合合成数据集提升模型性能。
- 实验结果显示，改进后的系统在短赛中表现优异，性能超越去年最佳系统，并且模型更加紧凑。
📝 摘要（中文）
本文描述了NAVER LABS Europe在IWSLT 2026指令跟随语音处理短赛中的提交。我们再次参与受限设置，开发能够联合执行ASR、ST和SQA的系统，将英语语音转换为中文、意大利语和德语。在去年的短赛中排名第一的基础上，我们更新了多阶段训练流程，用SpeechMapper替代了语音投影器，该方法仅使用ASR数据学习语音到LLM的嵌入投影器。此外，我们引入了合成SQA数据集fakACL，由人工生成的科学演讲组成。通过改进的语音投影机制和特定领域的合成数据，我们的模型超越了去年的最佳短赛系统，同时更加紧凑，并依赖于较弱的LLM骨干。今年的结果使我们的系统在整体短赛排名中并列第一。
🔬 方法详解
问题定义：本文旨在解决多语言语音处理中的指令跟随任务，现有方法在性能和效率上存在不足，尤其是在多语言转换时的准确性和实时性。
核心思路：论文的核心解决思路是通过引入SpeechMapper来改进语音到LLM的嵌入投影，同时结合合成数据集fakACL，提升模型在多语言环境下的表现。这样的设计旨在减少对高质量数据的依赖，同时提高模型的适应性和效率。
技术框架：整体架构包括多个主要模块：首先是ASR（自动语音识别），然后是ST（语音翻译），最后是SQA（语音问答）。通过多阶段训练，系统能够有效地处理输入的英语语音并生成目标语言的输出。
关键创新：最重要的技术创新点在于使用SpeechMapper替代传统的语音投影器，利用仅有的ASR数据进行学习，从而实现更高效的语音嵌入。此外，合成数据集fakACL的引入为模型提供了丰富的训练样本，增强了模型的泛化能力。
关键设计：在模型设计中，关键参数设置包括SpeechMapper的结构设计和损失函数的选择，确保模型在训练过程中能够有效地学习语音特征与LLM之间的映射关系。
🖼️ 关键图片
📊 实验亮点
实验结果表明，改进后的系统在短赛中表现优异，超越了去年的最佳系统，且在模型紧凑性和性能上均有显著提升。具体而言，该系统在整体短赛排名中并列第一，显示出其在多语言指令跟随任务中的强大能力。
🎯 应用场景
该研究的潜在应用领域包括多语言语音助手、实时翻译系统和智能客服等。通过提升语音处理的准确性和效率，该系统能够在全球化的商业环境中提供更好的用户体验，具有广泛的实际价值和未来影响。
📄 摘要（原文）
In this paper, we describe NAVER LABS Europe's submission to the instruction-following speech processing short track at IWSLT 2026. We participate again in the constrained setting, developing systems capable of jointly performing ASR, ST, and SQA from English speech into Chinese, Italian, and German. Building on our previous submission, ranked first in last year's short track, we update our multi-stage training pipeline by replacing the speech projector with SpeechMapper, a method for learning a speech-to-LLM embedding projector using only ASR data. In addition, we introduce a synthetic SQA dataset, fakACL, composed of artificially generated scientific presentations. This dataset is built by prompting the LLM backbone, segmenting the generated talks, and synthesizing speech with SeamlessM4T-large-v2. The combination of an improved speech projection mechanism and domain-specific synthetic data allows our model to outperform last year's best short-track system, while being considerably more compact and relying on a weaker LLM backbone. This year's results place our system tied for first place in the overall short track ranking.