FBK's Long-form SpeechLLMs for IWSLT 2026 Instruction Following

📄 arXiv: 2606.26819v1 📥 PDF

作者: Zhihang Xie, Marco Gaido, Sara Papi, Matteo Negri, Luisa Bentivogli

分类: cs.CL

发布日期: 2026-06-25

💡 一句话要点

提出FBK的长形式SpeechLLMs以解决指令跟随问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长形式生成 语音指令跟随 HIFS得分 语音分割 生成稳定性

📋 核心要点

  1. 现有方法在长形式语音生成中存在不稳定性，导致生成结果的质量和一致性不足。
  2. 论文提出了针对长形式语音生成的三种分割方法，并引入HIFS得分来评估生成质量。
  3. 实验结果显示，固定30秒的分割方法在长形式生成中表现最佳，HIFS得分达到2.0663，显著提高了生成的稳定性。

📝 摘要（中文）

本文描述了我们对IWSLT 2026指令跟随共享任务的提交。SpeechLLMs在受限条件下开发，适用于短形式和长形式的语音指令跟随。在短轨道上，MCIF表现出色，SIFS得分为2.0708。在长轨道上，探索了三种语音分割方法，并引入了HIFS得分以应对不稳定的长形式生成。实验结果表明，固定的30秒分割提供了最稳健的长形式性能，HIFS得分最高为2.0663。进一步分析显示，幻觉主要表现为生成输出中的重复插入，显著影响ASR和SSUM，而短形式能力在长形式扩展后基本保持不变。

🔬 方法详解

问题定义：本文旨在解决长形式语音指令跟随中的生成不稳定性问题，现有方法在处理长时间段的语音时，常常导致生成结果的质量下降和一致性不足。

核心思路：论文提出通过探索不同的语音分割方法来改善长形式生成的稳定性，并引入HIFS得分作为评估标准，以更好地反映生成质量。

技术框架：整体架构包括短形式和长形式的语音指令跟随模块，采用不同的语音分割策略，并通过实验评估其对生成结果的影响。主要阶段包括数据预处理、模型训练和性能评估。

关键创新：引入HIFS得分作为新的评估指标，能够有效反映长形式生成的稳定性和质量，与传统的评估方法相比，提供了更全面的性能评估视角。

关键设计：在长形式生成中，采用固定30秒的语音分割策略，经过实验验证该设置能够提供最佳的生成性能。同时，针对生成中的幻觉现象，进行了详细的分析，以优化模型输出。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，固定30秒的语音分割方法在长形式生成中表现最佳，HIFS得分达到2.0663，显著优于其他分割策略。同时，短形式能力在长形式扩展后保持良好，表明模型的通用性和稳定性。

🎯 应用场景

该研究的潜在应用领域包括智能语音助手、自动语音识别系统和人机交互等场景。通过提高长形式语音生成的稳定性和质量，能够显著提升用户体验和系统的实用性，未来可能在教育、娱乐和客服等多个行业产生深远影响。

📄 摘要（原文）

This paper describes our submission to the IWSLT 2026 Instruction Following shared task. SpeechLLMs are developed for both short-form and long-form speech instruction following under constrained settings. For the short track, strong performance is achieved on MCIF, with a SIFS score of 2.0708. For the long track, three speech segmentation methods are explored, and the HIFS score is introduced to account for unstable long-form generation. Experimental results show that fixed 30-second segmentation provides the most robust long-form performance, achieving the highest HIFS score of 2.0663. Further analysis shows that hallucination mainly manifests as repetitive insertions in generated outputs, substantially affecting ASR and SSUM, while short-form capabilities are largely retained after long-form extension.