VoxSumm: A Multilingual Corpus of Long-Form Spoken News for Joint Summarization and Translation
作者: Yejin Jeon, Marie Maltais, Virginia Ceccatelli, Min Ma, David Ifeoluwa Adelani
分类: cs.SD, cs.CL
发布日期: 2026-08-11
💡 一句话要点
提出VoxSumm以解决长语音内容的摘要与翻译问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 长语音摘要 跨语言翻译 联合处理 多语言基准 信息压缩
📋 核心要点
- 现有的长文档摘要研究主要集中于文本，而多语言语音研究则优先考虑翻译，未能有效压缩内容。
- 本文提出联合语音摘要与翻译（JSumT）的方法，直接从源语言的长语音文档生成目标语言摘要。
- 实验表明，Gemini3.1-Pro模型在一致性上表现最佳，英语摘要生成效果优于其他语言。
📝 摘要（中文）
随着信息跨越语言边界的增加，用户需要对长篇内容进行简洁的跨语言表示。然而，现有的长文档摘要研究主要集中于文本，而多语言语音研究则优先考虑翻译，未能有效压缩内容。为此，本文提出了联合语音摘要与翻译（JSumT）的方法，旨在直接从源语言的长语音文档生成简洁、忠实的目标语言摘要。此外，本文引入了VoxSumm，这是首个针对该任务的多语言和跨语言基准，包含24种语言的10,045对BBC文章摘要，约703小时的语音数据。实验结果显示，不同模型和生成设置之间存在显著差异，Gemini3.1-Pro模型表现出最佳一致性，英语摘要的生成普遍优于非英语目标语言的生成。
🔬 方法详解
问题定义：本文旨在解决长语音内容的摘要与翻译问题，现有方法多集中于文本摘要或翻译，缺乏有效的联合处理机制。
核心思路：提出联合语音摘要与翻译（JSumT），通过直接从源语言长语音生成目标语言摘要，减少信息损失并提高效率。
技术框架：整体架构包括语音识别模块、摘要生成模块和翻译模块，依次处理长语音文档，确保信息的准确传递与压缩。
关键创新：VoxSumm作为首个多语言和跨语言基准，提供了丰富的数据集，推动了联合处理方法的发展，与传统方法相比，能够更好地处理长语音内容。
关键设计：在模型设计中，采用了特定的损失函数以平衡摘要与翻译的质量，同时优化了网络结构以提高生成效果。实验中对不同模型的表现进行了全面评估，确保了结果的可靠性与可比性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Gemini3.1-Pro模型在一致性上表现最佳，生成英语摘要的效果普遍优于生成非英语目标语言的摘要，且翻译整个文档后再进行摘要生成会导致指令遵循失败的情况。
🎯 应用场景
该研究的潜在应用领域包括新闻传播、国际会议记录、在线教育等场景，能够为多语言用户提供高效的信息获取方式。未来，VoxSumm可能推动跨语言信息处理技术的发展，提升全球信息交流的效率。
📄 摘要（原文）
As information increasingly traverses linguistic boundaries, users require concise cross-lingual representations of long-form content. Nevertheless, long-document summarization research remains text-centric, whereas multilingual speech research has largely prioritized translation, preserving source content rather than compressing it. We address this methodological gap by formalizing joint speech summarization and translation (JSumT): the generation of a succinct, faithful target-language summary directly from a long spoken document in a source language. We additionally introduce VoxSumm, the first multilingual and cross-lingual benchmark for this task, comprising 10,045 BBC article-summary pairs across 24 languages and encompassing approximately 703 hours of speech data. Our evaluation of representative speech-language models reveals pronounced variation across models and generation settings: Gemini3.1-Pro demonstrates the greatest consistency, summarization into English generally surpasses generation into non-English target languages, and translating an entire document before summarization compounds instruction-following failures. Through the release of VoxSumm, we establish a foundation for developing and evaluating multilingual systems capable of jointly interpreting, compressing, and translating long-form speech.