STEB: A Speech-to-Speech Translation Expressiveness Benchmark for Evaluating Beyond Translation Fidelity

📄 arXiv: 2606.25529v1 📥 PDF

作者: Sitong Cheng, Weizhen Bian, Songjun Cao, Jin Li, Bei Liu, Chunyang Jiang, Yike Zhang, Weihao Wu, Yiming Li, Chi-Min Chan, Long Ma, Wei Xue

分类: cs.SD, cs.AI

发布日期: 2026-06-24

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出STEB以解决语音翻译中的表达性评估问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语音翻译 表达性评估 情感计算 跨语言处理 大型语言模型

📋 核心要点

  1. 现有的语音翻译系统在保持翻译忠实度方面表现良好，但在情感和非语言声音的保留上存在显著不足。
  2. 本文提出STEB基准，通过结构化表达属性的评估框架，解决了语音翻译中表达性评估的难题。
  3. 实验结果表明，尽管许多系统在翻译忠实度上表现强劲，但在情感保留（最佳得分：3.82/5）和NV保留（最佳得分：2.31/5）上仍有待提升。

📝 摘要（中文）

语音到语音翻译（S2ST）不仅需要保留词汇意义，还需保持情感、场景风格（如新闻报道与戏剧对话）和非语言声音（NV）的表达属性。然而，收集在翻译忠实且表达一致的跨语言目标语音在规模上非常困难，使得基于参考的评估不切实际。为此，本文提出了STEB（语音翻译表达性基准），这是一个32.6小时的中英双语基准，评估标准维度（翻译忠实度、说话者相似性、时长对齐）和表达性维度（情感、场景风格、NV保留）。STEB采用“先标注后总结”的框架，将语音转换为结构化的表达属性，并通过大型语言模型（LLM）进行比较。人类验证显示，在所有表达维度上与听众判断具有统计显著相关性。

🔬 方法详解

问题定义：本文旨在解决语音到语音翻译中表达性评估的不足，现有方法在情感和非语言声音的保留上存在显著挑战。

核心思路：提出STEB基准，通过将语音转换为结构化的表达属性，并利用大型语言模型进行比较，以实现对翻译表达性的全面评估。

技术框架：STEB的整体架构包括数据收集、表达属性标注、属性总结和与源属性的比较四个主要模块。

关键创新：STEB的创新在于引入了表达性维度的评估，尤其是情感和NV保留的量化，填补了现有评估方法的空白。

关键设计：在技术细节上，STEB采用了“先标注后总结”的框架，结合LLM进行属性比较，确保评估的准确性和可靠性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，尽管许多S2ST系统在翻译忠实度上表现良好，但在情感保留方面的最佳得分仅为3.82/5，而在非语言声音保留方面的最佳得分为2.31/5。这表明在语义转移与表达转移之间存在显著差距，强调了表达性保留作为S2ST的开放挑战。

🎯 应用场景

该研究的潜在应用领域包括多语言翻译系统、语音助手和情感计算等。通过提升语音翻译的表达性，能够更好地满足用户在不同场景下的需求，增强人机交互的自然性和有效性，未来可能对跨文化交流产生深远影响。

📄 摘要（原文）

Speech-to-speech translation (S2ST) should preserve not only lexical meaning, but also expressive attributes: emotion, scenario style (e.g., news reporting vs. dramatic dialogue), and nonverbal vocalizations (NVs). Moreover, collecting cross-lingual target speech that is both translation-faithful and expressively aligned with the source is difficult at scale, making reference-based evaluation impractical. We introduce STEB (Speech-to-Speech Translation Expressiveness Benchmark), a 32.6-hour Chinese--English benchmark that evaluates both standard dimensions (translation fidelity, speaker similarity, duration alignment) and expressiveness dimensions (emotion, scenario style, NV preservation). For expressiveness evaluation, STEB uses a caption-then-summarize framework that converts speech into structured expressive attributes and compares source and hypothesis attributes with an LLM judge. Human validation shows statistically significant correlations with listener judgments across all expressive dimensions. We evaluate six S2ST systems covering cascaded systems, end-to-end models, and speech large language models. Many systems, especially cascaded ones, achieve strong translation fidelity, but they still struggle with emotion preservation (best: 3.82/5) and NV preservation (best: 2.31/5). These results reveal a gap between semantic transfer and expressive transfer, identifying expressiveness preservation as an open challenge for S2ST. Audio samples are available at https://cmots.github.io/steb.github.io/.