Do Speech Emphasis Models Generalize across Languages and Emotions?

📄 arXiv: 2606.27717v1 📥 PDF

作者: Megan Wei, Deepali Aneja, Jiaqi Su, Yunyun Wang, Haonan Chen, Zeyu Jin

分类: cs.CL, cs.AI, cs.LG, cs.SD, eess.AS

发布日期: 2026-06-26

备注: Interspeech 2026

💡 一句话要点

提出MMEE语音强调模型以解决跨语言和情感的泛化问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语音强调 多语言处理 情感识别 迁移学习 深度学习

📋 核心要点

  1. 现有的语音强调检测模型主要基于单一语言的中性语音，缺乏对多语言和多情感的适应性。
  2. 本文提出MMEE语料库，包含多种语言和情感的表达性语音，旨在提高模型的泛化能力。
  3. 实验结果显示，多语言训练显著提升了模型在不同情感和语言间的迁移能力，尤其在小规模训练下依然表现良好。

📝 摘要（中文）

语音强调在不同语言、情感和说话风格中存在差异，但现有的强调检测模型主要在单语中进行训练和评估。本文引入了MMEE（多语言多情感强调）语料库，包含10,000个专业录制的表达性话语（14.13小时），涵盖7种语言和34种情感/风格类别，并提供三层感知标签（每个样本10个注释）。我们在单语、跨语言、多语言、跨情感、跨数据集和数据规模设置下基准测试了两种最先进的架构。结果表明，单语模型在零样本迁移中表现有限，而多语言训练显著提高了模型的鲁棒性。

🔬 方法详解

问题定义：本文旨在解决现有语音强调检测模型在多语言和多情感场景下的泛化能力不足的问题。现有方法主要依赖于单一语言的中性语音，导致在不同语言和情感之间的迁移效果不佳。

核心思路：论文通过构建MMEE语料库，包含多种语言和情感的表达性语音，来增强模型的训练数据多样性，从而提高模型的泛化能力。

技术框架：整体架构包括数据收集、模型训练和评估三个主要阶段。数据收集阶段构建了包含多语言和多情感的语料库；模型训练阶段采用了两种最先进的架构进行训练；评估阶段则在多种设置下进行性能测试。

关键创新：最重要的技术创新在于MMEE语料库的构建和多语言训练策略的应用，这与现有方法的单一语言训练形成鲜明对比，显著提升了模型的鲁棒性和迁移能力。

关键设计：在模型设计中，采用了多层感知器和卷积神经网络，损失函数则结合了分类损失和回归损失，以优化模型在多种情感和语言下的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，单语模型在零样本迁移中表现有限，而多语言训练显著提高了模型的鲁棒性。在高唤醒和低唤醒情感之间，模型的迁移能力表现良好，且在小规模训练下依然保持较高的性能。

🎯 应用场景

该研究的潜在应用领域包括情感识别、语音助手和人机交互等。通过提高语音强调模型的泛化能力，可以在多语言环境中更准确地理解和响应用户情感，从而提升用户体验和交互质量。

📄 摘要（原文）

Prosodic emphasis varies across languages, emotions, and speaking styles, yet existing emphasis detection models are largely trained and evaluated on monolingual neutral read speech. We introduce MMEE (Multilingual Multi-Emotion Emphasis), a corpus of 10,000 professionally recorded expressive utterances (14.13 hours) across 7 languages and 34 emotion/style categories, with three-level perceptual labels (10 annotations per sample). We benchmark two state-of-the-art architectures under monolingual, cross-lingual, multilingual, cross-emotion, cross-dataset, and data-scale settings. Monolingual models show limited zero-shot transfer, degrading across typologically distant languages, while multilingual training substantially improves robustness. Models transfer robustly between high- and low-arousal emotions; bidirectional transfer between synthetic and perceptual benchmarks suggests shared prosodic structure; and performance stays robust even at smaller training scales.