UMETTS: A Unified Framework for Emotional Text-to-Speech Synthesis with Multimodal Prompts

📄 arXiv: 2404.18398v2 📥 PDF

作者: Zhi-Qi Cheng, Xiang Li, Jun-Yan He, Junyao Chen, Xiaomao Fan, Xiaojiang Peng, Alexander G. Hauptmann

分类: cs.CL, cs.MM

发布日期: 2024-04-29 (更新: 2025-02-18)

备注: Accepted to ICASSP 2025, Code available at https://github.com/KTTRCDL/UMETTS

💡 一句话要点

提出UMETTS框架以解决情感文本到语音合成问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 情感合成 文本到语音 多模态融合 对比学习 语音自然性 人机交互

📋 核心要点

  1. 现有E-TTS方法难以捕捉人类情感的复杂性，通常依赖于简化的情感标签或单一模态输入，导致合成语音的情感表现不足。
  2. UMETTS框架通过引入多模态情感线索，采用情感提示对齐模块和情感嵌入引导的TTS模块，提升了情感合成的准确性和自然性。
  3. 实验结果显示，UMETTS在情感准确性和语音自然性上均显著优于传统E-TTS方法，验证了其有效性和创新性。

📝 摘要（中文）

情感文本到语音（E-TTS）合成近年来受到广泛关注，因其有潜力革新人机交互。然而，现有E-TTS方法往往难以捕捉人类情感的复杂性，主要依赖于简化的情感标签或单一模态输入。本文提出了统一多模态提示引导的情感文本到语音系统（UMETTS），该框架利用来自多种模态的情感线索生成高度表现力和情感共鸣的语音。UMETTS的核心包括两个关键组件：情感提示对齐模块（EP-Align）和情感嵌入引导的TTS模块（EMI-TTS）。EP-Align通过对比学习对齐文本、音频和视觉模态的情感特征，确保多模态信息的连贯融合。随后，EMI-TTS将对齐的情感嵌入与最先进的TTS模型结合，合成准确反映预期情感的语音。评估结果表明，UMETTS在情感准确性和语音自然性方面显著优于传统E-TTS方法。

🔬 方法详解

问题定义：本文旨在解决现有情感文本到语音合成方法在捕捉人类情感复杂性方面的不足，尤其是对情感标签的简化和单一模态输入的依赖。

核心思路：UMETTS框架通过整合多模态情感线索，利用情感提示对齐模块（EP-Align）和情感嵌入引导的TTS模块（EMI-TTS），实现更为精准和自然的语音合成。

技术框架：UMETTS的整体架构包括两个主要模块：EP-Align负责对齐不同模态的情感特征，EMI-TTS则将这些对齐的情感嵌入与先进的TTS模型结合，生成合成语音。

关键创新：UMETTS的核心创新在于通过对比学习实现多模态情感特征的对齐，确保了信息的连贯融合，这一方法与传统E-TTS方法的单一模态输入形成了本质区别。

关键设计：在EP-Align模块中，采用对比学习损失函数以优化情感特征的对齐；EMI-TTS模块则结合了最新的TTS网络结构，确保合成语音的自然性和情感表现力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，UMETTS在情感准确性和语音自然性方面均显著优于传统E-TTS方法，具体表现为在客观和主观评估指标上均有明显提升，验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括智能语音助手、情感交互机器人和虚拟客服等，能够提升人机交互的情感体验，增强用户的沉浸感和满意度。未来，UMETTS可能在教育、娱乐和心理健康等多个领域发挥重要作用。

📄 摘要（原文）

Emotional Text-to-Speech (E-TTS) synthesis has garnered significant attention in recent years due to its potential to revolutionize human-computer interaction. However, current E-TTS approaches often struggle to capture the intricacies of human emotions, primarily relying on oversimplified emotional labels or single-modality input. In this paper, we introduce the Unified Multimodal Prompt-Induced Emotional Text-to-Speech System (UMETTS), a novel framework that leverages emotional cues from multiple modalities to generate highly expressive and emotionally resonant speech. The core of UMETTS consists of two key components: the Emotion Prompt Alignment Module (EP-Align) and the Emotion Embedding-Induced TTS Module (EMI-TTS). (1) EP-Align employs contrastive learning to align emotional features across text, audio, and visual modalities, ensuring a coherent fusion of multimodal information. (2) Subsequently, EMI-TTS integrates the aligned emotional embeddings with state-of-the-art TTS models to synthesize speech that accurately reflects the intended emotions. Extensive evaluations show that UMETTS achieves significant improvements in emotion accuracy and speech naturalness, outperforming traditional E-TTS methods on both objective and subjective metrics.