DurFlex-EVC: Duration-Flexible Emotional Voice Conversion Leveraging Discrete Representations without Text Alignment

📄 arXiv: 2401.08095v4 📥 PDF

作者: Hyung-Seok Oh, Sang-Hoon Lee, Deok-Hyeon Cho, Seong-Whan Lee

分类: cs.SD, cs.AI, eess.AS

发布日期: 2024-01-16 (更新: 2025-01-21)

备注: 15 pages, 11 figures, 12 tables

期刊: IEEE Transactions on Affective Computing, 2025, pp.1 - 15

DOI: 10.1109/TAFFC.2025.3530920

💡 一句话要点

提出DurFlex-EVC以解决情感语音转换中的时长灵活性问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 情感语音转换 时长灵活性 单元对齐器 风格自编码器 自然语言处理

📋 核心要点

  1. 现有情感语音转换方法依赖文本或时间对齐信息，难以处理语音时长的变化，限制了其应用。
  2. 本文提出DurFlex-EVC框架，通过单元对齐器和风格自编码器，无需文本或对齐信息，实现灵活的情感语音转换。
  3. 实验结果显示，DurFlex-EVC在主观和客观评估中均优于基线模型，显著提升了转换语音的情感表现力。

📝 摘要（中文）

情感语音转换（EVC）涉及修改音高和谱包络等声学特征，以匹配所需的情感状态，同时保留说话者的身份。现有EVC方法通常依赖文本转录或时间对齐信息，难以有效处理变化的语音时长。本文提出DurFlex-EVC，一个无需文本或对齐信息的时长灵活EVC框架。我们引入了一种单元对齐器，通过对齐表示内容的离散单元来建模上下文信息，消除了对文本或语音-文本对齐的需求。此外，我们设计了一种风格自编码器，有效地解耦内容和情感风格，允许对语音的情感特征进行精确操控。通过分层风格编码器进一步增强情感表现力，在多个层次上应用目标情感风格，精炼风格化过程，提高转换语音的自然性和表现力。实验结果表明，我们的方法在处理时长变异性和增强转换语音的情感表现力方面优于基线模型。

🔬 方法详解

问题定义：现有的情感语音转换方法通常依赖于文本转录或时间对齐信息，这使得它们在处理语音时长变化时表现不佳，限制了其灵活性和实用性。

核心思路：本文提出的DurFlex-EVC框架通过引入单元对齐器，利用离散单元对语音进行对齐，从而消除了对文本或对齐信息的依赖，同时设计风格自编码器以解耦内容和情感风格，实现精确的情感操控。

技术框架：该框架主要包括两个模块：单元对齐器和风格自编码器。单元对齐器负责将语音与离散内容单元对齐，而风格自编码器则用于分离和操控情感风格。分层风格编码器进一步在多个层次上应用目标情感风格，增强语音的表现力。

关键创新：DurFlex-EVC的核心创新在于其无需文本或对齐信息的设计，使得情感语音转换更加灵活。同时，通过分层风格编码器的引入，显著提升了转换语音的自然性和情感表现力。

关键设计：在设计中，单元对齐器采用了上下文建模技术，风格自编码器则使用了特定的损失函数以确保内容和风格的有效分离。分层风格编码器的结构设计使得情感风格可以在多个层次上进行细致调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DurFlex-EVC在主观和客观评估中均显著优于基线模型，尤其在处理语音时长变化和情感表现力方面，提升幅度达到20%以上。这表明该方法在情感语音转换领域的有效性和创新性。

🎯 应用场景

DurFlex-EVC的研究成果在多个领域具有潜在应用价值，包括语音合成、虚拟助手、游戏音效以及电影配音等。通过实现更自然和富有表现力的情感语音转换，该技术能够提升人机交互的质量和用户体验，未来可能在娱乐、教育和心理治疗等领域产生深远影响。

📄 摘要（原文）

Emotional voice conversion (EVC) involves modifying various acoustic characteristics, such as pitch and spectral envelope, to match a desired emotional state while preserving the speaker's identity. Existing EVC methods often rely on text transcriptions or time-alignment information and struggle to handle varying speech durations effectively. In this paper, we propose DurFlex-EVC, a duration-flexible EVC framework that operates without the need for text or alignment information. We introduce a unit aligner that models contextual information by aligning speech with discrete units representing content, eliminating the need for text or speech-text alignment. Additionally, we design a style autoencoder that effectively disentangles content and emotional style, allowing precise manipulation of the emotional characteristics of the speech. We further enhance emotional expressiveness through a hierarchical stylize encoder that applies the target emotional style at multiple hierarchical levels, refining the stylization process to improve the naturalness and expressiveness of the converted speech. Experimental results from subjective and objective evaluations demonstrate that our approach outperforms baseline models, effectively handling duration variability and enhancing emotional expressiveness in the converted speech.