Pheme: Efficient and Conversational Speech Generation

📄 arXiv: 2401.02839v1 📥 PDF

作者: Paweł Budzianowski, Taras Sereda, Tomasz Cichy, Ivan Vulić

分类: eess.AS, cs.AI, cs.CL

发布日期: 2024-01-05

💡 一句话要点

提出Pheme模型以解决实时对话语音生成问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 对话系统 语音生成 模型蒸馏 实时生成 小规模数据

📋 核心要点

  1. 现有的语音生成模型如VALL-E和SoundStorm需要大量数据和计算资源，限制了其在实时对话系统中的应用。
  2. Pheme模型系列通过紧凑设计和并行生成，能够在小规模数据上高效训练，解决了实时性和数据需求的问题。
  3. 实验表明，Pheme模型在单一说话者设置下，通过教师-学生蒸馏显著提升了语音质量，且性能与现有模型相当。

📝 摘要（中文）

近年来，语音生成技术取得了显著进展，现已实现几乎与真实人声无差别的一次性生成能力。将这种进展与大型语言模型结合，可能会彻底改变多种应用。然而，某些应用（如辅助对话系统）需要自然且高效的实时语音生成工具。现有的最先进模型如VALL-E和SoundStorm依赖于层次神经音频编解码器，需大量神经组件和训练数据。相对而言，MQTTS旨在构建更紧凑的对话TTS模型，但其自回归特性导致高推理延迟，限制了实时使用。为此，本文提出Pheme模型系列，提供紧凑且高性能的模型，支持并行语音生成，能够在小规模对话数据上高效训练，数据需求减少超过10倍，同时保持与自回归TTS模型相当的质量。

🔬 方法详解

问题定义：本文旨在解决现有对话语音生成模型在实时性和数据需求上的不足，尤其是自回归模型的高推理延迟问题。

核心思路：Pheme模型系列通过紧凑的模型设计和并行生成机制，能够在小规模对话数据上高效训练，从而减少数据需求并提高实时生成能力。

技术框架：Pheme模型包括多个模块，首先是数据预处理模块，接着是模型训练模块，最后是语音生成模块，支持并行生成自然对话语音。

关键创新：Pheme模型的最大创新在于其紧凑性和并行生成能力，使其在保持语音质量的同时，显著降低了对计算资源和训练数据的需求。

关键设计：在模型设计中，采用了特定的损失函数和网络结构，以优化语音生成质量，并通过教师-学生蒸馏技术提升单一说话者的语音质量。

📊 实验亮点

实验结果显示，Pheme模型在单一说话者设置下，通过教师-学生蒸馏技术，语音质量显著提升，且在数据需求上减少超过10倍。与现有的自回归TTS模型相比，Pheme在实时性和生成质量上表现出色，具有较强的竞争力。

🎯 应用场景

Pheme模型在辅助对话系统、智能客服、语音助手等领域具有广泛的应用潜力。其高效的实时语音生成能力能够提升用户体验，并为相关技术的普及和发展提供支持。未来，随着模型的进一步优化，Pheme有望在更多实际场景中发挥重要作用。

📄 摘要（原文）

In recent years, speech generation has seen remarkable progress, now achieving one-shot generation capability that is often virtually indistinguishable from real human voice. Integrating such advancements in speech generation with large language models might revolutionize a wide range of applications. However, certain applications, such as assistive conversational systems, require natural and conversational speech generation tools that also operate efficiently in real time. Current state-of-the-art models like VALL-E and SoundStorm, powered by hierarchical neural audio codecs, require large neural components and extensive training data to work well. In contrast, MQTTS aims to build more compact conversational TTS models while capitalizing on smaller-scale real-life conversational speech data. However, its autoregressive nature yields high inference latency and thus limits its real-time usage. In order to mitigate the current limitations of the state-of-the-art TTS models while capitalizing on their strengths, in this work we introduce the Pheme model series that 1) offers compact yet high-performing models, 2) allows for parallel speech generation of 3) natural conversational speech, and 4) it can be trained efficiently on smaller-scale conversational data, cutting data demands by more than 10x but still matching the quality of the autoregressive TTS models. We also show that through simple teacher-student distillation we can meet significant improvements in voice quality for single-speaker setups on top of pretrained Pheme checkpoints, relying solely on synthetic speech generated by much larger teacher models. Audio samples and pretrained models are available online.