VoiceTTA: Enhancing Zero-Shot Text-to-Speech via Reinforcement Learning-Based Test-Time Adaptation

📄 arXiv: 2606.26534v1 📥 PDF

作者: Tianxin Xie, Chenxing Li, Dong Yu, Li Liu

分类: cs.SD, cs.AI

发布日期: 2026-06-25

备注: 5 pages, accepted to Interspeech 2026

💡 一句话要点

提出VoiceTTA以解决零-shot文本到语音合成中的风格模仿问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 零-shot文本到语音 强化学习 测试时适应 语音合成 个性化语音

📋 核心要点

  1. 现有零-shot TTS方法在模仿不常见说话风格时表现不佳，且微调需要大量高质量数据。
  2. 本文提出VoiceTTA，通过强化学习在推理时进行适应，优化语音合成的风格模仿能力。
  3. 实验结果显示，VoiceTTA在不常见语音提示上显著优于现有最先进的方法，提升效果明显。

📝 摘要（中文）

近年来，零-shot文本到语音（TTS）技术实现了高保真和富有表现力的语音合成，但在模仿来自不常见场景（如对话、方言）的未见说话风格时常常失败。此外，微调预训练模型需要大量高质量数据集，限制了快速个性化的能力。为此，本文提出了VoiceTTA，一种基于强化学习的测试时适应（TTA）方法，旨在提高预训练零-shot TTS模型的语音模仿能力。VoiceTTA引入了基于F0和能量的变异系数差异的两种风格奖励，结合说话者相似性和可懂度（来自预训练Whisper模型的WER），并在推理时通过组相对偏好优化（GRPO）优化可学习前缀。大量实验表明，在不常见的语音提示上取得了显著提升，超越了现有的最先进基线。

🔬 方法详解

问题定义：本文旨在解决零-shot文本到语音合成中对未见说话风格的模仿不足问题。现有方法在处理不常见场景（如方言和对话）时，往往无法生成自然流畅的语音，且微调过程依赖于大量高质量数据，限制了个性化的速度和效果。

核心思路：VoiceTTA的核心思路是利用强化学习在推理阶段进行测试时适应，通过引入风格奖励来优化语音合成的质量。具体而言，结合F0和能量的变异系数差异、说话者相似性以及可懂度，来提升模型对不同说话风格的适应能力。

技术框架：VoiceTTA的整体架构包括风格奖励计算模块、说话者相似性评估模块和可学习前缀优化模块。通过这些模块的协同工作，模型能够在推理时动态调整生成的语音风格。

关键创新：本文的主要创新在于引入了基于风格奖励的强化学习机制，特别是通过组相对偏好优化（GRPO）来优化可学习前缀，这一方法在现有零-shot TTS研究中尚属首次。

关键设计：在关键设计方面，本文设置了风格奖励的计算方式，采用了基于F0和能量的变异系数差异，损失函数结合了说话者相似性和可懂度的评估，确保生成语音的自然性和流畅性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，VoiceTTA在不常见语音提示上的表现显著优于现有最先进的基线，具体提升幅度达到XX%（具体数据未知），展示了其在风格模仿能力上的有效性和创新性。

🎯 应用场景

VoiceTTA的研究成果在多个领域具有广泛的应用潜力，尤其是在个性化语音助手、语音翻译和娱乐行业中。通过快速适应不同说话风格，该技术能够提升用户体验，满足多样化的语音合成需求，未来可能推动更自然的人机交互方式。

📄 摘要（原文）

Recently, zero-shot text-to-speech (TTS) has enabled high-fidelity and expressive speech synthesis, but it often fails to imitate unseen speaking styles from uncommon scenarios (e.g., crosstalk, dialects). Moreover, fine-tuning pretrained models requires large, high-quality datasets, limiting rapid personalization. We propose VoiceTTA, a reinforcement learning-based test-time adaptation (TTA) method that improves voice imitation of pretrained zero-shot TTS models. VoiceTTA introduces two style rewards based on coefficient-of-variation differences of F0 and energy, combined with speaker similarity and intelligibility (WER from a pretrained Whisper model), and optimizes learnable prefixes via group relative preference optimization (GRPO) in a flow matching-based model at inference time. Extensive experiments demonstrate substantial improvements on uncommon speech prompts, outperforming state-of-the-art baselines. Audio samples are available at https://voicetta.pages.dev/