Enhancing Flow Matching with A Unified Guidance Framework for Efficient and Robust Speech Synthesis

📄 arXiv: 2607.00363v1 📥 PDF

作者: Zuda Yu, Qianhui Xu, Ting Chen, Junhui Zhang, Tao Fu, Hongjiang Yu, Qiangqing Wang, Yang Song

分类: cs.SD, cs.AI

发布日期: 2026-07-01

备注: Accepted to INTERSPEECH 2026

💡 一句话要点

提出统一引导框架以提升语音合成的效率与鲁棒性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion)

关键词: 语音合成 流匹配 数据引导 模型引导 推理效率 鲁棒性 音色泄漏

📋 核心要点

  1. 现有的Flow Matching方法在语音生成中存在高推理延迟和音色泄漏等问题，限制了其应用效果。
  2. 本文提出的统一引导框架通过数据引导和模型引导两种策略，提升了生成的效率和鲁棒性。
  3. 实验结果显示，该框架在推理速度上提升近三倍，同时在说话人相似性方面优于现有的最先进基线。

📝 摘要（中文）

Flow Matching（FM）作为一种强大的语音生成范式，面临高推理延迟和音色泄漏等瓶颈。为了解决这些问题，本文提出了一种统一引导框架，通过两种互补策略增强生成效率和鲁棒性。在数据方面，引入异构增强的数据引导，鼓励模型将语言内容与声学残差解耦。同时，提出了一种增强的模型引导机制，将轨迹校正与新颖的内在引导目标相结合。这种方法将条件知识提炼到网络权重中，并理顺推理轨迹，从而消除了无分类器引导的开销。实验表明，该框架在加速推理的同时，显著提高了说话人相似性，推理速度提升近三倍。

🔬 方法详解

问题定义：本文旨在解决Flow Matching在语音生成中的高推理延迟和音色泄漏问题。这些问题导致生成的语音质量不稳定，影响了实际应用。

核心思路：提出统一引导框架，通过数据引导和模型引导的结合，分别从数据和模型层面优化生成过程。数据引导通过异构增强解耦语言内容与声学信息，而模型引导则通过轨迹校正和内在引导目标提升模型性能。

技术框架：整体架构分为数据引导模块和模型引导模块。数据引导模块使用异构增强技术，模型引导模块则结合轨迹校正和内在引导目标，形成一个闭环优化过程。

关键创新：最重要的创新在于引入了异构增强的数据引导和结合轨迹校正的模型引导机制。这种设计有效消除了无分类器引导的开销，提升了生成效率。

关键设计：在模型设计中，采用了新的损失函数以平衡语言内容与声学信息的权重，同时优化了网络结构以适应新的引导机制。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，提出的统一引导框架在推理速度上提升近三倍，同时在说话人相似性方面，相较于最先进的基线方法，表现出显著的改进，验证了框架的有效性与优越性。

🎯 应用场景

该研究的潜在应用领域包括语音助手、自动配音、游戏音效生成等。通过提升语音合成的效率和鲁棒性，能够更好地满足实时交互和高质量语音生成的需求，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Flow Matching (FM) has emerged as a powerful paradigm for speech generation but remains constrained by high inference latency and timbre leakage. To address these bottlenecks, we propose a unified guidance framework that enhances generation efficiency and robustness through two complementary strategies. On the data front, we introduce Data-guidance via heterogeneous augmentation, encouraging the model to disentangle linguistic content from acoustic residue. In parallel, we propose an enhanced Model-guidance mechanism that synergizes trajectory rectification with a novel intrinsic guidance objective. This approach distills conditional knowledge into network weights and straightens inference trajectory path, thereby eliminating Classifier-Free Guidance (CFG) overhead. Experiments demonstrate that our framework accelerates inference by nearly three times while effectively improving speaker similarity compared to state-of-the-art baselines.