Beyond U-Net: A Latent-Representation-Aligned Skip-Free Backbone for Flow-Matching Speech Enhancement

📄 arXiv: 2606.24745v1 📥 PDF

作者: Wangyi Pu, Michele Scarpiniti

分类: cs.SD, cs.AI, eess.AS

发布日期: 2026-06-23

💡 一句话要点

提出跳跃连接自由的编码解码骨干网络以解决语音增强问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 语音增强 流匹配 潜在表示对齐 生成模型 实时应用 噪声抑制 深度学习

📋 核心要点

  1. 现有的生成模型在语音增强中表现出色，但其迭代采样过程限制了实时应用。
  2. 本文提出了一种跳跃连接自由的编码解码网络，通过潜在表示对齐来优化流匹配语音增强。
  3. 在WSJ0-CHiME3和VoiceBank-DEMAND数据集上，实验结果显示PESQ和感知质量显著提升，尤其在VoiceBank-DEMAND上表现优异。

📝 摘要（中文）

生成模型，尤其是扩散和基于评分的方法，最近在语音增强方面取得了显著的性能，但其迭代采样过程限制了实时部署。流匹配提供了一种高效的替代方案，通过普通微分方程将嘈杂语音传输到干净语音，且仅需少量函数评估。本文提出了一种跳跃连接自由的编码解码骨干网络，利用潜在表示对齐（LRA）进行流匹配语音增强。该模型不依赖于U-Net跳跃连接，而是将瓶颈和解码器表示与从冻结的Descript音频编解码器提取的干净潜在特征对齐。这种编解码器对齐的监督促进了紧凑的干净语音表示，同时保持了高效的少步推理。实验结果表明，在WSJ0-CHiME3和VoiceBank-DEMAND数据集上，使用仅五次函数评估时，PESQ和感知质量均有所提升，尤其是在VoiceBank-DEMAND上表现突出。

🔬 方法详解

问题定义：本文旨在解决现有语音增强方法在实时应用中的迭代采样限制，尤其是U-Net结构中跳跃连接可能引入的噪声相关低级特征问题。

核心思路：提出的模型通过潜在表示对齐（LRA）来优化编码解码过程，避免了传统U-Net中可能的噪声传递，直接对齐干净的潜在特征。

技术框架：整体架构包括一个跳跃连接自由的编码解码网络，编码器提取特征，解码器生成增强后的语音，且通过与冻结的Descript音频编解码器的潜在特征对齐进行监督。

关键创新：最重要的创新在于跳跃连接的去除和潜在表示对齐的引入，这一设计使得模型在保持高效推理的同时，能够更好地捕捉干净语音的特征。

关键设计：模型的关键设计包括对编码器和解码器的结构优化，损失函数的选择，以及如何有效地进行潜在特征的对齐，确保模型在少量函数评估下仍能实现高质量的语音增强。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，在VoiceBank-DEMAND数据集上，使用仅五次函数评估时，PESQ得分显著提高，感知质量得到改善，尤其在低信噪比条件下表现优异，显示出该方法在实际应用中的有效性。

🎯 应用场景

该研究在语音增强领域具有广泛的应用潜力，尤其适用于实时语音通信、语音助手和听力辅助设备等场景。通过提高语音质量和降低噪声干扰，该方法能够显著提升用户体验，未来可能在智能家居和移动设备中得到更广泛的应用。

📄 摘要（原文）

Generative models, particularly diffusion and score-based approaches, have recently achieved strong performance in speech enhancement, but their iterative sampling process limits real-time deployment. Flow Matching offers an efficient alternative by transporting noisy speech toward clean speech through an ordinary differential equation with few function evaluations. In this work, we propose a skip-free encoder-decoder backbone for flow-matching speech enhancement, guided by Latent Representation Alignment (LRA). Instead of relying on U-Net skip connections, which may transfer noise-correlated low-level features to the decoder, the proposed model aligns its bottleneck and decoder representations with clean latent features extracted from a frozen Descript Audio Codec encoder-decoder without quantization. This codec-aligned supervision promotes compact clean-speech representations while preserving efficient few-step inference. Experiments on WSJ0-CHiME3 and VoiceBank-DEMAND show improved PESQ and perceptual quality, especially on VoiceBank-DEMAND, using only five function evaluations.