Self-Supervised Speech Quality Estimation and Enhancement Using Only Clean Speech

📄 arXiv: 2402.16321v1 📥 PDF

作者: Szu-Wei Fu, Kuo-Hsuan Hung, Yu Tsao, Yu-Chiang Frank Wang

分类: cs.SD, cs.AI, cs.LG, eess.AS

发布日期: 2024-02-26

备注: Published as a conference paper at ICLR 2024

💡 一句话要点

提出VQScore以解决语音质量评估与增强问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion)

关键词: 自监督学习 语音质量评估 向量量化 变分自编码器 语音增强 对抗训练 模型蒸馏

📋 核心要点

  1. 现有的语音质量评估方法主要依赖监督学习，标签收集过程耗时且成本高昂。
  2. 本文提出VQScore，通过自监督学习利用干净语音训练模型，评估失真语音的质量。
  3. 实验结果显示，VQScore和语音增强模型在性能上与传统监督学习方法具有竞争力。

📝 摘要（中文）

语音质量评估最近经历了从人工听觉专家设计到机器学习模型的范式转变。然而，现有模型主要依赖监督学习，这在标签收集上既耗时又昂贵。为了解决这一问题，本文提出了VQScore，这是一种基于向量量化变分自编码器（VQ-VAE）量化误差的自监督语音评估指标。VQ-VAE的训练依赖于干净语音，因此当语音失真时，预期会产生较大的量化误差。为了进一步提高与真实质量评分的相关性，模型设计中融入了语音处理的领域知识。实验结果表明，所提出的VQScore和增强模型在性能上与监督基线相当。

🔬 方法详解

问题定义：本文旨在解决现有语音质量评估方法对标签依赖过重的问题，导致训练过程耗时且成本高。

核心思路：提出VQScore作为自监督评估指标，利用向量量化变分自编码器（VQ-VAE）量化误差来评估语音质量，避免了对标签的需求。

技术框架：整体架构包括VQ-VAE的训练阶段，利用干净语音进行模型训练，并在此基础上进行语音质量评估和增强。主要模块包括量化误差计算、模型设计和自我蒸馏机制。

关键创新：最重要的创新在于将向量量化机制应用于自监督语音增强模型的训练，结合对抗训练提升编码器的鲁棒性。

关键设计：模型设计中采用了自我蒸馏机制和对抗训练，确保编码器在处理失真语音时的稳定性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，VQScore在语音质量评估上与传统监督学习基线相当，且在语音增强任务中表现出色，验证了其有效性和实用性。具体性能数据尚未披露，但整体提升幅度显著。

🎯 应用场景

该研究的潜在应用领域包括语音通信、语音识别和语音合成等，能够在不依赖大量标注数据的情况下，提升语音处理系统的性能。未来，该方法可能推动自监督学习在语音处理领域的广泛应用，降低开发成本。

📄 摘要（原文）

Speech quality estimation has recently undergone a paradigm shift from human-hearing expert designs to machine-learning models. However, current models rely mainly on supervised learning, which is time-consuming and expensive for label collection. To solve this problem, we propose VQScore, a self-supervised metric for evaluating speech based on the quantization error of a vector-quantized-variational autoencoder (VQ-VAE). The training of VQ-VAE relies on clean speech; hence, large quantization errors can be expected when the speech is distorted. To further improve correlation with real quality scores, domain knowledge of speech processing is incorporated into the model design. We found that the vector quantization mechanism could also be used for self-supervised speech enhancement (SE) model training. To improve the robustness of the encoder for SE, a novel self-distillation mechanism combined with adversarial training is introduced. In summary, the proposed speech quality estimation method and enhancement models require only clean speech for training without any label requirements. Experimental results show that the proposed VQScore and enhancement model are competitive with supervised baselines. The code will be released after publication.