SwiftAudio: Data-Efficient Caption-Only Distillation for One-Step Text-to-Audio Diffusion-based Generation

📄 arXiv: 2606.31259v1 📥 PDF

作者: Binh Mai, Tran Quoc Bao Le, Hung Dinh, Cong Tran

分类: cs.SD, cs.AI, cs.MM, eess.AS

发布日期: 2026-06-30

备注: Under review

💡 一句话要点

提出SwiftAudio以解决文本到音频生成中的高延迟问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 文本到音频生成 扩散模型 蒸馏训练 多模态生成 音频合成

📋 核心要点

  1. 现有的文本到音频生成方法在推理时存在高延迟，尤其是多步去噪过程导致的效率低下。
  2. SwiftAudio通过仅使用文本说明进行无音频蒸馏，避免了对配对音频数据的依赖，提升了训练效率。
  3. 在AudioCaps和Clotho数据集上的实验表明，SwiftAudio在性能上超越了其他严格的一步方法，接近多步扩散系统的效果。

📝 摘要（中文）

基于扩散的文本到音频（TTA）模型在合成质量上表现出色，但由于迭代多步去噪，推理延迟较高。现有的一步方法虽然缓解了这一问题，但仍依赖于配对的文本-音频数据进行蒸馏。为了解决这些局限性，本文提出了SwiftAudio，一个仅使用文本说明进行无音频蒸馏的一步TTA框架。具体而言，我们将变分评分蒸馏（VSD）适配到音频领域，并引入时间平滑正则化目标，以鼓励一致的潜在音频表示。这一设计使得学生模型能够在不需要配对音频监督的情况下继承教师的生成先验，并允许仅使用约45K个说明进行有效训练。实验结果表明，SwiftAudio在严格的一步方法中实现了最先进的性能，并显著缩小了与多步扩散系统的差距。

🔬 方法详解

问题定义：本文旨在解决基于扩散的文本到音频生成模型在推理时的高延迟问题，现有方法依赖于配对的文本-音频数据进行蒸馏，限制了其应用场景。

核心思路：SwiftAudio的核心思路是通过无音频蒸馏，仅利用文本说明来训练模型，从而避免了对配对音频的需求，提升了数据效率。

技术框架：SwiftAudio的整体架构包括一个预训练的扩散教师模型和一个学生模型。学生模型通过变分评分蒸馏（VSD）学习教师模型的生成先验，并引入时间平滑正则化以增强潜在音频表示的一致性。

关键创新：最重要的创新在于将VSD适配到音频领域，并设计了时间平滑正则化目标，这与现有方法的依赖配对音频的蒸馏方式形成了本质区别。

关键设计：在训练过程中，使用了约45K个文本说明进行模型训练，损失函数中包含了VSD损失和时间平滑正则化项，以确保生成音频的连贯性和质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，SwiftAudio在AudioCaps和Clotho数据集上表现出色，达到了最先进的性能，尤其是在严格的一步方法中，显著缩小了与多步扩散系统之间的性能差距，展示了其有效性和实用性。

🎯 应用场景

SwiftAudio的研究成果在多个领域具有潜在应用价值，包括音频合成、影视配音、游戏音效生成等。通过提高文本到音频生成的效率，该技术能够加速内容创作过程，降低对高质量配对数据的需求，推动多模态生成技术的发展。

📄 摘要（原文）

Diffusion-based text-to-audio (TTA) models achieve impressive synthesis quality but suffer from high inference latency due to iterative multi-step denoising. Existing one-step approaches alleviate this issue but still rely on paired text--audio data during distillation. To address these limitations, we propose SwiftAudio, a one-step TTA framework that performs audio-free distillation from a pretrained diffusion teacher using only text captions. Specifically, we adapt Variational Score Distillation (VSD) to the audio domain and introduce a temporal smoothness regularization objective to encourage coherent latent audio representations. This design enables the student model to inherit the teacher's generative prior without requiring paired audio supervision and allows effective training with only approximately 45K captions. Experiments on AudioCaps and Clotho demonstrate that SwiftAudio achieves state-of-the-art performance among strict one-step methods and substantially narrows the gap to multi-step diffusion systems. Project page: https://swiftaudio.org/