AudioX-Turbo: A Unified Framework for Efficient Anything-to-Audio Generation

📄 arXiv: 2606.12555 📥 PDF

作者: Zeyue Tian, Lei Ke, Zhaoyang Liu, Ruibin Yuan, Liumeng Xue, Yujiu Yang, Weijia Chen, Xu Tan, Qifeng Chen, Wei Xue, Yike Guo

分类: cs.SD, cs.CV, cs.MM

发布日期: 2026-06-12

💡 一句话要点

提出AudioX-Turbo以解决多模态音频生成效率问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态音频生成 扩散模型 蒸馏训练 高效生成 音乐创作 数据集构建 生成对抗网络

📋 核心要点

  1. 现有方法在多模态音频生成中面临统一建模框架、数据规模和推理成本等挑战。
  2. 本文提出AudioX-Turbo框架，采用教师-学生范式，整合多模态输入以实现高效音频生成。
  3. 实验结果显示，AudioX-Turbo在多个任务上表现优越，尤其在文本到音频生成上，性能显著提升。

📝 摘要（中文）

音频和音乐生成基于灵活的多模态控制信号是一个广泛适用的主题，面临统一多模态建模框架、大规模高质量训练数据和多步扩散采样的高推理成本等关键挑战。为此，本文提出了AudioX-Turbo，一个统一且高效的音频生成框架，整合了文本、视频和音频信号等多种多模态条件。AudioX-Turbo采用教师-学生范式，教师模型AudioX-Base基于多模态扩散变换器构建，具有多模态自适应融合模块，能够对齐多样的多模态输入以实现高保真合成，并通过适应流匹配的分布匹配蒸馏将其蒸馏为少步学生模型AudioX-Turbo，辅以基于扩散的判别器以实现高质量的少步生成。我们构建了一个大规模高质量数据集IF-caps-Pro，包含约920万样本，经过两阶段的数据收集和注释流程。实验表明，AudioX-Turbo在文本到音频和文本到音乐生成任务上表现优越，仅需4个采样步骤，功能评估次数比多步基线少约25倍，展示了其在灵活多模态控制下的高效音频生成能力。

🔬 方法详解

问题定义：本论文旨在解决多模态音频生成中的统一建模框架、数据规模和推理成本等问题。现有方法在多步扩散采样中推理成本高，难以实现高效生成。

核心思路：提出AudioX-Turbo框架，采用教师-学生范式，通过多模态自适应融合模块对齐多样输入，提升生成质量，同时通过分布匹配蒸馏减少推理步骤。

技术框架：整体架构包括教师模型AudioX-Base和学生模型AudioX-Turbo。教师模型基于多模态扩散变换器，学生模型通过蒸馏技术简化为少步生成，辅以扩散判别器以确保生成质量。

关键创新：最重要的创新在于引入多模态自适应融合模块和分布匹配蒸馏技术，使得模型在少步生成中仍能保持高保真度，与现有多步生成方法相比，显著降低了推理成本。

关键设计：模型设计中采用了多模态自适应融合模块，损失函数结合了生成质量和多模态对齐，网络结构上通过流匹配优化蒸馏过程，确保了生成的高效性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，AudioX-Turbo在文本到音频和文本到音乐生成任务上表现优越，尤其在仅需4个采样步骤的情况下，功能评估次数比多步基线减少约25倍，显示出显著的性能提升和高效的生成能力。

🎯 应用场景

该研究的潜在应用领域包括音乐创作、音频合成、游戏音效生成等，能够为创作者提供高效的音频生成工具，提升创作效率。未来，该框架有望在多模态内容生成领域发挥更大影响，推动音频生成技术的发展。

📄 摘要（原文）

Audio and music generation based on flexible multimodal control signals is a widely applicable topic, with the following key challenges: 1) a unified multimodal modeling framework, 2) large-scale, high-quality training data, and 3) the prohibitive inference cost of multi-step diffusion sampling. As such, we propose AudioX-Turbo, a unified and efficient framework for anything-to-audio generation that integrates varied multimodal conditions (i.e., text, video, and audio signals) in this work. AudioX-Turbo follows a teacher-student paradigm. The teacher AudioX-Base is built on a Multimodal Diffusion Transformer with a Multimodal Adaptive Fusion module that aligns diverse multimodal inputs for high-fidelity synthesis, and is then distilled into the few-step student AudioX-Turbo via Distribution Matching Distillation adapted to flow matching, complemented by a diffusion-based discriminator for high-quality few-step generation. To support the training of AudioX-Turbo, we construct a large-scale, high-quality dataset, IF-caps-Pro, comprising approximately 9.2M samples curated through a two-stage data collection and annotation pipeline. We benchmark AudioX-Turbo across a wide range of tasks, finding that our model achieves superior performance, especially on text-to-audio and text-to-music generation, while operating at only 4 sampling steps and requiring approximately 25x fewer function evaluations (NFE) than multi-step baselines. These results demonstrate that our method is capable of audio generation under flexible multimodal control, showing efficient and powerful instruction-following capabilities. The code and datasets will be available atthis https URL.