Hybrid Diffusion Transformer for Instruction-Guided Audio Editing via Rectified Flow
作者: Liting Gao, Yonggang Zhu, Yaru Chen, Dongyu Wang, Shubin Zhang, Zhenbo Li, Jean-Yves Guillemaut, Wenwu Wang
分类: cs.SD, cs.AI, cs.MM
发布日期: 2026-06-18
💡 一句话要点
提出混合扩散变换器以解决指令引导的音频编辑问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 音频编辑 扩散模型 多模态融合 指令引导 深度学习
📋 核心要点
- 现有的音频编辑方法在长距离语义对齐和指令理解方面存在不足，限制了编辑的准确性和效率。
- 本文提出了一种混合两阶段扩散变换器架构，通过粗到细的策略实现高效的指令引导音频编辑。
- 实验结果显示，该框架在复杂编辑任务中显著提升了性能，并提高了编辑效率。
📝 摘要（中文）
音频编辑旨在根据自然语言指令修改现有音频片段中的特定内容，同时保留其余声学内容。尽管扩散模型取得了显著进展，现有的基于训练的编辑方法主要依赖卷积U-Net骨干网络中的局部归纳偏置和交叉注意力交互，这往往妨碍了长距离语义对齐和指令的精确理解与定位。与此相对，扩散变换器提供了更强的全局建模和多模态融合，但现有的编辑架构通常仅采用MMDiT和DiT块的简单堆叠。在所有块中对连接的音频和文本标记应用联合注意力会导致与标记长度成平方关系的复杂度。为平衡编辑性能和效率，本文提出了一种基于校正流匹配的混合两阶段扩散变换器架构，用于指令引导的音频编辑。该方法在低分辨率阶段对音频和文本标记进行联合注意力，以建立粗略的语义对齐，然后在高分辨率阶段切换到交替的联合注意力和交叉注意力块，以细化编辑细节。这种粗到细的策略实现了高效且准确的指令引导音频编辑。实验表明，所提出的框架在涉及重叠音频事件和复杂指令的挑战性编辑任务上取得了显著的性能提升，同时通过紧凑模型显著提高了编辑效率。
🔬 方法详解
问题定义：本文旨在解决指令引导的音频编辑问题，现有方法在处理长距离语义对齐和指令定位时表现不佳，导致编辑效果不理想。
核心思路：提出一种混合两阶段扩散变换器架构，首先在低分辨率阶段进行粗略的语义对齐，然后在高分辨率阶段细化编辑细节，以提高编辑的准确性和效率。
技术框架：整体架构分为低分辨率和高分辨率两个阶段。低分辨率阶段使用联合注意力对音频和文本进行处理，高分辨率阶段则交替使用联合注意力和交叉注意力块，以实现更精细的编辑。
关键创新：最重要的创新在于提出了基于校正流匹配的混合架构，能够有效平衡编辑性能与计算效率，避免了传统方法的复杂度问题。
关键设计：在模型设计中，采用了低分辨率和高分辨率的分阶段处理，设置了适当的损失函数以优化语义对齐，同时确保模型的紧凑性以提高编辑效率。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提出的框架在处理重叠音频事件和复杂指令的编辑任务中，性能显著提升，具体表现为在多个基准测试中相较于现有方法提高了编辑效率和准确性，且模型体积更小，便于实际应用。
🎯 应用场景
该研究具有广泛的应用潜力，特别是在音频编辑、音乐制作和语音处理等领域。通过提供高效且准确的音频编辑工具，能够帮助创作者更好地实现其创意，提升工作效率，未来可能对音频内容创作和处理产生深远影响。
📄 摘要（原文）
Audio editing aims to modify specific content in an existing audio clip according to a natural language instruction while preserving the remaining acoustic content. Despite the remarkable progress of diffusion models, existing training-based editing methods mainly rely on the local inductive biases and cross-attention interaction in convolutional U-Net backbones, which often hinder long-range semantic alignment and precise understanding and localization of instructions. In contrast, diffusion transformers provide stronger global modeling and multimodal fusion, but existing editing architectures usually adopt a simple stack of MMDiT and DiT blocks. Applying joint attention over concatenated audio and text tokens in all blocks results in quadratic complexity with respect to token length. To balance editing performance and efficiency, we propose a hybrid two-stage diffusion transformer architecture for instruction-guided audio editing based on rectified flow matching. It performs joint attention over audio and text tokens to establish coarse semantic alignment at low-resolution stage, then switches to alternating joint-attention and cross-attention blocks to refine editing details at high-resolution stage. This coarse-to-fine strategy enables efficient and accurate instruction-guided audio editing. Experiments show that the proposed framework achieves notable performance gains on challenging editing tasks involving overlapping audio events and complex instructions, while substantially improving editing efficiency with a compact model.