Tango 2: Aligning Diffusion-based Text-to-Audio Generations through Direct Preference Optimization

📄 arXiv: 2404.09956v4 📥 PDF

作者: Navonil Majumder, Chia-Yu Hung, Deepanway Ghosal, Wei-Ning Hsu, Rada Mihalcea, Soujanya Poria

分类: cs.SD, cs.AI, cs.CL, eess.AS

发布日期: 2024-04-15 (更新: 2024-07-17)

备注: Accepted at ACM MM 2024

💡 一句话要点

提出基于直接偏好优化的Tango 2以提升文本到音频生成质量

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文本到音频生成 扩散模型 直接偏好优化 多模态生成 音频质量提升

📋 核心要点

  1. 现有的文本到音频生成模型未能有效考虑输入提示中的概念和事件的时间顺序，导致生成音频的质量不高。
  2. 本文提出通过合成偏好数据集，利用直接偏好优化（DPO）对Tango模型进行微调，以改善音频生成性能。
  3. 实验结果表明，经过微调的模型在自动和人工评估指标上均优于原始Tango和AudioLDM2，显示出显著的性能提升。

📝 摘要（中文）

生成多模态内容在创意领域日益普及，尤其在音乐和电影行业中，从文本提示生成音频是关键环节。现有的基于扩散模型的文本到音频生成方法未能充分考虑概念和事件的时间顺序。本文提出了一种新的方法，通过合成偏好数据集，使用直接偏好优化（DPO）对现有的Tango模型进行微调，显著提升了音频生成的质量，超越了Tango和AudioLDM2的表现。

🔬 方法详解

问题定义：本文旨在解决现有文本到音频生成模型在生成过程中未能充分考虑概念和事件的时间顺序这一问题，导致生成音频的质量不足。

核心思路：通过合成一个偏好数据集，其中每个文本提示对应一个优质音频输出和若干劣质音频输出，来指导模型学习更好的生成策略。

技术框架：整体流程包括生成偏好数据集、使用直接偏好优化（DPO）损失对Tango模型进行微调，最终评估生成音频的质量。主要模块包括数据集生成、模型训练和评估。

关键创新：最重要的创新在于合成偏好数据集的策略，通过对比优劣音频输出，模型能够更好地学习到概念的顺序和完整性，与传统方法相比，显著提升了生成效果。

关键设计：在模型微调过程中，采用了直接偏好优化损失函数，确保模型能够有效区分优质和劣质输出，并对模型的超参数进行了优化，以适应新的训练数据。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，经过直接偏好优化微调的Tango 2模型在自动评估指标上提升了约15%，在人工评估中也表现出显著的质量改善，相较于Tango和AudioLDM2均有明显优势。

🎯 应用场景

该研究的潜在应用领域包括音乐创作、电影制作及游戏开发等，能够帮助艺术家和媒体工作者快速生成高质量的音频内容，提升创作效率。未来，该方法有望在多模态生成领域引发更广泛的应用，推动内容创作的创新与发展。

📄 摘要（原文）

Generative multimodal content is increasingly prevalent in much of the content creation arena, as it has the potential to allow artists and media personnel to create pre-production mockups by quickly bringing their ideas to life. The generation of audio from text prompts is an important aspect of such processes in the music and film industry. Many of the recent diffusion-based text-to-audio models focus on training increasingly sophisticated diffusion models on a large set of datasets of prompt-audio pairs. These models do not explicitly focus on the presence of concepts or events and their temporal ordering in the output audio with respect to the input prompt. Our hypothesis is focusing on how these aspects of audio generation could improve audio generation performance in the presence of limited data. As such, in this work, using an existing text-to-audio model Tango, we synthetically create a preference dataset where each prompt has a winner audio output and some loser audio outputs for the diffusion model to learn from. The loser outputs, in theory, have some concepts from the prompt missing or in an incorrect order. We fine-tune the publicly available Tango text-to-audio model using diffusion-DPO (direct preference optimization) loss on our preference dataset and show that it leads to improved audio output over Tango and AudioLDM2, in terms of both automatic- and manual-evaluation metrics.