MuPT: A Generative Symbolic Music Pretrained Transformer

📄 arXiv: 2404.06393v4 📥 PDF

作者: Xingwei Qu, Yuelin Bai, Yinghao Ma, Ziya Zhou, Ka Man Lo, Jiaheng Liu, Ruibin Yuan, Lejun Min, Xueling Liu, Tianyu Zhang, Xinrun Du, Shuyue Guo, Yiming Liang, Yizhi Li, Shangda Wu, Junting Zhou, Tianyu Zheng, Ziyang Ma, Fengze Han, Wei Xue, Gus Xia, Emmanouil Benetos, Xiang Yue, Chenghua Lin, Xu Tan, Stephen W. Huang, Jie Fu, Ge Zhang

分类: cs.SD, cs.AI, eess.AS

发布日期: 2024-04-09 (更新: 2024-11-05)

💡 一句话要点

提出MuPT以解决音乐生成中的多轨同步问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 音乐生成 大型语言模型 ABC记谱法 多轨同步 符号音乐 开源研究 模型训练

📋 核心要点

  1. 现有音乐生成方法在处理多轨道同步时存在不一致性，影响生成质量。
  2. 提出同步多轨ABC记谱法（SMT-ABC记谱法），以增强不同轨道之间的连贯性和兼容性。
  3. 模型能够处理8192个标记，覆盖90%的符号音乐数据，展示了良好的生成性能。

📝 摘要（中文）

本文探讨了大型语言模型（LLMs）在音乐预训练中的应用。尽管MIDI在音乐建模中广泛使用，但研究发现LLMs与ABC记谱法更为兼容，能够提升音乐创作的表现。为了解决生成过程中不同轨道之间不一致的问题，提出了同步多轨ABC记谱法（SMT-ABC记谱法），以保持多个音乐轨道之间的连贯性。我们的贡献包括一系列能够处理高达8192个标记的模型，覆盖训练集中90%的符号音乐数据。此外，探讨了符号音乐缩放法则（SMS法则）对模型性能的影响，结果为未来音乐生成研究提供了有前景的方向，并通过开源贡献为社区研究提供了丰富资源。

🔬 方法详解

问题定义：本文旨在解决音乐生成中多轨道之间的同步问题，现有方法在处理不同轨道时常常出现不一致，影响生成效果。

核心思路：通过引入同步多轨ABC记谱法（SMT-ABC记谱法），使得不同轨道能够在生成过程中保持一致性，从而提升整体音乐作品的连贯性。

技术框架：整体架构包括数据预处理、模型训练和生成阶段。数据预处理阶段将音乐数据转换为ABC记谱法格式，模型训练阶段使用LLMs进行预训练，生成阶段则利用训练好的模型生成新的音乐作品。

关键创新：最重要的技术创新在于提出了SMT-ABC记谱法，该方法与传统的MIDI方法相比，更加适合LLMs的设计，能够有效提升音乐生成的质量和一致性。

关键设计：模型设计中采用了能够处理8192个标记的结构，使用了特定的损失函数来优化生成效果，并在网络结构上进行了调整，以适应符号音乐数据的特点。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提出的模型在处理符号音乐生成任务时，能够有效提升生成质量。具体而言，模型在生成一致性和连贯性方面的表现优于传统的MIDI方法，展示了显著的性能提升，尤其是在处理复杂的多轨道音乐时。

🎯 应用场景

该研究的潜在应用领域包括音乐创作、教育和娱乐等。通过提升音乐生成的质量和一致性，MuPT可以为音乐创作提供新的工具，帮助音乐家和创作者更高效地生成高质量的音乐作品。此外，开源贡献也为研究社区提供了丰富的资源，促进了相关领域的进一步研究与发展。

📄 摘要（原文）

In this paper, we explore the application of Large Language Models (LLMs) to the pre-training of music. While the prevalent use of MIDI in music modeling is well-established, our findings suggest that LLMs are inherently more compatible with ABC Notation, which aligns more closely with their design and strengths, thereby enhancing the model's performance in musical composition. To address the challenges associated with misaligned measures from different tracks during generation, we propose the development of a Synchronized Multi-Track ABC Notation (SMT-ABC Notation), which aims to preserve coherence across multiple musical tracks. Our contributions include a series of models capable of handling up to 8192 tokens, covering 90% of the symbolic music data in our training set. Furthermore, we explore the implications of the Symbolic Music Scaling Law (SMS Law) on model performance. The results indicate a promising direction for future research in music generation, offering extensive resources for community-led research through our open-source contributions.