Helping Music Co-Creation Agents 'Listen' Well: Hierarchical Self-Supervised World Models for Understanding and Generation
作者: Scott H. Hawley
分类: cs.SD, cs.LG, eess.AS
发布日期: 2026-08-05
备注: 20 pages, 14 figures. A 6-page version was submitted to the NeurIPS 2026 Creative AI Track. Supplemental website with listening examples: https://drscotthawley.github.io/midi-rae-jepa-son/. Live demo: https://drscotthawley-midi-rae-jepa-son.hf.space/
💡 一句话要点
提出层次自监督世界模型以增强音乐共创代理的理解与生成能力
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 音乐生成 自监督学习 层次模型 协作创作 Swin V2 和声分析 实时交互 MIDI
📋 核心要点
- 现有的音乐生成方法缺乏足够的内部表征，无法有效支持人类与代理的协作创作。
- 本文提出了一种层次自监督的世界模型，通过训练Swin V2编码器来理解和生成符号音乐，且不依赖于标签。
- 实验结果表明，模型在和弦恢复和关键检测上显著提升，分别从0.18提高到0.54和从0.16提高到0.70。
📝 摘要（中文）
协作音乐代理需要足够丰富的内部表征，以支持理解和生成，同时又要灵活，以便人类保持主导地位。本文提出了一种层次自监督的“世界模型”，用于符号音乐：一个包含2.55M参数的Swin V2编码器，基于MIDI钢琴卷图像进行训练，采用JEPA风格的目标（音高和时间偏移等变换不变性、掩蔽嵌入预测和分布正则化），无需标签和音乐理论词汇。对冻结嵌入的探测显示，音乐属性可解码的层次与其音乐时间尺度相关：短语边界在最粗层次上读取，音符密度和和声细节在最细层次上读取。自监督目标单独产生时间和短语结构，而和声内容需要额外询问；小型和弦监督头将和弦恢复率从0.18提高到0.54，关键检测从0.16提高到0.70。该管道在CPU上运行时生成建议需2.8秒，在Apple MPS上为0.6秒，且在实时互动演示中得以展示。结合基于LLM的“大脑”，这些能力为协作音乐创作代理提供了核心支持，而非替代人类的主导地位。
🔬 方法详解
问题定义：本文旨在解决协作音乐代理在理解和生成音乐时缺乏丰富内部表征的问题。现有方法往往依赖于标签和音乐理论知识，限制了灵活性和人类的主导地位。
核心思路：提出一种层次自监督的世界模型，利用Swin V2编码器对MIDI钢琴卷图像进行训练，采用JEPA风格的目标，旨在通过自监督学习生成丰富的音乐表征。
技术框架：整体架构包括一个Swin V2编码器，使用无标签的自监督目标进行训练，生成的嵌入用于理解和生成音乐。模型通过冻结嵌入进行探测，分析不同层次的可解码性。
关键创新：最重要的创新在于无监督学习的层次结构，能够根据音乐时间尺度自动提取短语边界、音符密度和和声细节，且引入小型和弦监督头显著提升了和弦恢复能力。
关键设计：模型采用2.55M参数的Swin V2编码器，训练过程中使用音高和时间偏移等变换不变性、掩蔽嵌入预测和分布正则化等损失函数，确保生成的嵌入具有良好的音乐理解能力。
🖼️ 关键图片
📊 实验亮点
实验结果显示，模型在和弦恢复率上从0.18提升至0.54，关键检测率从0.16提升至0.70，展现了自监督学习在音乐理解与生成中的有效性。该模型在CPU上生成建议的时间为2.8秒，在Apple MPS上为0.6秒，具有良好的实时交互性能。
🎯 应用场景
该研究的潜在应用领域包括音乐创作软件、智能音乐助手和教育工具等。通过提升音乐生成的质量和灵活性，能够更好地支持人类创作者，促进人机协作的音乐创作过程，未来可能对音乐教育和创作实践产生深远影响。
📄 摘要（原文）
Collaborative music agents need internal representations rich enough to support both understanding and generation, yet flexible enough for a workflow where the human retains agency. We present a hierarchical self-supervised ``world model'' for symbolic music: a 2.55M-parameter Swin V2 encoder trained on MIDI piano-roll images with JEPA-style objectives (pitch- and time-shift equivariance, masked embedding prediction, and a distributional regularizer), using no labels and no music-theory vocabulary. Probing the frozen embeddings shows that the level at which a musical property becomes decodable tracks its musical time scale: phrase boundaries are read off the coarsest levels, note density and harmonic detail off the finest. Temporal and phrase structure emerge from the self-supervised objectives alone, while harmonic content must be asked for; a small chord-supervision head raises joint chord recovery from .18 to .54, and key detection, which is never supervised, from .16 to .70. Following the Representation AutoEncoder paradigm, a conditional flow-matching model stands in for a trained decoder, flowing in pixel space from PCA-reduced conditioning: it reproduces a target window at pixel F1 $0.996$, and the same per-level conditioning dropout that controls how far variations stray also enables graphical prompting for masked inpainting with no inpainting-specific sampler. The pipeline runs on CPU producing a suggestion in $2.8$ s, or $0.6$ s on Apple MPS, which we demonstrate in a live interactive demo. In concert with an LLM-based brain, these capabilities supply the core of a collaborative music creation agent in service of, rather than in place of, human agency.