Evaluating Pretrained Music Embeddings for Cross-Performance Jazz Standard Recognition
作者: Çağrı Eser
分类: cs.SD, cs.LG
发布日期: 2026-07-01
备注: 6 pages, 2 figures, 4 tables. Accepted to the ICML 2026 Workshop on Machine Learning for Audio
🔗 代码/项目: GITHUB
💡 一句话要点
提出基于预训练音乐嵌入的跨表演爵士标准识别方法
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 爵士音乐识别 预训练嵌入 音乐检索 对比学习 深度学习
📋 核心要点
- 识别爵士标准曲目面临多种挑战，现有方法往往在不同演奏版本间表现不佳，容易过拟合训练数据。
- 本文提出了一种结合预训练音乐嵌入和轻量级对比投影的方法，以提高跨表演标准识别的准确性。
- 实验结果显示，预训练嵌入在top-k识别上优于从头训练模型，且通过对比投影可降低对演奏者身份的敏感性。
📝 摘要（中文）
识别爵士标准曲目是一种具有挑战性的音乐检索任务，因为同一标准的不同演绎在节奏、调性、编曲、乐器配置、即兴内容等方面可能存在显著差异。本文利用为跨表演标准识别设计的Jazz Trio Database的子集，比较了从头训练的和冻结的预训练音乐表示模型。结果表明，从头训练的模型容易过拟合，而预训练嵌入在识别性能上表现更佳，但对演奏者身份敏感。通过轻量级对比投影可以部分缓解这种敏感性。研究结果为音乐表示模型的有效性提供了新的测试标准，并为基于检索的标准识别迈出了重要一步。
🔬 方法详解
问题定义：本文旨在解决从音频中识别爵士标准曲目的问题，现有方法在不同演奏版本间表现不佳，容易导致过拟合，无法有效处理演奏者身份的差异。
核心思路：论文提出利用预训练的音乐嵌入来增强模型的泛化能力，并通过轻量级对比投影来降低对演奏者身份的敏感性，从而提高识别准确性。
技术框架：整体架构包括两个主要模块：一是基于预训练音乐表示的特征提取，二是通过对比投影进行特征优化。特征提取模块使用冻结的预训练模型，而对比投影模块则通过轻量级网络进行调整。
关键创新：最重要的创新在于结合了预训练音乐嵌入与对比投影技术，显著提升了跨表演标准识别的性能，并有效缓解了演奏者身份对识别结果的影响。
关键设计：在参数设置上，使用了适当的学习率和批量大小，损失函数采用对比损失，网络结构则基于现有的音乐理解基础模型进行调整，以适应特定的识别任务。
🖼️ 关键图片
📊 实验亮点
实验结果表明，预训练嵌入在top-k识别任务中表现优于从头训练的Harmonic CNN基线，尤其在处理不同演奏者的版本时，准确性提升显著。通过轻量级对比投影，模型对演奏者身份的敏感性得到了有效降低，进一步增强了模型的实用性。
🎯 应用场景
该研究的潜在应用领域包括音乐检索、音乐推荐系统以及音乐教育等。通过提高爵士标准曲目的识别准确性，能够为音乐爱好者和专业音乐人提供更好的工具，促进音乐创作与表演的交流与发展。未来，该方法还可以扩展到其他音乐风格的识别任务中，具有广泛的应用前景。
📄 摘要（原文）
Recognizing jazz standards from audio is a challenging form of tune-level music retrieval: different performances of the same standard may vary in tempo, key, arrangement, instrumentation, improvisational content, and even whether the head melody is present. We study this problem using a curated subset of the Jazz Trio Database designed for cross-performance standard recognition. We compare a from-scratch trained Harmonic CNN baseline against frozen pretrained music representations from recent music understanding foundation models, using both supervised probing and nearest-neighbor retrieval. Our results suggest that from-scratch spectrogram models overfit strongly to training performances, while pretrained embeddings provide better top-$k$ results but are sensitive to performer identity, which can be partially reduced with a lightweight contrastive projection. Our findings motivate jazz standard recognition as a useful stress test for music representation models and as a step toward retrieval-based standard identification. Project page: https://github.com/cagries/tipofmyear.