Parameter-Efficient Fine-Tuning of Transformer Encoders for Audio-Image-Symbolic Music Retrieval

📄 arXiv: 2610.41512v1 📥 PDF

作者: Eliseo Fuentes-Martinez, Antonio Hidalgo-Centeno, Jorge Calvo-Zaragoza, Antonio Javier Gallego

分类: cs.CV, cs.SD, eess.AS

发布日期: 2026-10-30

💡 一句话要点

提出参数高效微调方法以优化多模态音乐检索

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态音乐检索 参数高效微调 预训练编码器 音频处理 乐谱分析 机器学习 深度学习

📋 核心要点

  1. 现有的音乐检索方法在多模态表示的兼容性和区分性上存在不足，难以有效整合音频、图像和符号信息。
  2. 论文提出了参数高效微调（PEFT）方法，通过对预训练编码器进行适应性调整，以提高多模态音乐检索的性能。
  3. 实验结果表明，PEFT在多个模态组合中表现优异，尤其在TriScore数据集上，Top-5和Top-10准确率分别达到55.32和64.68。

📝 摘要（中文）

基于评分的多模态音乐检索需要在音频、乐谱图像和符号乐谱之间具有区分性和兼容性的表示。本文研究了参数高效微调（PEFT）在适应预训练音乐编码器中的有效性，并考察了特定模态的改进是否能转化为更好的多模态表示。通过在TriScore和Musical Theme Dataset上比较全微调、LoRA和QLoRA，发现PEFT在优化参数的同时，能够匹配或超越全微调的效果。尽管单模态的提升并不总是能均匀转移到多模态分类中，PEFT仍然提供了一种有效且计算上高效的替代方案。

🔬 方法详解

问题定义：本文旨在解决多模态音乐检索中音频、乐谱图像和符号乐谱之间的表示兼容性和区分性不足的问题。现有方法在不同模态间的性能转移不均衡，限制了检索效果的提升。

核心思路：论文提出了参数高效微调（PEFT）策略，通过对预训练音乐编码器进行选择性微调，优化参数使用，提升多模态表示的质量。该方法旨在减少计算开销，同时保持或提高性能。

技术框架：整体流程包括对九种预训练音频、图像和符号乐谱编码器进行评估，采用监督单模态分类进行选择，并通过控制的2x2设计比较编码器适应与任务特定共享投影的效果。

关键创新：PEFT方法在14个模态目标组合中表现优于全微调，显著减少了参数优化的数量。该方法的创新在于通过选择性微调实现了性能与计算效率的平衡。

关键设计：在实验中，采用了冻结编码器的线性探测作为基准，设计了适应性投影机制，确保了不同模态间的有效信息传递。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，PEFT在14个模态组合中经常匹配或超越全微调的性能，尤其在TriScore数据集上，Top-5和Top-10准确率分别达到55.32和64.68，展示了其在多模态音乐检索中的有效性。

🎯 应用场景

该研究在音乐检索领域具有广泛的应用潜力，尤其是在音乐推荐系统、数字图书馆和教育平台中。通过优化多模态表示，能够提升用户的检索体验和信息获取效率，未来可能推动相关技术的进一步发展。

📄 摘要（原文）

Score-based multimodal music retrieval requires representations that are both discriminative within each modality and compatible across audio recordings, sheet music images, and symbolic scores. This paper investigates the effectiveness of parameter-efficient fine-tuning (PEFT) for adapting pretrained music encoders and examines whether modality-specific improvements translate into better multimodal representations. We compare full fine-tuning, LoRA, and QLoRA across nine pretrained audio, image, and symbolic score encoders on TriScore and the Musical Theme Dataset. Encoders are first evaluated and selected through supervised unimodal classification, using frozen-encoder linear probing as a reference. We then introduce a controlled 2x2 design crossing encoder adaptation with task-specific shared projection, comparing frozen and adapted representations before and after projection. LoRA or QLoRA is selected in 14 of 18 modality-target combinations, frequently matching or outperforming full fine-tuning while optimizing substantially fewer parameters. However, these unimodal gains do not transfer uniformly to multimodal classification. Adaptation and projection are complementary for composer classification on TriScore, largely redundant for TriScore instrument and the Musical Theme Dataset instrument and ensemble tasks, and partially interfering for composer classification on the Musical Theme Dataset. The final adapted-and-projected title representation on TriScore supports piece-level retrieval, reaching average Top-5 and Top-10 accuracies of 55.32 and 64.68, respectively. Cross-modal exclusion and neighborhood analyses further reveal strong modality-specific local structure in the projected spaces. Overall, PEFT provides an effective and computationally efficient alternative to full fine-tuning, but improved unimodal discrimination alone does not guarantee better multimodal organization.