MuSViT: A Foundation Vision Model for Sheet Music Representation

📄 arXiv: 2606.31811v1 📥 PDF

作者: Carlos Penarrubia, Antonio Rios-Vila, Eliseo Fuentes-Martinez, Juan C. Martinez-Sevilla, Francisco J. Castellanos, María Alfaro-Contreras, Jorge Calvo-Zaragoza

分类: cs.CV

发布日期: 2026-06-30

备注: Accepted at European Conference on Computer Vision (ECCV'26)

💡 一句话要点

提出MuSViT以解决乐谱表示的基础模型缺失问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 乐谱表示 基础模型 视觉变换器 音乐信息检索 深度学习 符号识别 课程学习

📋 核心要点

  1. 现有乐谱表示方法缺乏强大的基础模型，无法有效处理乐谱的复杂结构和符号属性。
  2. MuSViT通过在大量乐谱数据上进行预训练，采用两阶段课程学习策略，提升了乐谱的表示能力。
  3. 实验结果表明，MuSViT在多个下游任务中表现优异，尤其在微调时超越了现有的任务特定方法。

📝 摘要（中文）

基础模型在视觉和语言处理领域的转变中发挥了重要作用，但乐谱作为音乐语言的视觉编码，缺乏强大的领域特定基础模型。本文提出MuSViT（音乐乐谱视觉变换器），这是第一个用于乐谱表示的基础视觉模型，采用在IMSLP的970万页乐谱上通过掩蔽自编码器进行预训练的ViT编码器。为应对真实乐谱的复杂性，我们采用了两阶段的课程学习：首先在排版乐谱上进行合成热身，然后在完整的IMSLP语料库上进行大规模训练。通过线性探测和微调两种场景评估MuSViT在四个下游任务上的表现，结果显示MuSViT在结构化符号属性上优于现代视觉编码器，并且在微调时通常超越任务特定的最新方法。

🔬 方法详解

问题定义：本文旨在解决乐谱表示领域缺乏有效基础模型的问题。现有方法在处理乐谱的复杂结构和符号属性时表现不佳，无法提供有效的乐谱理解能力。

核心思路：MuSViT的核心思路是通过在大规模乐谱数据上进行预训练，构建一个能够捕捉乐谱结构的基础视觉模型。采用两阶段课程学习策略，先在合成乐谱上进行热身，再在真实乐谱上进行大规模训练，以提高模型的泛化能力。

技术框架：MuSViT的整体架构基于ViT编码器，首先通过掩蔽自编码器进行预训练，接着在IMSLP语料库上进行微调。模型分为两个主要阶段：合成热身阶段和大规模训练阶段。

关键创新：MuSViT的主要创新在于其在乐谱表示领域的首次应用，能够直接在表示空间中编码符号音乐结构，与其他编码器的嵌入不相关的特点形成鲜明对比。

关键设计：在模型设计中，采用了特定的损失函数以优化乐谱符号的识别能力，并通过调整网络结构以适应乐谱的复杂性，确保模型能够有效捕捉乐谱的结构信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，MuSViT在四个下游任务上表现出色，尤其在全页和五线谱级别的乐谱识别、音乐符号检测以及乐谱难度分类任务中，在线性探测场景下超越了现代视觉编码器，并在微调时普遍优于任务特定的最新方法，显示出显著的性能提升。

🎯 应用场景

MuSViT的研究成果在音乐教育、乐谱自动识别、音乐信息检索等领域具有广泛的应用潜力。通过提供强大的乐谱表示能力，MuSViT可以帮助开发更智能的音乐学习工具和自动化乐谱分析系统，推动音乐技术的发展。

📄 摘要（原文）

Foundation models have transformed vision and language processing by providing rich, reusable representations that transfer across diverse tasks. Sheet music, as a visual encoding of musical language, lacks such a strong domain-specific backbone. We introduce MuSViT (Music Score Vision Transformer): the first foundation vision model for sheet music representation -- a ViT encoder pre-trained via Masked Autoencoders on 9.7 million pages from the IMSLP. To handle the complexity of real-world scores, we adopt a two-stage curriculum: a synthetic warm-up on typeset scores followed by large-scale training on the full IMSLP corpus. We evaluate MuSViT on four downstream tasks -- full-page and staff-level music score recognition, music symbol detection, and score difficulty classification -- under two scenarios: linear probing (frozen encoder) and fine-tuning. Under linear probing, MuSViT consistently outperforms modern vision encoders, revealing that general-purpose representations, regardless of scale, fall systematically short on the structured symbolic properties of musical notation. Under fine-tuning, MuSViT generally improves upon task-specific state-of-the-art methods. An additional embedding-transcription consistency analysis reveals that MuSViT encodes symbolic musical structure directly in its representation space -- unlike other encoders, whose embeddings do not correlate with music notation content. These results establish MuSViT as a foundation backbone for sheet music understanding.