CMI-RewardBench: Evaluating Music Reward Models with Compositional Multimodal Instruction

📄 arXiv: 2603.00610 📥 PDF

作者: Yinghao Ma, Haiwen Xia, Hewei Gao, Weixiong Chen, Yuxin Ye, Yuchen Yang, Sungkyun Chang, Mingshuo Ding, Yizhi Li, Ruibin Yuan, Simon Dixon, Emmanouil Benetos

分类: cs.SD, cs.AI, cs.LG, cs.MM, eess.AS

发布日期: 2026-06-12

💡 一句话要点

提出CMI-RewardBench以评估音乐奖励模型的多模态指令

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 音乐生成 多模态输入 奖励模型 评估机制 数据集构建 人类判断 模型优化

📋 核心要点

  1. 现有的音乐生成模型在处理多模态输入方面取得了进展，但评估机制仍显不足，缺乏统一标准。
  2. 本文提出CMI-RewardBench，结合CMI-Pref-Pseudo和CMI-Pref数据集，建立了一个全面的音乐奖励建模生态系统。
  3. 实验结果表明，CMI-RM与人类判断得分高度相关，并且通过top-k过滤实现了有效的推理时间扩展。

📝 摘要（中文）

随着音乐生成模型的发展，能够处理文本、歌词和参考音频等复杂多模态输入，但评估机制却滞后。本文通过建立一个全面的音乐奖励建模生态系统，填补了这一关键空白。我们首先引入CMI-Pref-Pseudo，一个包含11万个伪标注样本的大规模偏好数据集，以及CMI-Pref，一个高质量的人类注释语料库，专为细粒度对齐任务设计。为了统一评估标准，我们提出了CMI-RewardBench，一个统一的基准，评估音乐奖励模型在音乐性、文本-音乐对齐和组合指令对齐等异构样本上的表现。基于这些资源，我们开发了CMI奖励模型（CMI-RMs），能够处理异构输入，并在音乐性和对齐的评估中与人类判断得分高度相关。

🔬 方法详解

问题定义：本文旨在解决音乐生成模型评估机制滞后的问题，现有方法缺乏对多模态输入的全面评估标准，导致生成音乐的质量难以量化。

核心思路：通过建立CMI-RewardBench，整合多种数据集，提供一个统一的评估框架，能够对音乐生成模型进行全面评估，特别是在音乐性和文本-音乐对齐方面。

技术框架：整体架构包括CMI-Pref-Pseudo和CMI-Pref数据集的构建，CMI-RewardBench的设计，以及CMI奖励模型的开发。主要模块包括数据集生成、模型训练和评估标准的制定。

关键创新：最重要的创新在于提出了CMI-Pref-Pseudo和CMI-Pref两个数据集，前者为大规模伪标注样本，后者为高质量人类注释语料，填补了音乐奖励模型评估的空白。

关键设计：在模型设计上，CMI-RM采用了参数高效的结构，能够处理异构输入，并在损失函数和网络结构上进行了优化，以提高与人类判断的相关性。具体的参数设置和网络细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，CMI-RM与人类判断得分在音乐性和对齐方面具有强相关性，且在CMI-Pref数据集上的表现优于现有基线，提升幅度显著。此外，CMI-RM通过top-k过滤实现了有效的推理时间扩展，显示出良好的实用性。

🎯 应用场景

该研究的潜在应用领域包括音乐创作、音乐推荐系统以及音乐教育等。通过提供更准确的评估机制，能够帮助音乐生成模型的开发者优化其模型，提高生成音乐的质量和用户体验，未来可能对音乐产业产生深远影响。

📄 摘要（原文）

While music generation models have evolved to handle complex multimodal inputs mixing text, lyrics, and reference audio, evaluation mechanisms have lagged behind. In this paper, we bridge this critical gap by establishing a comprehensive ecosystem for music reward modeling under Compositional Multimodal Instruction (CMI), where the generated music may be conditioned on text descriptions, lyrics, and audio prompts. We first introduce CMI-Pref-Pseudo, a large-scale preference dataset comprising 110k pseudo-labeled samples, and CMI-Pref, a high-quality, human-annotated corpus tailored for fine-grained alignment tasks. To unify the evaluation landscape, we propose CMI-RewardBench, a unified benchmark that evaluates music reward models on heterogeneous samples across musicality, text-music alignment, and compositional instruction alignment. Leveraging these resources, we develop CMI reward models (CMI-RMs), a parameter-efficient reward model family capable of processing heterogeneous inputs. We evaluate their correlation with human judgment scores on musicality and alignment on CMI-Pref along with previous datasets. Further experiments demonstrate that CMI-RM not only correlates strongly with human judgments, but also enables effective inference-time scaling via top-k filtering. Code is available at GitHub (this https URL). Model weights: CMI-RM (this https URL). Datasets: CMI-Pref-Pseudo (this https URL) and CMI-Pref (this https URL)