MuChin: A Chinese Colloquial Description Benchmark for Evaluating Language Models in the Field of Music
作者: Zihao Wang, Shuyu Li, Tao Zhang, Qi Wang, Pengfei Yu, Jinyang Luo, Yan Liu, Ming Xi, Kejun Zhang
分类: cs.SD, cs.AI, cs.MM, eess.AS
发布日期: 2024-02-15 (更新: 2024-06-13)
备注: Accepted by International Joint Conference on Artificial Intelligence 2024 (IJCAI 2024)
🔗 代码/项目: GITHUB
💡 一句话要点
提出MuChin基准以评估音乐领域语言模型的表现
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 音乐描述 多模态模型 语言模型评估 数据集构建 标注精度 音乐信息检索 中文口语
📋 核心要点
- 现有音乐描述数据集存在语义差距、标注精度低等问题，无法有效评估语言模型的表现。
- 提出MuChin基准，通过多人人员、多阶段的标注方法，确保音乐描述的高精度和流行语义一致性。
- 通过MuChin评估现有音乐理解模型，展示了标注数据在微调语言模型中的有效性和提升效果。
📝 摘要（中文）
随着多模态大型语言模型（LLMs）的快速发展，亟需新的基准来统一评估其在理解和描述音乐方面的表现。然而，现有音乐描述数据集由于音乐信息检索（MIR）算法与人类理解之间的语义差距、专业人士与公众之间的差异以及标注精度低等问题，无法作为有效的基准。为此，我们提出了MuChin，这是第一个开放源代码的中文口语音乐描述基准，旨在评估多模态LLMs在理解和描述音乐方面的能力。我们建立了财虫音乐标注平台（CaiMAP），采用创新的多人人员、多阶段的保证方法，招募了业余爱好者和专业人士，以确保标注的精度和与流行语义的一致性。基于MuChin，我们分析了专业人士与业余爱好者在音乐描述方面的差异，并实证展示了标注数据在微调LLMs中的有效性。
🔬 方法详解
问题定义：本论文旨在解决现有音乐描述数据集无法有效评估多模态语言模型在音乐理解和描述方面的能力的问题。现有方法面临语义差距和标注精度低的挑战。
核心思路：论文提出MuChin基准，采用创新的多人人员、多阶段的标注方法，确保音乐描述的高精度和与流行语义的一致性，从而为多模态LLMs提供有效的评估标准。
技术框架：整体架构包括财虫音乐标注平台（CaiMAP）和财虫音乐数据集（CaiMD）。CaiMAP通过多阶段的标注流程，结合业余爱好者和专业人士的参与，确保标注质量。CaiMD则是基于高质量标注构建的多维度音乐数据集。
关键创新：最重要的技术创新在于采用多人人员、多阶段的标注方法，显著提高了标注的精度和一致性。这种方法与传统单一标注者的方式本质上不同，能够更好地反映流行语义。
关键设计：在标注过程中，设置了多轮审核机制，确保标注结果的高质量。此外，选择了1,000个高质量条目作为MuChin的测试集，确保评估的有效性和可靠性。
🖼️ 关键图片
📊 实验亮点
通过MuChin基准评估现有音乐理解模型，结果显示模型在提供口语化音乐描述方面的能力显著提升，标注数据的使用在微调过程中带来了明显的性能改善，具体提升幅度未知。
🎯 应用场景
该研究的潜在应用领域包括音乐信息检索、音乐推荐系统以及音乐创作辅助工具。MuChin基准的建立将为相关领域的研究提供统一的评估标准，推动多模态语言模型在音乐理解和描述方面的进一步发展，具有重要的实际价值和未来影响。
📄 摘要（原文）
The rapidly evolving multimodal Large Language Models (LLMs) urgently require new benchmarks to uniformly evaluate their performance on understanding and textually describing music. However, due to semantic gaps between Music Information Retrieval (MIR) algorithms and human understanding, discrepancies between professionals and the public, and low precision of annotations, existing music description datasets cannot serve as benchmarks. To this end, we present MuChin, the first open-source music description benchmark in Chinese colloquial language, designed to evaluate the performance of multimodal LLMs in understanding and describing music. We established the Caichong Music Annotation Platform (CaiMAP) that employs an innovative multi-person, multi-stage assurance method, and recruited both amateurs and professionals to ensure the precision of annotations and alignment with popular semantics. Utilizing this method, we built a dataset with multi-dimensional, high-precision music annotations, the Caichong Music Dataset (CaiMD), and carefully selected 1,000 high-quality entries to serve as the test set for MuChin. Based on MuChin, we analyzed the discrepancies between professionals and amateurs in terms of music description, and empirically demonstrated the effectiveness of annotated data for fine-tuning LLMs. Ultimately, we employed MuChin to evaluate existing music understanding models on their ability to provide colloquial descriptions of music. All data related to the benchmark, along with the scoring code and detailed appendices, have been open-sourced (https://github.com/CarlWangChina/MuChin/).