MuseBench: Benchmarking Intent-Level Audiovisual Arts Understanding in MLLMs
作者: Yuxuan Fan, Gyusik Seo, Jing Hao, Jaemin Cho, Mohit Bansal, Jaehong Yoon
分类: cs.CV, cs.AI
发布日期: 2026-06-29
备注: Project page: https://musebench.github.io
💡 一句话要点
提出MuseBench以解决多模态大语言模型在艺术理解中的不足问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态大语言模型 艺术理解 创意意图 基准测试 视频论文分析
📋 核心要点
- 现有的多模态大语言模型在艺术理解方面主要集中于感知识别，缺乏对创意意图的深入推理能力。
- 本文提出MuseBench基准，通过4016个问题评估MLLMs在艺术理解中的表现，填补了现有研究的空白。
- 实验结果显示，当前最先进的模型在艺术理解任务中的表现远低于人类专家，揭示了模型的局限性。
📝 摘要（中文）
视听艺术涵盖电影、视觉艺术、舞台表演和游戏设计等多种创意领域，其中艺术意义源于视觉、听觉和叙事元素的有意组合。尽管多模态大语言模型（MLLMs）取得了显著进展，但对艺术理解的关键方面仍然探索不足，现有基准主要测量感知识别，而忽视了对创意意图的推理。为填补这一空白，本文提出了MuseBench，一个全面的基准，旨在评估MLLMs在细致艺术理解方面的能力。该基准包含4016个问题，涵盖电影艺术、静态视觉艺术、舞台表演艺术和游戏艺术，问题来源于超过1万篇候选视频论文，结合专业评论与视觉演示。基准通过单选和多选问题的组合，捕捉艺术分析的开放性特征。对28个最先进的MLLMs进行的全面零-shot评估显示，即使是表现最佳的模型，其准确率也仅为48.29%，远低于人类专家的87.18%，揭示了当前模型在创意领域专业知识上的显著差距。
🔬 方法详解
问题定义：本文旨在解决多模态大语言模型在艺术理解中对创意意图推理不足的问题。现有方法主要关注感知识别，未能有效评估模型的艺术理解能力。
核心思路：MuseBench基准通过设计多样化的问题，特别是结合单选和多选问题，来全面评估模型在艺术理解中的推理能力，强调对创意选择背后意图的理解。
技术框架：MuseBench的整体架构包括四个主要阶段：问题生成、筛选、对抗干扰物设计和专家验证。通过这些阶段，确保问题的质量和多样性，以适应艺术分析的复杂性。
关键创新：最重要的创新在于MuseBench的设计理念，强调艺术理解的开放性和多样性，区别于传统基准仅关注感知识别的方式。
关键设计：在问题生成过程中，采用了四阶段迭代管道，结合快捷过滤、对抗干扰物和专家验证，确保问题的有效性和挑战性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，28个最先进的多模态大语言模型在MuseBench基准上的表现普遍较差，最佳模型的准确率仅为48.29%，而人类专家的准确率达到87.18%。这一结果揭示了当前模型在艺术理解领域的显著不足，强调了进一步研究的必要性。
🎯 应用场景
该研究的潜在应用领域包括教育、艺术创作和多模态内容生成等。MuseBench可以帮助提升多模态大语言模型在艺术理解方面的能力，促进更智能的创意工具和教育平台的发展，推动艺术与科技的融合。
📄 摘要（原文）
Audiovisual arts encompass diverse creative disciplines, including cinema, visual arts, stage performance, and game design, where artistic meaning arises from deliberate combinations of visual, auditory, and narrative elements (e.g., fear amplified through claustrophobic framing, or grief conveyed through silence and lingering close-ups). True artistic understanding extends beyond recognizing what is depicted to reasoning about why it is expressed through particular creative choices. Despite the strong progress of multimodal large language models (MLLMs), this critical aspect of artistic understanding remains underexplored, as existing benchmarks largely measure perceptual recognition while overlooking reasoning about creative intent. To address this gap, we introduce Musebench, a comprehensive benchmark designed to evaluate MLLMs on nuanced artistic understanding. It comprises 4,016 questions spanning cinematic arts, static visual arts, stage performing arts, and game arts, distilled from over 10K candidate video essays that pair professional commentary with visual demonstration. To capture the open-ended nature of artistic analysis at scale, the benchmark combines single-select and variable-option multi-select questions. All questions are generated and refined through a four-phase iterative pipeline combining shortcut filtering, adversarial distractors, and expert validation. Comprehensive zero-shot evaluation of 28 state-of-the-art MLLMs reveals that even the best-performing model achieves only 48.29% accuracy, substantially below human expert performance of 87.18%, exposing a significant gap in current models' creative domain expertise.