MMArt A Multi-Perspective Multimodal Dataset for Visual Art Understanding

📄 arXiv: 2608.10706v1 📥 PDF

作者: Shuai Wang, Wangyuan Ding, Yixian Shen, Jia-Hong Huang, Stevan Rudinac, Monika Kackovic, Nachoem Wijnberg, Marcel Worring

分类: cs.CV, cs.MM

发布日期: 2026-08-11

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出MMArt数据集以解决艺术作品多视角理解问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态数据集 艺术理解 视觉语言模型 多视角分析 WikiArt

📋 核心要点

  1. 现有艺术数据集多为单一视角，缺乏多维度的艺术理解，导致模型在艺术解读上表现不佳。
  2. MMArt数据集提供了四种独立的视角注释，旨在提升视觉艺术作品的理解深度，涵盖叙事、形式、情感和历史等方面。
  3. 实验结果显示，叙事描述在检索任务中表现最佳，而形式描述在重建任务中最强，验证了多视角设计的必要性。

📝 摘要（中文）

近年来，视觉语言模型在一般视觉理解方面表现出色，但在艺术作品的解读上仍显得肤浅，主要体现在缺乏形式分析、历史解读和情感特征等深层次理解。现有艺术数据集多为单一视角，无法同时提供叙事、形式、情感和历史视角。为此，本文提出了MMArt，一个包含74,234幅WikiArt绘画的大规模数据集，每幅作品都附有四种独立注释的视角及统一的描述。通过分析，发现不同视角编码了独特的信息，且没有单一视角能满足所有任务的需求，直接推动了MMArt的多视角设计。

🔬 方法详解

问题定义：本文旨在解决现有艺术数据集在多视角理解上的不足，现有方法往往只能提供单一视角，无法全面解读艺术作品的深层含义。

核心思路：提出MMArt数据集，通过为每幅艺术作品提供叙事、形式、情感和历史四种独立视角的注释，增强模型对艺术作品的多维理解能力。

技术框架：MMArt数据集包含74,234幅WikiArt绘画，采用专业的视觉语言模型和人工注释相结合的方式进行标注，并通过质量评估进行验证。数据集的设计考虑了不同视角之间的信息互补性。

关键创新：MMArt的创新在于同时提供多种视角的注释，填补了现有艺术数据集的空白，使得模型能够在多个层面上进行艺术作品的分析与理解。

关键设计：数据集中的每幅作品都附有统一的描述，采用了多种质量评估方法来确保注释的准确性和一致性，确保不同视角之间的互补性和独特性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，叙事描述在检索任务中的表现优异，R@1达到了44.0%，而形式描述在重建任务中表现最佳，显示出其在保持构图风格上的优势，R@1仅为7.8%。这些结果强调了多视角分析在艺术理解中的重要性。

🎯 应用场景

MMArt数据集的多视角设计为艺术作品的理解和分析提供了新的研究方向，能够广泛应用于艺术教育、文化遗产保护、以及艺术创作辅助等领域。未来，随着模型能力的提升，该数据集有望推动艺术领域的智能化发展。

📄 摘要（原文）

Recent vision-language models demonstrate impressive general visual understanding, yet their art interpretation remains shallow: they describe surface content but struggle with formal analysis, grounded historical interpretation, or affective characterization. We argue this is not only a model but also a dataset limitation. Existing art datasets are single perspective resources, where no dataset provides narrative, formal, emotional, and historical perspectives simultaneously for the same artworks. We introduce MMArt, a large-scale dataset of 74,234 WikiArt paintings, each annotated with four independently annotated perspectives plus a harmonized unified caption, produced by specialized vision-language models or human annotation and validated through complementary quality evaluations. Two complementarity analyses establish that perspectives encode genuinely distinct information. A generative analysis shows that formal analysis descriptions best preserve compositional style, and historical descriptions carry strong affective signal in reconstructed images. A discriminative retrieval analysis reveals task-asymmetry: narrative descriptions drive retrieval (R@1 = 44.0%), while formal descriptions, strongest for reconstruction, are nearly nondiscriminative at retrieval scale (R@1 = 7.8%). Leave-one-out analysis further confirms that historical descriptions are the least replaceable perspective across both tasks. Together, the two analyses establish that no single perspective suffices for all tasks, directly motivating MMArt multi-perspective design. The dataset, code, and additional information are available at https://shuaiwang97.github.io/MMArt/.