EduArt: An educational-level benchmark for evaluating art history knowledge in large language models

📄 arXiv: 2607.02007 📥 PDF

作者: Gianmarco Spinaci, Lukas Klic, Giovanni Colavizza

分类: cs.CL, cs.CV

发布日期: 2026-07-05

💡 一句话要点

提出EduArt基准以评估大语言模型的艺术历史知识

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 艺术历史 多模态模型 教育评估 知识应用 视觉推理 基准测试

📋 核心要点

  1. 现有的艺术评估方法多依赖合成问题，缺乏对模型在艺术历史领域表现的深入分析。
  2. EduArt基准通过871个真实问题，评估多模态大语言模型在艺术历史知识和视觉推理方面的能力。
  3. 实验结果显示，模型在多项选择题的准确率接近饱和，而开放性问题的表现显著下降，表明知识应用能力与知识识别能力是不同的。

📝 摘要（中文）

随着大型语言模型在通用基准上接近饱和，现有的评估方法在特定学科内的表现却鲜有深入探讨。本文提出了EduArt，一个针对艺术历史知识和视觉推理的教育级基准，包含871个来自意大利中学和美国艺术历史AP考试的人类编写问题，涵盖多种语言和格式。通过对十二个模型的评估，发现格式对准确性有显著影响，且单一格式的基准可能高估了模型的能力。这一研究为多模态语言模型在艺术历史研究中的负责任使用奠定了基础。

🔬 方法详解

问题定义：本文旨在解决现有艺术历史知识评估方法的不足，特别是缺乏真实问题和单一格式评估的局限性。

核心思路：EduArt基准通过引入多种格式和真实问题，全面评估模型在艺术历史领域的知识和推理能力，强调知识的应用能力。

技术框架：研究设计包括871个问题，涵盖多种格式（如选择题、填空题和错误识别），并对十二个模型进行评估，采用经典测试理论和逻辑回归分析影响因素。

关键创新：EduArt基准的创新在于其多样化的问题格式和真实场景的应用，能够更准确地反映模型的能力，而不仅仅依赖于选择题的表现。

关键设计：在实验中，模型在默认回答条件和需要书面理由的动机条件下进行评估，分析格式、语言、图像存在等因素对准确性的影响。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，六个模型在多项选择题的准确率接近饱和，达到94%以上，但在开放性问题和错误识别中的表现显著下降，分别仅为23.9%和6.2%。这一结果表明，单一格式的评估可能高估了模型的实际能力。

🎯 应用场景

EduArt基准的提出为艺术历史研究提供了一个可靠的评估工具，能够帮助研究人员更好地理解和利用多模态大语言模型。这一基准的应用将促进教育领域的创新，推动艺术历史知识的传播和研究方法的改进。

📄 摘要（原文）

Large language models now score near ceiling on general benchmarks, but these aggregate measures reveal little about how models behave within single disciplines. Existing art-focused evaluations rely on synthetic questions and rarely report item-level properties. This paper introduces EduArt, an educational-level benchmark for art-historical knowledge and visual reasoning in multimodal LLMs. EduArt comprises 871 human-authored questions from Italian secondary-school exercises and US Advanced Placement Art History exams, spanning two languages and seven formats from multiple choice to in-text word placement and error identification. Twelve models from six provider families were evaluated under a default answer-only condition and a motivation condition requiring written justification, and characterized using Classical Test Theory and a logistic regression isolating the effects of format, language, image presence, and model. The benchmark showed strong psychometric properties (mean discrimination 0.514, 82.3 percent good discriminators), while multiple-choice accuracy saturated near ceiling for six models, showing recognition formats alone cannot distinguish frontier models. Format was a strong independent predictor of accuracy: models exceeding 94 percent on multiple choice fell to 23.9 percent on open completion (Claude Opus 4.6) and 6.2 percent on error identification (Claude Sonnet 4.6). The motivation condition changed accuracy in a predominantly negative, family-dependent direction. These dissociations indicate that art-historical knowledge and the ability to deploy it are distinct capabilities, and that single-format benchmarks overestimate what models can reliably do. Mapping this capability profile is a precondition for responsible use of multimodal LLMs in art-historical scholarship, where tasks demand producing and manipulating content rather than selecting from fixed options.