EduArt: An educational-level benchmark for evaluating art history knowledge in large language models
作者: Gianmarco Spinaci, Lukas Klic, Giovanni Colavizza
分类: cs.CL, cs.CV
发布日期: 2026-07-02
💡 一句话要点
提出EduArt基准以评估大语言模型的艺术历史知识
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 艺术历史 大语言模型 多模态评估 教育基准 心理测量 知识应用 视觉推理
📋 核心要点
- 现有的艺术历史评估方法主要依赖合成问题，缺乏对模型在特定领域的深入分析。
- EduArt基准通过871个真实问题，涵盖多种格式和语言，提供了对艺术历史知识的全面评估。
- 实验结果显示，模型在多项选择题上的准确率接近极限，但在开放式回答和错误识别任务中表现显著下降。
📝 摘要（中文）
大型语言模型在一般基准测试中表现接近极限，但这些聚合性指标对模型在特定学科中的表现揭示有限。现有的艺术评估主要依赖合成问题，且很少报告项目级属性。本文提出EduArt，一个针对艺术历史知识和视觉推理的教育级基准，包含871个来自意大利中学和美国高级艺术历史考试的人类编写问题，涵盖多种语言和格式。通过对十二个模型的评估，发现格式是准确性的强独立预测因子，且艺术历史知识与应用能力是不同的能力，单一格式基准可能高估模型的可靠性。
🔬 方法详解
问题定义：本文旨在解决现有艺术历史知识评估方法的不足，特别是它们对模型在特定学科表现的低估和对合成问题的依赖。
核心思路：提出EduArt基准，通过871个真实问题，涵盖多种格式和语言，以全面评估多模态大语言模型的艺术历史知识和视觉推理能力。
技术框架：整体架构包括问题设计、模型评估和数据分析三个主要模块。问题设计阶段涵盖多种题型，模型评估阶段对不同模型在各种条件下的表现进行测试，数据分析阶段使用经典测试理论和逻辑回归分析模型表现。
关键创新：EduArt基准的最大创新在于其使用真实问题而非合成问题，能够更准确地反映模型在艺术历史领域的能力，同时揭示了知识应用能力与知识掌握之间的差异。
关键设计：在实验中，模型在默认回答条件和需要书面理由的动机条件下进行评估，采用经典测试理论分析模型的心理测量属性，设置了多种题型和语言，以确保评估的全面性和准确性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，六个模型在多项选择题上的准确率接近94%，但在开放式回答和错误识别任务中准确率分别降至23.9%和6.2%。这些结果表明，单一格式的基准可能高估了模型的实际能力。
🎯 应用场景
EduArt基准的提出为艺术历史学术研究提供了一个可靠的评估工具，能够帮助研究人员更好地理解和利用多模态大语言模型在艺术历史领域的应用潜力。未来，该基准可能推动教育和研究领域对大语言模型的负责任使用，促进艺术教育的创新发展。
📄 摘要（原文）
Large language models now score near ceiling on general benchmarks, but these aggregate measures reveal little about how models behave within single disciplines. Existing art-focused evaluations rely on synthetic questions and rarely report item-level properties. This paper introduces EduArt, an educational-level benchmark for art-historical knowledge and visual reasoning in multimodal LLMs. EduArt comprises 871 human-authored questions from Italian secondary-school exercises and US Advanced Placement Art History exams, spanning two languages and seven formats from multiple choice to in-text word placement and error identification. Twelve models from six provider families were evaluated under a default answer-only condition and a motivation condition requiring written justification, and characterized using Classical Test Theory and a logistic regression isolating the effects of format, language, image presence, and model. The benchmark showed strong psychometric properties (mean discrimination 0.514, 82.3 percent good discriminators), while multiple-choice accuracy saturated near ceiling for six models, showing recognition formats alone cannot distinguish frontier models. Format was a strong independent predictor of accuracy: models exceeding 94 percent on multiple choice fell to 23.9 percent on open completion (Claude Opus 4.6) and 6.2 percent on error identification (Claude Sonnet 4.6). The motivation condition changed accuracy in a predominantly negative, family-dependent direction. These dissociations indicate that art-historical knowledge and the ability to deploy it are distinct capabilities, and that single-format benchmarks overestimate what models can reliably do. Mapping this capability profile is a precondition for responsible use of multimodal LLMs in art-historical scholarship, where tasks demand producing and manipulating content rather than selecting from fixed options.