How LLMs See Creativity: Zero-Shot Scoring of Visual Creativity with Interpretable Reasoning
作者: William Orwig, Roger E. Beaty
分类: cs.CL
发布日期: 2026-06-29
备注: 21 pages, 9 figures
💡 一句话要点
提出多模态大语言模型零-shot评估视觉创意的方法
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉创意评估 多模态大语言模型 零-shot学习 可解释性 自动评分 人工智能
📋 核心要点
- 评估视觉创意的原创性面临诸多挑战，现有方法在这一领域的有效性尚待验证。
- 本文提出利用多模态大语言模型在零-shot条件下评估视觉创意，探索其推理过程的可解释性。
- 实验结果显示，所有测试的模型在创意评分上与人类评估高度一致，且推理过程提供了评估的透明性。
📝 摘要（中文）
评估视觉图像的原创性一直是创意评估中的挑战。尽管自动评分在语言领域已被证明有效，但在视觉创意评估中仍存在关键问题。本文研究了多模态大语言模型（LLMs）是否可以在零-shot条件下作为视觉创意的评判者，并探讨其推理输出是否能提供可解释的评估过程。研究测试了六种多模态LLMs在992幅AI生成图像和1500幅人手绘草图上的表现，结果显示所有模型与人类创意评分高度一致。尽管推理过程使得模型评估可解释，但并未提高与人类评分的一致性。研究表明，多模态LLMs能够在无需额外训练的情况下匹配人类的视觉创意判断。
🔬 方法详解
问题定义：本文旨在解决如何有效评估视觉创意的问题，现有方法在这一领域的准确性和可解释性不足。
核心思路：通过利用多模态大语言模型在零-shot条件下进行视觉创意评估，探索其推理过程的可解释性，以提高评估的透明度。
技术框架：研究测试了六种多模态LLMs，评估对象包括992幅AI生成图像和1500幅人手绘草图，分析其与人类评分的一致性。
关键创新：本研究的创新点在于首次将多模态LLMs应用于视觉创意的零-shot评估，并揭示了其推理过程的可解释性，与传统方法相比，提供了更高的透明度。
关键设计：在实验中，模型的推理过程被详细分析，关注其在评估中对原创性与质量的平衡，以及如何解释其评分依据。具体的参数设置和网络结构细节在论文中进行了深入探讨。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所有六种多模态LLMs在AI生成图像的创意评分上与人类评分的相关性达到0.57至0.68，而在手绘草图上相关性为0.29至0.68。尽管推理过程提供了可解释性，但未能提高与人类评分的一致性。
🎯 应用场景
该研究的潜在应用领域包括艺术创作、设计评估和教育等，能够为创意产业提供自动化的创意评估工具，提升创意评价的效率和准确性。未来，随着模型的进一步优化，可能会在更广泛的创意领域中发挥重要作用。
📄 摘要（原文）
Evaluating the originality of visual images poses enduring challenges for creativity assessment. Automated scoring using AI models has proven effective in the verbal domain, yet key questions remain about evaluating visual creativity and understanding how models arrive at their ratings. The present research asks whether multimodal large language models (LLMs) can serve as judges of visual creativity zero-shot (without any fine-tuning or examples of human ratings) and whether their "reasoning" output offers an interpretable window into their evaluation process. We tested six multimodal LLMs (Gemini 3 Flash, Gemma 4 31B IT, GPT-5.4 Mini, GLM-5v Turbo, Kimi K2.5, and Qwen 3.6 Plus) on 992 AI-generated images (based on human-written prompts) and 1,500 hand-drawn sketches scored for creativity by human raters. In Study 1, all models showed substantial alignment with human creativity ratings on both datasets (r = .57-.68 on AI-generated images; r = .29-68 on sketches). In Study 2, we analyzed the step-by-step reasoning processes of three LLMs evaluating the same images and drawings. Although reasoning made model evaluations interpretable -- showing what they attend to, how they balance originality vs. quality, and how they justify their ratings -- reasoning did not improve alignment with human ratings. In sum, our findings indicate that multimodal LLMs can match human judgments of visual creativity without any additional training, and that their reasoning reveals how AI models evaluate creativity. An open scoring app implementing this pipeline is available at https://review-visual-eval-scoring.hf.space.