Can MLLMs Critique Like Humans? Evaluating Open-Ended Aesthetic Reasoning in Multimodal Large Language Models
作者: Sajjad Ghiasvand, Maryam Amirizaniani, Haniyeh Ehsani Oskouie, Mahnoosh Alizadeh, Ramtin Pedarsani
分类: cs.CL
发布日期: 2026-06-29
💡 一句话要点
评估多模态大语言模型在开放式美学批评中的表现
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态大语言模型 美学批评 开放式生成 人类评估 相似性度量 深度学习 自然语言处理
📋 核心要点
- 开放式美学批评缺乏标准答案，现有方法主要依赖数字评分，无法准确反映人类的批评风格。
- 本文通过使用多种提示条件和参考相似性度量，系统评估MLLM的批评能力，探索其与人类批评的相似性。
- 实验结果表明，MLLM在批评内容的深度和广度上与人类存在显著差异，且基于参考的相似性指标可能导致误导性评估。
📝 摘要（中文）
开放式美学批评对多模态大语言模型（MLLMs）提出了挑战：与多项选择美学基准不同，开放式批评没有单一正确答案，且大多数美学评估是基于数字评分而非人类实际给出的书面批评。本文使用Reddit照片批评数据集，评估五种开放权重的MLLM在多种提示条件下与人类批评的相似性，发现基于参考的相似性指标可能误导评估结果。严格的词汇和学习度量与人类批评的对齐度较弱，而粗略的嵌入余弦相似度显示出广泛的主题重叠。模型在批评风格上与人类存在显著差异，提出了对开放式多模态生成评估和训练的影响。
🔬 方法详解
问题定义：本文旨在解决多模态大语言模型在开放式美学批评中的评估问题，现有方法主要依赖于数字评分，无法捕捉人类批评的复杂性和多样性。
核心思路：通过使用Reddit照片批评数据集，评估MLLM的批评与人类批评的相似性，探索不同提示条件对批评结果的影响。
技术框架：研究采用了多种提示条件，包括人格框架、方面提示、长度控制等，结合参考相似性度量，分析模型与人类批评的对齐程度。
关键创新：提出了使用多种相似性度量来评估MLLM的批评能力，强调了传统参考相似性可能导致的误导性结果，揭示了模型与人类批评在风格和内容上的显著差异。
关键设计：在实验中，设置了不同的提示条件，使用了多种相似性度量，包括词汇相似性和学习度量，确保评估的全面性和准确性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，MLLM在批评内容的深度和广度上与人类存在显著差异，尽管在某些相似性度量上表现良好，但在严格的词汇和学习度量下仅显示出弱对齐。模型在批评中重复性高，且覆盖的美学方面远超人类选择。
🎯 应用场景
该研究为多模态大语言模型在艺术和设计领域的应用提供了重要的评估框架，能够帮助开发更具人类批评能力的模型，提升其在创意产业中的实际价值。未来，研究成果可能推动更智能的内容生成和评估工具的发展。
📄 摘要（原文）
Open-ended aesthetic critique is a challenge for multimodal large language models (MLLMs): unlike multiple-choice aesthetic benchmarks, it has no single correct answer, and most aesthetic evaluation has measured models against numeric scores rather than the written critiques people actually give. We evaluate MLLM critiques against ranked human references and ask whether they are close to human ones. Using the Reddit Photo Critique Dataset, we score five open-weight MLLMs against multiple ranked human critiques per photo with reference-based similarity metrics, under six prompt conditions that disentangle persona framing, aspect hinting, length control, and single- versus multi-pass generation, and add an image-grounding control that feeds each model the wrong photograph. We find that reference-based similarity gives a misleading picture. Stricter lexical and learned metrics show only weak alignment with human critiques, while a coarse embedding cosine reports broad topical overlap that the grounding control traces to a stable house style rather than image-specific observation. Behaviorally, the models diverge from humans in consistent ways the scores do not surface: even under a length cap they write two to three times as much, cover nearly every aesthetic aspect where humans are selective, engage each aspect more uniformly and at greater depth, and repeat themselves across critiques of the same photo where humans vary. We argue that reference-based similarity rewards a fluent, comprehensive critique style rather than the selectivity and specificity of human critique, and discuss implications for evaluating and training open-ended multimodal generation.