AesBench: An Expert Benchmark for Multimodal Large Language Models on Image Aesthetics Perception
作者: Yipo Huang, Quan Yuan, Xiangfei Sheng, Zhichao Yang, Haoning Wu, Pengfei Chen, Yuzhe Yang, Leida Li, Weisi Lin
分类: cs.CV, cs.CL
发布日期: 2024-01-16
🔗 代码/项目: GITHUB
💡 一句话要点
提出AesBench以解决多模态大语言模型在图像美学感知评估的不足
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态大语言模型 美学感知 专家基准 图像处理 评估标准
📋 核心要点
- 现有的多模态大语言模型在图像美学感知方面的性能尚不明确，缺乏有效的评估基准。
- 本文提出AesBench，通过构建专家标注的美学感知数据库和综合评估标准，全面评估MLLMs的美学感知能力。
- 实验结果显示，当前MLLMs的美学感知能力仍处于初级阶段，与人类的感知能力存在显著差距。
📝 摘要（中文）
随着多模态大语言模型（MLLMs）的快速发展，其在图像美学感知方面的表现仍然不确定，这在实际应用中非常重要。缺乏专门的基准来评估MLLMs的美学感知能力是一个明显的障碍。为了解决这一困境，本文提出了AesBench，一个旨在全面评估MLLMs美学感知能力的专家基准。我们构建了一个专家标注的美学感知数据库（EAPD），并提出了一套综合标准，从感知、共情、评估和解释四个方面来衡量MLLMs的美学感知能力。实验结果表明，当前的MLLMs仅具备初步的美学感知能力，与人类之间仍存在显著差距。希望本研究能激励社区深入探索MLLMs的美学潜力。
🔬 方法详解
问题定义：本文旨在解决多模态大语言模型在图像美学感知评估中的不足，现有方法缺乏专门的基准，导致评估结果不明确。
核心思路：提出AesBench，通过构建专家标注的美学感知数据库（EAPD）和综合评估标准，系统性地评估MLLMs的美学感知能力。
技术框架：整体架构包括两个主要模块：1) 专家标注的美学感知数据库，涵盖多样化的图像内容和高质量的注释；2) 综合评估标准，从感知、共情、评估和解释四个维度进行评估。
关键创新：最重要的创新点在于构建了一个专门针对美学感知的评估基准，填补了现有研究的空白，使得MLLMs的美学能力评估更为系统和科学。
关键设计：在数据库构建中，采用了专业美学专家的标注，确保数据的高质量；评估标准则设计了四个维度的综合指标，以全面反映MLLMs的美学感知能力。
🖼️ 关键图片
📊 实验亮点
实验结果表明，当前的多模态大语言模型在美学感知能力上仅达到初级水平，具体表现为与人类的美学感知能力存在显著差距。通过AesBench的评估，研究者能够清晰地识别出MLLMs在美学感知方面的不足之处，为后续改进提供了明确的方向。
🎯 应用场景
该研究的潜在应用领域包括图像处理、艺术创作、社交媒体内容生成等。通过提升MLLMs在美学感知方面的能力，可以为用户提供更具吸引力和美感的视觉内容，推动相关行业的发展。未来，随着更多研究的深入，MLLMs在美学领域的应用将更加广泛，可能引领新的创作潮流。
📄 摘要（原文）
With collective endeavors, multimodal large language models (MLLMs) are undergoing a flourishing development. However, their performances on image aesthetics perception remain indeterminate, which is highly desired in real-world applications. An obvious obstacle lies in the absence of a specific benchmark to evaluate the effectiveness of MLLMs on aesthetic perception. This blind groping may impede the further development of more advanced MLLMs with aesthetic perception capacity. To address this dilemma, we propose AesBench, an expert benchmark aiming to comprehensively evaluate the aesthetic perception capacities of MLLMs through elaborate design across dual facets. (1) We construct an Expert-labeled Aesthetics Perception Database (EAPD), which features diversified image contents and high-quality annotations provided by professional aesthetic experts. (2) We propose a set of integrative criteria to measure the aesthetic perception abilities of MLLMs from four perspectives, including Perception (AesP), Empathy (AesE), Assessment (AesA) and Interpretation (AesI). Extensive experimental results underscore that the current MLLMs only possess rudimentary aesthetic perception ability, and there is still a significant gap between MLLMs and humans. We hope this work can inspire the community to engage in deeper explorations on the aesthetic potentials of MLLMs. Source data will be available at https://github.com/yipoh/AesBench.