UNIAA: A Unified Multi-modal Image Aesthetic Assessment Baseline and Benchmark

📄 arXiv: 2404.09619v1 📥 PDF

作者: Zhaokun Zhou, Qiulin Wang, Bin Lin, Yiwei Su, Rui Chen, Xin Tao, Amin Zheng, Li Yuan, Pengfei Wan, Di Zhang

分类: cs.CV, cs.AI

发布日期: 2024-04-15

💡 一句话要点

提出UNIAA框架以解决图像美学评估的单一数据源问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图像美学评估 多模态学习 大语言模型 视觉感知 综合基准

📋 核心要点

  1. 现有的图像美学评估方法通常依赖单一数据源，限制了其在不同场景下的适用性和普遍性。
  2. 本文提出的UNIAA框架结合多模态大语言模型和综合基准，旨在提升图像美学评估的准确性和效率。
  3. 实验结果表明，UNIAA-LLaVA在美学感知上优于现有的GPT-4V模型，且接近初级人类评估水平，验证了其有效性。

📝 摘要（中文）

图像美学评估（IAA）作为计算机视觉中的一项重要任务，传统方法通常局限于单一数据源或任务，限制了其普遍性和应用范围。本文提出了统一的多模态图像美学评估框架UNIAA，包括多模态大语言模型UNIAA-LLaVA和综合基准UNIAA-Bench。通过选择具备视觉感知和语言能力的MLLM，建立低成本的统一高质量视觉指令调优数据，UNIAA-LLaVA在UNIAA-Bench的各个美学层面上表现出色，尤其在美学感知方面超越了GPT-4V，接近初级人类水平。尽管MLLM在IAA中展现出巨大潜力，但仍有进一步提升的空间。UNIAA-LLaVA和UNIAA-Bench将被公开发布。

🔬 方法详解

问题定义：本文旨在解决传统图像美学评估方法的局限性，尤其是其对单一数据源的依赖，导致评估结果的普遍性不足。

核心思路：提出UNIAA框架，通过整合多模态大语言模型（MLLM）与综合基准，提升图像美学评估的准确性和适用性。该框架通过视觉感知与语言能力的结合，更好地对齐人类的美学标准。

技术框架：UNIAA框架包括两个主要模块：多模态大语言模型UNIAA-LLaVA和综合基准UNIAA-Bench。UNIAA-LLaVA通过低成本的视觉指令调优数据进行训练，而UNIAA-Bench则用于评估模型在不同美学层面的表现。

关键创新：UNIAA框架的核心创新在于将多模态学习与美学评估相结合，利用MLLM的视觉和语言能力，突破了传统方法的局限，提供了更全面的评估机制。

关键设计：在模型训练过程中，采用了统一的高质量视觉指令调优数据，设计了针对美学感知、描述和评估的多层次基准，确保了模型在各个层面的有效性和合理性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，UNIAA-LLaVA在UNIAA-Bench的各个美学层面上均表现出色，尤其在美学感知方面超越了GPT-4V，接近初级人类评估水平，验证了其有效性和合理性。

🎯 应用场景

UNIAA框架的潜在应用领域包括社交媒体内容审核、在线艺术品评估以及广告创意生成等。通过提供更准确的美学评估，UNIAA能够帮助企业和创作者优化视觉内容，提升用户体验和满意度。未来，该框架有望推动图像美学评估技术的广泛应用与发展。

📄 摘要（原文）

As an alternative to expensive expert evaluation, Image Aesthetic Assessment (IAA) stands out as a crucial task in computer vision. However, traditional IAA methods are typically constrained to a single data source or task, restricting the universality and broader application. In this work, to better align with human aesthetics, we propose a Unified Multi-modal Image Aesthetic Assessment (UNIAA) framework, including a Multi-modal Large Language Model (MLLM) named UNIAA-LLaVA and a comprehensive benchmark named UNIAA-Bench. We choose MLLMs with both visual perception and language ability for IAA and establish a low-cost paradigm for transforming the existing datasets into unified and high-quality visual instruction tuning data, from which the UNIAA-LLaVA is trained. To further evaluate the IAA capability of MLLMs, we construct the UNIAA-Bench, which consists of three aesthetic levels: Perception, Description, and Assessment. Extensive experiments validate the effectiveness and rationality of UNIAA. UNIAA-LLaVA achieves competitive performance on all levels of UNIAA-Bench, compared with existing MLLMs. Specifically, our model performs better than GPT-4V in aesthetic perception and even approaches the junior-level human. We find MLLMs have great potential in IAA, yet there remains plenty of room for further improvement. The UNIAA-LLaVA and UNIAA-Bench will be released.