AesExpert: Towards Multi-modality Foundation Model for Image Aesthetics Perception
作者: Yipo Huang, Xiangfei Sheng, Zhichao Yang, Quan Yuan, Zhichao Duan, Pengfei Chen, Leida Li, Weisi Lin, Guangming Shi
分类: cs.CV
发布日期: 2024-04-15 (更新: 2024-07-24)
备注: Accepted by ACMMM24
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出AesExpert以解决图像美学感知的多模态挑战
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 图像美学 多模态模型 大语言模型 数据集构建 模型微调 美学感知 自然语言处理
📋 核心要点
- 现有的多模态大语言模型在图像美学感知方面存在显著不足，尤其是缺乏高质量的标注数据。
- 本文提出了AesMMIT数据集，通过丰富的美学评论和多样化的图像数据，增强了模型的美学感知能力。
- 实验结果显示，AesExpert模型在美学感知性能上超越了现有的最先进模型，提升幅度显著。
📝 摘要（中文）
图像美学感知（IAP）的高度抽象性对当前的多模态大语言模型（MLLMs）提出了重大挑战。缺乏人类标注的多模态美学数据进一步加剧了这一困境，导致MLLMs在美学感知能力上表现不足。为了解决这一挑战，本文首先引入了全面标注的美学多模态指令调优（AesMMIT）数据集，作为构建多模态美学基础模型的基础。具体而言，为了使MLLMs与人类美学感知对齐，构建了一个丰富的美学评论数据库，包含21,904张多样来源的图像和88K条人类自然语言反馈。基于AesMMIT数据库，本文对开源的通用基础模型进行了微调，最终实现了多模态美学专家模型AesExpert。大量实验表明，所提出的AesExpert模型在美学感知性能上显著优于现有的最先进的MLLMs，包括最新的GPT-4V和Gemini-Pro-Vision。
🔬 方法详解
问题定义：本文旨在解决当前多模态大语言模型在图像美学感知方面的不足，尤其是缺乏人类标注的多模态美学数据，导致模型在美学理解上表现不佳。
核心思路：通过构建AesMMIT数据集，整合多样化的图像和人类反馈，来提升模型的美学感知能力。该方法通过丰富的自然语言反馈来对齐模型与人类的美学感知。
技术框架：整体架构包括数据收集、数据标注、模型微调和性能评估四个主要阶段。首先收集多样来源的图像和人类反馈，然后构建AesMMIT数据集，最后对开源基础模型进行微调以形成AesExpert模型。
关键创新：最重要的技术创新在于构建了一个全面的美学多模态指令调优数据集AesMMIT，包含409K条多类型指令，显著提升了模型的美学理解能力。
关键设计：在数据集构建中，采用了逐步提问的方式收集反馈，确保了数据的多样性和丰富性。此外，模型微调过程中采用了特定的损失函数和网络结构，以优化美学感知性能。
🖼️ 关键图片
📊 实验亮点
实验结果表明，AesExpert模型在美学感知性能上显著优于现有的最先进模型，如GPT-4V和Gemini-Pro-Vision，具体提升幅度达到XX%（具体数据待补充）。
🎯 应用场景
该研究的潜在应用领域包括图像处理、社交媒体内容推荐、艺术作品评价等。通过提升图像美学感知能力，AesExpert可以为用户提供更优质的视觉体验和内容推荐，具有重要的实际价值和未来影响。
📄 摘要（原文）
The highly abstract nature of image aesthetics perception (IAP) poses significant challenge for current multimodal large language models (MLLMs). The lack of human-annotated multi-modality aesthetic data further exacerbates this dilemma, resulting in MLLMs falling short of aesthetics perception capabilities. To address the above challenge, we first introduce a comprehensively annotated Aesthetic Multi-Modality Instruction Tuning (AesMMIT) dataset, which serves as the footstone for building multi-modality aesthetics foundation models. Specifically, to align MLLMs with human aesthetics perception, we construct a corpus-rich aesthetic critique database with 21,904 diverse-sourced images and 88K human natural language feedbacks, which are collected via progressive questions, ranging from coarse-grained aesthetic grades to fine-grained aesthetic descriptions. To ensure that MLLMs can handle diverse queries, we further prompt GPT to refine the aesthetic critiques and assemble the large-scale aesthetic instruction tuning dataset, i.e. AesMMIT, which consists of 409K multi-typed instructions to activate stronger aesthetic capabilities. Based on the AesMMIT database, we fine-tune the open-sourced general foundation models, achieving multi-modality Aesthetic Expert models, dubbed AesExpert. Extensive experiments demonstrate that the proposed AesExpert models deliver significantly better aesthetic perception performances than the state-of-the-art MLLMs, including the most advanced GPT-4V and Gemini-Pro-Vision. Project homepage: https://yipoh.github.io/aes-expert/.