A Comprehensive Study of Multimodal Large Language Models for Image Quality Assessment
作者: Tianhe Wu, Kede Ma, Jie Liang, Yujiu Yang, Lei Zhang
分类: cs.CV
发布日期: 2024-03-16 (更新: 2024-07-11)
💡 一句话要点
提出多模态大语言模型用于图像质量评估的系统研究
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态大语言模型 图像质量评估 心理物理学 提示策略 计算机视觉 深度学习
📋 核心要点
- 现有的图像质量评估方法未能充分利用多模态大语言模型的潜力，尤其是在解释性和灵活性方面存在不足。
- 论文提出了九种提示系统的组合，结合心理物理学的标准测试程序和自然语言处理中的提示策略，以优化MLLMs在IQA中的表现。
- 实验表明，虽然GPT-4V在图像质量感知上表现良好，但在细微质量变化的区分能力和多图像比较上仍显不足，提示了未来改进的方向。
📝 摘要（中文）
尽管多模态大语言模型（MLLMs）在视觉理解和推理方面取得了显著进展，但其作为图像质量评估（IQA）模型的潜力尚未得到充分探索。本文系统研究了MLLMs在IQA中的提示方法，探讨了九种提示系统的组合，并提出了一种困难样本选择程序，以挑战MLLMs在图像质量各视觉属性上的表现。实验结果显示，闭源的GPT-4V在图像质量感知上表现合理，但在细微质量变化的区分和多图像视觉质量比较上存在不足。
🔬 方法详解
问题定义：本文旨在解决多模态大语言模型在图像质量评估中的应用不足，现有方法在处理复杂视觉属性时表现不佳，尤其是在细微差异的区分上。
核心思路：通过系统研究不同的提示系统组合，结合心理物理学的测试方法与自然语言处理的提示策略，提升MLLMs在图像质量评估中的表现。
技术框架：研究首先定义了九种提示系统，随后设计了困难样本选择程序，确保样本的多样性和不确定性，以挑战模型的能力。实验评估了三种开源和一种闭源的MLLMs在不同图像质量属性上的表现。
关键创新：最重要的创新在于将心理物理学的测试方法与自然语言处理中的提示策略相结合，形成了一种新的评估框架，能够更好地适应图像质量评估的需求。
关键设计：论文中采用了多种提示策略，包括标准提示、上下文提示和思维链提示，结合了样本选择的多样性和不确定性，以提高模型的评估能力。
🖼️ 关键图片
📊 实验亮点
实验结果显示，闭源的GPT-4V在图像质量感知上表现合理，能够较好地反映人类对图像质量的感知，但在细微质量变化的区分和多图像比较任务上仍显不足，提示了未来改进的方向。
🎯 应用场景
该研究的潜在应用领域包括图像处理、计算机视觉和人工智能等领域，能够为图像质量评估提供更为灵活和可解释的解决方案，推动相关技术的发展与应用。
📄 摘要（原文）
While Multimodal Large Language Models (MLLMs) have experienced significant advancement in visual understanding and reasoning, their potential to serve as powerful, flexible, interpretable, and text-driven models for Image Quality Assessment (IQA) remains largely unexplored. In this paper, we conduct a comprehensive and systematic study of prompting MLLMs for IQA. We first investigate nine prompting systems for MLLMs as the combinations of three standardized testing procedures in psychophysics (i.e., the single-stimulus, double-stimulus, and multiple-stimulus methods) and three popular prompting strategies in natural language processing (i.e., the standard, in-context, and chain-of-thought prompting). We then present a difficult sample selection procedure, taking into account sample diversity and uncertainty, to further challenge MLLMs equipped with the respective optimal prompting systems. We assess three open-source and one closed-source MLLMs on several visual attributes of image quality (e.g., structural and textural distortions, geometric transformations, and color differences) in both full-reference and no-reference scenarios. Experimental results show that only the closed-source GPT-4V provides a reasonable account for human perception of image quality, but is weak at discriminating fine-grained quality variations (e.g., color differences) and at comparing visual quality of multiple images, tasks humans can perform effortlessly.