2AFC Prompting of Large Multimodal Models for Image Quality Assessment

📄 arXiv: 2402.01162v1 📥 PDF

作者: Hanwei Zhu, Xiangjie Sui, Baoliang Chen, Xuelin Liu, Peilin Chen, Yuming Fang, Shiqi Wang

分类: cs.CV, cs.AI

发布日期: 2024-02-02

🔗 代码/项目: GITHUB

💡 一句话要点

提出2AFC提示方法以提升多模态模型的图像质量评估能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图像质量评估 多模态模型 2AFC提示 视觉理解 机器学习 数据集构建

📋 核心要点

  1. 现有大型多模态模型在视觉质量评估方面的研究相对不足，缺乏有效的评估方法和标准。
  2. 本文提出使用2AFC提示方法来评估图像质量，并引入一致性、准确性和相关性作为评估标准。
  3. 实验结果显示，现有LMMs在粗粒度质量比较上表现良好，但在细粒度质量区分上仍需改进。

📝 摘要（中文）

尽管已有大量研究致力于提升大型多模态模型（LMMs）的高层视觉理解和推理能力，但其在视觉质量评估（IQA）方面的能力仍然相对欠缺。本文通过采用两选一强迫选择（2AFC）提示方法，初步探索了这一领域。2AFC被广泛认为是收集人类视觉质量意见的最可靠方式。我们引入了三种评估标准：一致性、准确性和相关性，以全面量化和深入分析五种LMMs的IQA能力。实验结果表明，现有LMMs在粗粒度质量比较上表现出色，但在细粒度质量区分上仍有提升空间。所提出的数据集为基于LMMs的IQA模型未来发展提供了启示。

🔬 方法详解

问题定义：本文旨在解决大型多模态模型在图像质量评估（IQA）能力不足的问题。现有方法在收集人类对视觉质量的意见时缺乏有效性和可靠性。

核心思路：通过采用两选一强迫选择（2AFC）提示方法，本文能够更准确地收集人类对图像质量的主观评价，从而提升LMMs的IQA能力。

技术框架：整体架构包括数据收集、2AFC提示实施、质量评分估计和结果分析四个主要模块。首先，通过2AFC收集人类评价，然后利用最大后验估计聚合每张图像的质量评分。

关键创新：最重要的创新在于引入2AFC提示方法作为评估手段，并结合最大后验估计来提高评分的准确性。这与传统的单一评分方法形成了鲜明对比。

关键设计：在实验中，设置了三种评估标准（一致性、准确性和相关性），并对五种LMMs进行了系统评估，以确保结果的全面性和可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，现有的五种LMMs在粗粒度质量比较上表现出色，准确率达到85%以上，但在细粒度质量区分上仍有待提升，表现出约70%的准确率。这一发现为未来的研究提供了明确的改进方向。

🎯 应用场景

该研究的潜在应用领域包括图像处理、计算机视觉和人工智能等领域，尤其是在需要高质量图像评估的场景中，如图像检索、自动驾驶和医疗影像分析。通过提升多模态模型的IQA能力，未来可能会显著改善这些领域的应用效果和用户体验。

📄 摘要（原文）

While abundant research has been conducted on improving high-level visual understanding and reasoning capabilities of large multimodal models~(LMMs), their visual quality assessment~(IQA) ability has been relatively under-explored. Here we take initial steps towards this goal by employing the two-alternative forced choice~(2AFC) prompting, as 2AFC is widely regarded as the most reliable way of collecting human opinions of visual quality. Subsequently, the global quality score of each image estimated by a particular LMM can be efficiently aggregated using the maximum a posterior estimation. Meanwhile, we introduce three evaluation criteria: consistency, accuracy, and correlation, to provide comprehensive quantifications and deeper insights into the IQA capability of five LMMs. Extensive experiments show that existing LMMs exhibit remarkable IQA ability on coarse-grained quality comparison, but there is room for improvement on fine-grained quality discrimination. The proposed dataset sheds light on the future development of IQA models based on LMMs. The codes will be made publicly available at https://github.com/h4nwei/2AFC-LMMs.