Bringing Textual Prompt to AI-Generated Image Quality Assessment

📄 arXiv: 2403.18714v2 📥 PDF

作者: Bowen Qu, Haohui Li, Wei Gao

分类: cs.CV, cs.MM

发布日期: 2024-03-27 (更新: 2024-05-21)

备注: 6 pages, 3 figures, accepted by ICME2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出IP-IQA以解决AI生成图像质量评估中的多模态问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: AI生成图像 图像质量评估 多模态学习 增量预训练 图像与文本融合

📋 核心要点

  1. 现有的图像质量评估方法未能有效处理AI生成图像的多模态特性，导致评估结果不准确。
  2. 本文提出的IP-IQA框架通过引入图像与文本提示的对应关系，增强了对AGIs的理解和评估能力。
  3. 实验结果显示，IP-IQA在多个数据集上表现优异，超越了现有的最先进方法，提升显著。

📝 摘要（中文）

AI生成图像（AGIs）具有固有的多模态特性。与传统的自然场景图像质量评估（IQA）不同，AGIs质量评估（AGIQA）考虑了图像与其文本提示之间的对应关系。这种关系在真实评分中引入了混淆，影响了单模态IQA方法的效果。为了解决这一问题，本文提出了IP-IQA（通过图像和提示进行AGIs质量评估），这是一个通过图像和提示的结合来进行AGIQA的多模态框架。具体而言，我们提出了一种名为Image2Prompt的新型增量预训练任务，以更好地理解AGIs及其对应的文本提示。同时，设计了一个有效且高效的图像-提示融合模块，以及一个新颖的特殊[QA]标记。这些模块均为即插即用，有助于图像与其对应提示的协作。实验结果表明，IP-IQA在AGIQA-1k和AGIQA-3k数据集上达到了最先进的水平。

🔬 方法详解

问题定义：本文旨在解决AI生成图像（AGIs）质量评估中的多模态特性问题。现有的单模态图像质量评估方法无法有效处理图像与其文本提示之间的对应关系，导致评估结果的不准确性。

核心思路：论文提出的IP-IQA框架通过结合图像和文本提示，利用多模态信息进行质量评估。特别是引入了增量预训练任务Image2Prompt，以增强模型对AGIs及其文本提示的理解。

技术框架：IP-IQA框架包括图像-提示融合模块和特殊的[QA]标记。该框架的设计使得图像与文本提示能够有效协作，从而提升评估的准确性。

关键创新：最重要的技术创新在于引入了多模态融合机制和增量预训练任务，使得模型能够更好地理解AGIs的特性。这与传统的单模态评估方法有本质区别。

关键设计：在模型设计中，采用了有效的损失函数和网络结构，以确保图像与文本提示的有效融合。具体的参数设置和模块设计均经过优化，以提升模型的性能和效率。

📊 实验亮点

实验结果表明，IP-IQA在AGIQA-1k和AGIQA-3k数据集上达到了最先进的水平，超越了现有基线方法，提升幅度显著，展示了其在多模态图像质量评估中的有效性。

🎯 应用场景

该研究的潜在应用领域包括图像生成、计算机视觉和人工智能等。通过提高AI生成图像的质量评估能力，能够为图像生成技术的改进提供重要参考，促进相关领域的发展。未来，该方法有望在多模态学习和评估任务中发挥更大的作用。

📄 摘要（原文）

AI-Generated Images (AGIs) have inherent multimodal nature. Unlike traditional image quality assessment (IQA) on natural scenarios, AGIs quality assessment (AGIQA) takes the correspondence of image and its textual prompt into consideration. This is coupled in the ground truth score, which confuses the unimodal IQA methods. To solve this problem, we introduce IP-IQA (AGIs Quality Assessment via Image and Prompt), a multimodal framework for AGIQA via corresponding image and prompt incorporation. Specifically, we propose a novel incremental pretraining task named Image2Prompt for better understanding of AGIs and their corresponding textual prompts. An effective and efficient image-prompt fusion module, along with a novel special [QA] token, are also applied. Both are plug-and-play and beneficial for the cooperation of image and its corresponding prompt. Experiments demonstrate that our IP-IQA achieves the state-of-the-art on AGIQA-1k and AGIQA-3k datasets. Code will be available at https://github.com/Coobiw/IP-IQA.