Q-Bench+: A Benchmark for Multi-modal Foundation Models on Low-level Vision from Single Images to Pairs
作者: Zicheng Zhang, Haoning Wu, Erli Zhang, Guangtao Zhai, Weisi Lin
分类: cs.CV
发布日期: 2024-02-11 (更新: 2024-08-10)
备注: Accepted by TPAMI. arXiv admin note: substantial text overlap with arXiv:2309.14181
🔗 代码/项目: GITHUB
💡 一句话要点
提出Q-Bench+以评估多模态基础模型在低级视觉中的能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态大型语言模型 低级视觉感知 视觉问答 图像对比较 数据集构建
📋 核心要点
- 现有方法在低级视觉感知和理解的评估上尚未深入探索，缺乏有效的基准和数据集。
- 本文设计了Q-Bench+基准，通过视觉问答和描述评估，模拟人类对低级视觉的语言响应。
- 实验结果显示，部分MLLMs在单幅图像上表现良好，但GPT-4V在成对比较中表现更优，准确性高于单幅图像评估。
📝 摘要（中文）
随着多模态大型语言模型（MLLMs）的快速发展，计算机视觉领域正经历范式转变，向通用基础模型迈进。然而，评估MLLMs在低级视觉感知和理解方面仍然是一个待探索的领域。为此，本文设计了基准设置，以模拟与低级视觉相关的人类语言响应，包括通过视觉问答评估低级属性（如清晰度、光照）的低级视觉感知（A1），以及对低级文本描述的评估（A2）。此外，考虑到成对比较能够更好地避免响应的模糊性，本文将低级感知相关的问答和描述评估从单幅图像扩展到图像对。我们提出了LLVisionQA+和LLDescribe+数据集，并在24个MLLMs上进行了评估，结果表明，部分MLLMs在单幅图像上表现良好，但只有GPT-4V在成对比较中表现出比单幅图像评估更高的准确性。希望我们的基准能够激励进一步研究，以揭示和增强MLLMs的这些新兴能力。
🔬 方法详解
问题定义：本文旨在解决多模态大型语言模型在低级视觉感知和理解评估中的不足，现有方法缺乏有效的基准和数据集，导致评估结果不够准确。
核心思路：通过设计Q-Bench+基准，模拟人类对低级视觉的语言响应，采用视觉问答和描述评估，扩展至图像对的比较，以提高评估的准确性和可靠性。
技术框架：整体架构包括两个主要模块：低级视觉感知（A1）和低级视觉描述（A2）。A1模块使用LLVisionQA+数据集进行问答评估，A2模块使用LLDescribe+数据集进行描述评估。此外，还引入了评估能力（A3）模块，通过软最大化方法生成可量化的质量评分。
关键创新：最重要的创新在于将低级视觉评估从单幅图像扩展到图像对的比较，利用成对比较减少响应的模糊性，并通过新的数据集提供更全面的评估标准。
关键设计：在数据集构建中，LLVisionQA+包含2990幅单图像和1999幅图像对，LLDescribe+包含499幅单图像和450幅图像对。评估能力模块采用软最大化方法，确保所有MLLMs能够生成与人类意见相符的量化评分。
🖼️ 关键图片
📊 实验亮点
实验结果表明，在24个MLLMs的评估中，部分模型在单幅图像上表现良好，但只有GPT-4V在成对比较中展现出比单幅图像评估更高的准确性，显示出其在低级视觉任务中的优势。这一发现为未来的研究提供了重要的参考。
🎯 应用场景
该研究的潜在应用领域包括计算机视觉、自然语言处理和人机交互等。通过提供有效的评估基准，研究者可以更好地理解和提升多模态大型语言模型在低级视觉任务中的表现，推动相关技术的进步和应用。未来，该基准可能成为评估多模态模型的重要工具，促进更广泛的研究和开发。
📄 摘要（原文）
The rapid development of Multi-modality Large Language Models (MLLMs) has navigated a paradigm shift in computer vision, moving towards versatile foundational models. However, evaluating MLLMs in low-level visual perception and understanding remains a yet-to-explore domain. To this end, we design benchmark settings to emulate human language responses related to low-level vision: the low-level visual perception (A1) via visual question answering related to low-level attributes (e.g. clarity, lighting); and the low-level visual description (A2), on evaluating MLLMs for low-level text descriptions. Furthermore, given that pairwise comparison can better avoid ambiguity of responses and has been adopted by many human experiments, we further extend the low-level perception-related question-answering and description evaluations of MLLMs from single images to image pairs. Specifically, for perception (A1), we carry out the LLVisionQA+ dataset, comprising 2,990 single images and 1,999 image pairs each accompanied by an open-ended question about its low-level features; for description (A2), we propose the LLDescribe+ dataset, evaluating MLLMs for low-level descriptions on 499 single images and 450 pairs. Additionally, we evaluate MLLMs on assessment (A3) ability, i.e. predicting score, by employing a softmax-based approach to enable all MLLMs to generate quantifiable quality ratings, tested against human opinions in 7 image quality assessment (IQA) datasets. With 24 MLLMs under evaluation, we demonstrate that several MLLMs have decent low-level visual competencies on single images, but only GPT-4V exhibits higher accuracy on pairwise comparisons than single image evaluations (like humans). We hope that our benchmark will motivate further research into uncovering and enhancing these nascent capabilities of MLLMs. Datasets will be available at https://github.com/Q-Future/Q-Bench.