SEED-Bench-2: Benchmarking Multimodal Large Language Models

📄 arXiv: 2311.17092v1 📥 PDF

作者: Bohao Li, Yuying Ge, Yixiao Ge, Guangzhi Wang, Rui Wang, Ruimao Zhang, Ying Shan

分类: cs.CV

发布日期: 2023-11-28

备注: Project released at: https://github.com/AILab-CVC/SEED-Bench. arXiv admin note: text overlap with arXiv:2307.16125

🔗 代码/项目: GITHUB

💡 一句话要点

提出SEED-Bench-2以评估多模态大语言模型的层次能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 基准评估 层次能力 文本生成 图像生成 开源模型 人工智能研究

📋 核心要点

  1. 现有的多模态大语言模型基准主要集中在单一图像-文本输入的理解能力，无法全面评估模型的多模态生成能力。
  2. 本文提出SEED-Bench-2，通过24,000个多项选择题，评估多模态大语言模型的层次能力，涵盖文本和图像生成。
  3. 对23个开源MLLMs的评估结果显示，现有模型在多模态生成方面存在显著局限，为未来研究提供了重要参考。

📝 摘要（中文）

多模态大语言模型（MLLMs）在生成文本和图像方面表现出色，但现有基准仅限于单一图像-文本输入的理解能力，未能跟上MLLMs的发展。为此，本文提出了SEED-Bench-2，一个全面的基准，评估MLLMs的层次能力。该基准包含24,000个多项选择题，涵盖27个维度，能够客观高效地评估模型性能。通过对23个开源MLLMs的评估，揭示了现有模型的局限性，旨在为未来的通用人工智能研究提供启示。

🔬 方法详解

问题定义：现有的多模态大语言模型基准无法全面评估模型在多模态输入下的生成能力，主要集中于单一图像-文本输入的理解，导致对模型能力的评估不够全面。

核心思路：本文提出SEED-Bench-2，通过设计24,000个多项选择题，涵盖27个维度，评估多模态大语言模型的层次能力，旨在提供一个全面的评估框架。

技术框架：SEED-Bench-2的整体架构包括题库的构建、评估维度的设计和模型性能的评估。题库中的每个问题都经过准确的人类注释，确保评估的客观性和有效性。

关键创新：SEED-Bench-2的创新在于其层次化的评估框架，能够同时评估文本和图像生成能力，填补了现有基准的空白。与传统方法相比，SEED-Bench-2提供了更为全面的模型能力评估。

关键设计：在设计过程中，确保每个多项选择题都有明确的正确答案，避免了人工或GPT干预的需要，提升了评估的效率和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

通过对23个开源多模态大语言模型的评估，SEED-Bench-2揭示了现有模型在多模态生成能力上的局限性，提供了重要的性能数据和对比基线，为未来的研究方向提供了指导。具体的评估结果显示，模型在不同维度的表现差异显著，强调了进一步优化的必要性。

🎯 应用场景

SEED-Bench-2的提出为多模态大语言模型的研究提供了一个标准化的评估工具，能够帮助研究人员识别模型的优缺点，推动多模态生成技术的发展。该基准的应用潜力广泛，涵盖教育、内容创作、智能助手等多个领域，未来可能对通用人工智能的实现产生深远影响。

📄 摘要（原文）

Multimodal large language models (MLLMs), building upon the foundation of powerful large language models (LLMs), have recently demonstrated exceptional capabilities in generating not only texts but also images given interleaved multimodal inputs (acting like a combination of GPT-4V and DALL-E 3). However, existing MLLM benchmarks remain limited to assessing only models' comprehension ability of single image-text inputs, failing to keep up with the strides made in MLLMs. A comprehensive benchmark is imperative for investigating the progress and uncovering the limitations of current MLLMs. In this work, we categorize the capabilities of MLLMs into hierarchical levels from $L_0$ to $L_4$ based on the modalities they can accept and generate, and propose SEED-Bench-2, a comprehensive benchmark that evaluates the \textbf{hierarchical} capabilities of MLLMs. Specifically, SEED-Bench-2 comprises 24K multiple-choice questions with accurate human annotations, which spans 27 dimensions, including the evaluation of both text and image generation. Multiple-choice questions with groundtruth options derived from human annotation enables an objective and efficient assessment of model performance, eliminating the need for human or GPT intervention during evaluation. We further evaluate the performance of 23 prominent open-source MLLMs and summarize valuable observations. By revealing the limitations of existing MLLMs through extensive evaluations, we aim for SEED-Bench-2 to provide insights that will motivate future research towards the goal of General Artificial Intelligence. Dataset and evaluation code are available at \href{https://github.com/AILab-CVC/SEED-Bench}