MLLM-Bench: Evaluating Multimodal LLMs with Per-sample Criteria
作者: Wentao Ge, Shunian Chen, Guiming Hardy Chen, Junying Chen, Zhihong Chen, Nuo Chen, Wenya Xie, Shuo Yan, Chenghao Zhu, Ziyue Lin, Song Dingjie, Xidong Wang, Anningzhe Gao, Zhang Zhiyi, Jianquan Li, Xiang Wan, Benyou Wang
分类: cs.CL
发布日期: 2023-11-23 (更新: 2024-09-14)
备注: 23 pages
💡 一句话要点
提出MLLM-Bench以解决多模态大语言模型评估问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态大语言模型 评估方法 用户体验 创造性任务 基准测试 人工智能
📋 核心要点
- 现有的多模态大语言模型评估方法未能充分考虑用户体验，且对创造性任务的评估存在挑战。
- 本文提出了一种新的评估范式，利用强大的MLLM作为评判者，采用逐样本标准进行评估。
- 通过设计MLLM-Bench基准，实验结果显示与人工评估的达成率高达88.02%，验证了方法的有效性。
📝 摘要（中文）
多模态大语言模型（MLLMs）拓宽了人工智能应用的范围。然而，现有的自动评估方法主要局限于评估查询，未能充分考虑用户体验，且对创造性和联想性多模态任务的细微差别处理不足。由于这些任务的开放性和主观性，定义其真实答案面临重大挑战。为此，本文提出了一种新的评估范式，通过使用强大的MLLM作为评判者，采用逐样本标准评估MLLMs。我们设计了一个名为MLLM-Bench的基准，涵盖六个综合认知水平的评估样本，并以成对比较的方式对21个流行的MLLMs进行基准测试，显示出模型间的多样化表现。此外，我们的基准与人工评估的达成率达到88.02%，验证了其有效性。我们认为，该范式探索了MLLMs作为有效评估工具的潜力。
🔬 方法详解
问题定义：本文旨在解决现有多模态大语言模型评估方法的不足，尤其是在用户体验和创造性任务评估方面的挑战。现有方法往往无法准确捕捉这些任务的主观性和开放性，导致评估结果的可靠性降低。
核心思路：论文提出的核心思路是利用强大的多模态大语言模型作为评判者，通过逐样本标准来评估其他MLLMs，从而更好地反映用户体验和任务的复杂性。这样的设计能够有效克服传统评估方法的局限性。
技术框架：整体架构包括样本选择、评估标准设定和评估结果分析三个主要模块。首先，研究团队从六个认知水平中策划评估样本；其次，使用选定的MLLM进行评估；最后，通过成对比较分析不同模型的表现。
关键创新：最重要的技术创新在于提出了逐样本标准的评估范式，这一方法与现有的基于整体评分的评估方法本质上不同，能够更细致地捕捉模型在复杂任务中的表现。
关键设计：在评估过程中，关键参数包括样本的多样性和评估标准的具体设定。此外，损失函数的选择和模型的训练策略也经过精心设计，以确保评估结果的准确性和可靠性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，MLLM-Bench在评估21个流行的多模态大语言模型时，与人工评估的达成率达到88.02%。这一结果表明，所提出的评估范式能够有效捕捉模型在复杂任务中的表现，展现出显著的性能差异。
🎯 应用场景
该研究的潜在应用领域包括多模态内容生成、智能问答系统和人机交互等。通过提供更准确的评估方法，MLLM-Bench能够帮助开发者优化模型性能，提高用户体验，推动多模态AI技术的进一步发展。
📄 摘要（原文）
Multimodal large language models (MLLMs) have broadened the scope of AI applications. Existing automatic evaluation methodologies for MLLMs are mainly limited in evaluating queries without considering user experiences, inadequately addressing the nuances of creative and associative multimodal tasks. However, the open-ended and subjective nature of such tasks poses a significant challenge to the evaluation methodology, where it is difficult to define the ground-truth answers for them. To this end, in our paper, we propose a new evaluation paradigm for MLLMs, which is evaluating MLLMs with per-sample criteria using potent MLLM as the judge. To validate the feasibility and effectiveness of this paradigm, we design a benchmark, dubbed MLLM-Bench, by curating the evaluation samples across six comprehensive cognitive levels. We benchmark 21 popular MLLMs in a pairwise-comparison fashion, showing diverse performance across models. Moreover, the validity of our benchmark manifests itself in reaching 88.02% agreement with human evaluation. We contend that the proposed paradigm explores the potential of MLLMs as effective evaluation tools with the help of per-sample criteria. See online leaderboard at \url{https://mllm-bench.llmzoo.com}.