MLLM-as-a-Judge: Assessing Multimodal LLM-as-a-Judge with Vision-Language Benchmark
作者: Dongping Chen, Ruoxi Chen, Shilin Zhang, Yinuo Liu, Yaochen Wang, Huichi Zhou, Qihui Zhang, Yao Wan, Pan Zhou, Lichao Sun
分类: cs.CL, cs.AI, cs.CV
发布日期: 2024-02-07 (更新: 2024-06-11)
备注: ICML 2024 (Oral)
💡 一句话要点
提出MLLM-as-a-Judge基准以评估多模态大型语言模型的判断能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态大型语言模型 评估基准 人工智能 判断能力 人类偏好 模型偏见 评分评估 对比比较
📋 核心要点
- 现有的多模态大型语言模型评估方法缺乏与人类判断一致的基准，导致评估结果的可靠性不足。
- 本文提出MLLM-as-a-Judge基准，通过评分评估、对比比较和批量排名三项任务来评估MLLM的判断能力。
- 实验结果表明，MLLM在对比比较任务中表现良好，但在评分评估和批量排名中与人类判断存在显著差异。
📝 摘要（中文）
多模态大型语言模型（MLLMs）近年来受到广泛关注，展现出在人工通用智能方面的巨大潜力。然而，评估MLLM的实用性面临显著挑战，主要由于缺乏与人类偏好相一致的多模态基准。本文提出了一种新基准，称为MLLM-as-a-Judge，以评估MLLM在不同任务中的辅助判断能力，包括评分评估、对比比较和批量排名。研究发现，尽管MLLM在对比比较中表现出色，但在评分评估和批量排名中与人类偏好存在显著差异。此外，深入分析显示，即使在先进模型如GPT-4V中，LLM的判断能力仍面临多种挑战，包括偏见、幻觉反应和判断不一致性。这些发现强调了在将MLLM视为可靠评估者之前，亟需进行增强和进一步研究的必要性。
🔬 方法详解
问题定义：本文旨在解决当前多模态大型语言模型（MLLMs）评估中缺乏与人类偏好一致的基准的问题。现有方法无法有效评估MLLM的判断能力，导致评估结果的可靠性不足。
核心思路：论文提出了MLLM-as-a-Judge基准，旨在通过设计多样化的任务来全面评估MLLM的判断能力，特别是其在不同任务中的表现差异。
技术框架：整体架构包括三个主要模块：评分评估、对比比较和批量排名。每个模块针对不同的评估任务，设计了相应的评估标准和流程，以确保评估的全面性和准确性。
关键创新：最重要的技术创新在于引入了多模态评估基准，特别是通过对比比较任务展示了MLLM在某些方面的优越性，同时揭示了其在评分评估和批量排名中的不足之处。与现有方法相比，本文的基准更贴近人类的判断标准。
关键设计：在设计过程中，论文关注了模型的偏见、幻觉反应和判断一致性等问题，采用了多样化的评估任务和标准，以确保评估结果的可靠性和有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，MLLM在对比比较任务中表现出色，接近人类判断水平。然而，在评分评估和批量排名中，MLLM与人类偏好存在显著差异，提示需要进一步改进模型的判断能力。具体数据未提供，需查阅原文以获取详细性能指标。
🎯 应用场景
该研究的潜在应用领域包括法律判决、内容审核和多模态信息检索等。通过提升MLLM在判断任务中的可靠性，可以为这些领域提供更智能的辅助决策工具，推动人工智能在实际应用中的发展。
📄 摘要（原文）
Multimodal Large Language Models (MLLMs) have gained significant attention recently, showing remarkable potential in artificial general intelligence. However, assessing the utility of MLLMs presents considerable challenges, primarily due to the absence of multimodal benchmarks that align with human preferences. Drawing inspiration from the concept of LLM-as-a-Judge within LLMs, this paper introduces a novel benchmark, termed MLLM-as-a-Judge, to assess the ability of MLLMs in assisting judges across diverse modalities, encompassing three distinct tasks: Scoring Evaluation, Pair Comparison, and Batch Ranking. Our study reveals that, while MLLMs demonstrate remarkable human-like discernment in Pair Comparison, there is a significant divergence from human preferences in Scoring Evaluation and Batch Ranking. Furthermore, a closer examination reveals persistent challenges in the judgment capacities of LLMs, including diverse biases, hallucinatory responses, and inconsistencies in judgment, even in advanced models such as GPT-4V. These findings emphasize the pressing need for enhancements and further research efforts to be undertaken before regarding MLLMs as fully reliable evaluators. In light of this, we advocate for additional efforts dedicated to supporting the continuous development within the domain of MLLM functioning as judges. The code and dataset are publicly available at our project homepage: \url{https://mllm-judge.github.io/}.