MileBench: Benchmarking MLLMs in Long Context

📄 arXiv: 2404.18532v2 📥 PDF

作者: Dingjie Song, Shunian Chen, Guiming Hardy Chen, Fei Yu, Xiang Wan, Benyou Wang

分类: cs.CL, cs.AI, cs.CV, cs.LG

发布日期: 2024-04-29 (更新: 2024-05-15)

备注: 31 pages, 13 figures, 14 tables; We add results of GPT-4o in this version

💡 一句话要点

提出MileBench以解决多模态大语言模型在长文本中的评估问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 长文本理解 基准测试 任务评估 性能评估

📋 核心要点

  1. 现有基准测试主要集中在单图像和短文本样本，无法全面评估MLLMs在长文本和多图像任务中的表现。
  2. 本文提出MileBench基准，旨在测试MLLMs在多模态长文本场景下的理解与生成能力，包含多项任务。
  3. 实验结果表明，封闭源的GPT-4o在长文本任务中表现优异，而大多数开源MLLMs面临显著挑战，尤其是在图像数量增加时。

📝 摘要（中文）

尽管多模态大语言模型（MLLMs）在基准测试中取得了显著进展，但其在真实世界长文本和多图像任务中的有效性仍不明确。现有基准往往集中于单图像和短文本样本，限制了图像数量或专注于特定任务（如时间序列描述），可能掩盖了MLLMs的性能挑战。为了解决这些局限性，本文提出了MileBench，一个旨在测试MLLMs多模态长文本能力的开创性基准。该基准不仅包括多模态长文本，还涵盖了需要理解和生成的多项任务。我们建立了两个不同的评估集，诊断集和现实集，以系统评估MLLMs在长文本场景中的适应能力和任务完成能力。实验结果显示，尽管封闭源的GPT-4o表现优于其他模型，但大多数开源MLLMs在长文本场景中表现不佳，且随着图像数量的增加，性能差距进一步扩大。

🔬 方法详解

问题定义：本文旨在解决现有基准测试无法有效评估多模态大语言模型（MLLMs）在长文本和多图像任务中的性能问题。现有方法往往局限于单图像和短文本，导致对模型能力的评估不全面。

核心思路：MileBench基准的核心思想是通过引入多模态长文本和多任务评估，全面测试MLLMs的理解与生成能力，特别是在长文本场景下的适应性。

技术框架：MileBench包括两个主要评估集：诊断集和现实集。诊断集用于系统性评估模型的长文本适应能力，而现实集则模拟真实场景中的任务完成情况。

关键创新：MileBench的创新在于其设计的多模态长文本评估框架，能够同时处理多个图像和长文本，填补了现有基准的空白。与传统方法相比，MileBench更全面地反映了MLLMs在复杂任务中的表现。

关键设计：在设计MileBench时，考虑了多种任务类型和长文本的复杂性，确保评估的多样性和真实性。具体的参数设置和损失函数设计尚未详细披露，需进一步研究。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，封闭源的GPT-4o在22个模型中表现最佳，而大多数开源MLLMs在长文本任务中面临显著挑战。随着图像数量的增加，性能差距进一步扩大，强调了对MLLMs长文本能力的研究需求。

🎯 应用场景

MileBench的提出为多模态大语言模型在长文本和多图像任务中的评估提供了新的标准，具有广泛的应用潜力。该基准可用于推动MLLMs在实际应用中的性能提升，特别是在需要处理复杂信息的场景，如自动驾驶、医疗影像分析和智能客服等领域。

📄 摘要（原文）

Despite the advancements and impressive performance of Multimodal Large Language Models (MLLMs) on benchmarks, their effectiveness in real-world, long-context, and multi-image tasks is unclear due to the benchmarks' limited scope. Existing benchmarks often focus on single-image and short-text samples, and when assessing multi-image tasks, they either limit the image count or focus on specific task (e.g time-series captioning), potentially obscuring the performance challenges of MLLMs. To address these limitations, we introduce MileBench, a pioneering benchmark designed to test the MultImodal Long-contExt capabilities of MLLMs. This benchmark comprises not only multimodal long contexts, but also multiple tasks requiring both comprehension and generation. We establish two distinct evaluation sets, diagnostic and realistic, to systematically assess MLLMs' long-context adaptation capacity and their ability to complete tasks in long-context scenarios. Our experimental results, obtained from testing 22 models, revealed that while the closed-source GPT-4o outperforms others, most open-source MLLMs struggle in long-context situations. Interestingly, the performance gap tends to widen with an increase in the number of images. We strongly encourage an intensification of research efforts towards enhancing MLLMs' long-context capabilities, especially in scenarios involving multiple images.