Mementos: A Comprehensive Benchmark for Multimodal Large Language Model Reasoning over Image Sequences

📄 arXiv: 2401.10529v2 📥 PDF

作者: Xiyao Wang, Yuhang Zhou, Xiaoyu Liu, Hongjin Lu, Yuancheng Xu, Feihong He, Jaehong Yoon, Taixi Lu, Gedas Bertasius, Mohit Bansal, Huaxiu Yao, Furong Huang

分类: cs.CV, cs.AI, cs.CL, cs.LG

发布日期: 2024-01-19 (更新: 2024-01-25)

备注: 27 pages, 23 figures

🔗 代码/项目: GITHUB

💡 一句话要点

提出Mementos基准以解决多模态大语言模型的图像序列推理问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 图像序列推理 动态信息理解 基准评估 GPT-4辅助

📋 核心要点

  1. 现有的多模态大语言模型基准主要集中在单幅图像的静态推理，缺乏对图像序列的动态理解能力评估。
  2. 本文提出Mementos基准，包含4761个多样化的图像序列，旨在评估MLLMs的序列推理能力。
  3. 实验结果表明，当前的MLLM在处理动态信息时存在显著困难，常出现对象和行为的幻觉现象。

📝 摘要（中文）

多模态大语言模型（MLLMs）在处理多种视觉语言任务方面表现出色。然而，现有基准主要评估基于单幅图像的静态信息推理能力，缺乏对图像序列推理能力的研究。为此，本文提出了Mementos基准，旨在评估MLLMs在图像序列推理中的表现。Mementos包含4761个多样化的图像序列，并采用GPT-4辅助方法进行评估。通过对包括GPT-4V和Gemini在内的九个最新MLLM的评估，发现它们在描述动态信息时存在困难，常常导致对象和行为的幻觉或误表述。我们的定量分析和案例研究识别出影响MLLMs序列推理的三个关键因素。

🔬 方法详解

问题定义：本文旨在解决多模态大语言模型在图像序列推理中的不足，现有方法主要集中于静态图像，未能有效处理动态信息。

核心思路：提出Mementos基准，通过多样化的图像序列评估MLLMs的推理能力，特别是其对动态信息的理解和描述能力。

技术框架：Mementos基准包含4761个图像序列，采用GPT-4辅助评估方法，整体流程包括数据收集、模型评估和结果分析三个主要阶段。

关键创新：Mementos是首个专注于图像序列推理的基准，填补了现有评估工具的空白，提供了更全面的评估标准。

关键设计：在数据集构建中，考虑了图像序列的多样性和长度变化，评估过程中采用了GPT-4的辅助推理能力，以提高评估的准确性和可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，当前的MLLM在处理动态图像序列时表现不佳，尤其在描述对象和行为方面，常出现幻觉现象。对比基线模型，MLLM的准确性普遍降低，表明该领域仍需进一步研究和改进。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、视频分析和人机交互等场景，能够帮助提升多模态系统在动态环境中的理解和推理能力，具有重要的实际价值和未来影响。

📄 摘要（原文）

Multimodal Large Language Models (MLLMs) have demonstrated proficiency in handling a variety of visual-language tasks. However, current MLLM benchmarks are predominantly designed to evaluate reasoning based on static information about a single image, and the ability of modern MLLMs to extrapolate from image sequences, which is essential for understanding our ever-changing world, has been less investigated. To address this challenge, this paper introduces Mementos, a new benchmark designed to assess MLLMs' sequential image reasoning abilities. Mementos features 4,761 diverse image sequences with varying lengths. We also employ a GPT-4 assisted method to evaluate MLLM reasoning performance. Through a careful evaluation of nine recent MLLMs on Mementos, including GPT-4V and Gemini, we find that they struggle to accurately describe dynamic information about given image sequences, often leading to hallucinations/misrepresentations of objects and their corresponding behaviors. Our quantitative analysis and case studies identify three key factors impacting MLLMs' sequential image reasoning: the correlation between object and behavioral hallucinations, the influence of cooccurring behaviors, and the compounding impact of behavioral hallucinations. Our dataset is available at https://github.com/umd-huang-lab/Mementos.