MVBench: A Comprehensive Multi-modal Video Understanding Benchmark

📄 arXiv: 2311.17005v4 📥 PDF

作者: Kunchang Li, Yali Wang, Yinan He, Yizhuo Li, Yi Wang, Yi Liu, Zun Wang, Jilan Xu, Guo Chen, Ping Luo, Limin Wang, Yu Qiao

分类: cs.CV

发布日期: 2023-11-28 (更新: 2024-05-23)

备注: CVPR 2024 highlight: updated version with Mistral and better performances for MVBench/NExT-QA/STAR/TVQA/EgoSchema/IntentQA

🔗 代码/项目: GITHUB

💡 一句话要点

提出MVBench以解决视频理解中的时序理解问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态视频理解 时序理解 视频任务 静态到动态转化 多选问答 模型评估 视频注释

📋 核心要点

  1. 现有的多模态大语言模型在动态视频任务中的时序理解能力不足，主要基准集中于静态图像任务。
  2. 提出MVBench基准，通过将静态任务转化为动态任务，系统性地生成需要时序理解的视频任务。
  3. 实验结果显示，VideoChat2在MVBench上表现优异，较现有模型提升超过15%。

📝 摘要（中文）

随着多模态大语言模型（MLLMs）的快速发展，许多诊断基准相继出现以评估这些模型的理解能力。然而，大多数基准主要评估静态图像任务中的空间理解，而忽视了动态视频任务中的时序理解。为了解决这一问题，我们提出了一个全面的多模态视频理解基准MVBench，涵盖20个无法通过单帧有效解决的挑战性视频任务。我们首先引入了一种新颖的静态到动态的方法来定义这些与时序相关的任务。通过将各种静态任务转化为动态任务，我们实现了需要广泛时序技能的视频任务的系统生成。基于任务定义，我们自动将公共视频注释转换为多选问答，以评估每个任务。我们的实验结果表明，现有的MLLMs在时序理解上远未令人满意，而我们的VideoChat2在MVBench上大幅超越这些领先模型超过15%。

🔬 方法详解

问题定义：本论文旨在解决现有多模态大语言模型在动态视频理解中的时序理解不足的问题。现有方法主要集中于静态图像任务，未能有效评估视频中的时序信息。

核心思路：论文提出了一种静态到动态的转化方法，通过将静态任务转化为动态任务，系统性地生成需要多种时序技能的视频任务。这种设计能够更全面地评估模型在视频理解中的能力。

技术框架：整体架构包括任务定义、视频注释转换和多模态训练三个主要模块。首先定义时序任务，然后将公共视频注释自动转换为多选问答形式，最后进行多模态模型的训练。

关键创新：最重要的技术创新在于引入了静态到动态的转化方法，使得视频任务的生成更加系统化和高效，避免了传统方法中对静态图像的依赖。

关键设计：在模型训练中，采用了多样化的指令调优数据，确保了模型在多模态理解上的鲁棒性。具体的参数设置和损失函数设计未在摘要中详细说明，需参考原文获取更多细节。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果显示，VideoChat2在MVBench基准上表现优异，较现有多模态大语言模型提升超过15%。这一结果表明，现有模型在时序理解方面存在显著不足，而新提出的模型在这一领域具有明显优势。

🎯 应用场景

该研究的潜在应用领域包括视频内容分析、智能监控、自动驾驶等。通过提升视频理解能力，能够在多种实际场景中实现更高效的信息提取和决策支持，具有重要的实际价值和未来影响。

📄 摘要（原文）

With the rapid development of Multi-modal Large Language Models (MLLMs), a number of diagnostic benchmarks have recently emerged to evaluate the comprehension capabilities of these models. However, most benchmarks predominantly assess spatial understanding in the static image tasks, while overlooking temporal understanding in the dynamic video tasks. To alleviate this issue, we introduce a comprehensive Multi-modal Video understanding Benchmark, namely MVBench, which covers 20 challenging video tasks that cannot be effectively solved with a single frame. Specifically, we first introduce a novel static-to-dynamic method to define these temporal-related tasks. By transforming various static tasks into dynamic ones, we enable the systematic generation of video tasks that require a broad spectrum of temporal skills, ranging from perception to cognition. Then, guided by the task definition, we automatically convert public video annotations into multiple-choice QA to evaluate each task. On one hand, such a distinct paradigm allows us to build MVBench efficiently, without much manual intervention. On the other hand, it guarantees evaluation fairness with ground-truth video annotations, avoiding the biased scoring of LLMs. Moreover, we further develop a robust video MLLM baseline, i.e., VideoChat2, by progressive multi-modal training with diverse instruction-tuning data. The extensive results on our MVBench reveal that, the existing MLLMs are far from satisfactory in temporal understanding, while our VideoChat2 largely surpasses these leading models by over 15% on MVBench. All models and data are available at https://github.com/OpenGVLab/Ask-Anything.