VLM-Eval: A General Evaluation on Video Large Language Models

📄 arXiv: 2311.11865v1 📥 PDF

作者: Shuailin Li, Yuang Zhang, Yucheng Zhao, Qiuyue Wang, Fan Jia, Yingfei Liu, Tiancai Wang

分类: cs.CV

发布日期: 2023-11-20

💡 一句话要点

提出VLM-Eval以解决视频大语言模型评估不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频大语言模型 统一评估 多任务学习 基于GPT的评估 视频理解

📋 核心要点

  1. 现有的视频大语言模型缺乏统一的评估标准，导致其性能难以全面比较和理解。
  2. 本文提出了一种新的评估框架VLM-Eval，涵盖多种视频任务，并引入基于GPT的评估方法。
  3. 实验结果表明，Video-LLaVA模型在多个任务中表现优于现有视频LLMs，尤其是在驾驶场景中的应用效果显著。

📝 摘要（中文）

尽管视频大语言模型（LLMs）发展迅速，但缺乏全面的评估方法。本文提出了一种统一的评估框架，涵盖了多种视频任务，包括字幕生成、问答、检索和动作识别。除了传统评估指标外，我们展示了基于GPT的评估在多方面评估响应质量时能够匹配人类表现。我们提出了一个简单的基线模型Video-LLaVA，采用单一线性投影，超越了现有的视频LLMs。最后，我们在学术数据集之外评估视频LLMs，结果显示在仅有数百对视频-指令的微调情况下，其在驾驶场景中的识别和推理能力令人鼓舞。希望我们的工作能为视频LLMs提供统一评估，并帮助扩展更多实际场景。

🔬 方法详解

问题定义：本文旨在解决视频大语言模型评估缺乏统一标准的问题。现有方法在多任务评估时存在局限性，难以全面反映模型性能。

核心思路：我们提出的VLM-Eval框架整合了多种视频任务的评估，采用基于GPT的评估方法来提升评估的准确性和人类相似性。

技术框架：整体架构包括多个模块，首先是任务定义模块，接着是数据收集与处理模块，最后是评估模块，综合使用传统指标与GPT评估。

关键创新：最重要的创新在于提出了Video-LLaVA基线模型，利用单一线性投影实现了对现有视频LLMs的超越，简化了模型结构同时提升了性能。

关键设计：在模型设计中，我们关注参数设置的简化，采用了线性投影和适当的损失函数，以确保在多任务评估中保持高效性和准确性。通过少量的微调数据，模型在实际应用中展现了良好的适应性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Video-LLaVA在多个视频任务中表现优于现有基线，尤其在驾驶场景中，模型在仅有数百对视频-指令的微调情况下，展现出良好的识别和推理能力，性能提升幅度显著。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、视频监控和智能家居等场景。通过提供统一的评估标准，研究成果能够帮助开发更高效的视频理解系统，促进多模态技术的实际应用，提升用户体验和安全性。

📄 摘要（原文）

Despite the rapid development of video Large Language Models (LLMs), a comprehensive evaluation is still absent. In this paper, we introduce a unified evaluation that encompasses multiple video tasks, including captioning, question and answering, retrieval, and action recognition. In addition to conventional metrics, we showcase how GPT-based evaluation can match human-like performance in assessing response quality across multiple aspects. We propose a simple baseline: Video-LLaVA, which uses a single linear projection and outperforms existing video LLMs. Finally, we evaluate video LLMs beyond academic datasets, which show encouraging recognition and reasoning capabilities in driving scenarios with only hundreds of video-instruction pairs for fine-tuning. We hope our work can serve as a unified evaluation for video LLMs, and help expand more practical scenarios. The evaluation code will be available soon.