TempCompass: Do Video LLMs Really Understand Videos?

📄 arXiv: 2403.00476v3 📥 PDF

作者: Yuanxin Liu, Shicheng Li, Yi Liu, Yuxiang Wang, Shuhuai Ren, Lei Li, Sishuo Chen, Xu Sun, Lu Hou

分类: cs.CV

发布日期: 2024-03-01 (更新: 2024-06-03)

🔗 代码/项目: GITHUB

💡 一句话要点

提出TempCompass基准以解决视频LLM时间感知能力不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频理解 时间感知 多模态学习 大语言模型 基准评估 自动评估 冲突视频 任务指令生成

📋 核心要点

  1. 现有视频LLM基准无法有效评估模型的时间感知能力，且缺乏对不同时间方面的区分。
  2. 提出TempCompass基准，通过构建冲突视频和人类注释生成任务指令，丰富时间方面和任务格式。
  3. 评估结果显示，8个视频LLM和3个图像LLM在时间感知能力上表现不佳，揭示了模型的局限性。

📝 摘要（中文）

近年来，视频大语言模型（Video LLMs）受到广泛关注。然而，现有基准未能全面反馈视频LLM的时间感知能力，无法区分不同的时间方面（如速度、方向），且任务格式多样性不足。为此，本文提出了TempCompass基准，引入多样的时间方面和任务格式。通过构建冲突视频和人类注释生成任务指令，收集高质量测试数据，并设计基于LLM的自动评估方法。基于TempCompass，我们对8个最先进的视频LLM和3个图像LLM进行了全面评估，发现这些模型在时间感知能力上表现较差。

🔬 方法详解

问题定义：本文旨在解决现有视频LLM基准在时间感知能力评估上的不足，现有方法无法有效区分时间方面（如速度、方向），且任务格式单一，限制了对模型性能的全面理解。

核心思路：提出TempCompass基准，通过引入多样的时间方面和任务格式，设计冲突视频以避免模型依赖单帧偏差或语言先验，同时利用人类注释生成任务指令，确保测试数据的高质量。

技术框架：整体流程包括视频收集、任务指令生成和模型评估三个主要模块。视频收集阶段构建具有相同静态内容但在时间方面存在冲突的视频；任务指令生成阶段通过人类注释和LLM生成指令；评估阶段使用LLM自动评估模型的响应。

关键创新：最重要的创新在于构建冲突视频的策略和人类注释生成任务指令的方式，这与现有方法的单一任务格式和静态视频内容的评估方式有本质区别。

关键设计：在视频收集过程中，确保冲突视频在特定时间方面存在差异；在任务指令生成中，采用人类注释与LLM结合的方式，提升指令的多样性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，基于TempCompass基准评估的8个视频LLM和3个图像LLM在时间感知能力上表现显著不足，揭示了模型在处理复杂时间信息时的局限性。这一发现为未来模型的改进提供了重要的参考依据。

🎯 应用场景

该研究的潜在应用领域包括视频理解、自动驾驶、智能监控等。通过提升视频LLM的时间感知能力，可以增强模型在动态场景中的表现，推动多模态学习和人机交互的发展，具有重要的实际价值和未来影响。

📄 摘要（原文）

Recently, there is a surge in interest surrounding video large language models (Video LLMs). However, existing benchmarks fail to provide a comprehensive feedback on the temporal perception ability of Video LLMs. On the one hand, most of them are unable to distinguish between different temporal aspects (e.g., speed, direction) and thus cannot reflect the nuanced performance on these specific aspects. On the other hand, they are limited in the diversity of task formats (e.g., only multi-choice QA), which hinders the understanding of how temporal perception performance may vary across different types of tasks. Motivated by these two problems, we propose the \textbf{TempCompass} benchmark, which introduces a diversity of temporal aspects and task formats. To collect high-quality test data, we devise two novel strategies: (1) In video collection, we construct conflicting videos that share the same static content but differ in a specific temporal aspect, which prevents Video LLMs from leveraging single-frame bias or language priors. (2) To collect the task instructions, we propose a paradigm where humans first annotate meta-information for a video and then an LLM generates the instruction. We also design an LLM-based approach to automatically and accurately evaluate the responses from Video LLMs. Based on TempCompass, we comprehensively evaluate 8 state-of-the-art (SOTA) Video LLMs and 3 Image LLMs, and reveal the discerning fact that these models exhibit notably poor temporal perception ability. Our data will be available at https://github.com/llyx97/TempCompass.