Video-IFBench: Evaluating Instruction Following of Multimodal LLMs in Video Understanding Scenarios

📄 arXiv: 2608.25529v1 📥 PDF

作者: Hongbo Liu, Peixian Chen, Sihan Liu, Peiyuan Zhang, Kai Zou, Dian Zheng, Xiaoxing Hu, Yuhao Dong, Mengdan Zhang, Yunhang Shen, Haoyu Cao, Wei Liu, Weibo Gu, Xing Sun, Shengjie Zhao

分类: cs.CV

发布日期: 2026-08-26

💡 一句话要点

提出Video-IFBench以解决视频理解中的指令遵循问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频理解 指令遵循 多模态大型语言模型 评估基准 数据构建 用户约束 语义理解

📋 核心要点

  1. 现有视频理解模型在遵循用户指令方面的能力评估不足，尤其是在复杂约束和条件结构下表现不佳。
  2. 本文提出Video-IFBench基准，通过构建指令分类法和半自动数据构建流程，系统评估视频理解中的指令遵循能力。
  3. 实验结果表明，当前多模态大型语言模型在遵循复杂指令时仍存在显著挑战，尤其是在语义约束和选择路径方面。

📝 摘要（中文）

多模态大型语言模型（MLLMs）在视频理解方面表现出色，但在遵循指令的能力上仍然缺乏探索。现实世界中的视频理解不仅需要模型正确解释视频内容，还需满足多样的用户指定约束。现有基准主要关注任务准确性，而忽视了指令遵循能力的评估。为填补这一空白，本文提出了Video-IFBench，一个全面的基准，用于评估视频理解中的指令遵循能力，涵盖32种任务类型和39个手动设计的约束类别。我们构建了一个半自动数据构建管道，最终生成了1500个样本，并对20多种最新的MLLMs进行了大规模评估，结果显示当前模型在复杂指令的遵循上仍面临挑战。

🔬 方法详解

问题定义：本文旨在解决多模态大型语言模型在视频理解场景中遵循用户指令的能力不足问题。现有方法主要关注任务的准确性，而对指令遵循的评估较为薄弱，导致模型在复杂指令下的表现不佳。

核心思路：为填补这一空白，本文提出了Video-IFBench基准，设计了一个涵盖多种任务类型和约束的评估框架，确保模型不仅能理解视频内容，还能遵循用户的具体指令。

技术框架：整体架构包括指令分类法、半自动数据构建管道和大规模评估模块。指令分类法分为单任务、多任务、选择和嵌套指令四种模板，涵盖32种任务类型和39个约束类别。数据构建管道结合了MLLMs、程序化处理和人工验证，生成了1500个样本。

关键创新：最重要的创新在于构建了一个全面的指令遵循评估基准，特别是针对复杂指令的设计，使得模型在遵循多样化用户约束方面的能力得以系统评估。

关键设计：在数据构建过程中，采用了半自动化的方式以降低标注成本，结合了多模态内容的语义和格式要求，确保生成的数据样本具有高质量和多样性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，当前多模态大型语言模型在遵循复杂指令时面临显著挑战，尤其是在具有多个约束和复杂条件结构的指令下，模型的表现仍然不理想。这为未来的研究提供了重要的方向。

🎯 应用场景

该研究的潜在应用领域包括智能视频分析、自动化内容生成和人机交互等。通过提升模型在视频理解中的指令遵循能力，可以更好地满足用户需求，推动相关技术在实际场景中的应用与发展。

📄 摘要（原文）

Multimodal Large Language Models (MLLMs) have shown strong performance in video understanding. However, their ability to follow instructions in this domain remains under-explored. Real-world video understanding requires models not only to interpret video content correctly, but also to satisfy diverse user-specified constraints. Existing benchmarks focus primarily on task accuracy rather than instruction adherence, leaving this capability insufficiently evaluated. To address this gap, we introduce Video-IFBench, a comprehensive benchmark for evaluating instruction following in video understanding, where models must satisfy diverse user-specified constraints, including those grounded in visual and audio content. We develop an instruction taxonomy with four templates, including single-task, multi-task, selection, and nested instructions, covering 32 task types and 39 manually designed constraint categories spanning both semantic and format requirements. To reduce annotation cost, we build a semi-automatic data construction pipeline that combines MLLMs, programmatic processing, and human verification, resulting in 1.5K samples. We conduct a large-scale evaluation of more than 20 recent MLLMs and show that video instruction following remains challenging for current models, especially for instructions with many constraints, semantic constraints, or complex conditional structures that require selecting the correct branch or path based on video content. We hope our work will facilitate future research on instruction following in video understanding scenarios.