Beyond Frame Selection: Rethinking Long-Video Understanding with MLLMs
作者: Ziling Huang, Shin'ichi Satoh
分类: cs.CV
发布日期: 2026-08-06
💡 一句话要点
提出VideoRouter以解决长视频理解中的证据捕捉问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 长视频理解 多模态大语言模型 视频分析 证据协调 验证引导路由器
📋 核心要点
- 现有方法在长视频理解中面临的主要挑战是难以同时捕捉全局故事情节和细粒度证据，令牌限制使得时间稀疏证据难以处理。
- 本文提出的VideoRouter方法通过构建时间层次结构来协调互补证据视图，既保留全局视角又关注局部细节，从而改善长视频理解。
- 实验结果表明，验证引导路由器能够有效协调全局和局部推理，在VideoMME数据集上相较于最先进的帧选择方法提升了2.9分。
📝 摘要（中文）
多模态大语言模型（MLLMs）在视频理解方面取得了显著进展，但由于令牌限制，捕捉时间上稀疏的证据仍然具有挑战性。现有方法通常依赖于均匀采样或帧选择，这些策略通常优化广泛的时间覆盖或局部相关性，难以同时保留全球故事情节和细粒度证据。本文提出VideoRouter（VR），将长视频理解重新构思为协调互补证据视图，而不是选择单一帧子集。该方法首先将每个视频组织成一个与问题无关的时间层次结构，划分为粗到细的时间一致段落。上层节点捕捉广泛的故事情节和事件进展，而下层节点则保留细粒度的局部细节和证据时刻。我们进一步引入验证引导路由器，以确定哪个视图更好地支持所选证据并选择最终答案。通过大量实验验证了该设计的有效性，表明验证引导路由器有效协调了全球和局部推理，并且在VideoMME上，我们的方法在LLaVA-Video-7B基础上超越了最先进的帧选择方法2.9分。
🔬 方法详解
问题定义：本文旨在解决长视频理解中因令牌限制导致的时间稀疏证据捕捉困难。现有方法通常依赖于均匀采样或帧选择，难以兼顾全局故事情节与局部细节的保留。
核心思路：提出VideoRouter（VR）方法，通过构建一个与问题无关的时间层次结构，将视频划分为粗到细的时间一致段落，从而协调全局和局部证据视图，提升理解效果。
技术框架：整体架构包括视频的时间层次结构构建、全局视角和局部视角的证据协调，以及验证引导路由器的设计。视频首先被分割为多个时间段，上层节点负责全局信息，下层节点则关注细节。
关键创新：最重要的创新在于将长视频理解视为协调互补证据视图，而非简单的帧选择。这种方法使得全局和局部推理得以有效结合，提升了理解的准确性。
关键设计：在设计中，时间层次结构的构建是核心，采用了特定的参数设置以确保层次划分的合理性。同时，验证引导路由器通过对证据的支持程度进行评估，选择最佳视图以得出最终答案。
🖼️ 关键图片
📊 实验亮点
实验结果显示，验证引导路由器在协调全局和局部推理方面表现出色，在VideoMME数据集上，我们的方法在LLaVA-Video-7B基础上超越了最先进的帧选择方法2.9分，证明了其有效性和优越性。
🎯 应用场景
该研究的潜在应用领域包括视频内容分析、智能监控、自动视频摘要生成等。通过提升长视频理解的准确性，能够为多种实际场景提供更为精准的信息提取和分析能力，具有重要的实际价值和未来影响。
📄 摘要（原文）
Multimodal Large Language Models (MLLMs) have achieved strong progress in video understanding, yet it remains challenging because the token limitation makes MLLMs difficult to capture temporally sparse evidence. Existing methods typically rely on uniform sampling, or frame selection, but these strategies usually optimize either broad temporal coverage or local relevance, making it difficult to preserve both global storyline context and fine-grained evidence. We propose VideoRouter(VR) that rethinks long-video understanding as coordinating complementary evidence views rather than selecting a single subset of frames. It first organizes each video into a question-agnostic temporal hierarchy, which partition the video into coarse-to-fine temporally coherent segments. In this hierarchy, upper-level nodes capture broad storyline context and event progression, while lower-level nodes preserve fine-grained local details and evidence-bearing moments. This naturally gives rise to two complementary views: a global view for coverage-oriented reasoning and a local view for detail-oriented evidence recovery. We further introduce a verification-guided router to determine which view is better supported by the selected evidence and select the final answer. We validate the effectiveness of the proposed design through extensive experiments, showing that the verification-guided router effectively coordinates global and local reasoning, and that, on VideoMME, our method outperforms state-of-the-art frame selection methods by 2.9 points, respectively, under the LLaVA-Video-7B backbone. We will release the code.