One Ranking, Any Budget: Matryoshka Evidence-to-Context Frame Selection for Long-Video Understanding
作者: Wang Chen, Yu Chen, Xiang Wang, Shuai Li, Jinfa Huang, Xiawu Zheng
分类: cs.CV
发布日期: 2026-08-06
备注: 21 pages, 7 figures, 7 tables
💡 一句话要点
提出Matryoshka框架以解决长视频理解中的帧选择问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 长视频理解 帧选择 多模态模型 Matryoshka框架 稀疏视频索引 时间上下文 位置自适应排名
📋 核心要点
- 现有方法通常为每个预定义预算优化独立的帧子集，导致在预算变化时无法有效利用已选证据。
- 本文提出Matryoshka Evidence-to-Context (MEC)帧选择框架，通过构建单一优先级序列来解决帧选择问题。
- 在四个基准测试中，MEC方法的平均准确率比均匀采样提高了3.77个百分点，且选择延迟显著降低。
📝 摘要（中文）
长视频的帧选择对于应用大型多模态模型至关重要，然而现有方法通常为每个预定义预算优化独立的帧子集，导致在预算变化时无法有效利用已选证据。本文提出了一种Matryoshka排名问题的框架，通过构建单一优先级序列，使得小前缀集中查询条件证据，而更大的前缀则保留这些证据并增加更广泛的时间上下文。我们引入了Matryoshka Evidence-to-Context (MEC)帧选择方法，构建可重用的稀疏视频索引，通过稀疏探测和局部放大发现候选帧，并贪婪地构建位置自适应排名。实验表明，MEC在四个基准测试和六个帧预算下，平均准确率提高了3.77个百分点，且选择延迟减少了47.37%-51.19%。
🔬 方法详解
问题定义：本文旨在解决长视频理解中的帧选择问题，现有方法在预算变化时无法有效利用已选帧，导致效率低下和准确性不足。
核心思路：提出Matryoshka排名问题的框架，通过构建一个单一的优先级序列，使得小前缀集中证据，而大前缀则保留证据并增加时间上下文，从而适应不同的预算需求。
技术框架：整体架构包括构建可重用的稀疏视频索引、通过稀疏探测和局部放大发现候选帧，以及贪婪地构建位置自适应排名。该框架不需要训练，能够高效处理长视频。
关键创新：最重要的创新在于提出了位置自适应的排名策略，早期位置强调证据，后期位置则关注时间覆盖和视觉多样性，这与现有方法的固定评分机制有本质区别。
关键设计：在设计中，采用了稀疏探测和局部放大技术来发现候选帧，确保了在构建排名时能够有效平衡证据和时间上下文的需求。
🖼️ 关键图片
📊 实验亮点
实验结果显示，MEC方法在四个基准测试中平均准确率提高了3.77个百分点，且在六个不同帧预算下，选择延迟减少了47.37%-51.19%。与现有的强大选择器相比，MEC方法表现出色，证明了其有效性和实用性。
🎯 应用场景
该研究在长视频理解领域具有广泛的应用潜力，能够提升多模态模型在视频分析、内容检索和自动摘要等任务中的表现。未来，MEC框架可进一步扩展到实时视频处理和智能监控等场景，推动相关技术的发展。
📄 摘要（原文）
Frame selection is essential for applying Large Multimodal Models (LMMs) to long videos due to severe frame redundancy and limited context windows. Since the appropriate frame budget varies with the downstream LMM, reasoning demands, and latency constraints, a practical selector should serve multiple budgets. However, existing methods typically optimize an isolated frame subset for each predefined budget: when the budget changes, previously selected evidence may be replaced rather than progressively augmented. Ranking frames by a fixed score would allow prefix reuse across budgets, but it ignores the distinct roles of different ranking positions. In this paper, we formulate long-video frame selection as a Matryoshka ranking problem: constructing a single priority sequence whose small prefixes concentrate query-conditioned evidence, while progressively larger prefixes preserve this evidence and add broader temporal context. Efficiently constructing such a ranking is itself challenging, as densely sampling long videos and evaluating frame-query relevance incurs substantial overhead. We therefore introduce Matryoshka Evidence-to-Context (MEC) Frame Selection, a training-free framework that builds a reusable sparse video index, discovers candidates through sparse probing and local zooming, and greedily constructs a position-adaptive ranking: early positions emphasize evidence; later positions progressively favor temporal coverage while preserving visual diversity. A single ranking can thus be truncated to any target budget without rerunning the selector. Across four benchmarks and six frame budgets, MEC improves average accuracy over uniform sampling by 3.77 percentage points, matches strong state-of-the-art selectors, and reduces end-to-end selection latency by 47.37-51.19%.