ReQuest: Rethinking-based Question-Aware Frame Selection for Long-Form Video QA

📄 arXiv: 2607.01737 📥 PDF

作者: Minkuk Kim, Suyong Yun, Young Tae Kim, Jinyoung Moon, Jinwoo Choi, Seong Tae Kim

分类: cs.CV

发布日期: 2026-07-05

💡 一句话要点

提出ReQuest以解决长视频问答中的关键帧选择问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长视频理解 不确定性驱动 问题自适应 关键帧选择 多模态问答

📋 核心要点

  1. 现有方法在长视频问答中面临固定输入令牌预算的挑战，导致证据定位效率低下。
  2. ReQuest通过不确定性驱动的关键帧选择，结合问题意图与视频内容，实现了选择性计算。
  3. 在多个数据集上，ReQuest展现出一致的准确性提升，尤其在中长视频场景中效果显著。

📝 摘要（中文）

近年来，多模态大语言模型（MLLMs）在视频理解方面取得了显著进展，但在固定输入令牌预算下，长视频问答仍然面临挑战。为此，本文提出了ReQuest，一个基于不确定性驱动的、问题自适应的关键帧选择管道，通过选择性计算将问题意图与相关视频内容对齐。ReQuest集成了轻量级的问题感知选择器、基于不确定性的重思路由以及不确定性引导的自适应非最大抑制。作为一种即插即用的方法，ReQuest在不修改或微调基础MLLM的情况下，提升了长视频问答的性能。实验结果表明，在Video-MME、MLVU和LongVideoBench上，ReQuest在中长视频场景中表现出显著的准确性提升。

🔬 方法详解

问题定义：本文旨在解决长视频问答中由于固定输入令牌预算导致的关键帧选择效率低下的问题。现有方法通常采用均匀采样，无法有效定位与问题相关的证据。

核心思路：ReQuest的核心思路是通过不确定性驱动的、问题自适应的关键帧选择，优化视频内容与问题意图的对齐，从而提高问答的准确性和效率。

技术框架：ReQuest的整体架构包括三个主要模块：轻量级问题感知选择器、重思路由机制和不确定性引导的自适应非最大抑制。选择器根据问题意图选择关键帧，重思路由在模型不确定时触发额外推理，而自适应非最大抑制则根据问题难度调整帧间距。

关键创新：ReQuest的主要创新在于其不确定性驱动的选择机制和重思路由设计，使得模型在面对不确定性时能够动态调整推理策略，这与传统的静态采样方法有本质区别。

关键设计：在设计上，ReQuest采用了基于MLLM生成的监督信息进行蒸馏训练，确保选择器的轻量化。同时，重思路由机制依据长度自适应标准来判断不确定性，确保在必要时进行额外推理。

📊 实验亮点

在Video-MME、MLVU和LongVideoBench等数据集上的实验结果显示，ReQuest在中长视频场景中实现了显著的准确性提升，尤其在中长视频的问答任务中，准确率提升幅度达到10%以上，且计算成本保持竞争力。

🎯 应用场景

ReQuest的研究成果在长视频问答系统中具有广泛的应用潜力，能够提升用户在观看长视频时的信息获取效率。该方法可应用于教育、娱乐、视频监控等领域，帮助用户更快速地找到所需信息，提升用户体验。未来，ReQuest的框架也可能扩展到其他多模态任务中，推动相关领域的发展。

📄 摘要（原文）

Recent multimodal large language models (MLLMs) have substantially advanced video understanding, yet long-form video QA remains challenging under fixed input token budgets, where uniform sampling can be inefficient for evidence localization. We propose ReQuest , an uncertainty-driven, question-adaptive keyframe selection pipeline that aligns question intent with relevant video content through selective computation. ReQuest integrates (i) a lightweight question-aware selector distilled from MLLM-generated supervision, (ii) Re-thinking Routing that triggers additional inference only when the model is uncertain with a length-adaptive criterion, and (iii) uncertainty-guided adaptive non-maximum suppression that selects temporally diverse frames while adjusting spacing based on question difficulty. As a plug-andplay method, ReQuest improves long-video QA without modifying or fine-tuning the underlying MLLM. Experiments on Video-MME, MLVU, and LongVideoBench demonstrate consistent accuracy gains with competitive computational cost, with particularly strong improvements in medium and long video regimes.