ReQuest: Rethinking-based Question-Aware Frame Selection for Long-Form Video QA
作者: Minkuk Kim, Suyong Yun, Young Tae Kim, Jinyoung Moon, Jinwoo Choi, Seong Tae Kim
分类: cs.CV
发布日期: 2026-07-02
备注: Accepted at ECCV 2026
💡 一句话要点
提出ReQuest以解决长视频问答中的关键帧选择问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 长视频理解 问题自适应 关键帧选择 不确定性驱动 多模态学习
📋 核心要点
- 长视频问答在固定输入令牌预算下，现有方法在证据定位上效率低下，难以满足实际需求。
- ReQuest通过不确定性驱动的关键帧选择，结合问题意图与视频内容，优化了长视频问答的计算效率。
- 在多个数据集上，ReQuest展示了在中长视频场景中显著的准确性提升，且计算成本保持在合理范围内。
📝 摘要（中文）
近年来，多模态大型语言模型（MLLMs）在视频理解方面取得了显著进展，但在固定输入令牌预算下，长视频问答仍然面临挑战。为此，本文提出了ReQuest，一种基于不确定性驱动的、问题自适应的关键帧选择管道，通过选择性计算将问题意图与相关视频内容对齐。ReQuest集成了轻量级的问题感知选择器、基于不确定性的重思路由和不确定性引导的自适应非最大抑制。作为一种即插即用的方法，ReQuest在不修改或微调基础MLLM的情况下，提升了长视频问答的性能。实验结果表明，在Video-MME、MLVU和LongVideoBench上，ReQuest在中长视频场景中表现出显著的准确性提升，同时保持了竞争力的计算成本。
🔬 方法详解
问题定义：本文旨在解决长视频问答中关键帧选择的低效问题，现有方法在固定输入令牌预算下难以有效定位证据，导致性能不足。
核心思路：ReQuest的核心思路是通过不确定性驱动的选择机制，动态调整关键帧的选择，以更好地对齐问题意图与视频内容，从而提高问答的准确性和效率。
技术框架：ReQuest的整体架构包括三个主要模块：问题感知选择器、重思路由和不确定性引导的自适应非最大抑制。问题感知选择器负责从视频中选择关键帧，重思路由在模型不确定时触发额外推理，而自适应非最大抑制则根据问题难度调整帧间距。
关键创新：ReQuest的主要创新在于引入了不确定性驱动的选择机制和重思路由策略，这使得模型能够在不确定性较高时进行额外推理，从而提升了长视频问答的性能。与现有方法相比，ReQuest能够更有效地利用计算资源。
关键设计：在设计上，ReQuest采用了轻量级的问题感知选择器，并通过不确定性引导的自适应非最大抑制来选择时间上多样化的帧，关键参数设置和损失函数经过精心设计，以确保模型在不同视频长度和问题难度下的适应性。
🖼️ 关键图片
📊 实验亮点
在Video-MME、MLVU和LongVideoBench数据集上，ReQuest在中长视频场景中实现了显著的准确性提升，尤其在中等和较长视频的问答任务中，准确率提升幅度达到了X%（具体数据未知），同时保持了合理的计算成本，展示了其优越的性能。
🎯 应用场景
ReQuest的研究成果在长视频理解、视频问答系统和多模态学习等领域具有广泛的应用潜力。其高效的关键帧选择机制可以被用于教育、娱乐、监控等多个行业，提升用户体验和信息获取效率。未来，该方法有望推动更复杂的多模态任务的发展。
📄 摘要（原文）
Recent multimodal large language models (MLLMs) have substantially advanced video understanding, yet long-form video QA remains challenging under fixed input token budgets, where uniform sampling can be inefficient for evidence localization. We propose ReQuest , an uncertainty-driven, question-adaptive keyframe selection pipeline that aligns question intent with relevant video content through selective computation. ReQuest integrates (i) a lightweight question-aware selector distilled from MLLM-generated supervision, (ii) Re-thinking Routing that triggers additional inference only when the model is uncertain with a length-adaptive criterion, and (iii) uncertainty-guided adaptive non-maximum suppression that selects temporally diverse frames while adjusting spacing based on question difficulty. As a plug-andplay method, ReQuest improves long-video QA without modifying or fine-tuning the underlying MLLM. Experiments on Video-MME, MLVU, and LongVideoBench demonstrate consistent accuracy gains with competitive computational cost, with particularly strong improvements in medium and long video regimes.