Q-Fold: Query-Aware Focus-Context Spatio-Temporal Folding for Long Video Understanding
作者: Biao Tang, Xu Chen, Shuxiang Gou, Jingyi Yuan, Yuhan Zhang, Chenqiang Gao
分类: cs.CV
发布日期: 2026-06-10
备注: 10 pages, 5 figures, 8 tables. Code will be made publicly available
💡 一句话要点
提出Q-Fold以解决长视频理解中的信息保留问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 长视频理解 聚焦-上下文表示 多模态大语言模型 信息保留 时间序列处理
📋 核心要点
- 长视频理解面临处理成本高和信息保留不足的挑战，现有方法多采用帧中心范式，难以兼顾视觉证据和时间覆盖。
- Q-Fold通过查询指导，基于连续时间段构建异构的聚焦-上下文表示，保留重要信息并折叠不重要的内容。
- 在四个长视频基准上，Q-Fold显著提升了多模态大语言模型的性能，尤其在超长视频上提升达9.1个百分点。
📝 摘要（中文）
长视频理解对多模态大语言模型仍然具有挑战性，因为时间延续的视频通常包含数千帧，处理成本高昂。现有方法在有限的视觉预算下构建紧凑的视觉输入，但大多数仍遵循帧中心的范式，难以保留高保真视觉证据和广泛的时间覆盖。为解决这一问题，本文提出了Q-Fold，一个无训练的输入构建框架。Q-Fold基于查询指导，操作连续的时间段，构建异构的聚焦-上下文表示。相关段落被保留为高保真的聚焦帧，而不太相关的段落则折叠为保持时间顺序的上下文布局。实验表明，Q-Fold在四个长视频基准上持续提升性能，且不增加输入预算，尤其在超长视频基准上提升达9.1个百分点。
🔬 方法详解
问题定义：本文旨在解决长视频理解中信息保留不足的问题。现有方法多采用帧中心的处理方式，难以在有限的视觉预算下同时保留高保真的视觉证据和广泛的时间覆盖。
核心思路：Q-Fold的核心思路是基于查询指导，操作连续的时间段而非孤立帧，构建异构的聚焦-上下文表示。这种设计能够更有效地保留重要的视觉信息，同时保持时间的连续性。
技术框架：Q-Fold的整体架构包括两个主要模块：聚焦帧模块和上下文布局模块。聚焦帧模块负责保留与查询相关的高保真帧，而上下文布局模块则将不太相关的帧折叠成时间顺序的上下文表示。
关键创新：Q-Fold的创新在于其无训练的输入构建方式和基于查询的聚焦-上下文表示，显著区别于传统的帧中心方法，能够更好地平衡信息保留与处理成本。
关键设计：在设计中，Q-Fold采用了特定的参数设置以优化聚焦帧的选择，并通过时间序列保持上下文布局的顺序，确保在处理过程中不丢失重要的时间信息。具体的损失函数和网络结构细节尚未公开。
🖼️ 关键图片
📊 实验亮点
在实验中，Q-Fold在四个长视频基准上均表现出色，尤其在超长视频基准上提升了9.1个百分点，显示出其在不增加输入预算的情况下显著提高了多模态大语言模型的性能。
🎯 应用场景
该研究的潜在应用场景包括视频监控、视频摘要生成和长视频内容检索等领域。通过提高长视频理解的效率和准确性，Q-Fold可以为多模态大语言模型在实际应用中提供更强的支持，推动相关技术的发展与应用。
📄 摘要（原文）
Long-video understanding remains challenging for multimodal large language models, because temporally extended videos often contain thousands of frames and are therefore expensive to process exhaustively. Existing methods usually construct compact visual inputs from long videos under a limited visual budget. However, most of them still follow a frame-centric paradigm and apply similar representations to retained content regardless of its importance. This makes it difficult to preserve both high-fidelity visual evidence and broad temporal coverage. To address this issue, we propose Q-Fold, a training-free input construction framework for long-video understanding. Instead of treating isolated frames as the basic modeling unit, Q-Fold operates on contiguous temporal segments and constructs a heterogeneous Focus--Context representation under query guidance. Query-relevant segments are preserved as high-fidelity Focus Frames, while less relevant segments are folded into chronology-preserving contextual layouts. In this way, Q-Fold preserves critical visual evidence and broad temporal coverage, while better maintaining local temporal continuity within short segments. Experiments on four long-video benchmarks with multiple Video-MLLMs show that Q-Fold consistently improves performance without increasing the input budget. Notably, it achieves gains of up to 9.1 percentage points on an ultra-long video benchmark. Code will be made publicly available.