Towards Fast and Effective Long Video Understanding of Multimodal Large Language Models via Adaptive Quasi-Gaussian Sampling

📄 arXiv: 2606.24187v1 📥 PDF

作者: Kun Zhang, Chenxin Fang, Tao Chen, Baiyang Song, Yunhang Shen, Yiyi Zhou, Rongrong Ji

分类: cs.CV

发布日期: 2026-06-23

备注: NeurIPS 2026 submission. 15 pages, 8 figures

🔗 代码/项目: GITHUB

💡 一句话要点

提出AdaQ以解决长视频理解中的高计算和内存占用问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长视频理解 多模态大语言模型 准高斯采样 关键帧选择 自适应采样 视频处理 机器学习

📋 核心要点

  1. 长视频理解面临高计算和内存占用的问题，现有关键帧选择方法灵活性不足且噪声较大。
  2. 本文提出的AdaQ方法通过准高斯采样自适应地选择视频帧，优化了3-σ区间以适应不同查询。
  3. 实验结果显示，AdaQ在多个MLLMs上性能显著提升，例如帮助Qwen3-VL-8B在仅使用64帧的情况下超越GPT4o 15.8%。

📝 摘要（中文）

长视频理解对于多模态大语言模型（MLLMs）仍然是一个艰巨的挑战，主要由于计算和内存的过高需求。因此，通常采用关键帧选择来缓解这一问题，但其灵活性低且噪声大。本文将视频帧选择定义为准高斯采样问题，提出了一种自适应且无训练的方案，称为AdaQ。AdaQ的目标是为不同示例实现最佳的3-σ区间，从而促进稳健和自适应的帧采样。实验结果表明，AdaQ在多个MLLMs上显著提升了性能，且只需设置一个超参数。

🔬 方法详解

问题定义：长视频理解中的关键帧选择方法通常面临计算和内存的高需求，导致灵活性不足和噪声问题。现有的关键帧选择方法在处理长视频时效率低下，难以满足实际应用需求。

核心思路：本文提出的AdaQ方法将视频帧选择视为准高斯采样问题，灵活调整3-σ区间以适应不同的查询场景，从而实现更有效的帧采样。该方法不需要训练，降低了复杂性。

技术框架：AdaQ的整体架构包括输入视频帧的采样模块、准高斯分布的参数计算模块，以及自适应帧选择模块。通过这些模块，AdaQ能够根据查询类型动态调整帧的选择策略。

关键创新：AdaQ的主要创新在于其自适应的3-σ区间调整机制，这一机制使得帧选择更加灵活且高效，显著优于传统的关键帧选择方法。

关键设计：AdaQ只需设置一个超参数，简化了使用过程。其损失函数设计考虑了帧选择的准确性和鲁棒性，确保在不同视频场景下均能有效工作。整体网络结构经过优化，以提高处理速度和效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，AdaQ在多个多模态大语言模型上表现优异，例如在仅使用64帧的情况下，Qwen3-VL-8B的性能比GPT4o提升了15.8%。此外，AdaQ展现出卓越的鲁棒性和高效性，仅需设置一个超参数即可实现良好的性能。

🎯 应用场景

该研究的潜在应用领域包括视频监控、视频摘要生成、自动视频标签和多媒体检索等。通过提高长视频理解的效率，AdaQ能够在实际应用中显著降低计算资源消耗，提升用户体验。未来，该方法有望在更广泛的多模态学习任务中发挥重要作用。

📄 摘要（原文）

Long video understanding remains a daunting challenge for \emph{Multimodal Large Language Models} (MLLMs) due to the excessive computation and memory footprint. Thus, \emph{keyframe selection} is often adopted to mitigate this shortcoming, which however still suffers from low flexibility and high noise due to its hard sampling principle. In this paper, we define video frame selection as a problem of \emph{Quasi-Gaussian Sampling}, and propose an adaptive and training-free approach termed \textbf{\emph{AdaQ}}. Inspired by the $3$-$σ$ rule of Gaussian distribution, the objective of AdaQ is to achieve the optimal $3$-$σ$ interval for different examples, \emph{i.e.}, a smaller $3$-$σ$ interval for the local query and a larger one for the global query, thereby facilitating robust and adaptive frame sampling. To validate AdaQ, we apply it to four MLLMs with three embedding models. The extensive experimental results not only show its obvious performance gains over the default MLLMs and the SOTA keyframe selection methods, \emph{e.g.}, helping Qwen3-VL-8B outperform GPT4o by 15.8\% on average by using only 64 frames, but also confirm its superior robustness and high efficiency for long-video understanding, \emph{e.g.}, \textbf{only 1 hyper-parameter} needs to be set. \textbf{Our code project} is given at \href{https://github.com/Zkayovo-xmu/AdaQ}{https://github.com/Zkayovo-xmu/AdaQ}.