QSVideo: Query-Conditioned Semantic Temporal Retrieval for Video Understanding

📄 arXiv: 2607.04559v1 📥 PDF

作者: Wei Ao, Lan Wang, Vishnu Naresh Boddeti

分类: cs.CV

发布日期: 2026-07-06

备注: ECCV 2026

🔗 代码/项目: GITHUB

💡 一句话要点

提出QSVideo以解决视频理解中的多模态检索问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频理解 多模态检索 视觉语言模型 时间建模 信息检索

📋 核心要点

  1. 现有多模态检索方法在视频理解中面临相关性估计偏差和时间崩溃等挑战，导致性能下降。
  2. 本文提出QSVideo框架，通过查询条件语义排序器QSRanker和QSRetrieval模块优化相关性和多样性。
  3. 实验结果显示，QSVideo在长视频和流媒体视频基准测试中显著提升了视频理解性能。

📝 摘要（中文）

随着视频时长的增加，视觉语言模型（VLMs）在视频理解中的性能下降，主要由于与查询无关的视频片段干扰了其语言组件。多模态检索作为视频理解的重要组成部分，通过定位关键视觉证据来应对这一挑战。然而，现有的多模态检索方法存在相关性估计偏差、有限的多样性和时间崩溃等问题。本文提出了QSVideo，一个统一框架，系统性地解决了视频检索中的相关性、多样性和时间建模问题。我们首先引入了查询条件语义排序器QSRanker，将任意问题重构为适合检索的查询，并沿对象、动作和位置维度估计结构化相关性。在此基础上，我们设计了QSRetrieval，以联合优化相关性和多样性，从而实现更具信息量的帧选择。此外，我们提出了针对长视频和流媒体视频的时间对齐策略，以提高证据回忆。大量实验表明，QSVideo在严格的帧限制下显著提升了视频VLM的性能。

🔬 方法详解

问题定义：本文旨在解决现有多模态检索方法在视频理解中面临的相关性估计偏差、有限多样性和时间崩溃等问题。这些问题导致在处理长视频时，VLMs的性能显著下降。

核心思路：QSVideo框架的核心思想是通过引入查询条件语义排序器QSRanker，将任意问题转化为适合检索的查询，并在对象、动作和位置维度上进行结构化相关性估计，从而提高检索的准确性和多样性。

技术框架：QSVideo的整体架构包括两个主要模块：QSRanker和QSRetrieval。QSRanker负责将查询重构为检索友好的格式，并进行相关性评估；QSRetrieval则联合优化相关性和多样性，以选择更具信息量的帧。此外，框架还包含针对长视频和流媒体视频的时间对齐策略。

关键创新：QSVideo的主要创新在于引入了查询条件语义排序器QSRanker和针对多样性优化的QSRetrieval模块。这些设计使得QSVideo能够有效解决现有方法的不足，尤其是在长视频和流媒体视频的处理上。

关键设计：在QSRanker中，采用了多维度的相关性估计方法，考虑了对象、动作和位置的结构化信息。QSRetrieval则通过联合损失函数来优化相关性和多样性，确保选择的帧在信息量上更具代表性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在长视频和流媒体视频基准测试中，QSVideo显著提升了视频VLM的性能，尤其是在严格的帧限制下。实验结果表明，QSVideo在相关性和多样性优化方面的联合设计，使得检索的准确性和信息量均有显著提高，具体性能提升幅度未知。

🎯 应用场景

QSVideo的研究成果在视频检索、视频摘要生成和视频内容分析等领域具有广泛的应用潜力。其优化的多模态检索能力能够帮助用户更高效地找到与特定查询相关的视频片段，提升视频理解的准确性和效率。未来，该框架还可能在实时视频监控和智能视频分析等场景中发挥重要作用。

📄 摘要（原文）

The performance of vision-language models (VLMs) in video understanding declines with increasing video duration, as video moments unrelated to the query confuse their language components. Multimodal retrieval has emerged as a critical component of video understanding, addressing this challenge by localizing key visual evidence. However, existing multimodal retrieval methods suffer from biased relevance estimation, limited diversity, and temporal collapse. In this paper, we propose QSVideo, a unified framework that systematically addresses relevance, diversity, and temporal modeling in video retrieval. We first introduce a query-conditioned semantic ranker, QSRanker, which reformulates arbitrary questions into retrieval-friendly queries and estimates structured relevance along object, action, and location dimensions. Building upon this, we design QSRetrieval to jointly optimize relevance and diversity for more informative frame selection. Moreover, we propose temporal alignment strategies tailored for both long and streaming videos to improve evidence recall. Extensive experiments on long and streaming video benchmarks demonstrate that QSVideo greatly enhances video VLM performance under strict frame limit constraints. The code is available at https://github.com/human-analysis/QSVideo.