REZE: Recognition-Based Zero-Shot Extraction for Video Temporal Grounding

📄 arXiv: 2608.04480v1 📥 PDF

作者: Boyang Li, Chenhui Gou, Jianfei Cai

分类: cs.CV

发布日期: 2026-08-05

备注: 18 pages, 7 figures, 13 tables. Appendices included

💡 一句话要点

提出REZE以解决视频时序定位中的零样本提取问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频时序定位 零样本学习 视觉语言模型 时刻检索 高光检测 多模态学习

📋 核心要点

  1. 现有的零样本视频时序定位方法依赖于大型视觉语言模型，导致定位精度因模型设计差异而显著不同。
  2. REZE通过将视频分割为短片段并计算片段级置信度评分，采用确定性算法生成所需的时序输出，避免了对模型的训练依赖。
  3. 在QVHighlights数据集上，REZE的时刻检索mAP从38.23提升至40.32，并在高光检测中达到44.18 mAP，超越了所有训练无关的现有方法。

📝 摘要（中文）

视频时序定位（VTG）任务旨在识别与给定自然语言查询对应的视频时间区间。现有的零样本策略依赖于大型视觉语言模型（VLM）直接生成开始和结束时间戳，结果受模型设计和训练的影响较大，导致不同VLM的定位精度差异显著。为此，本文提出了基于识别的零样本提取方法（REZE），该方法无需训练，通过将视频分割为短片段，询问模型每个片段的置信度评分，并使用确定性算法将评分曲线转换为所需输出。REZE在不同任务输出上具有适应性，能够处理单个和多个时间区间的时刻检索以及高光检测。在QVHighlights数据集上，REZE将最佳报告的训练无关时刻检索mAP从38.23提升至40.32，在高光检测中达到44.18 mAP和73.41 HIT@1，确立了训练无关方法的新状态。REZE在七个骨干网络上进行了评估，结果在Charades-STA和QVHighlights上均优于直接时间戳生成。

🔬 方法详解

问题定义：论文旨在解决视频时序定位任务中的零样本提取问题，现有方法依赖于大型视觉语言模型直接生成时间戳，导致结果受模型设计和训练影响较大，精度差异显著。

核心思路：REZE的核心思路是将视频分割为短片段，利用模型计算每个片段的置信度评分，采用确定性算法将评分曲线转换为时序输出，避免了对模型的训练依赖。

技术框架：REZE的整体架构包括视频分割、片段级置信度计算和确定性算法三个主要模块。首先将视频分割为短片段，然后对每个片段进行置信度评分，最后通过算法将评分结果整合为最终的时间区间。

关键创新：REZE的最大创新在于其训练无关的设计，通过外部的时间聚合方法适应不同的任务输出，显著提升了时序定位的准确性。

关键设计：REZE在参数设置上采用了简单的确定性算法，避免了复杂的损失函数和网络结构设计，使得方法更加高效且易于实现。具体的评分计算和聚合策略是其成功的关键。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

REZE在QVHighlights数据集上实现了44.18 mAP和73.41 HIT@1，显著提升了训练无关时刻检索的性能，mAP从38.23提升至40.32，超越了所有现有的训练无关方法，并在Charades-STA和QVHighlights上均优于直接时间戳生成的结果。

🎯 应用场景

REZE方法在视频分析、监控、内容检索等领域具有广泛的应用潜力。其训练无关的特性使得该方法能够快速适应不同类型的视频时序定位任务，降低了模型训练的成本，提升了实际应用的灵活性和效率。未来，REZE可能会在多模态学习和人机交互等领域发挥更大作用。

📄 摘要（原文）

Video temporal grounding (VTG) refers to the task of identifying the time interval in a video that corresponds to a given natural-language query. A common zero-shot strategy asks a large vision-language model (VLM) to generate the start and end timestamps directly, so the result depends heavily on the design and training of the model, and grounding accuracy differs widely from one VLM to another. We therefore propose REcognition-based Zero-shot Extraction (REZE), a simple training-free method that splits the video into short clips, asks the model for a clip-level confidence score for the query, and uses a deterministic algorithm to convert the resulting score curve into the output required by the task. Because temporal aggregation is performed outside the model, REZE adapts to different task outputs, from single- and multi-interval moment retrieval to highlight detection. On QVHighlights, REZE improves the best reported training-free moment-retrieval mAP from 38.23 to 40.32, while on highlight detection it reaches 44.18 mAP and 73.41 HIT@1, establishing a new state of the art among training-free methods. Its HIT@1 also outperforms all fully supervised SoTAs on the QVHighlights test split. We evaluate REZE on seven backbones from three model families. On Charades-STA and QVHighlights, it outperforms direct timestamp generation in every available comparison. We further observe that with REZE an earlier-generation model can approach the native performance of a newer model in its family.