DART: Difficulty-Adaptive Routing for Zero-Shot Video Temporal Grounding

📄 arXiv: 2607.00672v1 📥 PDF

作者: Zhengbo Zhang, Mark He Huang, Zhigang Tu, Ming-Hsuan Yang

分类: cs.CV

发布日期: 2026-07-01

备注: Accepted to the European Conference on Computer Vision (ECCV) 2026

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出DART以解决零-shot视频时间定位中的推理差距问题

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)

关键词: 零-shot学习 视频时间定位 多模态学习 困难自适应路由 结构化推理

📋 核心要点

  1. 现有的零-shot视频时间定位方法在处理复杂的多阶段查询时存在推理差距，难以理解时间顺序和因果关系。
  2. DART通过困难自适应路由和结构化推理相结合，采用查询条件的确定性点过程（DPP）来选择关键帧和指示困难程度。
  3. 在Charades-STA和ActivityNet Captions上，DART在零-shot性能上达到了最先进水平，mIoU提升3.5个百分点，且使用帧数显著减少。

📝 摘要（中文）

零-shot视频时间定位（VTG）旨在从自然语言查询中定位未剪辑视频中的事件，而无需特定任务的训练。现有方法依赖于帧-查询特征匹配，虽然对简单事件有效，但在处理复杂的多阶段查询时面临困难，尤其是在理解时间顺序和因果结构方面。为了解决这一问题，本文提出了DART（困难自适应路由），通过将困难感知路由与大型视觉-语言模型中的结构化推理相结合，弥补了这一推理差距。DART在Charades-STA和ActivityNet Captions数据集上实现了最先进的零-shot性能，mIoU提升幅度可达3.5个百分点，同时使用的帧数减少超过7倍。

🔬 方法详解

问题定义：本文旨在解决零-shot视频时间定位中的推理差距问题，现有方法在处理复杂查询时表现不佳，尤其是在时间顺序和因果结构的理解上存在困难。

核心思路：DART通过结合困难感知路由和结构化推理来弥补推理差距，采用查询条件的确定性点过程（DPP）选择多样化的关键帧，并提供困难指示。简单查询直接预测，复杂查询则通过时间标记提示进行分解。

技术框架：DART的整体架构包括两个主要路径：快速路径用于简单查询的直接预测，慢速路径则通过时间标记提示进行全局事件分析、逐帧时间角色注释和边界提取。

关键创新：DART的主要创新在于引入了困难感知路由机制和查询条件的DPP，能够有效选择与查询相关的关键帧，并根据困难程度调整处理路径，与现有方法相比，显著提升了复杂查询的处理能力。

关键设计：DART的设计中，DPP用于选择关键帧，使用谱熵作为困难指标，简单查询通过快速路径处理，而复杂查询则通过慢速路径进行详细分析，确保了对复杂事件的准确定位。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

DART在Charades-STA和ActivityNet Captions数据集上实现了最先进的零-shot性能，mIoU提升幅度高达3.5个百分点，相较于最强基线，使用的帧数减少超过7倍，显示出其在复杂查询处理上的显著优势。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在视频监控、智能视频分析和人机交互等领域。通过提高复杂事件的定位能力，DART能够为自动化视频理解提供更强大的支持，推动相关技术的发展和应用。未来，DART的框架也可以扩展到其他多模态任务中，提升其适用性和灵活性。

📄 摘要（原文）

Zero-shot video temporal grounding (VTG) localizes events in untrimmed videos from natural language queries without task-specific training. Existing methods rely on frame-query feature matching, which suffices for simple events but struggles with complex multi-stage queries that require understanding temporal ordering and causal structure -- a disparity we call the reasoning gap. We propose DART (Difficulty-Adaptive Routing for Temporal Grounding), which bridges this gap by coupling difficulty-aware routing with structured reasoning in large vision-language models. A query-conditioned Determinantal Point Process (DPP) serves a dual role: selecting diverse, query-relevant keyframes as temporal evidence, and providing spectral entropy as a difficulty indicator. Simple queries are routed to a Fast path for direct prediction, while complex queries follow a Slow path with Temporal Markup Prompting, which decomposes localization into global event analysis, per-frame temporal role annotation, and boundary extraction. On Charades-STA and ActivityNet Captions, DART achieves state-of-the-art zero-shot performance across both identically distributed and multiple out-of-distribution settings, improving mIoU by up to 3.5 points over the strongest baseline while using over 7 times fewer frames. The project homepage is available at https://dart-vtg.github.io/.