CAVE: Competence-Aware Visual Boundary Evidence Alignment for Video Temporal Grounding

📄 arXiv: 2608.02078v1 📥 PDF

作者: Wei Jia, Zhicong Lu, Yu Chen, Xiang Wang, Shuai Li, Wenqian Lv, Jiayue Cao, Huaxing liu

分类: cs.CL, cs.CV

发布日期: 2026-08-03

💡 一句话要点

提出CAVE以解决视频时间定位中的视觉证据对齐问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频时间定位 视觉证据对齐 强化学习 边界特定奖励 多模态学习

📋 核心要点

  1. 现有视频时间定位方法主要依赖于最终结果的正确性奖励，忽视了边界相关的视觉证据，导致证据与时间戳之间的不对齐问题。
  2. CAVE方法通过引入边界特定的视觉证据奖励，增强了定位优化，显著改善了视觉证据与时间戳的对齐。
  3. 在多个公共VTG基准上进行的广泛实验表明，CAVE方法有效提升了视频时间定位的性能，验证了其有效性。

📝 摘要（中文）

大型视觉语言模型（LVLMs）在视频时间定位（VTG）中通过强化学习（RL）取得了显著的性能提升。然而，现有方法主要依赖于结果正确性的奖励，仅评估最终预测的时间区间，导致边界相关的视觉证据及其与时间戳预测的对应关系受到不足约束。本文探讨了时间戳预测及其潜在的边界级视觉证据，显示在广泛使用的基准测试中视觉证据与预测时间戳之间存在普遍的不对齐。为了解决这一问题，我们提出了基于能力感知的视觉边界证据对齐（CAVE），通过边界特定的视觉证据奖励增强定位优化，以减轻证据与时间戳的不对齐。我们的实验表明，该方法在多个公共VTG基准上表现出色。

🔬 方法详解

问题定义：本文旨在解决视频时间定位中视觉证据与预测时间戳之间的不对齐问题。现有方法主要依赖于最终结果的正确性奖励，未能充分考虑边界相关的视觉证据，导致定位精度不足。

核心思路：CAVE方法通过引入边界特定的视觉证据奖励，增强了对时间戳预测的优化。通过结构化生成边界特定证据标记，CAVE能够更好地捕捉视觉证据与时间戳之间的关系。

技术框架：CAVE的整体架构包括边界特定证据标记的生成、强化学习阶段的视觉边界证据对齐奖励，以及性能感知的证据监督机制。该框架通过多阶段优化实现视觉证据与时间戳的有效对齐。

关键创新：CAVE的主要创新在于引入边界特定的视觉证据奖励机制，显著改善了现有方法在处理边界信息时的不足，提升了对齐精度。

关键设计：CAVE采用轻量级的监督预热初始化边界特定证据标记，并设计了性能感知的门控机制，以适应不同定位精度的需求，避免过度约束细粒度边界的优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个公共VTG基准上，CAVE方法显著提升了视频时间定位的性能，相较于基线方法，定位精度提高了XX%，验证了其有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括视频监控、智能视频检索和自动视频编辑等。通过提高视频时间定位的准确性，CAVE方法能够为多模态交互系统提供更精确的时间信息，提升用户体验和系统效率。未来，该技术可能在自动化内容生成和智能推荐系统中发挥重要作用。

📄 摘要（原文）

Large vision-language models (LVLMs) have achieved substantial performance gains in Video Temporal Grounding (VTG) through reinforcement learning (RL). However, existing methods primarily rely on outcome correctness rewards that evaluate only the final predicted intervals, leaving boundary-related visual evidence and its correspondence with timestamp predictions insufficiently constrained. In this paper, we delve into timestamp prediction and its underlying boundary-level visual evidence, showing prevalent misalignment between visual evidence and predicted timestamps across widely used benchmarks. To address this issue, we propose Competence-Aware Visual Boundary Evidence Alignment (CAVE), which augments localization optimization with boundary-specific visual evidence rewards to mitigate evidence-timestamp misalignment. Specifically, to explicitly represent the boundary-specific visual evidence, CAVE introduces boundary-specific evidence tokens and initializes their structured generation and distinct boundary semantics through a lightweight supervised warm-up. During RL, the visual boundary evidence alignment reward reinforces the visual attention of special evidence tokens within the ground-truth boundaries, thereby promoting alignment between visual evidence and temporal boundaries. Moreover, performance-aware gating for evidence supervision is designed to adaptively retain evidence guidance for poorly localized groups while reducing it once localization becomes sufficiently accurate to avoid over-constraining fine-grained boundary refinement. Extensive experiments on several public VTG benchmarks demonstrate the effectiveness of our method.