Locate Anything in Videos: Rethinking Efficient Generative Spatio-Temporal Video Grounding

📄 arXiv: 2608.28192v1 📥 PDF

作者: Hanoona Rasheed, Haania Siddiqui, Ming-Hsuan Yang, Fahad Shahbaz Khan, Salman Khan

分类: cs.CV

发布日期: 2026-08-28

💡 一句话要点

提出并行管道解码以解决视频时空定位效率问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时空视频定位 并行解码 多模态学习 视频理解 深度学习

📋 核心要点

  1. 现有的自回归模型在视频时空定位中存在解码延迟和定位错误传播的问题。
  2. 提出并行管道解码（PTD），通过时间块与空间块的并行解码，消除依赖性并提高效率。
  3. 在VidSTG数据集上，PTD显著减少了79倍的管道完成延迟，并提高了92倍的空间解码吞吐量。

📝 摘要（中文）

时空视频定位（STVG）要求模型识别所提及事件发生的时间，并在该时间段内定位目标实体。现有的多模态大语言模型通常以自回归方式序列化密集定位轨迹，导致解码延迟随着管道长度增加而增长，并使定位错误在时间上传播。本文提出了并行管道解码（PTD），一种生成性框架，将定位分解为时间块和时间条件空间块的同时解码。这消除了令牌级和轨迹级的依赖性，将顺序解码深度减少到固定的1 + 1轮，独立于管道长度。通过引入解耦块注意力，PTD在保持对共享视频-查询上下文的访问的同时消除了跨框依赖，并结合了针对时间边界和空间几何的定位感知策略优化。在VidSTG上，PTD将管道完成延迟减少了79倍，空间解码吞吐量提高了92倍，同时提高了定位准确性。

🔬 方法详解

问题定义：本文解决的是时空视频定位中的解码延迟和定位错误传播问题。现有方法在处理长轨迹时，解码效率低下，导致性能下降。

核心思路：论文提出的并行管道解码（PTD）通过将定位过程分解为时间块和空间块的并行解码，消除了令牌级和轨迹级的依赖性，从而提高了解码效率。

技术框架：PTD的整体架构包括时间块的生成和多个时间条件空间块的并行解码。解耦块注意力模块用于保持视频-查询上下文的共享访问，同时消除跨框依赖。

关键创新：PTD的主要创新在于并行解码机制，显著减少了解码深度至固定的1 + 1轮，独立于管道长度，与传统自回归方法相比，极大提高了效率和准确性。

关键设计：在设计中，采用了解耦块注意力以优化空间生成，并结合定位感知策略优化来处理时间边界和空间几何，确保模型的高效性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PTD在VidSTG数据集上将管道完成延迟减少了79倍，空间解码吞吐量提高了92倍，且在定位准确性上也有显著提升。这些结果显示出PTD在视频定位任务中的优越性能，超越了标准自回归解码方法。

🎯 应用场景

该研究的潜在应用领域包括视频理解、视频问答、以及视频物体跟踪等。通过提高视频时空定位的效率和准确性，PTD能够在智能监控、自动驾驶、以及人机交互等多个领域产生实际价值，推动相关技术的发展。

📄 摘要（原文）

Spatio-temporal video grounding (STVG) requires models to identify when a referred event occurs and localize the target entity throughout that interval. Existing multimodal large language models typically serialize dense localization trajectories autoregressively, causing decoding latency to grow with tube length and allowing localization errors to propagate across time. We introduce Parallel Tube Decoding (PTD), a generative formulation that decomposes grounding into a temporal block followed by time-conditioned spatial blocks decoded simultaneously. This removes both token-level and trajectory-level dependencies, reducing the sequential decoding depth to a fixed $1 + 1$ rounds, independent of tube length. To enable parallel spatial generation, we introduce Decoupled Block Attention, which preserves access to shared video-query context while eliminating cross-box dependencies, together with localization-aware policy optimization for temporal boundaries and spatial geometry. On VidSTG, PTD reduces Tube Completion Latency by 79x and increases spatial decoding throughput by 92x over standard autoregressive decoding, while also improving grounding accuracy. With a compact 4B backbone, our model performs favorably well on VidSTG and HC-STVG, and generalizes zero-shot to temporal grounding, grounded VideoQA, and referring video object tracking. Our results show parallel tube generation is an efficient and effective alternative to autoregressive localization in videos.