TempoGround: State-Aware Streaming Visual Grounding with Vision-Language Models

📄 arXiv: 2609.02359v1 📥 PDF

作者: Leqian Ding, Junning Qiu, Manwen Yang, Yu Guo, Fei Wang

分类: cs.CV

发布日期: 2026-09-02

💡 一句话要点

提出TempoGround以解决流媒体视觉定位中的一致性问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉定位 流媒体输入 跨帧对应 状态感知 多模态学习

📋 核心要点

  1. 现有视觉定位方法在流媒体输入下存在身份漂移和跨帧不一致等问题，导致定位精度下降。
  2. TempoGround通过检测跨帧对象对应关系和建模对象状态，解决了流媒体输入下的视觉定位问题。
  3. 实验结果表明，TempoGround在多个基准测试中显著提升了视觉定位的准确性和一致性。

📝 摘要（中文）

视觉定位将语言指代映射到空间目标，是开放词汇感知的核心。现有方法在单帧和视频基础的视觉定位上取得了显著进展，但在流媒体输入下仍面临身份漂移、跨帧不一致和部分遮挡下的脆弱定位问题。为了解决这些问题，本文提出了TempoGround，一个原生于视觉语言模型的框架，能够检测跨帧对象对应关系并显式建模对象存在状态，从而在流媒体输入下实现准确且一致的视觉定位。关键在于通过状态感知的跨帧对应关系引导的课程预测机制，TempoGround解决了2D实例关联，预测每个对象是新进入、继续存在还是离开视野，并将其解码为2D框，最终提升为相机帧的3D框。此外，本文引入了流媒体定位强化（SGR），通过可验证的定位、身份和一致性奖励来优化TempoGround，增强持久定位和时间一致性预测。经过大规模数据训练，TempoGround在多个挑战基准上评估流媒体输入下的视觉定位，结果显示其在F1_2D@0.5和F1_2D@0.95上平均提升4.4和0.5，在F1_3D@0.25和AP_3D上分别提升6.2和7.5，证明了TempoGround为流媒体输入下的视觉定位提供了实用基础。

🔬 方法详解

问题定义：本文旨在解决流媒体输入下视觉定位中的身份漂移、跨帧不一致和部分遮挡导致的脆弱定位问题。现有方法在这些场景中表现不佳，无法保持稳定的对象识别和定位。

核心思路：TempoGround的核心思路是通过状态感知的跨帧对应关系来引导课程预测机制，从而实现准确的2D实例关联和对象状态预测。这种设计能够有效地处理流媒体输入中的动态变化。

技术框架：TempoGround的整体架构包括多个主要模块：首先是2D实例关联模块，接着是对象状态预测模块，最后是3D框解码模块。这些模块协同工作，实现从2D到3D的定位转换。

关键创新：TempoGround的关键创新在于引入了状态感知的跨帧对应关系和流媒体定位强化（SGR）机制。这与现有方法的主要区别在于，TempoGround不仅关注单帧的定位，还考虑了对象在时间维度上的状态变化。

关键设计：在关键设计方面，TempoGround采用了三阶段的训练策略，结合了可验证的损失函数，确保了定位、身份和一致性奖励的优化。此外，网络结构经过精心设计，以适应流媒体输入的特性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

TempoGround在多个挑战基准上表现出色，F1_2D@0.5和F1_2D@0.95分别提升了4.4和0.5，F1_3D@0.25和AP_3D分别提升了6.2和7.5，显示出其在流媒体视觉定位中的显著优势。

🎯 应用场景

TempoGround的研究成果在多个领域具有潜在应用价值，包括智能监控、自动驾驶、增强现实等。通过提高流媒体输入下的视觉定位精度，该技术能够为实时场景理解和人机交互提供更可靠的支持，推动相关领域的发展。

📄 摘要（原文）

Visual grounding maps language referents to spatial targets and is central to open-vocabulary perception with vision-language models. Existing methods have made substantial progress on single-frame and video-based visual grounding, yet under streaming inputs they still suffer from identity drift, cross-frame inconsistency, and fragile localization under partial occlusion. To address these issues, we present TempoGround, a VLM-native framework that detects cross-frame object correspondence and explicitly models object presence states, thereby enabling accurate and consistent visual grounding under streaming inputs. The key is a curriculum prediction mechanism guided by state-aware cross-frame correspondence: TempoGround resolves 2D instance association, predicts whether each object newly enters, continues in, or leaves the view, decodes the 2D box, and then lifts it to a camera-frame 3D box. As token-level supervision alone cannot capture the geometric objectives of streaming grounding, we further introduce Streaming Grounding Reinforcement (SGR), which optimizes TempoGround with verifiable Grounding, Identity, and Consistency rewards, jointly reinforcing persistent localization and temporally consistent predictions. We carefully design a three-stage training strategy and train TempoGround on large-scale data. We evaluate visual grounding under causally streaming inputs on multiple challenging benchmarks: TempoGround improves F1_2D@0.5 and F1_2D@0.95 by 4.4 and 0.5 on average, and F1_3D@0.25 and AP_3D by 6.2 and 7.5, respectively. These results demonstrate that TempoGround provides a practical foundation for visual grounding under streaming inputs.