ObjectStream: Latent Objects as Memory Anchors for Streaming Video Understanding

📄 arXiv: 2607.28312v1 📥 PDF

作者: Mingkang Dong, Muxin Pu, Jie Li, Bohan Guo, Songruo Chen, Bin Ren, Xu Zheng, Chen Zhao, Tianwen Qian, Mohamed Elhoseiny, Yuqian Fu

分类: cs.CV, cs.AI

发布日期: 2026-07-30

备注: 9 pages

💡 一句话要点

提出ObjectStream以解决流媒体视频理解中的记忆管理问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 流媒体视频理解 潜在对象 记忆锚点 视频大型语言模型 视觉证据管理 高效内存管理 实时视觉感知

📋 核心要点

  1. 现有流媒体视频理解方法在管理视觉上下文时，往往忽视了对象的持续性和演变，导致信息组织不够高效。
  2. ObjectStream框架通过将潜在对象作为记忆锚点，直接从视频表示中提取对象并维护其历史，显著提升了视频理解的效率。
  3. 在在线流媒体评估中，ObjectStream使Qwen2.5-VL-7B在OVO-Bench实时视觉感知上提高了10.0分，同时减少了约50%的GPU内存和TTFT。

📝 摘要（中文）

流媒体视频理解要求模型在未来问题未知的情况下持续保留有用的视觉证据。现有方法主要根据标记重要性、时间冗余或分段相关性管理不断增长的视觉上下文，但很少围绕持续和演变的对象组织证据。为此，本文提出ObjectStream，一个无训练框架，将潜在对象视为流媒体视频理解的记忆锚点。ObjectStream直接从冻结的Video-LLM表示中诱导空间一致的潜在对象，将其跨帧链接为持久锚点，并在有限的内存预算下维护其历史，而无需外部对象检测器或分割模型。在这些锚点的基础上，ObjectStream保留三种互补形式的证据：持久对象历史、瞬态对象变化和最近视觉上下文。这一设计使现有的视频大型语言模型能够推理对象身份、交互和状态变化，同时保持底层模型不变。大量实验表明其有效性和效率。

🔬 方法详解

问题定义：本文旨在解决流媒体视频理解中如何有效管理和组织视觉证据的问题。现有方法往往依赖于标记重要性和时间冗余，缺乏对持续对象的关注，导致信息处理效率低下。

核心思路：ObjectStream框架的核心思想是将潜在对象视为记忆锚点，通过直接从视频表示中提取和链接这些对象，来组织和维护视觉证据。这种设计能够在不改变底层模型的情况下，增强模型对对象身份和状态变化的推理能力。

技术框架：ObjectStream的整体架构包括三个主要模块：潜在对象提取、对象链接和历史维护。首先，从冻结的Video-LLM表示中诱导出空间一致的潜在对象；其次，将这些对象跨帧链接为持久锚点；最后，在有限的内存预算下维护对象的历史信息。

关键创新：ObjectStream的主要创新在于其无训练的框架设计，能够在不依赖外部检测器或分割模型的情况下，直接从视频中提取和管理潜在对象。这一方法与传统的基于标记的处理方式有本质区别。

关键设计：在关键设计方面，ObjectStream采用了高效的内存管理策略，确保在保持对象历史的同时，能够有效地处理瞬态变化和最近的视觉上下文。此外，设计中还考虑了如何在有限的内存预算下优化对象的存储和访问。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，ObjectStream在在线流媒体评估中使Qwen2.5-VL-7B的性能提升了10.0分，同时在离线长视频基准测试中超越了全标记基线，且丢弃了82.5%的视觉标记，显示出其在效率和效果上的显著优势。

🎯 应用场景

该研究的潜在应用领域包括实时视频监控、自动驾驶、视频内容分析等。通过有效管理流媒体视频中的视觉信息，ObjectStream能够提升这些领域中模型的响应速度和准确性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Streaming video understanding requires models to continuously retain useful visual evidence before future questions are known. Existing approaches primarily manage the growing visual context according to token importance, temporal redundancy, or segment-level relevance, but rarely organize evidence around objects that persist and evolve over time. Thus, in this paper, we introduce ObjectStream, a training-free framework that treats latent objects as memory anchors for streaming video understanding. ObjectStream induces spatially coherent latent objects directly from frozen Video-LLM representations, links them across frames into persistent anchors, and maintains their histories under a bounded memory budget, without requiring external object detectors or segmentation models. Built on these anchors, ObjectStream preserves three complementary forms of evidence: persistent object histories, transient object changes, and recent visual context. This design enables existing Video Large Language Models (Video-LLMs) to reason over object identities, interactions, and state changes while leaving the underlying model unchanged. Extensive experiments on online streaming and offline long-video benchmarks demonstrate both effectiveness and efficiency. In online streaming evaluation, ObjectStream improves Qwen2.5-VL-7B by 10.0 points on OVO-Bench Real-Time Visual Perception, while reducing peak GPU mem-ory and TTFT by approximately 50%. On offline long-video benchmarks, it surpasses the full-token baseline while discarding 82.5% of visual tokens. These results highlight latent objects as a practical and effective organizing principle for compact streaming video memory.