LiveStarPro: Proactive Streaming Video Understanding with Hierarchical Memory for Long-Horizon Streams

📄 arXiv: 2606.17798v1 📥 PDF

作者: Zhenyu Yang, Kairui Zhang, Bing Wang, Shengsheng Qian, Changsheng Xu

分类: cs.CV, cs.AI

发布日期: 2026-06-16

🔗 代码/项目: GITHUB

💡 一句话要点

提出LiveStarPro以解决长视频流的主动理解问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长视频理解 主动理解 层次记忆 流式解码 因果注意力 实时响应 多模态学习

📋 核心要点

  1. 现有方法在处理连续视频流时，难以实现实时响应和长期记忆，导致信息遗忘严重。
  2. 论文提出的LiveStarPro通过SVeD、SCAM和TSHM三大组件，优化了视频理解的时效性和准确性。
  3. 实验结果显示，LiveStarPro在语义正确性和时序误差上均有显著提升，并且推理速度大幅加快。

📝 摘要（中文）

尽管视频大型语言模型（Video-LLMs）取得了显著进展，但当前的在线架构仍难以同时处理连续视频流、自动决定响应时机并保持长期上下文记忆。这些障碍削弱了实时响应能力，并导致在长时间交互中严重遗忘。本文提出了LiveStarPro，一个旨在主动理解长视频流的直播助手。LiveStarPro的设计基于三个互补组件：流式验证解码（SVeD）、流式因果注意力掩码（SCAM）和树结构层次记忆（TSHM）。通过大量实验，LiveStarPro在语义正确性上提高了28.9%，在时序错误上减少了18.2%，并在推理速度上实现了1.58倍的加速。

🔬 方法详解

问题定义：论文要解决的是在长时间视频流中，如何实现实时的主动理解和长期上下文记忆。现有方法在处理连续视频流时，往往无法有效地决定何时响应，并且容易遗忘历史信息。

核心思路：论文的核心解决思路是通过引入流式验证解码、流式因果注意力掩码和树结构层次记忆，来增强视频理解的实时性和准确性。这种设计旨在减少对显式静默标记的依赖，同时提升信息的检索效率。

技术框架：整体架构包括三个主要模块：流式验证解码（SVeD）用于确定响应时机，流式因果注意力掩码（SCAM）用于训练过程中实现视频与语言的增量对齐，树结构层次记忆（TSHM）则用于组织和检索历史信息。

关键创新：最重要的技术创新点在于引入了树结构层次记忆（TSHM），该架构能够有效地管理和检索历史信息，解决了传统方法在长时间交互中的遗忘问题。

关键设计：在设计中，SVeD采用单遍困惑度验证来判断响应时机，SCAM则通过增量对齐策略来处理可变长度的视频流，TSHM则通过递归结构来组织历史信息，确保高效检索。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LiveStarPro在语义正确性上提高了28.9%，在时序错误上减少了18.2%。此外，其流式关键值缓存机制使得推理速度相比于未缓存的同一模型提升了1.58倍，展示了显著的性能优势。

🎯 应用场景

该研究的潜在应用领域包括实时视频监控、在线教育、直播互动等场景。通过提升视频理解的实时性和准确性，LiveStarPro能够为用户提供更为智能和高效的交互体验，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Despite the remarkable progress of Video Large Language Models (Video-LLMs), current online architectures still struggle to simultaneously process continuous video streams, decide autonomously when to respond, and preserve long-horizon contextual memory. These obstacles undermine real-time responsiveness and cause severe forgetting throughout prolonged interactions. In this work, we introduce LiveStarPro, a live streaming assistant that is designed for proactive video understanding over long-horizon streams. The design of LiveStarPro rests on three complementary components. The first component is Streaming Verification Decoding (SVeD), an inference framework that identifies the appropriate response timing through single-pass perplexity verification, thereby eliminating the dependency on explicit silence tokens. The second component is Streaming Causal Attention Masks (SCAM), a training strategy that enforces incremental video-language alignment over variable-length streams. The third component is Tree-Structured Hierarchical Memory (TSHM), a recursive memory architecture that organizes evicted historical information into event chains and consequently enables efficient retrieval from effectively unbounded video streams. To facilitate a comprehensive evaluation under realistic online conditions, we further present OmniStarPro, a large-scale benchmark that spans 15 diverse real-world scenarios and that extends to hour-scale streams for the assessment of long-term recall. Extensive experiments demonstrate that LiveStarPro consistently surpasses existing methods, attaining a 28.9% improvement in semantic correctness and an 18.2% reduction in timing error, while its streaming key-value cache further yields a 1.58x inference speedup over the same model without caching. The model and the code are publicly available at https://github.com/sotayang/LiveStarPro.