StreamFlow: Dynamic Memory Flows for Streaming Video Understanding

📄 arXiv: 2608.10949v1 📥 PDF

作者: Muxin Fu, Yifan Zhang, Wentao Zhang, Fangming Guo, Qian Chen, Guibin Zhang, Shuicheng Yan, Bo An

分类: cs.CV, cs.CL

发布日期: 2026-08-11

💡 一句话要点

提出StreamFlow以解决流媒体视频理解中的记忆和效率问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 流媒体视频理解 动态记忆 多模态大语言模型 视觉潜变量 注意力机制

📋 核心要点

  1. 现有流媒体视频理解方法在处理动态视频流时面临因果性和内存限制的挑战，导致效率低下。
  2. 本文提出StreamFlow框架，通过动态按需访问历史视觉信息，解决了时间冗余和刚性访问的问题。
  3. 实验结果显示，StreamFlow在StreamingBench上取得67.73%的准确率，相较于基线提升了视觉注意力得分59.1%，并显著降低了延迟和内存使用。

📝 摘要（中文）

流媒体视频理解需要多模态大语言模型（MLLMs）在严格因果关系和有限内存下保留相关证据。然而，现有方法存在局限性：基于模型的方法需要频繁更新骨干网络，而基于记忆的方法则在处理时间冗余内容时消耗大量视觉编码计算，并依赖于对视觉历史的刚性访问。为了解决这些问题，本文提出了StreamFlow，一个高效的视觉记忆框架，能够动态按需访问历史视觉信息。StreamFlow结合了轻量级的动态感知中期记忆，过滤时间冗余，并与潜在的长期记忆相结合，将历史视频内容整合为可供后续推理访问的视觉潜变量。生成过程中，当模型对视觉证据的依赖减弱时，采用注意力引导的检索机制注入相关视觉潜变量。StreamFlow在StreamingBench上达到了67.73%的整体准确率，并在离线长视频基准上表现出色。

🔬 方法详解

问题定义：本文旨在解决流媒体视频理解中因果性和内存限制带来的挑战。现有方法在处理动态视频流时，往往需要频繁更新模型或在视觉编码上消耗大量计算资源，导致效率低下。

核心思路：StreamFlow框架的核心思想是通过动态按需访问历史视觉信息，结合中期和长期记忆，过滤冗余信息，从而提高推理效率和准确性。

技术框架：StreamFlow的整体架构包括两个主要模块：动态感知中期记忆和潜在长期记忆。中期记忆负责在视觉编码前过滤时间冗余，而长期记忆则将历史视频内容整合为可供后续推理的视觉潜变量。

关键创新：StreamFlow的主要创新在于其动态记忆机制，能够在生成过程中根据模型对视觉证据的依赖程度，灵活检索相关的视觉潜变量。这一机制显著提高了模型的推理效率和准确性。

关键设计：在设计中，StreamFlow使用了轻量级的中期记忆结构，减少了计算开销，并通过注意力引导的检索机制优化了信息的访问方式。具体的参数设置和损失函数设计尚未详细披露。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，StreamFlow在StreamingBench上达到了67.73%的整体准确率，相较于传统方法，视觉注意力得分提升了59.1%。此外，StreamFlow在降低端到端延迟和峰值内存使用方面分别减少了50.4%和21.1%，展现出优越的性能。

🎯 应用场景

StreamFlow的研究成果具有广泛的应用潜力，尤其是在实时视频监控、自动驾驶、智能家居等领域。通过提高流媒体视频理解的效率和准确性，该框架能够为相关应用提供更为可靠的支持，推动智能视觉系统的发展。

📄 摘要（原文）

Streaming video understanding requires multimodal large language models (MLLMs) to preserve relevant evidence from continuously evolving streams under strict causality and bounded memory. Yet existing paradigms remain limited: model-based methods require intrusive backbone updates, while memory-based methods expend substantial visual-encoding computation on temporally redundant content and rely on rigid access to visual history. To address these limitations, we introduce StreamFlow, an efficient visual memory framework that enables dynamic, on-demand access to historical visual information. StreamFlow combines a lightweight, dynamics-aware mid-term memory that filters temporal redundancy before visual encoding with a latent long-term memory that consolidates historical video content into visual latents accessible to subsequent reasoning. During generation, an attention-guided retrieval mechanism injects relevant visual latents when the model's reliance on visual evidence weakens. StreamFlow achieves state-of-the-art streaming video understanding performance, reaching 67.73% overall accuracy on StreamingBench, while also delivering strong performance on offline long-video benchmarks. Relative to the vanilla setting, it improves the visual attention score (VAS) by 59.1% while reducing end-to-end latency and peak memory by 50.4% and 21.1%, respectively, enabling more visually grounded and efficient reasoning.