Towards a Dynamic and Fixed-budget Memory Bank for Efficient Streaming Video Understanding

📄 arXiv: 2606.25658v1 📥 PDF

作者: Baiyang Song, Yuli Lin, Qiong Wu, Tao Chen, Jun Peng, Xiao Chen, Yiyi Zhou, Rongrong Ji

分类: cs.CV

发布日期: 2026-06-24

🔗 代码/项目: GITHUB

💡 一句话要点

提出CausalMem以解决流媒体视频理解中的记忆管理问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 流媒体视频理解 动态记忆库 视觉令牌压缩 多模态大语言模型 在线语义基础

📋 核心要点

  1. 现有的多模态大语言模型在流媒体视频理解中面临处理大量视频帧和未来内容不可预测性的挑战。
  2. 论文提出的CausalMem通过动态视觉记忆更新机制，优化了有限记忆空间内的信息存储和处理。
  3. 实验结果显示，CausalMem在流媒体和离线视频理解基准上分别提升了3.2%和3.0%的平均准确率，并实现了20倍的视觉令牌压缩率。

📝 摘要（中文）

当前，流媒体视频理解对现有的多模态大语言模型（MLLMs）仍然是一个艰巨的任务。这不仅在于处理不断增加的视频帧，还在于未来视频内容和输入指令的不可预测性。本文从构建动态但固定预算的记忆库的角度研究这一任务，提出了一种新颖的无训练方法CausalMem。CausalMem旨在构建动态视觉记忆更新机制，从而在有限的记忆空间内最大化流媒体视频中的信息量，类似于人脑的工作方式。实验结果表明，CausalMem在流媒体和离线设置下均优于现有方法，且在流媒体视频的语义保留方面表现出色。

🔬 方法详解

问题定义：本文旨在解决流媒体视频理解中记忆管理的挑战，现有方法在处理大量视频帧和未来内容不可预测性方面存在不足。

核心思路：CausalMem通过动态更新视觉记忆，最大化有限记忆空间内的信息量，模仿人脑的工作机制。

技术框架：CausalMem的整体架构包括视觉令牌的冗余估计和在线语义基础更新，主要模块包括动态记忆更新和语义建模。

关键创新：CausalMem的核心创新在于其无训练的动态记忆更新机制，与现有方法相比，能够更有效地利用有限的记忆空间。

关键设计：在设计中，CausalMem使用了12k令牌预算来存储长达一小时的流媒体视频，且仅占用约82MB的存储空间。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CausalMem在流媒体和离线视频理解基准上分别提升了3.2%和3.0%的平均准确率，且在流媒体视频的语义保留方面表现优异，使用12k令牌预算实现了超过20倍的视觉令牌压缩率，仅占用约82MB的存储空间。

🎯 应用场景

CausalMem的研究成果在视频监控、在线教育、直播等领域具有广泛的应用潜力。通过优化流媒体视频的理解和处理，能够提升用户体验和信息获取效率，未来可能推动智能视频分析技术的发展。

📄 摘要（原文）

Currently, streaming video understanding is still a daunting task for existing \emph{multimodal large language models} (MLLMs). Its difficulties not only lie in handling the ever-increasing video frames, but also in the unpredictability of future video content and input instructions. In this paper, we study this task from the perspective of constructing a dynamic but fixed-budget memory bank, and propose a novel and training-free approach termed \emph{\textbf{CausalMem}}. CausalMem is dedicated to constructing a dynamic visual memory update mechanism, thereby maximizing the amount of information in streaming video within a limited memory space, much like the human brain. In practice, CausalMem estimates the redundancy of visual tokens and updates the memory bank via an online semantic basis, which models the principal semantics of the observed video stream. To validate CausalMem, we apply it to two representative MLLMs, namely LLaVA-OneVision and Qwen2.5-VL respectively, and conduct extensive experiments on both streaming and offline video understanding benchmarks. The experimental results not only show the great advantages than existing methods under both streaming and offline settings, \emph{e.g.}, $+3.2\%$ and $+3.0\%$ average accuracy gains respectively, but also witness the superior semantic preservation for streaming videos, \emph{e.g.}, using 12$k$ token budgets to memorize hour-long streaming videos, which achieves more than \textbf{20$\times$} visual token compression ratio and only occupies about \textbf{82 MB} storage. \textbf{Our code} is given in \href{https://github.com/hktk07/CausalMem}{CausalMem}.