StreamArena: Toward Continuous, Interactive, and Long-Horizon Agentic Streaming Video Understanding
作者: Xichen Zhang, Guankai Li, Yinghao Zhu, Shijian Wang, Sitong Wu, Shaozuo Yu, Meng Chu, Yuan Lu, Jiaya Jia
分类: cs.CV
发布日期: 2026-08-06
💡 一句话要点
提出StreamArena以解决长视频理解中的交互与记忆问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 长视频理解 多模态学习 实时交互 持久记忆 视频理解
📋 核心要点
- 现有方法在处理长视频理解时，往往依赖短时间片段，导致无法有效捕捉长时间跨度内的事件和信息。
- 论文提出StreamMind架构，通过前端和后端的分工，分别处理实时交互和持久记忆的构建，提升了多模态理解能力。
- 实验结果显示，StreamMind在实时感知、历史回顾、主动交互和多模态工具使用等四个能力上均优于现有基线，且查询响应时间显著降低。
📝 摘要（中文）
在连续的真实环境中部署自主多模态代理需要处理无限的音视频流并维持小时级的记忆。然而，现有评估主要依赖短片段和多项选择格式，导致简单基线模型能够轻易匹配复杂流媒体模型。为此，我们提出了StreamArena，一个用于小时级交互式视频理解的基准，包含243个平均时长为88.8分钟的完整视频和3646对严格注释的开放式问答对，评估实时感知、历史回顾、主动交互和多模态工具使用。通过多种系统的评估，揭示了连续交互与长时间多模态理解之间的紧张关系。我们通过StreamMind，一个两层架构，解决了这一问题，前端工作者独立调度处理延迟关键的交互和主动监控，而后端工作者异步构建持久的多模态记忆并执行历史回忆和外部搜索。StreamMind在所有四个能力上超越了现有流媒体基线，并通过重用持久状态降低了查询到回答的延迟。
🔬 方法详解
问题定义：本论文旨在解决在长视频理解中，现有方法无法有效处理长时间跨度内的信息和事件，导致交互性和记忆能力不足的问题。
核心思路：提出StreamMind架构，通过将交互和记忆处理分为前端和后端两个独立模块，前端专注于实时交互，后端负责持久记忆的构建和历史信息的回忆。
技术框架：StreamMind的整体架构分为前端和后端两个部分。前端模块负责处理用户的实时交互请求，后端模块则异步构建持久的多模态记忆，并进行历史信息的回忆和外部信息的搜索。
关键创新：最重要的创新在于将交互和记忆处理分离，使得系统能够在保持实时响应的同时，具备更强的历史信息回忆能力。这一设计与现有方法的集中处理方式形成了鲜明对比。
关键设计：在参数设置上，前端模块采用低延迟的调度策略，后端模块则使用高效的记忆压缩算法，以确保在长时间内保持信息的细节和准确性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，StreamMind在实时感知、历史回顾、主动交互和多模态工具使用等四个能力上均优于现有流媒体基线，性能提升幅度显著，查询到回答的延迟减少，展示了其在长视频理解中的有效性。
🎯 应用场景
该研究的潜在应用领域包括智能监控、自动驾驶、虚拟助手等需要实时处理和理解长时间视频流的场景。通过提升多模态理解能力，能够更好地支持复杂的交互任务和决策过程，具有重要的实际价值和未来影响。
📄 摘要（原文）
Deploying autonomous multimodal agents in continuous, real-world environments requires them to ingest unbounded audio-visual streams and maintain hour-scale memory. However, current evaluations predominantly rely on brief clips and multiple-choice formats. This design allows minimal baselines that process only the last four frames to match or surpass complex streaming models, while answer options also expose language shortcuts. We introduce StreamArena, a benchmark for hour-scale, interactive streaming video understanding. StreamArena contains 243 full-length videos averaging 88.8 minutes and 3,646 rigorously annotated, open-ended question-answer pairs that evaluate real-time perception, historical retrospection, proactive interaction, and multimodal tool utilization. Evaluation across diverse systems exposes a tension between continuous interaction and long-horizon multimodal comprehension. Methods that retain only recent frames cannot recover distant events, methods that convert past observations into text lose visual evidence, and methods that repeatedly compress visual memory struggle to preserve fine-grained details over time. We address this tension with StreamMind, a two-tier architecture that assigns latency-critical interaction and proactive monitoring to independently scheduled frontend workers, while backend workers asynchronously construct persistent multimodal memory and perform historical recall and external search. StreamMind outperforms existing streaming baselines across all four capabilities and reduces query-to-answer latency by reusing persistent state.