ShallowStream: Index Shallow then Answer Deep for Streaming Video Understanding

📄 arXiv: 2609.02780v1 📥 PDF

作者: Jitai Hao, Ke Yang, Qiang Huang, Jun Yu

分类: cs.CV, cs.CL

发布日期: 2026-09-02

备注: Work in Progress

🔗 代码/项目: GITHUB

💡 一句话要点

提出ShallowStream以解决流媒体视频理解中的计算开销问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 流媒体视频理解 多模态大语言模型 计算开销 实时索引 注意力机制

📋 核心要点

  1. 现有方法在处理流媒体视频时，计算开销巨大，尤其是全深度MLLM的重复执行导致KV缓存迅速增长。
  2. ShallowStream框架通过利用MLLM的浅层进行帧编码和索引构建，减少了计算开销并提高了效率。
  3. 实验表明，ShallowStream在性能上与现有最强方法相当，同时显著降低了延迟，提升了流媒体处理能力。

📝 摘要（中文）

流媒体视频理解是现实应用中的关键能力，包括自主驾驶、工业监控和可穿戴助手等。然而，使用多模态大语言模型（MLLMs）处理连续视频流的计算成本极高。现有方法多集中于视觉令牌修剪、合并和量化等手段，忽视了模型深度的维度。为了解决这一挑战，本文提出了ShallowStream框架，利用MLLM的浅层同时进行帧编码和索引构建。ShallowStream在流处理过程中保持轻量级索引，并在查询时利用浅层生成的注意力分数进行精确的证据检索。实验结果表明，ShallowStream在性能上与现有最强流媒体方法相当，同时将每帧预填充延迟和10秒端到端延迟分别降低了52.1倍和11.9倍。

🔬 方法详解

问题定义：本文旨在解决流媒体视频理解中计算开销过大的问题，现有方法在处理连续视频流时，重复执行全深度MLLM的预填充过程导致了显著的计算负担和KV缓存的快速增长。

核心思路：ShallowStream框架的核心思想是利用MLLM的浅层进行帧编码和索引构建，从而在流处理过程中保持轻量级索引，减少计算开销。通过这种设计，ShallowStream能够在查询时有效利用浅层生成的注意力分数进行证据检索。

技术框架：ShallowStream的整体架构包括两个主要模块：一是流处理模块，负责实时帧的编码和索引构建；二是查询模块，利用浅层的注意力分数进行上下文帧的评分和选择。

关键创新：ShallowStream的主要创新在于其利用MLLM的浅层进行实时索引构建和帧编码，这与现有方法的全深度执行方式形成了本质区别，显著降低了计算开销。

关键设计：在设计中，ShallowStream保持了一个始终在线的轻量级索引，使用浅层的KV缓存，并在查询时采用多样性感知选择策略，以确保检索到的证据既精准又全面。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

ShallowStream在实验中表现出色，其每帧预填充延迟和10秒端到端延迟分别降低了52.1倍和11.9倍，性能与现有最强流媒体方法相当，显示出显著的效率提升。

🎯 应用场景

ShallowStream框架具有广泛的应用潜力，特别是在自主驾驶、工业监控、安防监控和可穿戴设备等领域。其高效的流媒体视频理解能力能够提升实时决策的准确性和响应速度，具有重要的实际价值和未来影响。

📄 摘要（原文）

Streaming video understanding is a critical capability for real-world applications, including embodied intelligence, autonomous driving, industrial monitoring, surveillance and early warning, and wearable assistants. However, processing continuous video streams with multimodal large language models (MLLMs) is computationally expensive. Existing efforts have explored reducing streaming overhead through visual token pruning, token merging, quantization, on-demand frame retrieval, and context offloading. However, most existing methods overlook the dimension of model depth. Repeatedly executing full-depth MLLM prefill over incoming frames is prohibitively expensive, incurring substantial computational overhead and causing the KV cache to grow at a rate directly proportional to the prefill depth. To address these challenges, we propose ShallowStream, a novel framework that leverages the shallow layers of an MLLM to simultaneously perform frame encoding and retrieval index building. During stream processing, ShallowStream maintains an always-on lightweight index using the KV cache of shallow layers. During query-time answering, we leverage the attention scores generated by the shallow layers to score context frames and employ a diversity-aware selection strategy to retrieve precise and comprehensive evidence. ShallowStream achieves performance on par with the strongest existing streaming methods, while reducing per-frame prefill latency and 10-second end-to-end latency by up to 52.1x and 11.9x, respectively. Our code is available at https://github.com/CURRENTF/ShallowStream.