StreamOPD: A Post-Training Recipe with Spatio-Temporal Cue Gating for Streaming Video Understanding

📄 arXiv: 2608.16320v1 📥 PDF

作者: Keming Wu, Baoyi Wang, Kaichen Zhang, Xiang An, Zuhao Yang, Sudong Wang, Haowei Zhu, Tingxuan Huang, Hongcheng Gao, Bin Wang

分类: cs.CV

发布日期: 2026-08-17

备注: Project page: https://unix-ai-lab.github.io/StreamOPD

💡 一句话要点

提出StreamOPD以解决流媒体视频理解中的记忆限制问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 流媒体视频理解 后训练 在线蒸馏 时空线索门控 性能提升 智能视频分析 深度学习

📋 核心要点

  1. 现有流媒体视频理解方法依赖于推理时的记忆机制，导致性能受限于记忆容量和效率。
  2. 本文提出StreamOPD，通过后训练结合思考模式的在线蒸馏，优化流媒体视频理解的性能。
  3. 实验结果显示，StreamOPD在StreamingBench上性能提升至83.9%，并在OVO-Bench上提高9.1个百分点，表现优异。

📝 摘要（中文）

流媒体视频理解要求对正在展开的视频的因果观察前缀做出直接响应。现有系统通过推理时的记忆、检索和压缩来应对这一挑战，但训练无关的滑动窗口基线已能匹配这些方法。因此，本文提出了一种固定的无记忆最近窗口协议，并探讨了仅通过后训练能达到的效果。通过结合可验证的流媒体视频数据、思考模式的在线蒸馏（OPD）和指令模式的部署，StreamOPD将StreamingBench的性能从77.9%提升至83.9%。此外，提出的时空线索门控（ST-CueGate）方法在多个基准测试中表现优异，展示了该方法的有效性和可重复性。

🔬 方法详解

问题定义：本文旨在解决流媒体视频理解中对因果观察前缀的直接响应问题，现有方法在推理时依赖记忆，导致效率低下和性能限制。

核心思路：论文提出StreamOPD，利用后训练技术，结合思考模式的在线蒸馏（OPD），以优化流媒体视频理解的性能，避免了对推理时记忆的依赖。

技术框架：整体架构包括三个主要模块：可验证的流媒体视频数据、思考模式的在线蒸馏和指令模式的部署。通过这些模块的协同作用，提升了模型在流媒体视频理解中的表现。

关键创新：最重要的技术创新是引入时空线索门控（ST-CueGate），该方法通过聚合教师模型的线索与非线索的可能性比，生成相对响应评分，从而重加权在线蒸馏过程。

关键设计：在设计中，采用了固定的无记忆最近窗口协议，并在蒸馏过程中使用了密集的标记级教师监督，确保了模型在思考模式下的稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，StreamOPD在StreamingBench上将性能提升至83.9%，接近9B教师模型的表现，仅相差0.3个百分点。同时，在OVO-Bench上，性能提升了9.1个百分点，且ST-CueGate在所有基准测试中均表现优于基础模型，展现了显著的改进效果。

🎯 应用场景

该研究的潜在应用领域包括实时视频监控、智能交通系统和在线内容推荐等。通过提升流媒体视频理解的效率和准确性，能够为这些领域提供更智能的解决方案，推动相关技术的发展和应用。

📄 摘要（原文）

Streaming video understanding demands direct responses from the causally observed prefix of an unfolding video. Existing systems add inference-time memory, retrieval, and compression, yet a training-free sliding-window baseline already matches them. We therefore fix a memory-free recent-window protocol and ask how far post-training alone can go. Reinforcement learning with verifiable rewards fits this regime poorly, encouraging long ``think-then-answer'' generations, while on-policy distillation (OPD) supplies dense token-level teacher supervision on student trajectories but is stable only when both models train in thinking mode. These observations lead to \textsc{StreamOPD}, a recipe combining verifiable streaming-video data, thinking-mode OPD, and instruct-mode deployment. It raises StreamingBench from $77.9\%$ to $83.9\%$---within $0.3$ points of the 9B teacher---and improves OVO-Bench excluding its hallucination-detection subtask (HLD) by $9.1$ points under unchanged inference. As a teacher-privilege extension, \emph{Spatio-Temporal CueGate (ST-CueGate)} aggregates cue-versus-no-cue teacher likelihood ratios into a group-relative response score that reweights OPD. It reaches $71.9\%$ on OVO-Bench (excluding HLD) and $64.9\%$ on Video-MME, and is the only variant that stays above the base model on all four benchmarks. Replacing the teacher with a frozen copy of the student's initial policy---on-policy self-distillation---retains most of these gains and lifts HLD to $57.0\%$, above both the untrained student and the 9B teacher, so abstention loss is not intrinsic to the recipe. We provide a transparent and reproducible reference for open-source streaming-video research.