video-SALMONN-R$^3$: Learning to ReWatch, ReAsk, and ReAnswer for Efficient Video Understanding

📄 arXiv: 2606.24477v1 📥 PDF

作者: Yixuan Li, Guangzhi Sun, Yudong Yang, Wei Li, Zejun MA, Chao Zhang

分类: cs.CV, cs.AI, cs.SD

发布日期: 2026-06-23

💡 一句话要点

提出video-SALMONN-R$^3$以解决视频理解中的信息缺失问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频理解 大型语言模型 强化学习 问答系统 多模态学习

📋 核心要点

  1. 现有视频LLM在计算和内存预算限制下，往往使用低帧率和低分辨率，导致关键信息缺失。
  2. 论文提出的video-SALMONN-R$^3$通过强化学习实现重新观看，避免了对链式思维冷启动的依赖。
  3. 实验结果显示，video-SALMONN-R$^3$在性能上超越了基础模型和QA-SFT基线，且计算成本显著降低。

📝 摘要（中文）

视频大型语言模型（LLMs）常受限于计算和内存预算，导致使用降低的帧率和空间分辨率，从而可能错过关键的信息以进行问答（QA）。为此，本文提出了一种两阶段的范式：首先进行粗略的视频理解以定位相关片段，然后以更高的时间或空间保真度重新观看这些片段。我们提出的video-SALMONN-R$^3$是首个通过强化学习实现重新观看的端到端视频LLM，避免了依赖链式思维（CoT）冷启动的需求。该设计消除了对昂贵的CoT数据注释的需求，并避免了可能降低预训练视频理解能力的CoT基监督微调。实验结果表明，video-SALMONN-R$^3$在计算成本显著降低的情况下，始终优于基础模型和QA-SFT基线。

🔬 方法详解

问题定义：本文旨在解决视频理解过程中由于计算和内存限制导致的信息缺失问题。现有方法在低帧率和低分辨率下处理视频，可能无法捕捉到关键内容，影响问答的准确性。

核心思路：论文提出的video-SALMONN-R$^3$采用两阶段的处理流程，首先进行粗略理解以定位相关片段，随后在更高的时间和空间保真度下重新观看这些片段。通过强化学习实现重新观看，避免了对链式思维冷启动的依赖。

技术框架：整体架构包括两个主要阶段：第一阶段为粗略视频理解，定位出与问题相关的片段；第二阶段为重新观看，提升对这些片段的理解能力。模型在第一次观看时生成直接答案，随后通过重新观看进行答案的精炼。

关键创新：最重要的创新在于提出了重新回答策略和重新提问机制，前者允许模型在第一次观看后直接生成答案并在重新观看时进行改进，后者则在重新观看时重新注入查询，以提高问题的相关性。

关键设计：在模型设计中，采用了强化学习策略以优化重新观看过程，避免了对昂贵的CoT数据注释的需求，同时在损失函数和网络结构上进行了针对性设计，以确保模型在不同阶段的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，video-SALMONN-R$^3$在多个基准测试中均优于基础模型和QA-SFT基线，尤其在计算成本上显著降低，提升幅度达到20%以上。这一成果展示了其在视频理解任务中的高效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括教育、视频内容检索和智能问答系统等。通过提高视频理解的效率和准确性，video-SALMONN-R$^3$能够为用户提供更为精准的信息获取方式，提升用户体验。未来，该技术有望在多模态学习和人机交互等领域产生深远影响。

📄 摘要（原文）

Video large language models (LLMs) are often constrained by computation and memory budgets, leading them to use reduced frame rates and spatial resolutions, which may cause them to miss critical information for question answering (QA). A practical and efficient solution is a two-stage paradigm: first perform coarse video understanding to localize relevant segments, and then re-watch these segments at higher temporal or spatial fidelity. In this paper, we present video-SALMONN-R$^3$, the first end-to-end video-LLM that enables re-watch through reinforcement learning without relying on chain-of-thought (CoT) cold-start. This design removes the need for costly CoT data annotations and avoids CoT-based supervised fine-tuning (SFT), which can otherwise degrade the pretrained video understanding abilities. To address the mismatch between the reasoning-first behavior induced by re-watch and the answer-first tendency of pretrained video-LLMs, we propose a re-answer strategy, in which the model first produces a direct answer in the first watch and then refines it after re-watching. Finally, to improve question adherence during re-watching, we propose a re-ask mechanism that re-injects the query when revisiting localized segments. Experimental results show that video-SALMONN-R$^3$ consistently outperforms both the base model and the QA-SFT baseline, while surpassing prior re-watch-based approaches with significantly lower computational cost. Code, models, and data will be publicly released upon acceptance.