Reviso: Not All Visual Evidence Deserves Equal Attention in Video Captioning

📄 arXiv: 2611.03602v1 📥 PDF

作者: Tengfei Liu, Yang Shi, Yuran Wang, Yuqi Tang, Yizhuo Jia, Zhuoran Zhang, Qixun Wang, Shujie Li, Xuanyu Zhu, Xinyu Liu, Minghui Guo, Shixuan Liu, Haotian Wang, Yuanxing Zhang, Pengfei Wan

分类: cs.CV

发布日期: 2026-11-02

💡 一句话要点

提出Reviso框架以优化视频字幕生成中的视觉信息关注

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频字幕生成 多模态学习 主动感知 上下文理解 策略优化

📋 核心要点

  1. 现有的视频字幕生成方法往往无法有效区分重要和次要的视觉信息，导致生成的字幕质量不高。
  2. Reviso框架通过构建上下文-焦点-点（CFP）观察计划，优先关注视频中的关键视觉信息，从而提升字幕生成的准确性。
  3. 实验结果显示，Reviso在多个基准测试中表现优异，生成的字幕在视频问答任务中也更具支持性。

📝 摘要（中文）

多模态大语言模型（MLLMs）能够生成详细的视频字幕，但往往过于强调细节而忽视重要的上下文和关键事件。我们提出Reviso，一个自主的视频字幕生成框架，旨在学习如何观察和收集相关的视觉证据。Reviso通过低帧率的全局预览构建层次化的上下文-焦点-点（CFP）观察计划，识别视频上下文，优先考虑关键方面，并定义具体的观察目标和工具。在此计划的指导下，Reviso通过选择性地重新访问时间段并结合工具进行细致检查，进行目标导向的主动感知。实验结果表明，Reviso在四个视频字幕生成基准上超越了现有的开源基线，其生成的字幕在后续视频问答中表现更佳。

🔬 方法详解

问题定义：本论文旨在解决视频字幕生成中视觉信息关注不均的问题。现有方法往往忽视重要的上下文信息，导致生成的字幕质量不理想。

核心思路：Reviso框架的核心思路是通过构建上下文-焦点-点（CFP）观察计划，动态调整对视觉信息的关注程度，以便更好地捕捉视频中的关键事件和信息。

技术框架：Reviso的整体架构包括全局预览、CFP观察计划的构建、目标导向的主动感知和最终字幕生成四个主要模块。首先，通过低帧率的全局预览获取视频的整体信息，然后构建CFP计划，指导后续的观察和信息收集。

关键创新：Reviso的主要创新在于其优先导向的主动观察策略，能够根据视频内容动态调整关注的视觉信息，与传统方法相比，显著提升了字幕生成的质量和相关性。

关键设计：在训练过程中，Reviso采用了基于验证的管道，通过事实验证和教师指导的细化构建高质量的训练轨迹。同时，使用了群体相对策略优化（GRPO）算法，结合关键事实奖励、计划对齐奖励和无效工具调用惩罚等设计，以优化观察策略和字幕质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在四个视频字幕生成基准测试中，Reviso的表现超越了现有的开源基线，生成的字幕在视频问答任务中提供了更强的支持。具体而言，Reviso在字幕质量上提升了X%（具体数据未知），显示出其优越的性能和有效性。

🎯 应用场景

Reviso框架在视频字幕生成领域具有广泛的应用潜力，能够提升视频内容的理解和表达效果。其优先导向的观察策略不仅适用于字幕生成，还可扩展到视频分析、智能监控和人机交互等多个领域，未来可能推动相关技术的发展与应用。

📄 摘要（原文）

Multimodal large language models (MLLMs) can generate detailed video captions, yet they may overemphasize minor details while overlooking essential context and key events. We argue that not all visual evidence deserves equal attention, as the importance of visual information depends on the content of each video. Motivated by this observation, we propose Reviso, an agentic video captioning framework that learns what to observe and how to gather relevant visual evidence. From a low-frame-rate global preview, Reviso constructs a hierarchical Context--Focus--Points (CFP) observation plan that identifies the video context, prioritizes key aspects, and defines concrete observation targets and corresponding tools. Guided by this plan, Reviso performs goal-directed active perception by selectively revisiting temporal segments and combining tools for fine-grained inspection. It interprets the acquired evidence, updates its plan as needed, and integrates global and local information to generate the final caption. To learn this observation strategy, we develop a verification-guided pipeline that constructs high-quality training trajectories through factual verification and teacher-guided refinement. We further train Reviso using Group Relative Policy Optimization (GRPO), incorporating a key-fact reward for caption quality, a Plan Alignment Reward (PAR) for identifying important observation targets, and an Unproductive Tool-Call Penalty (UTCP) that adjusts observation-cost penalties based on caption quality. Experiments across four video captioning benchmarks show that Reviso outperforms the evaluated open-source baselines, while its generated captions better support downstream video question answering. These findings highlight the effectiveness and potential of priority-guided active observation for video captioning.