VideoLVR: Latent Visual Reasoning over Grounded Video Evidence

📄 arXiv: 2610.37613v1 📥 PDF

作者: Shilong Li, Xingyuan Bu, Hao Shi, Yun Xing, Weixin Feng, Qiangpeng Yang, Shilei Wen

分类: cs.CV, cs.AI

发布日期: 2026-10-27

备注: 13 pages

💡 一句话要点

提出VideoLVR以解决视频理解中的视觉遗忘问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频理解 多模态大语言模型 视觉推理 潜在视觉证据 强化学习 视觉标记预测 细粒度证据

📋 核心要点

  1. 现有方法在视频理解中面临视觉遗忘问题，无法有效回溯相关视觉证据。
  2. 本文提出VideoLVR，通过构建潜在视觉证据来支持推理步骤，解决了视觉遗忘问题。
  3. 实验结果显示，VideoLVR在多个基准测试中表现优异，特别是在需要细粒度视觉证据的任务上。

📝 摘要（中文）

链式推理在多模态大语言模型（MLLMs）中显著提升了视频理解能力。然而，基于语言的推理轨迹未能为模型提供可靠的视觉证据回溯机制，导致视觉遗忘，影响视频内容推理。现有方法通过文本坐标或重新插入裁剪区域来维持视觉基础，但存在局限。为此，本文提出VideoLVR，通过在相关视频时刻构建潜在视觉证据，为中间推理步骤提供视觉支持。我们引入视觉标记预测目标，将视觉标记重建形式化为对输入视频词汇的预测，从而在同一标记预测框架内统一视觉证据重建与文本生成。实验表明，VideoLVR在多个视频基准测试中表现出色，尤其是在需要细粒度视觉证据的任务上。

🔬 方法详解

问题定义：本文旨在解决多模态大语言模型在视频理解中因视觉遗忘导致的推理能力下降问题。现有方法依赖文本坐标或裁剪区域，无法有效维持视觉信息的连贯性。

核心思路：VideoLVR通过在相关视频时刻构建潜在视觉证据，提供视觉支持，增强推理过程的连贯性和准确性。这种设计使得模型能够在推理过程中有效回溯视觉信息。

技术框架：整体架构包括潜在视觉证据生成模块和视觉标记预测模块。前者负责从视频中提取相关视觉信息，后者则将视觉标记重建与文本生成整合在同一框架内。

关键创新：最重要的创新在于引入视觉标记预测目标，将视觉证据重建与文本生成统一在同一预测框架中，解决了现有方法中视觉信息与文本信息分离的问题。

关键设计：在损失函数设计上，采用了视觉标记重建的预测损失，并通过强化学习优化策略，将采样的视觉标记视为动作，与文本标记共同优化。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，VideoLVR在多个视频基准测试中显著提升了模型性能，尤其是在需要细粒度视觉证据的任务上，相较于基线方法，性能提升幅度达到XX%。

🎯 应用场景

该研究在视频理解、智能监控、自动驾驶等领域具有广泛的应用潜力。通过提升模型对视频内容的理解能力，VideoLVR能够为多模态交互系统提供更为精准的视觉推理支持，推动相关技术的发展与应用。

📄 摘要（原文）

Chain-of-thought reasoning has substantially advanced video understanding in multimodal large language models (MLLMs). However, language-based reasoning traces do not provide a reliable mechanism for models to revisit relevant visual evidence, leading to visual forgetting and impairing their ability to reason over video content. Existing approaches maintain visual grounding during reasoning in two main ways: they either refer to evidence using textual coordinates, which specify symbolic locations rather than the visual content itself, or reinsert cropped regions or frames into the multimodal context, preserving visual details at the cost of substantial context expansion. To address these limitations, we introduce VideoLVR, which constructs latent visual evidence from local regions at relevant video moments, thereby providing visual support for intermediate reasoning steps. To supervise latent visual evidence generation, we introduce a visual token prediction objective that formulates visual token reconstruction as prediction over a vocabulary derived from the input video, thereby unifying visual evidence reconstruction and text generation within the same token prediction framework. This shared prediction framework enables MLLMs to reason over interleaved text tokens and latent visual states while integrating evidence from different moments. We further extend VideoLVR to reinforcement learning by treating sampled visual tokens as actions alongside text tokens and jointly optimizing the policy using final-answer rewards. By efficiently revisiting task-relevant visual information during reasoning, VideoLVR improves video understanding without substantially expanding the multimodal context. Experiments on multiple video benchmarks demonstrate its effectiveness, especially on tasks requiring fine-grained visual evidence.