Video-DeepResearch: Towards the Next-Generation Multimodal Deepresearch Agent

📄 arXiv: 2608.03979v1 📥 PDF

作者: Zhen Fang, Yu Zeng, Wenxuan Huang, Yiming Zhao, Shiting Huang, Tianfei Ren, Qi Lu, Qingnan Ren, Qisheng Su, Lionel Z. Wang, Qingyu Yin, Shuang Chen, Zehui Chen, Lin Chen, Zhenfei Yin, Yao Hu, Shaohui Lin, Wanli Ouyang, Shaosheng Cao, Feng Zhao

分类: cs.CV, cs.AI

发布日期: 2026-08-04

🔗 代码/项目: GITHUB

💡 一句话要点

提出Video-DeepResearch以解决多模态视频理解问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态智能体 视频理解 时空定位 自主探索 群体相对策略优化 人机协作 视觉信息

📋 核心要点

  1. 现有多模态智能体在处理视频流时面临模态偏见和知识泄漏等挑战，导致性能不足。
  2. 论文提出Video-DR，通过解耦的感知-探索管道和阶段性工具解锁，强化跨帧视觉定位。
  3. 实验结果显示，Video-DeepResearch-35B-A3B在VQA任务上达到了64.0%的准确率，显著超越现有基线。

📝 摘要（中文）

我们介绍了Video-DeepResearch（Video-DR），将多模态智能体从静态图像扩展到连续视频流，这一设置要求密集的时空定位和开放网络探索。初步评估揭示了当前模型的两个关键瓶颈：（1）模态偏见，智能体倾向于文本搜索而忽视视觉工具；（2）参数知识泄漏，模型依赖内部记忆而非真实的工具增强执行。为了解决这些挑战，我们提出了Video-DR，采用解耦的感知-探索管道，强制在网络检索之前进行全面的跨帧视觉定位。我们的框架采用两阶段训练方案：监督微调后进行群体相对策略优化（GRPO），实现打破模仿学习瓶颈的自主探索。此外，我们创建了Video-DR-Bench，一个包含200个复杂多跳VQA实例的人机协作基准。实验证明，Video-DeepResearch-35B-A3B在平均准确率上达到了64.0%，超越了Claude-4.5-Sonnet（59.0%）5.0个百分点，并显著优于GPT-5（52.5%）和Gemini 2.5 Pro（57.5%）。30B-A3B变体达到了59.3%，与Claude-4.5-Sonnet竞争，展示了我们训练范式在紧凑规模下的有效性。

🔬 方法详解

问题定义：论文旨在解决现有多模态智能体在视频理解中的模态偏见和知识泄漏问题。当前模型往往依赖文本搜索而忽视视觉信息，导致性能下降。

核心思路：提出Video-DR，通过解耦的感知和探索流程，确保在进行网络检索之前，智能体能够充分利用视频中的视觉信息进行定位和理解。

技术框架：整体架构包括两个主要阶段：首先进行监督微调以优化模型性能，然后通过群体相对策略优化（GRPO）实现自主探索。这一过程确保了模型在面对复杂任务时的灵活性和准确性。

关键创新：最重要的创新在于引入了阶段性工具解锁机制，迫使模型在进行任何网络检索之前，完成全面的跨帧视觉定位。这一设计有效地减少了模态偏见和知识泄漏。

关键设计：在训练过程中，采用了特定的损失函数来平衡视觉和文本信息的使用，同时设计了适应性网络结构，以支持不同规模的模型训练。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Video-DeepResearch-35B-A3B在复杂多跳VQA任务中达到了64.0%的平均准确率，超越了Claude-4.5-Sonnet（59.0%）5.0个百分点，并显著优于其他基线模型，如GPT-5（52.5%）和Gemini 2.5 Pro（57.5%）。

🎯 应用场景

该研究的潜在应用领域包括智能视频监控、自动化内容生成和人机协作系统等。通过提升视频理解能力，Video-DR能够在多种实际场景中提供更高效的决策支持，推动相关技术的发展与应用。

📄 摘要（原文）

We introduce Video-DeepResearch (Video-DR), extending multimodal agents from static images to continuous video streams, a setting that demands dense spatiotemporal grounding coupled with open-web exploration. Preliminary evaluations reveal two critical bottlenecks in current models: (1) modality bias, where agents bypass visual tools in favor of textual search, and (2) parametric knowledge leakage, where models rely on internal memory rather than genuine tool-augmented execution. To address these challenges, we propose Video-DR, featuring a decoupled perception-exploration pipeline with stage-wise tool unlocking that compels exhaustive cross-frame visual grounding prior to web retrieval. Our framework adopts a two-stage training recipe: supervised fine-tuning followed by Group Relative Policy Optimization (GRPO), enabling autonomous exploration that breaks the imitation-learning ceiling. Furthermore, we curate Video-DR-Bench, a human-AI collaborative benchmark comprising 200 complex, multi-hop VQA instances. Empirical results demonstrate that our Video-DeepResearch-35B-A3B establishes a new state-of-the-art of 64.0% average accuracy, surpassing proprietary Claude-4.5-Sonnet (59.0%) by 5.0 points and significantly outperforming GPT-5 (52.5%) and Gemini 2.5 Pro (57.5%). The 30B-A3B variant achieves 59.3%, competitive with Claude-4.5-Sonnet and demonstrating the effectiveness of our training paradigm even at compact scale. Code: https://github.com/Osilly/Vision-DeepResearch.