From Intent to Evidence: Policy-Steered Multi-Strategy Retrieval for Long-Video Agents

📄 arXiv: 2608.31005v1 📥 PDF

作者: Can Zhang, Baofeng Zhang, Xiaotian Han, Junyuan Shang, Yuchen Ding, Shuohuan Wang, Dianhai Yu, Ruirui Li

分类: cs.CV

发布日期: 2026-08-31

备注: 15 pages, 5 figures, 6 tables (main paper with appendix)

💡 一句话要点

提出VESTA以解决长视频代理的证据获取问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长视频理解 证据获取 多模态融合 策略驱动 自主探索

📋 核心要点

  1. 现有方法通过单一行为获取证据，未能有效处理证据的多样性和复杂性，导致推理失败。
  2. 本文提出VESTA，通过意图路由器推断证据获取策略，采用获取-验证-整合的循环结构，增强自主探索能力。
  3. 在多个基准测试中，VESTA在准确性上相较于VideoARM提升了2.7个百分点，并在LongVideoBench等数据集上也取得显著提升。

📝 摘要（中文）

现有的长视频代理通过单一行为获取证据，忽视了证据的集中性、覆盖范围和竞争假设的区分，这可能导致在实质推理之前就失败。为此，本文提出了VESTA，一个无训练的长视频代理，采用基于意图的获取-验证-整合循环。在探索之前，意图路由器推断出证据获取策略，并配置探索期间的证据视图。策略驱动的检索生成临时参考，随后通过多模态证据操作转化为观察，而推理器可以自由验证这些观察、重新查询或检查检索集外的区域。时间证据账本将观察整合为适应性压缩的视图，揭示缺失和未解决的证据，以指导后续获取，最终优先考虑已验证的观察。

🔬 方法详解

问题定义：现有的长视频代理通常依赖单一的行为模式来获取证据，无法有效应对证据的多样性和复杂性，导致在推理阶段前就可能出现失败。

核心思路：VESTA通过引入意图路由器，推断出针对不同问题的证据获取策略，允许代理在探索过程中灵活调整其行为，增强自主性和适应性。

技术框架：VESTA的整体架构包括意图路由器、证据获取策略、证据会计策略和时间证据账本。意图路由器负责推断获取策略，而证据会计策略则配置在探索过程中维护的证据视图。

关键创新：VESTA的核心创新在于其策略驱动的检索机制，允许代理根据任务需求选择不同的证据获取策略，从而提高了证据获取的效率和准确性。

关键设计：在设计中，VESTA使用了多模态证据操作来转化临时参考为观察，并通过时间证据账本整合观察结果，确保能够动态调整和优化证据的获取和验证过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在Video-MME-v2上，VESTA相较于VideoARM提高了平均准确性2.7个百分点，并在六个报告的指标上均有提升。在LongVideoBench的长子集上，VESTA的提升幅度达到6.9个百分点，显示出其在长视频理解任务中的显著优势。

🎯 应用场景

该研究的潜在应用领域包括长视频理解、智能监控和自动化内容分析等。VESTA的设计能够提升视频分析系统的智能化水平，使其在复杂场景中更有效地获取和处理信息，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Existing long-video agents acquire evidence through one uniform behavior, ignoring whether the required evidence is concentrated, requires broad occurrence coverage, or must discriminate competing hypotheses---which can cause failure before substantive reasoning begins. Prescribing a fine-grained solution procedure for every question is not a satisfactory remedy, as it restricts autonomous exploration. We propose VESTA, a training-free long-video agent organized as a route-conditioned acquire--verify--consolidate loop. Before exploration, an intent router infers an evidence-acquisition policy---focused, recall, or contrastive retrieval over a shared visual--speech scene index---together with an evidence-accounting policy that configures the evidence view maintained during exploration. Policy-steered retrieval yields provisional references that multimodal evidence operations convert into observations, while the Reasoner remains free to verify them, re-query using intermediate findings, or inspect regions outside the retrieved set. A temporal evidence ledger consolidates observations into an adaptive, compressed view of temporal location, provenance, coverage, conflicts, verification outcomes, and hypothesis support, exposing missing and unresolved evidence to guide subsequent acquisition; finalization prioritizes verified observations. On Video-MME-v2, VESTA improves average accuracy by 2.7 points over VideoARM and gains across all six reported metrics. On LongVideoBench, EgoSchema, and LVBench under shared query-time models, it improves by 6.9 points on the LongVideoBench long subset and 1.5 on LVBench, and matches VideoARM on EgoSchema.