MetaVideoAgent: Automated Video-Agent Evolution for Long-Form Video Understanding
作者: Benlei Cui, Ruize Wang, Junjie Li, Jinhao Chen, Longtao Huang, Yinghao Chen, Yuwen Zhai, Jingqun Tang, Ruijian Jia, Weiwei Wu, Pengfei Sun, Haiwen Hong
分类: cs.CV
发布日期: 2026-08-05
备注: 16 pages, 7 figures. Code: https://github.com/Alibaba-VELLDEPTH/MetaVideoAgent
💡 一句话要点
提出MetaVideoAgent以解决长视频理解中的自动化视频代理演化问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 长视频理解 自动化演化 多模态视频 信息密度分析 证据处理 模块化代理 验证任务 视频代理设计
📋 核心要点
- 长视频理解面临的核心问题是现有方法在多模态视频中定位相关证据时的冗余处理和不匹配。
- MetaVideoAgent通过分析信息密度和证据需求，自动演化视频代理，压缩失败并构建可执行的验证任务。
- 实验表明，MetaVideoAgent的演化代理在准确率上提升了6.39个百分点，且在每个问题上使用的令牌和视频帧最少。
📝 摘要（中文）
长视频理解需要在多模态视频中定位稀疏且与问题相关的证据。现实世界中的视频分布在模态特定信息密度、内容结构和证据模式上存在差异，导致固定的视频代理设计在处理时冗余或不匹配。本文提出MetaVideoAgent框架，自动演化视频代理以适应目标分布，通过分析稀疏采样帧和相关查询来指导设计，并将局部失败压缩为独立可执行的最小验证任务。实验结果显示，MetaVideoAgent在每个分布上经过四次演化迭代后，宏观平均准确率从38.44%提升至51.47%。
🔬 方法详解
问题定义：本文旨在解决长视频理解中固定视频代理设计的不足，特别是在处理多模态视频时的冗余和不匹配问题。现有方法在执行长视频时验证候选代理的成本高，且失败会在多个证据处理阶段传播。
核心思路：MetaVideoAgent的核心思路是通过分析稀疏采样帧和相关查询来指导视频代理的初始设计，并将局部失败压缩为独立的验证任务，从而实现自动化演化。
技术框架：该框架包括信息密度分析、证据需求指导、失败压缩和独立验证任务构建等模块。通过构建基于证据的Gold Paths和审计学生轨迹，聚合失败并归因于相关模块。
关键创新：MetaVideoAgent的主要创新在于其模块化代理表示，允许每次更新仅限于主要责任模块及其必要依赖，从而提高了演化的效率和可靠性。
关键设计：在设计中，采用了最小验证任务的构建方法，设置了适应性参数，以确保每次演化都能有效聚焦于最相关的模块，优化了损失函数和网络结构以支持高效的学习。
🖼️ 关键图片
📊 实验亮点
实验结果显示，MetaVideoAgent在每个视频分布上经过四次演化迭代后，宏观平均准确率从38.44%提升至51.47%。此外，演化后的代理在与最强的固定设计视频代理对比中，准确率提高了6.39个百分点，同时在每个问题上使用的令牌和视频帧数量最少。
🎯 应用场景
该研究的潜在应用领域包括视频检索、智能监控和内容推荐等。通过提高长视频理解的准确性，MetaVideoAgent能够在多模态信息处理和用户交互中提供更为精准的服务，具有重要的实际价值和广泛的未来影响。
📄 摘要（原文）
Long-form video understanding requires locating sparse, question-relevant evidence in long, multimodal videos. Real-world video distributions differ in modality-specific information density, content structure, and evidence patterns, causing fixed video-agent designs to incur redundant processing or fail when mismatched. Extending automated agent evolution from text to video is challenging because full long-video execution makes candidate validation expensive, failures propagate across coupled evidence-processing stages, and complex preprocessing, perception tools, and localization strategies make code-level updates difficult to implement reliably. We introduce MetaVideoAgent, a framework that automatically evolves a video agent for a target distribution. It profiles information density and evidence requirements from sparsely sampled frames and associated queries to guide initial design, then compresses localized failures into independently executable minimal validation tasks. It constructs evidence-grounded Gold Paths, audits Student trajectories, aggregates recurring failures across samples, and attributes them to responsible modules. A modular agent representation constrains each update to the primary responsible module and its necessary dependencies. We further introduce VA-EvoBench, covering eight video distributions with separate evolution and held-out splits. With four evolution iterations per distribution, MetaVideoAgent improves every initial agent and raises macro-average accuracy from 38.44% to 51.47%, at an average evolution cost of 3.54M tokens per distribution. The evolved agents outperform the strongest prior fixed-design video agent by 6.39 percentage points while using the fewest tokens and video frames per question among the compared video agents. We will release all code and data to support reproducible research.