VideoAgent: All-in-One Framework for Video Understanding and Editing

📄 arXiv: 2606.23327v1 📥 PDF

作者: Hengji Zhou, Lingxuan Huang, Jian Wang, Bing Zhou, Si Wu, Lianghao Xia, Chao Huang

分类: cs.CV, cs.AI

发布日期: 2026-06-22

备注: Preprint. Code available at https://github.com/HKUDS/VideoAgent

🔗 代码/项目: GITHUB

💡 一句话要点

提出VideoAgent以解决视频理解与编辑的多样性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频理解 视频编辑 多代理系统 跨模态检索 自动化创作

📋 核心要点

  1. 现有视频编辑系统在处理长视频和多样化编辑任务方面存在显著局限性，无法满足现代数字媒体创作的需求。
  2. 本文提出VideoAgent框架，通过自动化视频镜头创建和多代理编排，解决了视频理解与编辑的多样性问题。
  3. 实验结果显示，VideoAgent在多个视频类别中实现了87-95%的编排成功率，并且API成本降低了60%。

📝 摘要（中文）

视频编辑在数字媒体创作中至关重要，但现有自动化系统仅限于短片段处理和特定领域任务，面临无法处理多样化视频理解与编辑操作及缺乏长视频理解以创建连贯叙事的两大限制。为此，本文提出VideoAgent，一个全能框架，通过两个关键创新来应对这些挑战。首先，开发了自动化视频镜头创建与镜头规划代理，以实现连贯叙事和跨模态检索对齐视觉内容。其次，设计了一个多代理编排框架，整合了三十多个专业编辑代理。意图解析过滤相关工具，而文本梯度图优化则组装复杂的编辑管道。大量实验表明，VideoAgent在新提出的VideoEdit基准和公共数据集上优于现有的多模态LLM和代理系统。

🔬 方法详解

问题定义：本文旨在解决现有视频编辑系统在长视频理解和多样化编辑操作中的不足，尤其是短片段处理和领域特定任务的限制。

核心思路：通过引入自动化视频镜头创建和多代理编排，VideoAgent能够实现连贯叙事和高效的跨模态内容检索，从而提升视频编辑的灵活性和效率。

技术框架：VideoAgent框架包括两个主要模块：一是镜头规划代理，负责自动生成视频镜头；二是多代理编排系统，整合超过三十个专业编辑代理，利用意图解析和文本梯度图优化来构建复杂的编辑管道。

关键创新：VideoAgent的核心创新在于其多代理编排能力和跨模态检索机制，这使得其在处理长视频和多样化编辑任务时，能够显著优于传统方法。

关键设计：在设计中，采用了文本梯度图优化技术来优化编辑流程，同时在意图解析中引入了过滤机制，以确保选择最相关的编辑工具。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，VideoAgent在六个视频类别中实现了87-95%的编排成功率，且与人类创作的视频相比，其质量评分仅低4%。同时，API成本降低了60%，显示出其在效率和经济性上的显著优势。

🎯 应用场景

VideoAgent的潜在应用领域包括电影制作、在线内容创作、广告制作等，能够帮助创作者快速生成高质量视频内容。其高效的编辑流程和自动化能力将极大地提升视频制作的效率，降低成本，未来可能在教育、娱乐等多个行业产生深远影响。

📄 摘要（原文）

Video editing has become essential in digital media creation, yet existing automated systems are restricted to short segment processing and domain-specific tasks. They face two critical limitations: i) inability to handle diverse video comprehension and editing operations, and ii) lack of long-video understanding for coherent narrative creation. We propose VideoAgent, an all-in-one agentic framework addressing these challenges through two key innovations. First, we develop automated video shot creation with shot planning agents for coherent narratives and cross-modal retrieval for aligned visual content. Second, we design a multi-agent orchestration framework integrating over thirty specialized editing agents. Intent parsing filters relevant tools while textual-gradient graph optimization assembles complex editing pipelines. Extensive experiments on our newly-proposed VideoEdit benchmark and public datasets demonstrate VideoAgent's superiority over existing multimodal LLMs and agentic systems. VideoAgent achieves 87-95% orchestration success rates while reducing API costs by 60%. Human evaluation across six video categories shows VideoAgent produces professional-quality content approaching human-level performance, with ratings only 4% below human-created videos. We release our code at https://github.com/HKUDS/VideoAgent.