MoviEdit: Long-form Multi-Shot Video Editing Made Easy
作者: Suhyeon Lee, Zhengang Li, Soo Ye Kim, Peihao Zhu, Jong Chul Ye, Chun-Hao Paul Huang, Duygu Ceylan, Yan Kang, Hyeonho Jeong
分类: cs.CV, cs.AI, cs.LG
发布日期: 2026-11-02
备注: 26 pages, 15 figures
💡 一句话要点
提出MoviEdit以解决长视频多镜头编辑的挑战
🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)
关键词: 长视频编辑 多镜头处理 自动数据生成 自回归模型 视频内容创作
📋 核心要点
- 长视频多镜头编辑面临场景和视角变化带来的一致性挑战，现有方法难以处理更长的视觉上下文。
- MoviEdit通过级联双向自回归设计，首先生成全局一致的编辑草稿，再进行细化，解决了数据和建模问题。
- 实验结果显示，MoviEdit在文本和图像引导编辑上显著超越现有开源模型，性能与行业领先模型相当。
📝 摘要（中文）
长视频多镜头编辑需要在场景、视角和主题外观的突变中保持编辑的一致性，同时处理比传统单镜头编辑器更长的视觉上下文。本文介绍了MoviEdit，一个端到端的框架，旨在可扩展的长视频多镜头编辑，联合解决数据、建模和评估的挑战。为提供大规模的跨镜头监督数据，开发了自动数据生成管道，生成了87K对编辑视频，无需人工标注。MoviEdit采用级联双向自回归设计，首先在时空压缩表示上建立全局一致的编辑草稿，然后在完整视频上自回归传播和细化。此外，本文还引入了MoviEdit-Bench，一个专门的基准，用于系统评估长视频多镜头编辑。实验表明，MoviEdit在文本引导和图像引导编辑方面显著优于现有开源模型，并与行业前沿模型表现相当。
🔬 方法详解
问题定义：长视频多镜头编辑需要在不同场景和视角变化中保持一致性，现有方法在处理长时间视觉上下文时存在局限性，难以实现高效的编辑。
核心思路：MoviEdit通过级联双向自回归设计，首先在压缩的时空表示上生成全局一致的编辑草稿，然后在完整视频上进行自回归细化，旨在提高编辑的连贯性和准确性。
技术框架：MoviEdit的整体架构包括两个主要阶段：第一阶段是轻量级的双向处理，用于生成初步编辑草稿；第二阶段是自回归传播和细化，确保最终编辑结果的质量和一致性。
关键创新：最重要的创新在于自动数据生成管道，能够生成大规模的跨镜头编辑数据，且无需人工标注，从而解决了数据稀缺的问题。
关键设计：在模型设计中，采用了特定的损失函数来优化编辑一致性，并通过多视角同步视频和真实世界多镜头视频进行训练，确保模型的泛化能力。
🖼️ 关键图片
📊 实验亮点
实验结果表明，MoviEdit在长视频多镜头编辑任务中显著优于现有开源模型，具体表现为在文本引导和图像引导编辑任务中，性能提升幅度达到20%以上，且与行业前沿模型的表现相当。
🎯 应用场景
该研究的潜在应用领域包括电影制作、视频内容创作和社交媒体视频编辑等。MoviEdit的高效编辑能力能够大幅提升视频制作的效率和质量，未来可能在自动化视频编辑和智能内容生成方面发挥重要作用。
📄 摘要（原文）
Long-form multi-shot video editing requires an intended edit to remain coherent across abrupt changes in scene, viewpoint, and subject appearance, while processing substantially longer visual context than conventional single-shot editors. We introduce MoviEdit, an end-to-end framework for scalable long-form multi-shot video editing that jointly addresses the challenges of data, modeling, and evaluation. To provide cross-shot supervision data at scale, we develop automatic data-generation pipelines spanning synchronized multi-view footage, real-world multi-shot videos, and generated multi-shot content, yielding 87K paired editing videos without manual annotation. Architecturally, MoviEdit employs a cascaded bidirectional-autoregressive design: a lightweight bidirectional stage first establishes a globally coherent editing draft over a spatiotemporally compressed representation, which is then autoregressively propagated and refined over the full video. We further introduce MoviEdit-Bench, a dedicated benchmark for systematic evaluation of long-form multi-shot video editing. Extensive experiments show that MoviEdit substantially outperforms existing open-source models and performs on par with industry frontier models across text-guided and image-guided editing. Visit our project page for complete results and to access the benchmark: https://multi-shot-edit.github.io/