Goku: A Million-Scale Universal Dataset and Benchmark for Instruction-Based Video Editing
作者: Sen Liang, Cong Wang, Zhentao Yu, Fengbin Guan, Zhengguang Zhou, Teng Hu, Youliang Zhang, Yuan Zhou, Xin Li, Qinglin Lu, Zhibo Chen
分类: cs.CV
发布日期: 2026-06-29
💡 一句话要点
提出Goku数据集以解决复杂视频编辑任务的不足问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视频编辑 数据集 指令遵循 多任务处理 机器学习 计算机视觉 深度学习
📋 核心要点
- 现有方法主要集中于单一任务的外观编辑，无法满足复杂创意需求，导致在实际应用中存在局限性。
- 本文提出Goku数据集，包含200万对视频编辑对，并设计了高效的数据合成管道，解决复杂编辑任务的合成挑战。
- Goku-Edit在Goku-Bench上评估时，指令遵循性能比其他开源模型提高了8%，展示了其有效性和优越性。
📝 摘要（中文）
现有的基于指令的视频编辑数据集通常集中于单一任务的外观编辑，无法满足现实场景中的复杂创意需求。为此，本文提出了Goku，一个包含200万对高质量、指令对齐的视频编辑对的大规模数据集，首次将任务边界从基本的外观编辑扩展到多任务和结构性操作（例如，精确控制主体运动）。为了解决这些复杂任务中的数据合成挑战，设计了一种高效的数据合成管道，将复杂编辑分解为可控的子问题，并引入了逐步过滤系统以确保数据的可靠性。此外，探索了Goku上的最佳网络结构，并提出了Goku-Edit。Goku-Edit利用MLLM作为文本编码器，并采用解耦的双分支设计：专用的掩码分支处理结构控制，主分支则专注于外观渲染。还提出了一个全面的视频编辑基准Goku-Bench，包含1000个经过人工验证的测试案例和7个新颖的编辑特定指标。在Goku-Bench上的评估显示，Goku-Edit在指令遵循方面比其他开源模型提高了8%。
🔬 方法详解
问题定义：本文旨在解决现有基于指令的视频编辑数据集在复杂创意任务中的不足，现有方法主要集中于单一任务的外观编辑，无法满足多样化的编辑需求。
核心思路：提出Goku数据集和Goku-Edit模型，通过高效的数据合成管道将复杂编辑任务分解为可控的子问题，从而提高编辑的灵活性和准确性。
技术框架：整体架构包括数据合成管道、Goku-Edit模型和Goku-Bench基准。数据合成管道负责生成高质量的视频编辑对，Goku-Edit模型则利用MLLM作为文本编码器，并采用双分支设计以处理结构控制和外观渲染。
关键创新：最重要的创新在于Goku数据集的规模和多样性，以及Goku-Edit模型的双分支设计，使得模型能够同时处理结构性和外观性编辑任务，显著提升了指令遵循的能力。
关键设计：Goku-Edit采用解耦的双分支结构，专用的掩码分支用于结构控制，主分支专注于外观渲染。此外，设计了逐步过滤系统以确保数据合成的可靠性。
🖼️ 关键图片
📊 实验亮点
在Goku-Bench上的评估结果显示，Goku-Edit在指令遵循方面比其他开源模型提高了8%。这一显著提升证明了Goku数据集和Goku-Edit模型在处理复杂视频编辑任务中的有效性。
🎯 应用场景
该研究的潜在应用领域包括影视制作、广告创意、游戏开发等，能够为创作者提供更灵活的工具以实现复杂的视觉效果。未来，Goku数据集和Goku-Edit模型有望推动视频编辑技术的发展，满足更高层次的创意需求。
📄 摘要（原文）
Existing instruction-based video editing datasets commonly focus on single-task appearance editing, failing to meet the complex creative demands of real-world scenarios. To bridge this gap, we present Goku, a large-scale dataset featuring 2 million high-quality, instruction-aligned video editing pairs, which is the first to extend task boundaries from basic appearance editing to multi-task and structural manipulations(e.g., precise control of subject movement). To tackle the data synthesis challenges inherent in these complex tasks, we design an efficient data synthesis pipeline that decomposes complex edits into controllable sub-problems and introduce a progressive filtering system for data reliability throughout the whole process. Furthermore, we explore the optimal network structures on Goku, and propose Goku-Edit. To deeply comprehend complex editing instructions, Goku-Edit leverages an MLLM as its text encoder and adopts a decoupled dual-branch design: a dedicated mask branch handles structural control, freeing the main branch for appearance rendering. A comprehensive video editing benchmark, Goku-Bench, is also proposed with 1,000 human-verified test cases and 7 novel editing-specific metrics. Evaluated on Goku-Bench, Goku-Edit obtains up to +8% improvement on other open-source models in terms of instruction following.