Mora: Enabling Generalist Video Generation via A Multi-Agent Framework

📄 arXiv: 2403.13248v3 📥 PDF

作者: Zhengqing Yuan, Yixin Liu, Yihan Cao, Weixiang Sun, Haolong Jia, Ruoxi Chen, Zhaoxu Li, Bin Lin, Li Yuan, Lifang He, Chi Wang, Yanfang Ye, Lichao Sun

分类: cs.CV

发布日期: 2024-03-20 (更新: 2024-10-03)

🔗 代码/项目: GITHUB

💡 一句话要点

提出Mora框架以解决开放源代码视频生成的协作与数据问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文本到视频生成 多代理系统 人机协作 无数据训练 视频质量评估

📋 核心要点

  1. 现有的文本到视频生成方法在代理协作和训练数据质量上存在显著不足，难以达到先进系统的性能。
  2. Mora框架通过多代理微调、自调节因子、无数据训练策略和人机协作机制来提升生成效果。
  3. 实验结果显示，Mora在文本到视频生成任务中获得0.800的Video Quality分数，超越Sora的0.797，并在图像到视频生成任务中实现完美的动态度得分1.00。

📝 摘要（中文）

文本到视频生成技术取得了显著进展，但要复制OpenAI Sora等先进系统的能力仍然具有挑战性。现有的开源方法往往因代理协作不力和训练数据质量不足而难以达到相当的性能。本文提出了Mora，一个新颖的多代理框架，利用现有的开源模块来复制Sora的功能。我们通过三项关键技术来解决这些基本限制：1) 采用自调节因子的多代理微调以增强代理间的协调性；2) 使用大型模型合成训练数据的无数据训练策略；3) 结合多模态大型语言模型的人机协作机制进行数据过滤，以确保高质量的训练数据集。我们的实验表明，Mora在六个视频生成任务上表现出色，性能与Sora相当，并在多个任务上超越了现有的开源方法。

🔬 方法详解

问题定义：本文旨在解决现有文本到视频生成方法在代理协作和训练数据质量方面的不足，尤其是开放源代码方法难以复制先进系统的性能。

核心思路：Mora框架通过引入多代理微调和人机协作机制，增强了代理间的协调性和训练数据的质量，从而提升生成效果。

技术框架：Mora的整体架构包括三个主要模块：多代理微调模块、无数据训练模块和人机协作数据过滤模块。这些模块协同工作，以实现高效的视频生成。

关键创新：Mora的核心创新在于自调节因子的多代理微调和无数据训练策略，这与现有方法的单一代理训练和依赖真实数据的方式有本质区别。

关键设计：在多代理微调中，设置了自调节因子以优化代理间的协作；无数据训练策略利用大型模型生成合成数据；人机协作机制通过多模态大型语言模型进行数据过滤，确保训练数据的高质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Mora在文本到视频生成任务中获得了0.800的Video Quality分数，超越了Sora的0.797，并在六个关键指标上优于所有基线模型。在图像到视频生成任务中，Mora实现了完美的动态度得分1.00，显示出其在运动真实感和图像质量上的卓越能力。

🎯 应用场景

Mora框架在文本到视频生成和图像到视频生成等领域具有广泛的应用潜力。其高效的生成能力可以应用于影视制作、游戏开发、教育培训等多个行业，推动内容创作的自动化和智能化。未来，Mora的技术可能会进一步影响虚拟现实和增强现实等新兴领域的发展。

📄 摘要（原文）

Text-to-video generation has made significant strides, but replicating the capabilities of advanced systems like OpenAI Sora remains challenging due to their closed-source nature. Existing open-source methods struggle to achieve comparable performance, often hindered by ineffective agent collaboration and inadequate training data quality. In this paper, we introduce Mora, a novel multi-agent framework that leverages existing open-source modules to replicate Sora functionalities. We address these fundamental limitations by proposing three key techniques: (1) multi-agent fine-tuning with a self-modulation factor to enhance inter-agent coordination, (2) a data-free training strategy that uses large models to synthesize training data, and (3) a human-in-the-loop mechanism combined with multimodal large language models for data filtering to ensure high-quality training datasets. Our comprehensive experiments on six video generation tasks demonstrate that Mora achieves performance comparable to Sora on VBench, outperforming existing open-source methods across various tasks. Specifically, in the text-to-video generation task, Mora achieved a Video Quality score of 0.800, surpassing Sora 0.797 and outperforming all other baseline models across six key metrics. Additionally, in the image-to-video generation task, Mora achieved a perfect Dynamic Degree score of 1.00, demonstrating exceptional capability in enhancing motion realism and achieving higher Imaging Quality than Sora. These results highlight the potential of collaborative multi-agent systems and human-in-the-loop mechanisms in advancing text-to-video generation. Our code is available at \url{https://github.com/lichao-sun/Mora}.