AI Powered High Quality Text to Video Generation with Enhanced Temporal Consistency

📄 arXiv: 2511.00107v1 📥 PDF

作者: Piyushkumar Patel

分类: cs.CV, cs.AI, cs.IR

发布日期: 2025-10-30

💡 一句话要点

MOVAI：提出一种时序一致的AI驱动高质量文本到视频生成框架

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文本到视频生成 时间一致性 组合场景理解 扩散模型 时空注意力机制

📋 核心要点

  1. 现有文本到视频生成方法在时间一致性、组合理解和细粒度控制方面存在挑战。
  2. MOVAI通过组合场景解析、时空注意力机制和渐进式视频细化来解决上述问题。
  3. 实验结果表明，MOVAI在视频质量指标和用户偏好方面均优于现有方法。

📝 摘要（中文）

本文提出了一种名为MOVAI（多模态原创视频AI）的全新分层框架，用于实现高质量的文本到视频合成，旨在解决现有方法在保持时间一致性、组合理解以及对视觉叙事进行细粒度控制方面的不足。MOVAI集成了组合场景理解和时序感知扩散模型，包含三个关键创新点：(1) 将文本描述分解为具有时间注释的分层场景图的组合场景解析器（CSP）；(2) 确保跨帧连贯运动动态并保留空间细节的时空注意力机制（TSAM）；(3) 通过多尺度时间推理迭代增强视频质量的渐进式视频细化（PVR）模块。在标准基准上的大量实验表明，MOVAI实现了最先进的性能，在LPIPS指标上提高了15.3%，在FVD指标上提高了12.7%，在用户偏好研究中提高了18.9%。该框架在生成具有真实时间动态和细粒度语义控制的复杂多对象场景方面表现出特别的优势。

🔬 方法详解

问题定义：文本到视频生成旨在根据给定的文本描述生成相应的视频内容。现有方法在生成具有时间一致性的视频方面存在困难，尤其是在处理复杂场景和多对象交互时，容易出现物体突变、运动不连贯等问题。此外，现有方法对文本描述的组合理解能力有限，难以实现对视频内容的细粒度控制。

核心思路：MOVAI的核心思路是将文本描述分解为具有时间信息的场景图，然后利用时序感知的扩散模型生成视频。通过显式地建模场景中物体之间的关系和运动轨迹，可以有效地提高视频的时间一致性和组合理解能力。渐进式视频细化模块则进一步提升视频的质量和细节。

技术框架：MOVAI框架包含三个主要模块：组合场景解析器（CSP）、时空注意力机制（TSAM）和渐进式视频细化（PVR）。首先，CSP将文本描述解析为分层的场景图，其中包含物体、属性和它们之间的关系以及时间信息。然后，TSAM利用场景图中的信息来指导视频生成过程，确保生成的视频在时间和空间上的一致性。最后，PVR模块通过多尺度的时间推理来迭代地提高视频的质量。

关键创新：MOVAI的关键创新在于以下三个方面：(1) 提出了组合场景解析器（CSP），能够将文本描述分解为具有时间信息的场景图；(2) 提出了时空注意力机制（TSAM），能够有效地利用场景图中的信息来指导视频生成，保证时间一致性；(3) 提出了渐进式视频细化（PVR）模块，能够通过多尺度的时间推理来提高视频的质量。与现有方法相比，MOVAI能够更好地理解文本描述的语义信息，并生成具有更高质量和更好时间一致性的视频。

关键设计：CSP使用预训练的语言模型和目标检测器来提取文本描述中的物体和属性，并构建场景图。TSAM采用Transformer结构，将场景图中的节点和视频帧中的像素作为输入，通过注意力机制来建立它们之间的联系。PVR模块采用多尺度的3D卷积神经网络，对视频进行迭代的细化，逐步提高视频的清晰度和细节。

📊 实验亮点

MOVAI在标准基准测试中取得了显著的性能提升。具体而言，在LPIPS指标上，MOVAI比现有方法提高了15.3%；在FVD指标上，提高了12.7%；在用户偏好研究中，MOVAI获得了18.9%的更高偏好。这些结果表明，MOVAI在视频质量和时间一致性方面均优于现有方法。

🎯 应用场景

该研究成果可应用于多个领域，包括电影制作、游戏开发、广告创意、教育内容生成等。通过MOVAI，用户可以根据文本描述快速生成高质量的视频内容，降低视频制作的成本和门槛。未来，该技术有望进一步发展，实现更加智能和个性化的视频生成。

📄 摘要（原文）

Text to video generation has emerged as a critical frontier in generative artificial intelligence, yet existing approaches struggle with maintaining temporal consistency, compositional understanding, and fine grained control over visual narratives. We present MOVAI (Multimodal Original Video AI), a novel hierarchical framework that integrates compositional scene understanding with temporal aware diffusion models for high fidelity text to video synthesis. Our approach introduces three key innovations: (1) a Compositional Scene Parser (CSP) that decomposes textual descriptions into hierarchical scene graphs with temporal annotations, (2) a Temporal-Spatial Attention Mechanism (TSAM) that ensures coherent motion dynamics across frames while preserving spatial details, and (3) a Progressive Video Refinement (PVR) module that iteratively enhances video quality through multi-scale temporal reasoning. Extensive experiments on standard benchmarks demonstrate that MOVAI achieves state-of-the-art performance, improving video quality metrics by 15.3% in LPIPS, 12.7% in FVD, and 18.9% in user preference studies compared to existing methods. Our framework shows particular strength in generating complex multi-object scenes with realistic temporal dynamics and fine-grained semantic control.