Efficient Video Diffusion Models via Content-Frame Motion-Latent Decomposition

📄 arXiv: 2403.14148v1 📥 PDF

作者: Sihyun Yu, Weili Nie, De-An Huang, Boyi Li, Jinwoo Shin, Anima Anandkumar

分类: cs.CV, cs.LG

发布日期: 2024-03-21

备注: ICLR 2024. Project page: https://sihyun.me/CMD

💡 一句话要点

提出内容-帧运动潜在分解模型以解决视频生成效率问题

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion)

关键词: 视频生成 扩散模型 内容-运动分解 自编码器 计算效率 深度学习 多媒体技术

📋 核心要点

  1. 现有视频扩散模型在生成高质量视频时面临高内存和计算需求的挑战，效率较低。
  2. 本文提出的内容-运动潜在扩散模型（CMD）通过将视频分解为内容帧和运动潜在表示，显著提高了生成效率。
  3. CMD在生成速度上达到7.7倍于以往方法，并在WebVid-10M数据集上取得212.7的FVD分数，性能显著提升。

📝 摘要（中文）

视频扩散模型近期在生成质量上取得了显著进展，但仍受限于高内存和计算需求。现有模型通常直接处理高维视频，导致效率低下。为此，本文提出了一种内容-运动潜在扩散模型（CMD），作为预训练图像扩散模型在视频生成中的高效扩展。该模型通过自编码器将视频编码为内容帧和低维运动潜在表示，前者表示常见内容，后者表示视频中的运动。CMD在生成速度和质量上均有显著提升，能够以7.7倍的速度生成高分辨率视频，并在WebVid-10M数据集上取得212.7的FVD分数，超越了之前的最优结果。

🔬 方法详解

问题定义：本文旨在解决现有视频扩散模型在处理高维视频时的高内存和计算需求问题，导致生成效率低下。

核心思路：CMD模型通过将视频分解为内容帧和运动潜在表示，利用预训练的图像扩散模型进行高效生成，从而降低计算复杂度。

技术框架：CMD的整体架构包括一个自编码器，首先将视频编码为内容帧和运动潜在表示，内容帧通过微调预训练的图像扩散模型生成，而运动潜在表示则通过训练一个轻量级的扩散模型生成。

关键创新：CMD的关键创新在于设计了一个紧凑的潜在空间，能够直接利用预训练的图像扩散模型，这在以往的潜在视频扩散模型中尚未实现。

关键设计：在模型设计中，采用了低维运动潜在表示以减少计算负担，同时在损失函数中引入了针对内容和运动的特定优化策略，以提高生成质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CMD模型在生成速度上表现优异，能够以7.7倍于以往方法的速度生成512×1024分辨率、长度为16的视频，耗时仅3.1秒。同时，在WebVid-10M数据集上，CMD取得212.7的FVD分数，比之前的最优结果292.4提升了27.3%。

🎯 应用场景

该研究的潜在应用领域包括视频生成、动画制作和虚拟现实等。通过提高视频生成的效率和质量，CMD模型可以在多媒体内容创作、游戏开发和影视制作等行业中发挥重要作用，推动相关技术的发展与应用。

📄 摘要（原文）

Video diffusion models have recently made great progress in generation quality, but are still limited by the high memory and computational requirements. This is because current video diffusion models often attempt to process high-dimensional videos directly. To tackle this issue, we propose content-motion latent diffusion model (CMD), a novel efficient extension of pretrained image diffusion models for video generation. Specifically, we propose an autoencoder that succinctly encodes a video as a combination of a content frame (like an image) and a low-dimensional motion latent representation. The former represents the common content, and the latter represents the underlying motion in the video, respectively. We generate the content frame by fine-tuning a pretrained image diffusion model, and we generate the motion latent representation by training a new lightweight diffusion model. A key innovation here is the design of a compact latent space that can directly utilizes a pretrained image diffusion model, which has not been done in previous latent video diffusion models. This leads to considerably better quality generation and reduced computational costs. For instance, CMD can sample a video 7.7$\times$ faster than prior approaches by generating a video of 512$\times$1024 resolution and length 16 in 3.1 seconds. Moreover, CMD achieves an FVD score of 212.7 on WebVid-10M, 27.3% better than the previous state-of-the-art of 292.4.