SSM Meets Video Diffusion Models: Efficient Long-Term Video Generation with Structured State Spaces

📄 arXiv: 2403.07711v4 📥 PDF

作者: Yuta Oshima, Shohei Taniguchi, Masahiro Suzuki, Yutaka Matsuo

分类: cs.CV, cs.AI

发布日期: 2024-03-12 (更新: 2024-09-03)

备注: Accepted as a workshop paper at ICLR 2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出基于状态空间模型的长视频生成方法以解决计算成本问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 长视频生成 状态空间模型 双向模型 扩散模型 时间特征提取 计算效率 视频理解

📋 核心要点

  1. 现有的视频生成扩散模型在处理长序列时计算成本高，限制了生成能力。
  2. 本文提出利用状态空间模型（SSMs）作为时间特征提取器，特别是采用双向SSMs以提高时间特征捕捉能力。
  3. 在多个长视频数据集上进行评估，SSM模型在内存使用和性能上均优于传统的注意力模型。

📝 摘要（中文）

随着扩散模型在图像生成领域的显著成就，研究者们越来越关注将这些模型扩展到视频生成。然而，现有的视频生成扩散模型主要依赖注意力层提取时间特征，这导致计算成本随着序列长度的增加而呈平方增长。为了解决这一问题，本文提出利用状态空间模型（SSMs）作为时间特征提取器。研究表明，双向SSMs在捕捉视频数据的时间特征方面比传统的单向SSMs更有效。通过在多个长视频数据集上的综合评估，发现SSM模型在生成256帧的视频序列时，所需内存更少且性能优于基于注意力的模型。

🔬 方法详解

问题定义：现有的视频生成扩散模型主要依赖注意力机制提取时间特征，但其计算成本随着序列长度的增加而呈平方增长，导致生成长视频序列时面临显著挑战。

核心思路：本文提出利用状态空间模型（SSMs）作为时间特征提取器，特别是采用双向SSMs，以更有效地捕捉视频数据中的时间特征，克服传统单向SSMs的局限性。

技术框架：整体架构包括数据输入、特征提取（使用双向SSMs）、生成模型（扩散模型）和输出阶段。SSMs负责提取时间特征，随后将这些特征输入到扩散模型中进行视频生成。

关键创新：最重要的技术创新在于将双向SSMs引入视频生成领域，显著提高了时间特征的捕捉能力，并且在内存使用上相较于注意力机制具有线性优势。

关键设计：在模型设计中，SSMs的参数设置经过优化，以确保在处理长序列时的高效性；损失函数采用了与视频生成相关的特定指标，以提升生成质量。

🖼️ 关键图片

fig_0

📊 实验亮点

在对比实验中，SSM模型在生成256帧的视频序列时，所需内存显著低于基于注意力的模型，同时在相同GPU内存使用下，SSM模型的性能表现更佳，展现出明显的优势。

🎯 应用场景

该研究的潜在应用领域包括影视制作、游戏开发和虚拟现实等场景，能够显著提高长视频生成的效率和质量。通过降低计算成本，未来可能推动更广泛的应用，促进创意内容的生成与传播。

📄 摘要（原文）

Given the remarkable achievements in image generation through diffusion models, the research community has shown increasing interest in extending these models to video generation. Recent diffusion models for video generation have predominantly utilized attention layers to extract temporal features. However, attention layers are limited by their computational costs, which increase quadratically with the sequence length. This limitation presents significant challenges when generating longer video sequences using diffusion models. To overcome this challenge, we propose leveraging state-space models (SSMs) as temporal feature extractors. SSMs (e.g., Mamba) have recently gained attention as promising alternatives due to their linear-time memory consumption relative to sequence length. In line with previous research suggesting that using bidirectional SSMs is effective for understanding spatial features in image generation, we found that bidirectionality is also beneficial for capturing temporal features in video data, rather than relying on traditional unidirectional SSMs. We conducted comprehensive evaluations on multiple long-term video datasets, such as MineRL Navigate, across various model sizes. For sequences up to 256 frames, SSM-based models require less memory to achieve the same FVD as attention-based models. Moreover, SSM-based models often deliver better performance with comparable GPU memory usage. Our codes are available at https://github.com/shim0114/SSM-Meets-Video-Diffusion-Models.