TI2V-Zero: Zero-Shot Image Conditioning for Text-to-Video Diffusion Models

📄 arXiv: 2404.16306v1 📥 PDF

作者: Haomiao Ni, Bernhard Egger, Suhas Lohit, Anoop Cherian, Ye Wang, Toshiaki Koike-Akino, Sharon X. Huang, Tim K. Marks

分类: cs.CV

发布日期: 2024-04-25

备注: CVPR 2024

💡 一句话要点

提出TI2V-Zero以解决视频生成中的图像条件化问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图像条件化 视频生成 零-shot学习 扩散模型 多模态生成 时间连续性 视频填充 长视频生成

📋 核心要点

  1. 现有的TI2V方法通常需要昂贵的训练和特定的模型设计，限制了其应用的灵活性和效率。
  2. TI2V-Zero通过零-shot的方式，利用预训练的T2V扩散模型进行图像条件化，避免了复杂的训练过程。
  3. 实验表明，TI2V-Zero在多个领域的数据集上均优于现有的开放域TI2V模型，且支持长视频生成。

📝 摘要（中文）

文本条件的图像到视频生成（TI2V）旨在根据给定图像和文本描述合成真实视频。现有TI2V框架通常需要在视频-文本数据集上进行昂贵的训练，并且对文本和图像条件化有特定的模型设计。本文提出TI2V-Zero，这是一种零-shot、无需调优的方法，能够使预训练的文本到视频扩散模型在提供的图像上进行条件化，从而实现TI2V生成，无需任何优化、微调或引入外部模块。我们的方法利用预训练的T2V扩散基础模型作为生成先验，并提出“重复滑动”策略来调节反向去噪过程，确保视频生成的时间连续性。实验结果表明，TI2V-Zero在多个数据集上表现优异，且能够扩展到视频填充和预测等任务。

🔬 方法详解

问题定义：本文解决的是在视频生成任务中如何有效地利用图像和文本进行条件化的问题。现有方法往往需要大量的训练数据和复杂的模型设计，导致应用受限。

核心思路：TI2V-Zero的核心思路是利用预训练的文本到视频扩散模型，通过零-shot的方式实现图像条件化，避免了传统方法中的优化和微调过程。

技术框架：该方法的整体架构包括一个预训练的T2V扩散基础模型和一个“重复滑动”策略。该策略调节反向去噪过程，使得模型能够逐帧合成视频。

关键创新：TI2V-Zero的主要创新在于其零-shot能力和“重复滑动”策略，这使得模型能够在不进行额外训练的情况下，直接利用图像进行视频生成，与现有方法相比具有显著的灵活性和效率。

关键设计：在设计中，采用DDPM反演策略初始化每个新合成帧的高斯噪声，并使用重采样技术以保持视觉细节。这些设计确保了生成视频的时间连续性和视觉质量。

📊 实验亮点

实验结果显示，TI2V-Zero在多个领域特定和开放域数据集上均优于最近的开放域TI2V模型，具体性能提升幅度达到XX%。该方法不仅支持长视频生成，还能无缝扩展到其他视频生成任务，展示了其强大的适应性和实用性。

🎯 应用场景

TI2V-Zero的研究成果在多个领域具有广泛的应用潜力，包括影视制作、广告创意、游戏开发等。其零-shot的特性使得用户可以快速生成高质量的视频内容，降低了时间和成本。此外，该方法的扩展性也为视频填充和预测等任务提供了新的思路，推动了多模态生成技术的发展。

📄 摘要（原文）

Text-conditioned image-to-video generation (TI2V) aims to synthesize a realistic video starting from a given image (e.g., a woman's photo) and a text description (e.g., "a woman is drinking water."). Existing TI2V frameworks often require costly training on video-text datasets and specific model designs for text and image conditioning. In this paper, we propose TI2V-Zero, a zero-shot, tuning-free method that empowers a pretrained text-to-video (T2V) diffusion model to be conditioned on a provided image, enabling TI2V generation without any optimization, fine-tuning, or introducing external modules. Our approach leverages a pretrained T2V diffusion foundation model as the generative prior. To guide video generation with the additional image input, we propose a "repeat-and-slide" strategy that modulates the reverse denoising process, allowing the frozen diffusion model to synthesize a video frame-by-frame starting from the provided image. To ensure temporal continuity, we employ a DDPM inversion strategy to initialize Gaussian noise for each newly synthesized frame and a resampling technique to help preserve visual details. We conduct comprehensive experiments on both domain-specific and open-domain datasets, where TI2V-Zero consistently outperforms a recent open-domain TI2V model. Furthermore, we show that TI2V-Zero can seamlessly extend to other tasks such as video infilling and prediction when provided with more images. Its autoregressive design also supports long video generation.