Pixel-space video generation with U-JiT

📄 arXiv: 2611.04764v1 📥 PDF

作者: Théophane Vallaeys, Jakob Verbeek, Matthieu Cord

分类: cs.CV

发布日期: 2026-11-03

💡 一句话要点

提出U-JiT以解决像素空间视频生成的挑战

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation)

关键词: 像素空间生成 视频生成 UNet架构 变换器模型 生成对抗网络 深度学习 计算机视觉

📋 核心要点

  1. 现有生成视频模型依赖自编码器进行数据压缩，导致训练过程分为两个阶段，无法实现完全端到端训练。
  2. 本文提出了一种UNet-like的变换器架构，旨在直接在像素空间中生成视频，克服现有方法的局限性。
  3. U-JiT模型在Kinetics-600数据集上进行实验，结果显示在生成FVD和FID上均有显著提升，尤其在高分辨率下表现更佳。

📝 摘要（中文）

潜在扩散和流匹配模型在最先进的生成视频模型中广泛应用。尽管效果显著，依赖预训练自编码器将数据压缩到低维潜在空间也存在缺陷。本文探讨了直接在像素空间中生成视频模型的可行性，分析了现有方法的不足，并提出了一种类似UNet的变换器架构，改进了训练策略和采样方法。实验表明，U-JiT模型在标准帧到视频任务中，在128分辨率下相较于现有最优结果提高了27%的生成FVD，在256分辨率下提升幅度更大。

🔬 方法详解

问题定义：本文旨在解决现有生成视频模型在潜在空间中训练的局限性，尤其是自编码器导致的信号损失和训练过程的非端到端性问题。

核心思路：通过直接在像素空间中生成视频，避免了潜在空间的压缩和重构损失，采用UNet-like的变换器架构来提高生成效果。

技术框架：整体架构包括输入视频帧的处理、特征提取、生成模块和输出视频的重建，采用改进的训练策略和采样方法以优化生成质量。

关键创新：U-JiT模型的主要创新在于其直接在像素空间中进行生成，避免了潜在空间的信号损失，并通过新的网络结构和训练方法提高了生成性能。

关键设计：模型采用了UNet-like结构，结合了多层次特征提取和上下文信息融合，损失函数设计上注重生成质量与多样性的平衡。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

U-JiT模型在Kinetics-600数据集上进行的实验显示，在128分辨率下生成FVD提高了27%，在256分辨率下提升幅度更大。同时，在类到视频生成任务中，U-JiT在FID上相较于潜在模型提高了27%，相较于像素空间模型提高了61%。

🎯 应用场景

该研究的潜在应用领域包括视频生成、动画制作和虚拟现实等，能够为内容创作提供更高质量和更具创意的生成工具。未来，U-JiT模型可能在实时视频生成和交互式媒体中发挥重要作用，推动相关技术的发展。

📄 摘要（原文）

Latent diffusion and flow matching models are ubiquitous in state-of-the-art generative video models. While highly effective, relying on pretrained autoencoders to compress the data into a lower-dimensional latent space also comes with drawbacks. First, training proceeds in two stages: autoencoder pretraining, with compression and reconstruction objectives, followed by latent generative model training, precluding fully end-to-end training. Second, autoencoders also lead to an inherent loss of signal, and the trade-off between reconstruction quality and generative performance in the latent space is still an active area of research. In this paper we explore the viability of generative video models directly in pixel space. We analyze recent approaches in pixel-space generative modeling of images that rely on basic transformer designs, and identify several shortcomings that limit their effectiveness for the high-dimensional pixel-space video generation. To overcome these limitations, we propose a UNet-like transformer architecture along with improvements to the training recipe and sampling strategy. We conduct controlled experiments, training latent and pixel-space models from scratch on Kinetics-600. For the standard frames-to-video task at 128 resolution, our U-JiT model improves generative FVD by 27% over prior state-of-the-art results, and by 14% against the JiT pixel-space baseline. Scaling to higher 256 resolution, we find the improvement over pixel-space and latent-based models grows as we increase the spatiotemporal compression rate up to $64 \times 64 \times 8$. Finally, we find that U-JiT improves per-frame FID by 27% over latent models and 61% over pixel-space models on class-to-video generation, with respectively 9% and 56% reduction in FVD.