UniTemp: Unlocking Video Generation in Any Temporal Order via Bidirectional Distillation
作者: Lin Zhang, Sicheng Mo, Zefan Cai, Jinhong Lin, Zihao Lin, Jiuxiang Gu, Krishna Kumar Singh, Yuheng Li, Yin Li
分类: cs.CV
发布日期: 2026-06-17
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出UniTemp以解决视频生成的任意时间顺序问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 视频生成 自回归模型 双向蒸馏 块状锚定潜变量 灵活生成 长视频生成 上下文恢复
📋 核心要点
- 现有自回归视频生成模型仅支持前向时间生成，无法满足实际应用中对灵活生成顺序的需求。
- 本文提出UniTemp，通过引入块状锚定潜变量，支持任意时间方向的视频生成，解决了反向生成中的上下文缺失问题。
- 实验结果显示，UniTemp在短视频和长视频生成上与传统前向方法相比，性能保持竞争力，并支持多种生成模式。
📝 摘要（中文）
自回归视频扩散模型已成为长视频生成的有前景的方法，在流媒体设置中表现出色。然而，现有方法仅限于前向时间生成，而实际视频创作常需灵活的生成顺序。为此，本文提出UniTemp，通过训练一个支持任意时间方向生成的自回归模型，解决了这一问题。核心技术创新在于引入块状锚定潜变量，恢复反向生成时的缺失上下文。实验表明，UniTemp在短视频和长视频生成上与仅前向方法相比，保持了竞争力，同时支持双向视频扩展、插值生成等多种工作流程。
🔬 方法详解
问题定义：本文旨在解决现有自回归视频生成模型仅支持前向生成的问题，导致在实际应用中灵活性不足，无法满足对未来或过去上下文的条件生成需求。
核心思路：提出UniTemp，通过训练一个单一的自回归模型，支持任意时间方向的视频生成，特别是通过引入块状锚定潜变量来恢复反向生成时的缺失上下文。
技术框架：UniTemp的整体架构包括一个自回归学生模型，采用双向蒸馏框架进行训练。模型在推理时可以根据任意的过去和/或未来帧进行条件生成，增强了生成的可控性。
关键创新：最重要的技术创新在于块状锚定潜变量的引入，这一设计有效解决了反向生成时的上下文缺失问题，与现有方法相比，显著提升了生成的灵活性和质量。
关键设计：在模型设计中，采用了特定的损失函数以平衡前向和反向生成的性能，并优化了网络结构以适应块状锚定潜变量的引入，确保生成过程的连贯性和一致性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，UniTemp在短视频和长视频生成上与仅前向方法相比，性能保持竞争力，支持多种生成模式，如双向视频扩展和插值生成，展示了显著的灵活性和多样性。
🎯 应用场景
该研究的潜在应用领域包括电影制作、游戏开发、虚拟现实等，能够为创作者提供更灵活的视频生成工具，提升创作效率和质量。未来，UniTemp可能在多模态内容生成和交互式媒体中发挥重要作用。
📄 摘要（原文）
Autoregressive video diffusion models have emerged as a promising approach for long video generation, achieving strong performance in streaming settings. However, existing methods are restricted to forward temporal generation, whereas practical video creation often requires flexible generation order, e.g., conditioning on future context to extend backward, or on both past and future context for inbetween generation. We bridge this gap by training an autoregressive model that supports generation in arbitrary temporal directions. A key technical challenge arises from the Causal 3D VAE widely used in video diffusion models, which encodes latents strictly conditioned on past context. While suited for forward generation, this causal structure causes inter-block discontinuities when generation proceeds backward. To address this, we introduce blockwise anchor latents, a set of auxiliary latents that restore the missing past context at block boundaries during backward generation. Built on this design, we propose UniTemp, a bidirectional distillation framework that trains a single autoregressive student model for any-direction video generation. At inference time, UniTemp conditions on arbitrary past and/or future frames, improving controllability for both bidirectional and inbetween generation. Experiments show that UniTemp maintains competitive performance on short and long video generation compared to forward-only methods, while enabling diverse workflows such as bidirectional video extension, inbetween generation, looping video generation, scene transition, and visual story generation. Project website: https://lzhangbj.github.io/projects/unitemp/