TPD: Temporal Prior Decoupling for Text-to-Video Diffusion Models

📄 arXiv: 2607.26706v1 📥 PDF

作者: Taewon Kang, Matthias Zwicker

分类: cs.CV

发布日期: 2026-07-29

💡 一句话要点

提出TPD以解决文本到视频生成中的时间优先抑制问题

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion)

关键词: 文本到视频生成 时间优先解耦 扩散模型 信号恢复 视觉保真度 时间一致性 无训练框架

📋 核心要点

  1. 现有的文本到视频生成方法在处理早期场景与后期事件的生成时存在时间优先抑制问题，导致生成效果不佳。
  2. 论文提出的时间优先解耦（TPD）框架通过构建时间反事实，恢复被抑制的后期信号，实现了更好的事件生成。
  3. 实验结果显示，TPD在不同的文本到视频骨干网络上均显著提高了后期概念的实现，同时保持了时间一致性和视觉质量。

📝 摘要（中文）

文本到视频的扩散模型能够根据自然语言生成时间上连贯的内容，但在描述早期场景并在其上出现新事件时，生成常常无法实现后期事件。我们将这种失败称为时间优先抑制（TPS），它抑制了实现后期事件所需的指导信号。为此，我们提出了时间优先解耦（TPD），这是一个无训练框架，通过构建时间反事实来恢复被抑制的信号。TPD在扩散采样过程中运行，无需重训练，并且在分类器无关的指导空间中定义，使其具有骨干网络无关性。实验表明，TPD显著改善了后期概念的实现，同时保持了时间一致性和视觉保真度。

🔬 方法详解

问题定义：论文要解决的问题是文本到视频生成中的时间优先抑制（TPS），即早期场景的主导优先抑制了后期事件的生成信号，现有方法未能有效建模这一竞争性倾向。

核心思路：论文的核心解决思路是通过时间优先解耦（TPD）框架，在扩散采样过程中恢复被抑制的后期信号。TPD通过仅基于早期场景构建时间反事实，并定义完整提示与反事实轨迹之间的差异作为被抑制的信号方向。

技术框架：TPD的整体架构包括构建时间反事实、定义信号差异、以及通过帧选择的下界约束来恢复信号。该框架在扩散采样过程中运行，无需重训练，且在分类器无关的指导空间中定义。

关键创新：TPD的关键创新在于通过下界约束恢复被抑制的信号，而不是像以往方法那样去除该信号。这种设计确保了后期事件的生成不会破坏早期场景的一致性。

关键设计：TPD的关键设计包括帧选择的下界约束，该约束在扩散时间步和视频帧上共同解决，确保了被抑制信号的贡献得以实现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，TPD显著提高了后期概念的实现，尤其在不同的文本到视频骨干网络上均表现出色。具体而言，TPD在保持时间一致性和视觉保真度的同时，提升了后期事件的生成效果，显示出相较于基线方法的显著改进。

🎯 应用场景

该研究的潜在应用领域包括影视制作、游戏开发和虚拟现实等，能够为这些领域提供更高质量的文本到视频生成技术。通过改善生成的时间一致性和视觉保真度，TPD有望提升用户体验和内容创作的效率，推动相关技术的进一步发展。

📄 摘要（原文）

Text-to-video diffusion models generate temporally coherent content from natural language, yet when a prompt describes an early scene that persists while a new event emerges on top of it---such as "a tall sandcastle standing on a beach where a wave rushes in and washes it away"---generation frequently fails to realize the late-segment event in the corresponding frames. We identify this failure as Temporal Prior Suppression (TPS): the dominant prior of the early segment captures the cross-attention trajectory across the temporal axis and suppresses the guidance signal needed for late-segment realization, a competing tendency existing guidance mechanisms do not model. We introduce Temporal Prior Decoupling (TPD), a training-free framework that restores suppressed late-segment signals during diffusion sampling. TPD constructs a temporal counterfactual by conditioning on the early segment alone, and defines the discrepancy between the full-prompt and counterfactual trajectories as a suppressed signal direction. Rather than removing this direction as in prior subtractive projection methods, TPD restores it through a frame-selective lower-bound constraint resolved jointly over diffusion timestep and video frame, realizing the suppressed event in the late frames without disrupting early-segment coherence: where prior work enforces upper-bound feasibility to remove unwanted semantics, TPD enforces lower-bound feasibility to guarantee suppressed-signal contribution. TPD runs entirely within standard diffusion sampling without retraining, and is defined purely in classifier-free guidance space, making it backbone-agnostic by construction. Experiments show that TPD significantly improves late-concept realization while preserving temporal coherence and visual fidelity, and that the targeted suppression recurs across distinct text-to-video backbones.