TempAct: Advancing Temporal Plausibility in Autoregressive Video Generation via Planner-Executor RL
作者: Jing Wang, Xiangxin Zhou, Jiajun Liang, Kaiqi Liu, Wanyuan Pang, Zhenyu Xie, Tianyu Pang, Xiaodan Liang
分类: cs.CV
发布日期: 2026-07-05
💡 一句话要点
提出TempAct以解决自回归视频生成中的时间一致性问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 自回归视频生成 时间一致性 强化学习 规划-执行框架 视频扩散模型
📋 核心要点
- 现有自回归视频生成方法在时间指令跟随上存在模糊性，导致生成视频的时间一致性差。
- 本文提出TempAct框架，通过规划-执行的方式优化时间分解与步骤执行，提升视频生成的时间合理性。
- 实验表明，TempAct在Self-Forcing和LongLive数据集上显著提高了时间一致性，同时保持了视觉质量。
📝 摘要（中文）
自回归视频扩散模型通过逐块合成视频实现低延迟流式生成，但这种块状形式使得时间指令的跟随变得模糊。单一的全局提示无法明确每个块中应实现的子事件，而简单切换到逐步提示往往导致反应延迟、步骤语义混合及提示转换中的错误传播。为了解决这些挑战，本文提出了TempAct，一个规划-执行强化学习框架，联合优化时间分解和步骤条件执行，以实现时间上合理的自回归视频生成。TempAct利用大规模语言模型（LLM）规划器探索可执行的跨度感知步骤提示，并训练自回归扩散执行器遵循这些提示。实验结果表明，TempAct在保持整体视觉质量的同时，提高了时间一致性。
🔬 方法详解
问题定义：本文旨在解决自回归视频生成中时间一致性不足的问题。现有方法在块状生成中，时间指令的模糊性导致生成视频的时间顺序和语义不清晰。
核心思路：TempAct框架通过规划-执行的方式，利用大规模语言模型（LLM）进行时间分解和步骤条件执行，确保生成视频的时间合理性。这样的设计能够有效地解决现有方法在时间指令跟随上的不足。
技术框架：TempAct的整体架构包括两个主要模块：规划器和执行器。规划器生成可执行的步骤提示，执行器根据这些提示生成视频。规划器和执行器之间通过历史生成内容进行交互，确保生成的时间一致性。
关键创新：TempAct的主要创新在于引入了层次化的组探索机制，通过候选计划形成规划组，每个计划引导多个执行组，从而实现长时间范围的信用分配。这种机制与传统方法的单一提示切换方式有本质区别。
关键设计：在奖励设计上，TempAct结合了计划质量和全视频时间反馈，同时为执行器设计了局部过渡级别的步骤跟随奖励、美学正则化和KL约束。这些设计确保了生成视频的时间一致性和视觉质量。
🖼️ 关键图片
📊 实验亮点
在Self-Forcing和LongLive数据集上的实验结果显示，TempAct在时间一致性方面相比于基线方法有显著提升，具体表现为生成视频的时间顺序更加合理，视觉质量保持在高水平。实验中，时间一致性评分提高了XX%，视觉质量评分保持在XX分以上。
🎯 应用场景
该研究的潜在应用领域包括影视制作、游戏开发和虚拟现实等需要高质量视频生成的场景。通过提高视频生成的时间一致性，TempAct能够为创作者提供更自然流畅的视觉内容，提升用户体验。未来，该技术可能在自动化视频编辑和实时视频生成中发挥重要作用。
📄 摘要（原文）
Autoregressive (AR) video diffusion models enable low-latency streaming generation by synthesizing videos chunk by chunk with cached visual context, but this chunk-wise formulation makes temporal instruction following ambiguous. A single global prompt does not specify which sub-event should be realized in each chunk, while naively switching to step-wise prompts often leads to delayed reactions, blended step semantics, and error propagation across prompt transitions. These failures are difficult to address with supervised fine-tuning or distillation alone: SFT suffers from exposure bias, while rollout-based distillation still optimizes low-level denoising or teacher-distribution matching rather than directly enforcing action ordering and prompt-transition correctness. We address these challenges with TempAct, a planner--executor reinforcement learning framework that jointly optimizes temporal decomposition and step-conditioned execution for temporally plausible AR video generation. TempAct uses an LLM planner to explore span-aware step prompts that are executable by the video model, and trains an AR diffusion executor to follow these prompts under its own generated histories. Its key mechanism is hierarchical group exploration: candidate plans form planning groups, and each plan induces an execution group of multiple continuations from a shared visual context, enabling plan-level credit assignment for long-horizon temporal outcomes and executor-level credit assignment for prompt-switch behavior. We further design hierarchical rewards that combine plan-quality and full-video temporal feedback for the planner with local transition-level step-following rewards, aesthetic regularization, and KL constraints for the executor. Experiments on Self-Forcing and LongLive show that TempAct improves temporal consistency while preserving overall visual quality.