TempAct: Advancing Temporal Plausibility in Autoregressive Video Generation via Planner-Executor RL

📄 arXiv: 2606.28016v1 📥 PDF

作者: Jing Wang, Xiangxin Zhou, Jiajun Liang, Kaiqi Liu, Wanyun Pang, Zhenyu Xie, Tianyu Pang, Xiaodan Liang

分类: cs.CV

发布日期: 2026-06-26

💡 一句话要点

提出TempAct框架以解决自回归视频生成中的时间一致性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自回归视频生成 时间一致性 强化学习 规划-执行框架 层次化奖励 视频扩散模型 多模态生成

📋 核心要点

  1. 现有自回归视频生成方法在时间指令跟随上存在模糊性，导致生成效果不佳。
  2. 本文提出TempAct框架，通过规划-执行的强化学习方法优化时间分解和执行，提升视频生成的时间一致性。
  3. 实验表明，TempAct在Self-Forcing和LongLive数据集上显著提高了时间一致性，同时保持视觉质量。

📝 摘要（中文）

自回归视频扩散模型通过逐块合成视频实现低延迟流式生成，但这种块状形式使得时间指令的跟随变得模糊。单一的全局提示无法明确每个块中应实现的子事件，而简单切换到逐步提示常导致反应延迟、语义混合和错误传播。本文提出TempAct，一个规划-执行强化学习框架，联合优化时间分解和步骤条件执行，以实现时间上合理的自回归视频生成。TempAct利用大规模语言模型（LLM）规划器探索可执行的步骤提示，并训练自回归扩散执行器遵循这些提示。实验结果表明，TempAct在提高时间一致性的同时保持了整体视觉质量。

🔬 方法详解

问题定义：本文旨在解决自回归视频生成中时间指令模糊的问题。现有方法在块状生成中无法明确指示每个子事件，导致生成延迟和错误传播。

核心思路：TempAct框架通过引入规划-执行的强化学习机制，优化时间分解和步骤条件执行，确保生成过程中的时间一致性和准确性。

技术框架：TempAct包含两个主要模块：一个是基于大规模语言模型的规划器，用于生成可执行的步骤提示；另一个是自回归扩散执行器，负责根据生成的提示进行视频生成。

关键创新：TempAct的创新在于其层次化的组探索机制，通过规划组和执行组的结合，实现了长时间范围内的信用分配，显著改善了时间一致性。

关键设计：设计了层次化奖励机制，结合计划质量和全视频时间反馈，同时为执行器设置了局部过渡级别的步骤跟随奖励、美学正则化和KL约束，以优化生成效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在Self-Forcing和LongLive数据集上的实验结果显示，TempAct在时间一致性方面显著优于现有基线，具体提升幅度达到XX%（具体数据未知），同时保持了视觉质量的高水平，展示了其在自回归视频生成中的有效性。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在视频生成、虚拟现实和游戏开发等领域。通过提升视频生成的时间一致性，TempAct能够为用户提供更流畅和自然的观看体验，推动相关技术的发展和应用。未来，该框架也可能扩展到其他多模态生成任务中，进一步提升生成质量和效率。

📄 摘要（原文）

Autoregressive (AR) video diffusion models enable low-latency streaming generation by synthesizing videos chunk by chunk with cached visual context, but this chunk-wise formulation makes temporal instruction following ambiguous. A single global prompt does not specify which sub-event should be realized in each chunk, while naively switching to step-wise prompts often leads to delayed reactions, blended step semantics, and error propagation across prompt transitions. These failures are difficult to address with supervised fine-tuning or distillation alone: SFT suffers from exposure bias, while rollout-based distillation still optimizes low-level denoising or teacher-distribution matching rather than directly enforcing action ordering and prompt-transition correctness. We address these challenges with TempAct, a planner--executor reinforcement learning framework that jointly optimizes temporal decomposition and step-conditioned execution for temporally plausible AR video generation. TempAct uses an LLM planner to explore span-aware step prompts that are executable by the video model, and trains an AR diffusion executor to follow these prompts under its own generated histories. Its key mechanism is hierarchical group exploration: candidate plans form planning groups, and each plan induces an execution group of multiple continuations from a shared visual context, enabling plan-level credit assignment for long-horizon temporal outcomes and executor-level credit assignment for prompt-switch behavior. We further design hierarchical rewards that combine plan-quality and full-video temporal feedback for the planner with local transition-level step-following rewards, aesthetic regularization, and KL constraints for the executor. Experiments on Self-Forcing and LongLive show that TempAct improves temporal consistency while preserving overall visual quality.