Causal-rCM: A Unified Teacher-Forcing and Self-Forcing Open Recipe for Autoregressive Diffusion Distillation in Streaming Video Generation and Interactive World Models
作者: Kaiwen Zheng, Guande He, Min Zhao, Jintao Zhang, Huayu Chen, Jianfei Chen, Chen-Hsuan Lin, Ming-Yu Liu, Jun Zhu, Qianli Ma
分类: cs.CV, cs.LG
发布日期: 2026-06-24
备注: Technical Report
💡 一句话要点
提出Causal-rCM以解决流媒体视频生成中的自回归扩散蒸馏问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 自回归视频生成 扩散蒸馏 教师强制 自我强制 流媒体生成 交互式世界模型 物理AI 一致性模型
📋 核心要点
- 现有的自回归视频生成方法在实时性和生成质量上存在挑战，尤其是在复杂场景下的交互能力不足。
- 本文提出Causal-rCM，通过结合教师强制和自我强制的训练策略，优化了自回归视频扩散的蒸馏过程。
- 实验结果表明，Causal-rCM在流媒体视频生成中表现出色，尤其是在帧级和块级设置下，达到了新的性能标准。
📝 摘要（中文）
自回归视频扩散与因果扩散变换器已成为实时流媒体视频生成和基于动作的交互式世界模型的重要范式。本文将先进的扩散蒸馏框架rCM扩展到自回归视频扩散。rCM的核心理念在于前向和反向散度之间的互补性，分别由一致性模型（CMs）和分布匹配蒸馏（DMD）表示。我们展示了教师强制CM是自我强制DMD的最佳初始化策略，并首次实现了基于教师强制的连续时间CMs，使用自定义的FlashAttention-2 JVP内核，收敛速度比离散时间CMs快10倍。此外，我们提出了Causal-rCM，一个统一且可扩展的扩散蒸馏和因果训练算法基础设施，达到了最先进的流媒体视频生成性能。我们的蒸馏模型在仅使用合成数据训练的情况下，取得了84.63的VBench-T2V分数。
🔬 方法详解
问题定义：本文旨在解决自回归视频生成中的扩散蒸馏效率和质量问题。现有方法在训练过程中往往面临前向和反向散度的平衡挑战，导致生成效果不理想。
核心思路：提出Causal-rCM，通过整合教师强制（TF）和自我强制（SF）策略，利用前向和反向散度的互补性来提升生成质量和训练效率。教师强制提供离线的前向散度训练，而自我强制则用于在线的反向散度优化。
技术框架：Causal-rCM的整体架构包括教师强制CM和自我强制DMD两个主要模块。教师强制模块负责初始化和前期训练，而自我强制模块则在生成过程中进行实时优化。该框架还引入了自定义的FlashAttention-2 JVP内核，以加速训练过程。
关键创新：最重要的创新在于首次实现了基于教师强制的连续时间CMs，显著提高了收敛速度，达到离散时间CMs的10倍效率提升。这一设计使得模型在生成过程中更加灵活和高效。
关键设计：在模型设计中，采用了特定的损失函数来平衡前向和反向散度，同时优化了网络结构以适应流媒体生成的需求。参数设置经过精细调整，以确保在不同训练阶段的最佳表现。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Causal-rCM在流媒体视频生成中取得了显著的性能提升，蒸馏模型在仅使用1或2个采样步骤的情况下，达到了84.63的VBench-T2V分数，展示了其在生成质量和效率上的优势。
🎯 应用场景
该研究具有广泛的应用潜力，尤其是在实时视频生成、虚拟现实和交互式游戏等领域。通过提升生成效率和质量，Causal-rCM能够为用户提供更流畅的体验，并推动物理AI的发展，支持更复杂的交互式世界模型。
📄 摘要（原文）
Autoregressive video diffusion with causal diffusion transformers has emerged as a major paradigm for real-time streaming video generation and action-conditioned interactive world models. In this work, we extend rCM, an advanced diffusion distillation framework, to autoregressive video diffusion. The core philosophy of rCM lies in the complementarity between forward and reverse divergences, represented by consistency models (CMs) and distribution matching distillation (DMD), respectively, in diffusion distillation. This philosophy naturally carries over to the autoregressive setting, where teacher-forcing (TF) provides an offline, forward-divergence causal training paradigm, while self-forcing (SF) corresponds to an on-policy, reverse-divergence refinement. Our contributions are: (1) through extensive experiments, we show that teacher-forcing CM is currently the best complement to self-forcing DMD as an initialization strategy (2) we present the first implementation of teacher-forcing-based continuous-time CMs (e.g., sCM/MeanFlow) for autoregressive video diffusion, enabled by our custom-mask FlashAttention-2 JVP kernel, achieving 10$\times$ faster convergence compared to discrete-time CMs (dCMs) (3) we introduce Causal-rCM, a leading, unified, and scalable algorithm-infrastructure open recipe for diffusion distillation and causal training (4) we achieve state-of-the-art streaming video generation performance in both frame-wise and chunk-wise settings, using only synthetic data for training. Notably, our distilled 2-step causal Wan2.1-1.3B model achieves a VBench-T2V score of 84.63 with only 1 or 2 sampling steps. We further apply Causal-rCM to Cosmos 3, an advanced omnimodal world foundation model for physical AI with action-conditioned generation capability, enabling an interactive world model.