History Forcing: Distilling History-Dependent Continuations for Long-Horizon Video World Models
作者: Hangyi Kuang, Chengzhi Wang, Yefei He, Weijie Wang, Yuke Zhao, Zhuokun Chen, Zisu Huang, Yifan Yang, Xiaoxuan He, Feng Chen, Bohan Zhuang
分类: cs.CV
发布日期: 2026-11-02
备注: Project Page: https://ziplab.co/History-Forcing-Project-Page/
💡 一句话要点
提出历史强制方法以解决长视频生成中的一致性问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 长视频生成 历史监督 自回归模型 视频扩散 蒸馏训练 一致性提升 深度学习 计算机视觉
📋 核心要点
- 现有的自回归视频生成方法在长时间生成中保持一致性存在困难，尤其是在场景或主体暂时消失的情况下。
- 本文提出的历史强制框架通过利用历史信息增强监督，改善了少步自回归视频生成器的性能。
- 实验结果显示，该方法在1.3B模型中达到了85.07的VBench质量分数，显著提升了生成视频的质量和一致性。
📝 摘要（中文）
在长时间的视频生成中，保持一致性尤其具有挑战性，尤其是当场景或主体在视野之外时。尽管现有的蒸馏方法在生成质量和鲁棒性上有所进展，但未能充分利用历史信息来约束当前预测。为了解决这一问题，本文提出了历史强制（History Forcing）框架，通过增强历史监督来改善少步自回归视频生成器的性能。该框架利用教师模型在有无历史上下文下的预测残差来解耦监督，从而实现更好的生成效果。实验结果表明，该方法在多个基准测试中表现优异，显著提高了生成视频的质量和一致性。
🔬 方法详解
问题定义：本文旨在解决长时间视频生成中的一致性问题，现有方法未能充分利用历史信息来约束当前的生成预测，导致生成结果不够稳定。
核心思路：提出的历史强制方法通过引入历史上下文，利用教师模型的预测残差来增强监督，从而改善自回归生成的质量。这样的设计使得生成模型能够更好地参考历史信息，减少生成过程中的漂移。
技术框架：整体框架包括两个主要模块：教师模型和学生模型。教师模型生成历史上下文，学生模型则在此基础上进行自回归生成。通过对比教师模型在不同上下文下的预测，计算残差并进行加权，形成修正目标。
关键创新：最重要的创新在于通过历史强制框架引入历史监督，利用教师模型的预测残差来指导学生模型的生成。这一方法与传统的蒸馏方法不同，能够更有效地利用历史信息。
关键设计：在损失函数设计上，采用了加权残差来修正学生模型的目标预测。此外，教师模型的生成过程可以使用固定视角的回放，确保场景在学生模型的生成过程中始终可见。
🖼️ 关键图片
📊 实验亮点
实验结果显示，历史强制方法在1.3B模型中达到了85.07的VBench质量分数，60秒生成的VBench-Long综合得分为79.82。对于视野之外的世界建模，演变质量从2.35提升至2.70，物体一致性从58.43提升至62.18，显著改善了生成视频的质量和一致性。
🎯 应用场景
该研究的潜在应用领域包括视频生成、虚拟现实、游戏开发等。通过提高长视频生成的一致性和质量，能够为用户提供更流畅的观看体验，推动相关领域的技术进步和应用落地。
📄 摘要（原文）
Few-step autoregressive video diffusion enables efficient generation, yet maintaining consistency over long rollouts remains challenging, especially when subjects or scenes reappear after going out of sight. Despite progress in fidelity and rollout robustness, existing distillation methods do not fully exploit richer historical information to constrain the student's current prediction. To address this gap, we introduce \textbf{History Forcing}, a unified on-policy distillation framework that strengthens historical supervision for few-step autoregressive video generators. The framework uses the residual between teacher predictions with and without informative historical context to decouple this supervision. Such a historical context can be obtained using earlier generated chunks with less accumulated drift or a fixed-view teacher rollout that keeps the scene visible while the student looks away. The residual is then weighted and added to the score or velocity prediction used for distillation, forming a corrected target. By aligning the student with this corrected target through distillation, History Forcing incorporates long-range historical constraints into autoregressive generation. Our method achieves state-of-the-art performance among 1.3B models, with a VBench quality score of 85.07 for 15s video generation and a VBench-Long aggregate score of 79.82 for 60s generation. For out-of-sight world modeling, evaluations further demonstrate more plausible scene evolution and more consistent states when the camera returns, with Evolution Quality improving from 2.35 to 2.70 on PlayWorld and Object Consistency from 58.43 to 62.18 on MemoBench.