ForgeWM: Progressive Causal Training for Few-Step Action-Conditioned Video World Models

📄 arXiv: 2608.14022v1 📥 PDF

作者: Xinye Li, Lingshuai Lin, Lei Wang, Liuzhou Zhang, Jialin Cui, Qingshan Li, Guanchu Wang, Qingbin Liu, Xi Chen, Jiang Bian, Wai Lam

分类: cs.CV, cs.AI

发布日期: 2026-08-14

💡 一句话要点

提出ForgeWM以解决交互式视频生成中的因果训练问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 因果训练 视频生成 交互式模型 深度学习 游戏开发

📋 核心要点

  1. 现有的因果蒸馏方法在交互式世界模型中面临挑战，尤其是在处理离散键盘状态和连续鼠标运动时的时序对齐问题。
  2. ForgeWM通过渐进式框架，将双向动作条件视频生成器转化为高效的少步世界模型，采用了多种技术手段以提升生成质量。
  3. 在Minecraft轨迹的实验中，ForgeWM在图像质量、动作准确性等方面超越了其他系统，且在回放时间精炼中表现出色。

📝 摘要（中文）

本文提出了ForgeWM，一个渐进式框架，旨在将双向动作条件视频生成器转化为高效的少步世界模型。通过领域适应、教师强制因果训练、因果一致性蒸馏和基于策略的分布匹配，ForgeWM能够在低延迟下实现可靠的游戏控制响应。实验结果表明，ForgeWM在图像质量、动作准确性和鼠标控制精度等方面优于现有系统，同时在回放时间精炼中表现出色，展示了其在可控少步视频生成中的有效性。

🔬 方法详解

问题定义：本文旨在解决交互式视频生成中的因果训练问题，现有方法在处理离散和连续输入时难以保持时序一致性，导致生成质量不稳定。

核心思路：ForgeWM的核心思路是通过渐进式训练和多种技术手段，提升视频生成的因果一致性和响应速度，从而实现高效的少步世界模型。

技术框架：ForgeWM的整体架构包括领域适应、教师强制因果训练、因果一致性蒸馏和基于策略的分布匹配四个主要模块，逐步优化生成过程。

关键创新：ForgeWM的主要创新在于其渐进式框架和双向教师的引入，使得生成模型能够在低延迟下保持高质量的输出，与现有方法相比具有更好的因果一致性。

关键设计：在参数设置上，ForgeWM采用了稳态去噪预算为1、2和4步的设计，损失函数结合了因果一致性和动作准确性，网络结构则通过双向生成器实现了更高效的训练和生成过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，ForgeWM在图像质量、动作轮廓一致性、动作准确性和鼠标控制准确性方面均优于其他评估系统，且在参考LPIPS指标上表现最低。回放时间精炼的质量与四步参考质量相当，同时生成的轨迹与真实轨迹的距离约为再生噪声的三倍，显示出其卓越的性能。

🎯 应用场景

ForgeWM的研究成果在游戏开发、虚拟现实和增强现实等领域具有广泛的应用潜力。其高效的少步视频生成能力能够为交互式媒体内容的创作提供更灵活的工具，提升用户体验和交互性。未来，该技术可能在自动化内容生成和实时模拟中发挥重要作用。

📄 摘要（原文）

Action-conditioned video world models require low-latency causal generation and reliable responses to game-native controls. Although causal distillation enables one- or few-step video synthesis, extending it to interactive world models remains challenging, as discrete keyboard states and continuous mouse motion must remain aligned with temporally compressed latent chunks during causal training and autoregressive rollout. We introduce ForgeWM, a progressive framework that transforms a bidirectional action-conditioned video generator into efficient few-step world models through domain adaptation, teacher-forced causal training, causal consistency distillation, and on-policy distribution matching with a bidirectional teacher. The resulting budget-specialized students operate at steady-state denoising budgets of 1, 2, and 4 steps. ForgeWM further supports a dual-path deployment protocol combining latency-critical interaction with optional replay-time refinement, where the one-step student re-noises and refines its saved draft. On paired Minecraft trajectories, ForgeWM leads the evaluated systems in Imaging Quality, reference-aligned motion-profile agreement, action-sign accuracy, and mouse-control accuracy, while achieving the lowest reference LPIPS; the same four-stage recipe transfers to gamepad-controlled FPS gameplay. Replay-time refinement matches four-step reference quality while remaining roughly three times closer to the experienced trajectory than regeneration from noise. These results demonstrate ForgeWM's effectiveness for controllable few-step video generation.