DreamX-World 1.0: A General-Purpose Interactive World Model

📄 arXiv: 2606.16993v1 📥 PDF

作者: DreamX Team, Yancheng Bai, Rui Chen, Xiangxiang Chu, Rujing Dang, Hao Dou, Bingjie Gao, Qiwen Gu, Siyu Hong, Jiachen Lei, Geng Li, Jifan Li, Ruimin Lin, Qingfeng Shi, Bingze Song, Lei Sun, Jing Tang, Ruitian Tian, Jun Wang, Jiahong Wu, Pengfei Zhang, Shen Zhang, Jiashu Zhu

分类: cs.CV

发布日期: 2026-06-15

备注: Project page: https://amap-ml.github.io/DreamX_World, Code: https://github.com/AMAP-ML/DreamX-World

💡 一句话要点

提出DreamX-World 1.0以解决长视频生成控制问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 长视频生成 交互式模型 相机控制 事件指令调优 多模态融合

📋 核心要点

  1. 现有的长视频生成方法在控制和一致性方面存在不足，难以实现高质量的交互式生成。
  2. 论文提出了DreamX-World 1.0，通过结合相机导航和事件控制，提升了长视频生成的可控性和质量。
  3. 在实验中，DreamX-World 1.0在相机控制得分上达到73.75，整体得分为84.76，显著优于HY-WorldPlay 1.5和LingBot-World。

📝 摘要（中文）

DreamX-World 1.0是一个通用的交互式文本/图像到视频的世界模型，旨在实现可控的长时间生成。该模型支持相机导航、重访先前观察区域以及在真实感、游戏风格和风格化领域中的可提示事件。其数据引擎结合了相机精确的虚幻引擎渲染、丰富的游戏录制和恢复相机几何的真实视频。通过引入E-PRoPE，模型实现了相机控制的轻量化变体，并通过自生成的长时间上下文训练，减少了自回归生成过程中风格和颜色的漂移。实验结果显示，DreamX-World 1.0在相机控制和整体评分上超越了现有的基线模型。

🔬 方法详解

问题定义：本论文旨在解决长视频生成中的控制性和一致性问题。现有方法在生成过程中往往面临风格漂移和缺乏交互性的挑战。

核心思路：论文提出的DreamX-World 1.0通过引入E-PRoPE和自生成的长时间上下文训练，增强了模型的相机控制能力和生成质量。

技术框架：整体架构包括数据引擎、相机控制模块、生成模块和事件指令调优模块。数据引擎负责整合不同来源的视频数据，而相机控制模块则利用E-PRoPE进行空间注意力处理。

关键创新：最重要的创新在于E-PRoPE的引入，它保留了项目相机几何的同时，应用相机感知的注意力机制，显著提升了生成的准确性和控制性。

关键设计：模型采用了混合精度的DiT执行、残差重用和75%修剪的VAE解码，结合异步管道并行性，确保了在多GPU环境下的高效运行。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，DreamX-World 1.0在相机控制得分上达到73.75，整体得分为84.76，显著优于HY-WorldPlay 1.5（得分80.79）和LingBot-World（得分80.45），展示了其在长视频生成领域的卓越性能。

🎯 应用场景

DreamX-World 1.0的潜在应用领域包括游戏开发、虚拟现实和电影制作等。其高效的长视频生成能力可以为创作者提供更灵活的工具，提升内容创作的效率和质量。未来，该模型可能在交互式娱乐和教育领域产生深远影响。

📄 摘要（原文）

DreamX-World 1.0 is a general-purpose interactive text/image-to-video world model for controllable long-horizon generation. It supports camera navigation, revisits to previously observed regions, and promptable events across photorealistic, game-style, and stylized domains. Our data engine combines camera-accurate Unreal Engine rendering, action-rich gameplay recordings, and real-world videos with recovered camera geometry. For camera control, we introduce E-PRoPE, a lightweight variant of projective positional encoding that retains PRoPE's projective camera geometry while applying camera-aware attention to spatially reduced tokens. We convert a bidirectional video generator into a few-step autoregressive world model using causal forcing, DMD-style distillation, and long-rollout training. Training on self-generated long-horizon contexts exposes the model to its own generated history and reduces the style and color drift that accumulates across autoregressive chunks. Memory-Conditioned Scene Persistence retrieves earlier views through camera-geometry-based retrieval, while residual recycling makes the conditioning path less sensitive to imperfect memory latents. Event Instruction Tuning adds composable event control, and reinforcement learning alignment recovers camera control and visual quality after distillation. With mixed-precision DiT execution, residual reuse, 75\%-pruned VAE decoding, and asynchronous pipeline parallelism, DreamX-World 1.0 reaches up to 16\,FPS on eight RTX\,5090 GPUs. On our 5-second basic evaluation, DreamX-World 1.0 achieves a camera-control score of 73.75 and an overall score of 84.76, outperforming HY-WorldPlay 1.5 and LingBot-World in overall score, which achieve 80.79 and 80.45, respectively.