DreamForge-World 0.1 Preview: A Low-Compute Real-Time Controllable World Model

📄 arXiv: 2606.30292v1 📥 PDF

作者: Daniyel Ayupov, Artur Markov-Tsoy

分类: cs.LG, cs.CV

发布日期: 2026-06-29

备注: Project page: https://trydreamforge.com/

💡 一句话要点

提出DreamForge-World以解决低计算实时世界建模问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 实时世界模拟 低计算适应 消费级GPU 多模态交互 自回归视频模型

📋 核心要点

  1. 现有的世界模拟器通常需要高计算资源，限制了其在消费级硬件上的应用。
  2. 论文提出了一种低计算适应的世界模型，能够在消费级GPU上实现实时交互，支持多种控制方式。
  3. 在单个RTX 4090上，系统能够以480p分辨率达到14至15帧每秒，展现了良好的性能和低内存占用。

📝 摘要（中文）

我们介绍了DreamForge-World 0.1预览版，这是一个用于实时交互世界模拟的基础世界模型。该系统基于LongLive 1自回归视频堆栈，结合了Matrix-Game系列的残差动作路径。DreamForge-World 0.1预览版专注于低计算适应、消费级GPU运行时和广泛的交互能力，支持实时键盘和鼠标控制、多模态初始化、中途重提示、双视图操作以及以480p原生分辨率进行的分钟级交互回放，在单个RTX 4090上可达到14至15帧每秒，且内存占用较低。通过利用开放的视频基础架构并进行针对性的适应性运行，我们以高性价比构建了该预览系统。尽管DF-World 0.1预览版尚未达到内存完整或前沿质量的世界模拟器水平，但展示了在消费级GPU上实现实时可控世界模型预览的实用低计算路径。

🔬 方法详解

问题定义：当前的世界模拟器往往需要大量计算资源，导致其在消费级硬件上的应用受限，无法满足实时交互的需求。

核心思路：本论文提出的DreamForge-World 0.1预览版通过低计算适应策略，结合现有的自回归视频模型，旨在实现高效的实时世界模拟。

技术框架：系统基于LongLive 1自回归视频堆栈，采用残差动作路径设计，支持多模态输入和实时控制，整体架构包括输入处理、模型推理和输出生成三个主要模块。

关键创新：该系统的主要创新在于其低计算适应能力，使其能够在消费级GPU上实现高效的实时交互，区别于传统高计算需求的世界模拟器。

关键设计：在设计中，系统采用了开放的视频基础架构，针对性地进行了适应性运行，确保在低内存占用的情况下达到较高的帧率和分辨率。具体参数设置和损失函数的选择也经过优化，以提高模型的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，DreamForge-World 0.1预览版在单个RTX 4090上以480p分辨率实现了14至15帧每秒的性能，且内存占用较低，展现了良好的运行效率，相较于传统模拟器具有显著的性能提升。

🎯 应用场景

DreamForge-World的潜在应用场景包括游戏开发、虚拟现实和增强现实等领域，能够为开发者提供实时交互的世界建模工具，降低开发成本，提高用户体验。未来，该技术有望推动更多基于消费级硬件的实时模拟应用的落地。

📄 摘要（原文）

We present DreamForge-World 0.1 Preview, a preview foundational world model for real-time interactive world simulation. The system adapts the LongLive 1 autoregressive video stack, itself derived from Wan2.1-T2V-1.3B, with a residual action pathway inspired by the Matrix-Game family. DreamForge-World 0.1 Preview focuses on a complementary axis to frontier-scale world simulators: low-compute adaptation, consumer-GPU runtime, and broad interactive capability coverage. It supports live keyboard and mouse control, multimodal initialization, mid-stream reprompting, dual-view operation, and minute-scale interactive rollouts at native 480p resolution, reaching up to 14 to 15 FPS FPS on a single RTX 4090 with a low memory footprint. By leveraging open video backbones and applying targeted adaptation runs, we build the preview system with high cost-efficiency. DF-World 0.1 Preview is not yet a memory-complete or frontier-quality world simulator, but demonstrates a practical low-compute route toward real-time controllable world-model previews on consumer GPUs.