From Generation to Simulation: How Far Are World Models from Being True Simulators?
作者: Tong Wang, Huan Deng, Mucheng Yang, Yang He, Xiaohui Kuang, Gang Zhao
分类: cs.AI, cs.CV
发布日期: 2026-08-24
备注: 42 pages, 23 figures, 2 tables. Project page: https://github.com/AtongWang/world-model-simulators
🔗 代码/项目: GITHUB
💡 一句话要点
提出基于能力评估的世界模型与传统模拟器的比较研究
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 生成模型 世界模型 模拟器 能力评估 物理引擎 状态反馈 长时间演化
📋 核心要点
- 现有生成模型在物理法则保证和状态反馈方面存在显著不足，无法完全替代传统模拟器。
- 论文通过能力评估框架，分析世界模型在交互、可控性等方面的表现，并提出改进方向。
- 研究表明，世界模型在特定场景下已实现功能替代，但在长时间稳定性和状态反馈方面仍需提升。
📝 摘要（中文）
随着扩散模型和大规模视频生成的快速发展，生成世界模型越来越被期望替代传统模拟器，如物理引擎和游戏引擎。然而，从生成到模拟的距离缺乏系统评估。本文通过八项传统模拟器能力的外部标尺，进行了一项能力基础的研究。分析显示，世界模型在特定场景下实现了交互和可控性的功能替代，但在物理法则的正式保证、结构化状态反馈和可重复的长时间演化方面仍然不足。我们识别出六个研究方向以推动该领域的发展。
🔬 方法详解
问题定义：本文旨在评估生成世界模型与传统模拟器之间的差距，尤其是在物理法则的遵循和状态反馈的提供方面。现有方法在这些关键领域表现不足，导致生成模型无法完全替代传统模拟器。
核心思路：通过建立一个基于能力的评估框架，论文系统性地分析了200个代表性研究的能力表现，识别出世界模型在交互和可控性方面的优势及其短板。
技术框架：研究分为三个主要技术路线：潜在动态、视频生成和联合嵌入预测。每条路线对应不同的能力评估，涵盖资产构建、物理引擎、交互性等八项能力。
关键创新：论文的创新之处在于提出了一个系统的能力评估框架，首次将生成模型与传统模拟器进行全面比较，揭示了状态反馈的缺失是主要短板。
关键设计：在评估过程中，论文关注了六个关键研究方向，包括形式化物理、统一动作接口、第一类状态反馈等，以推动生成模型的进一步发展。通过对163篇实现论文的分析，发现仅有6篇提供了运行时接口用于查询实体状态或物理参数。
🖼️ 关键图片
📊 实验亮点
实验结果表明，世界模型在交互和可控性方面已实现功能替代，但在物理法则保证和状态反馈方面仍显不足。具体而言，只有6篇论文提供了状态查询接口，显示出该领域的研究空白。
🎯 应用场景
该研究的潜在应用领域包括游戏开发、虚拟现实和机器人控制等。通过改进生成模型的能力，未来可以实现更真实的模拟环境，提升用户体验和系统的智能化水平，推动相关技术的进步。
📄 摘要（原文）
With the rapid progress of diffusion models and large-scale video generation, generative world models are increasingly expected to replace traditional simulators, including physics engines, game engines, and reinforcement-learning environments. Yet the remaining distance from generation to simulation lacks a systematic assessment. We present a capability-based study using an external yardstick: eight capabilities of a traditional simulator, namely asset construction, physics engine, interaction, controllability, stability, state feedback, diversity, and evaluation metrics. We trace three main technical routes--latent dynamics, video generation, and joint-embedding prediction--and map exactly 200 representative works published from 2018 to June 2026 onto these capabilities. Our analysis shows that world models have achieved functional substitution in interaction and controllability for specific scenarios, but remain short of traditional simulators in formal guarantees of physical laws, structured state feedback, and reproducible long-horizon evolution. State feedback is the most neglected cross-route shortcoming: only 6 of 163 implementation papers expose a runtime interface for querying entity states or physical parameters. We identify six research directions: formalized physics, a unified action interface, first-class state feedback, long-horizon stability, downstream-utility evaluation, and cross-route hybridization. Project page: https://github.com/AtongWang/world-model-simulators