A Comprehensive Survey on World Models for Embodied AI

📄 arXiv: 2510.16732v2 📥 PDF

作者: Xinqing Li, Xin He, Le Zhang, Min Wu, Xiaoli Li, Yun Liu

分类: cs.CV

发布日期: 2025-10-19 (更新: 2025-11-29)

备注: https://github.com/Li-Zn-H/AwesomeWorldModels

🔗 代码/项目: GITHUB

💡 一句话要点

对具身智能中世界模型的全面综述，涵盖功能、时序建模和空间表示三个维度。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 世界模型 具身智能 环境建模 强化学习 预测模型

📋 核心要点

  1. 现有具身智能方法在模拟环境动态、进行长时程预测和保持物理一致性方面存在挑战。
  2. 论文提出了一个统一的框架，对具身智能中的世界模型进行分类，涵盖功能、时序建模和空间表示三个维度。
  3. 论文系统化了数据资源和评估指标，并对现有模型进行了定量比较，总结了开放挑战。

📝 摘要（中文）

具身智能需要智能体感知、行动并预测行动如何重塑未来的世界状态。世界模型作为内部模拟器，捕获环境动态，支持前向和反事实推演，从而支持感知、预测和决策。本综述提出了一个具身智能中世界模型的统一框架。具体而言，我们形式化了问题设置和学习目标，并提出了一个三轴分类法，包括：（1）功能性：决策耦合 vs. 通用；（2）时间建模：序列模拟和推理 vs. 全局差异预测；（3）空间表示：全局潜在向量、Token特征序列、空间潜在网格和分解渲染表示。我们系统化了机器人、自动驾驶和通用视频设置中的数据资源和指标，涵盖像素预测质量、状态级理解和任务性能。此外，我们对最先进的模型进行了定量比较，并提炼了关键的开放挑战，包括统一数据集的稀缺，以及评估物理一致性而非像素保真度的评估指标的需求，模型性能与实时控制所需的计算效率之间的权衡，以及实现长时程时间一致性同时减轻误差累积的核心建模难度。最后，我们维护了一个精选的参考书目，网址为https://github.com/Li-Zn-H/AwesomeWorldModels。

🔬 方法详解

问题定义：论文旨在解决具身智能领域中，智能体如何有效地学习和利用世界模型进行感知、预测和决策的问题。现有方法在长时程预测、物理一致性以及计算效率之间存在权衡，缺乏统一的评估标准和数据集，阻碍了该领域的发展。

核心思路：论文的核心思路是对现有的世界模型进行系统性的分类和分析，从而为未来的研究提供指导。通过构建一个三轴分类框架，论文将不同的世界模型按照其功能、时序建模方式和空间表示方法进行归类，从而揭示了不同模型之间的联系和差异。

技术框架：论文构建了一个三轴分类框架，包括：(1) 功能性：决策耦合 vs. 通用；(2) 时间建模：序列模拟和推理 vs. 全局差异预测；(3) 空间表示：全局潜在向量、Token特征序列、空间潜在网格和分解渲染表示。该框架旨在涵盖当前主流的世界模型，并为未来的模型设计提供参考。论文还整理了机器人、自动驾驶和通用视频等领域的数据集和评估指标。

关键创新：论文的主要创新在于提出了一个统一的框架来理解和比较不同的世界模型。该框架不仅涵盖了模型的不同方面，还强调了模型之间的权衡和挑战。此外，论文还对现有模型进行了定量比较，并指出了未来研究的方向。

关键设计：论文的关键设计在于三轴分类框架的构建。每个轴都代表了世界模型的一个重要方面，例如，功能性轴区分了专门为特定任务设计的模型和通用的模型。时间建模轴区分了基于序列模拟的模型和基于全局差异预测的模型。空间表示轴区分了不同的空间信息编码方式。此外，论文还强调了评估指标的重要性，并呼吁开发更符合物理一致性的评估指标。

📊 实验亮点

论文对现有世界模型进行了定量比较，揭示了不同模型在像素预测质量、状态级理解和任务性能方面的差异。论文还指出了当前研究面临的关键挑战，例如缺乏统一的数据集和评估指标，以及模型性能与计算效率之间的权衡。这些发现为未来的研究提供了重要的参考。

🎯 应用场景

该研究成果可应用于机器人导航、自动驾驶、游戏AI等领域。通过对世界模型的深入理解和系统分类，可以帮助研究人员设计更高效、更可靠的智能体，从而提升智能体在复杂环境中的适应性和决策能力。未来的研究可以集中在开发更通用的世界模型，并解决长时程预测和物理一致性等挑战。

📄 摘要（原文）

Embodied AI requires agents that perceive, act, and anticipate how actions reshape future world states. World models serve as internal simulators that capture environment dynamics, enabling forward and counterfactual rollouts to support perception, prediction, and decision making. This survey presents a unified framework for world models in embodied AI. Specifically, we formalize the problem setting and learning objectives, and propose a three-axis taxonomy encompassing: (1) Functionality, Decision-Coupled vs. General-Purpose; (2) Temporal Modeling, Sequential Simulation and Inference vs. Global Difference Prediction; (3) Spatial Representation, Global Latent Vector, Token Feature Sequence, Spatial Latent Grid, and Decomposed Rendering Representation. We systematize data resources and metrics across robotics, autonomous driving, and general video settings, covering pixel prediction quality, state-level understanding, and task performance. Furthermore, we offer a quantitative comparison of state-of-the-art models and distill key open challenges, including the scarcity of unified datasets and the need for evaluation metrics that assess physical consistency over pixel fidelity, the trade-off between model performance and the computational efficiency required for real-time control, and the core modeling difficulty of achieving long-horizon temporal consistency while mitigating error accumulation. Finally, we maintain a curated bibliography at https://github.com/Li-Zn-H/AwesomeWorldModels.