WorldSimProbe: Diagnosing Simulator Faithfulness in Action-Conditioned World Models for Embodied Manipulation

📄 arXiv: 2608.09298v1 📥 PDF

作者: Peterson Co, Sicheng Hu, Chunxuan Jiao, Hongyang Cheng, Yulin Luo, Yijie Xu, Sixiang Chen, Zhongxia Zhao, Zihao Wang, DaFeng Chi, Peidong Liu, YuTong Chen, Henghua Liu, Zhihao Yuan, Huizhu Jia, Yuzheng Zhuang, Tianle Zhang, Liang Lin, Huajie Tan, Shanghang Zhang

分类: cs.RO, cs.AI

发布日期: 2026-08-10

备注: 20 pages, 18 figures, and 10 tables, including supplementary material. Code and data: https://evophys.com/WorldSimProbe/

💡 一句话要点

提出WorldSimProbe以解决ACWM模拟器信度评估问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 动作条件世界模型 模拟器信度 具身人工智能 评估方法 控制敏感性 动态响应 交互基础 系统性缺陷

📋 核心要点

  1. 现有的ACWMs评估方法主要关注视觉质量和任务结果，缺乏对模拟器信度的直接测试。
  2. 本文提出了可观察模拟器契约，并通过WorldSimProbe评估ACWMs的能力，确保动作与环境响应的对应关系。
  3. 在对六个开源ACWMs的评估中，发现了系统性的动作实现退化和交互基础的结构性失败，提供了新的评估标准。

📝 摘要（中文）

动作条件世界模型（ACWMs）为具身人工智能提供了可扩展的预测模拟器，然而现有评估方法未能直接测试模拟器的信度。为此，本文提出了可观察模拟器契约，并引入WorldSimProbe，通过五个控制套件评估ACWMs的能力。实验结果显示，ACWMs在控制变化、交互基础和动态响应方面存在系统性缺陷，提供了一个透明且标准化的框架来诊断模拟器信度。

🔬 方法详解

问题定义：本文旨在解决现有动作条件世界模型（ACWMs）在模拟器信度评估中的不足，现有方法未能有效测试模拟器的真实能力和反应。

核心思路：提出可观察模拟器契约，确保模拟器的动作与环境响应之间的对应关系，从而为ACWMs的评估提供一个新的标准。

技术框架：WorldSimProbe由五个控制套件组成，分别评估局部控制敏感性、全局轨迹变化、源多样化动作、交互基础和动态响应。每个套件都有特定的评估指标。

关键创新：最重要的创新在于引入了可观察模拟器契约，为ACWMs的评估提供了一个系统化的框架，超越了传统的任务导向评估方法。

关键设计：在设计中，采用了特定的评估指标来衡量模拟器相对校准、动作与运动的密集对应关系、虚假交互基础和原始级别动态等，确保评估的全面性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在对六个开源ACWMs的评估中，WorldSimProbe揭示了在控制变化下的系统性动作实现退化，交互基础和动态响应方面的结构性失败，提供了与人类判断和下游结果一致的基准信号，显著提升了模拟器评估的透明度和标准化。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、虚拟现实和自动化系统等。通过提高ACWMs的信度评估，能够促进具身人工智能在复杂环境中的应用，提升其决策和执行能力，具有重要的实际价值和未来影响。

📄 摘要（原文）

Action-conditioned world models (ACWMs) promise to provide embodied AI with scalable predictive simulators for planning, policy evaluation, and data generation. Realizing this promise requires precise action-conditioned transitions rather than merely plausible outputs. Yet their applicability remains difficult to establish because prevailing evaluations emphasize visual quality, task outcomes, or coarse rollout-level responsiveness without directly testing simulator fidelity. To address this gap, we evaluate ACWMs through the observable capabilities expected of physical simulators. Accordingly, we formalize Observable Simulator Contract, a minimal contract that any action-conditioned physical simulator should satisfy: supplied actions must induce corresponding agent motion, and environment responses must be grounded in that realized motion. To operationalize this contract, we introduce WorldSimProbe, comprising five controlled suites spanning local control sensitivity, global trajectory variation, source-diverse actions, interaction grounding, and dynamics. Suite-specific evaluators assess simulator-relative calibration, dense action-to-motion correspondence, false-interaction grounding, and primitive-level dynamics. We evaluate six open-source ACWMs on more than 18,000 instances across RoboTwin, ManiSkill, and LIBERO. World-SimProbe reveals systematic action-realization degradation across control variation, structured failures in interaction grounding and dynamics, and benchmark signals consistent with human judgments and downstream outcomes. Together, this capability-based framework provides a transparent, and standardized paradigm for diagnosing ACWM simulator fidelity beyond coarse, task-directed evaluation.