WorldOdysseyBench: An Open-World Benchmark for Long-Horizon Stability of Interactive World Models
作者: Ting-Bing Xu, Jiacheng Sui, Zhe Gao, Kewei Shi, Wenjin Yang, Zhicheng Liu, Zhaoxu Sun, Mingchao Sun, Hongyu Pan, Fan Jiang, Mu Xu, Qi Fan, Yang Gao, Yong Li, Baoquan Chen
分类: cs.CV, cs.AI
发布日期: 2026-07-05
💡 一句话要点
提出WorldOdysseyBench以评估交互世界模型的长期稳定性
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 交互世界模型 长期稳定性 开放世界基准 动作评估 记忆评估 物理评估 视觉评估 3D重建
📋 核心要点
- 现有的交互世界模型评估方法仅在轨迹层面进行，忽视了记忆和交互物理的影响，导致评估结果不够全面。
- 论文提出WorldOdysseyBench基准，通过四个维度的创新评估IWMs的长期稳定性，涵盖动作、视觉、物理和记忆。
- 实验结果表明，现有模型在所有维度上均未能可靠满足要求，最佳模型的得分仅为中等，显示出该基准的挑战性和必要性。
📝 摘要（中文）
尽管交互世界模型（IWMs）取得了快速进展，现有基准仅在轨迹层面评估动作跟随，忽视了记忆和交互物理。我们引入了WorldOdysseyBench，这是一个开放世界基准，评估四个维度的长期稳定性，每个维度都有针对性的创新：（i）动作：每帧动作指标绕过跨模型语义尺度差异，揭示轨迹隐藏的失败；（ii）视觉：基于分段的漂移指标捕捉中序列非单调崩溃，避免了起始与结束比较的遗漏；（iii）物理：基于可控性评估机械、光学和3D一致性，评分在忠实执行动作下的合理性；（iv）记忆：通过过渡局部化的3D点云重建和跟踪加VLM推理评估场景记忆。基准包含600多个测试案例，涵盖自然、城市和室内场景，支持10-60秒的连续交互。对10多个开源和闭源模型的评估显示，没有模型在所有维度上都能可靠满足要求，甚至最佳模型的得分也仅为中等水平。对WorldOdysseyBench的进展是朝着稳定、物理基础、记忆可靠且可在现实应用中部署的IWMs迈出的重要一步。
🔬 方法详解
问题定义：论文旨在解决现有交互世界模型评估方法的不足，特别是在动作跟随、记忆和物理交互方面的评估不够全面和准确。
核心思路：通过引入WorldOdysseyBench基准，论文设计了四个维度的评估指标，旨在全面评估IWMs在长期交互中的稳定性和可靠性。
技术框架：整体架构包括四个主要模块：动作评估、视觉评估、物理评估和记忆评估。每个模块都有特定的评估指标和方法，以确保全面性和准确性。
关键创新：最重要的创新在于引入了每帧动作指标和基于分段的漂移指标，这些指标能够揭示传统方法中未能捕捉到的失败和崩溃现象。
关键设计：在设计中，采用了过渡局部化的3D点云重建方法和跟踪加VLM推理的协议，以评估场景记忆和主体记忆，确保评估的细致和准确。
🖼️ 关键图片
📊 实验亮点
实验结果显示，评估的10多个开源和闭源模型在WorldOdysseyBench基准上均未能在所有维度上可靠满足要求，最佳模型的得分仅为中等，表明该基准的挑战性和重要性，为未来的研究指明了方向。
🎯 应用场景
该研究的潜在应用领域包括机器人导航、虚拟现实和增强现实等场景，能够为交互式系统提供更为可靠的评估标准，推动IWMs在实际应用中的发展与落地。未来，该基准可能成为评估交互世界模型的行业标准，促进相关技术的进步。
📄 摘要（原文）
Despite rapid progress in interactive world models (IWMs), existing benchmarks evaluate action following only at trajectory level and ignore memory and interaction physics. We introduce WorldOdysseyBench, an open-world benchmark for long-horizon stability across four dimensions, each with tailored innovations: (i) Action: per-frame action metric bypassing cross-model semantic scale disparity and exposing failures hidden by trajectory; (ii) Vision: segment-based drift metric capturing non-monotonic mid-sequence collapse missed by start-vs-end comparisons; (iii) Physics: controllability-gated evaluation over mechanics, optics, and 3D consistency, scoring plausibility under faithful action execution; (iv) Memory: action-decoupled protocol evaluating scene memory via transition-localized 3D point-cloud reconstruction and subject memory via tracking-plus-VLM reasoning. The benchmark comprises 600+ test cases across Nature, Urban, and Indoor scenes in first/third-person views with WASD 10-60s continuous interaction. Evaluating 10+ open/closed-source models reveals none reliably satisfies all dimensions; even the best achieves only moderate scores. Advances on WorldOdysseyBench are steps toward IWMs that are stable, physically grounded, memory-faithful, and deployable in real-world applications.