WorldRoamBench: An Open-World Benchmark for Long-Horizon Stability of Interactive World Models
作者: Ting-Bing Xu, Jiacheng Sui, Zhe Gao, Kewei Shi, Wenjin Yang, Zhicheng Liu, Zhaoxu Sun, Mingchao Sun, Hongyu Pan, Fan Jiang, Mu Xu, Qi Fan, Yong Li, Baoquan Chen
分类: cs.CV, cs.AI
发布日期: 2026-06-30
💡 一句话要点
提出WorldRoamBench以解决交互世界模型的长期稳定性评估问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 交互世界模型 长期稳定性 开放世界基准 动作评估 视觉评估 物理评估 记忆评估 3D重建
📋 核心要点
- 现有的交互世界模型评估方法仅关注轨迹层面的动作跟随，忽视了记忆和交互物理的复杂性。
- 论文提出WorldRoamBench，通过四个维度的创新评估IWMs的长期稳定性，涵盖动作、视觉、物理和记忆。
- 实验结果表明，评估的10多个模型在所有维度上均未能可靠满足要求，最好的模型仅获得中等分数，显示出该基准的必要性。
📝 摘要（中文）
尽管交互世界模型（IWMs）取得了快速进展，现有基准仅在轨迹层面评估动作跟随，忽视了记忆和交互物理。我们引入WorldRoamBench，这是一个开放世界基准，针对四个维度的长期稳定性进行评估，每个维度都有针对性的创新：动作、视觉、物理和记忆。基准包含600多个测试案例，涵盖自然、城市和室内场景，评估结果显示没有模型在所有维度上都能可靠满足要求，最好的模型仅获得中等分数。WorldRoamBench的进展是朝着稳定、物理基础、记忆可信的IWMs迈出的重要一步，适用于实际应用。
🔬 方法详解
问题定义：论文旨在解决现有交互世界模型在长期稳定性评估中的不足，特别是对记忆和交互物理的忽视。现有方法仅在轨迹层面进行评估，无法全面反映模型的性能。
核心思路：论文提出WorldRoamBench基准，通过四个维度（动作、视觉、物理和记忆）进行全面评估，旨在揭示模型在长期交互中的潜在缺陷。这样的设计能够更好地反映IWMs在真实场景中的表现。
技术框架：整体架构包括四个主要模块：动作评估、视觉评估、物理评估和记忆评估。每个模块都有特定的评估指标和方法，确保全面覆盖IWMs的性能。
关键创新：最重要的创新在于引入了每帧动作度量、基于段的漂移度量、可控性门控评估和动作解耦协议，这些方法能够有效捕捉到传统评估中遗漏的细节。
关键设计：在动作评估中，采用逐帧度量以避免跨模型语义尺度差异；视觉评估则使用段落漂移度量；物理评估中引入了可控性门控机制；记忆评估通过3D点云重建和跟踪加VLM推理进行。
🖼️ 关键图片
📊 实验亮点
实验结果显示，评估的10多个开源和闭源模型在WorldRoamBench上均未能在所有维度上可靠满足要求，最好的模型仅获得中等分数。这表明当前IWMs在长期稳定性方面仍有显著提升空间，强调了该基准的重要性。
🎯 应用场景
该研究的潜在应用领域包括机器人导航、虚拟现实和增强现实等场景，能够为交互世界模型的开发提供更为可靠的评估标准，推动其在实际应用中的落地。未来，WorldRoamBench可能成为IWMs研究的标准基准，促进更高效的模型设计与优化。
📄 摘要（原文）
Despite rapid progress in interactive world models (IWMs), existing benchmarks evaluate action following only at trajectory level and ignore memory and interaction physics. We introduce WorldRoamBench, an open-world benchmark for long-horizon stability across four dimensions, each with tailored innovations: (i) Action: per-frame action metric bypassing cross-model semantic scale disparity and exposing failures hidden by trajectory; (ii) Vision: segment-based drift metric capturing non-monotonic mid-sequence collapse missed by start-vs-end comparisons; (iii) Physics: controllability-gated evaluation over mechanics, optics, and 3D consistency, scoring plausibility under faithful action execution; (iv) Memory: action-decoupled protocol evaluating scene memory via transition-localized 3D point-cloud reconstruction and subject memory via tracking-plus-VLM reasoning. The benchmark comprises 600+ test cases across Nature, Urban, and Indoor scenes in first/third-person views with WASD 10-60s continuous interaction. Evaluating 10+ open/closed-source models reveals none reliably satisfies all dimensions; even the best achieves only moderate scores. Advances on WorldRoamBench are steps toward IWMs that are stable, physically grounded, memory-faithful, and deployable in real-world applications.