PlayWorld: Benchmarking World Models with Agent Players over Long-Horizon Objectives
作者: Kaixin Ding, Xi Chen, Minghong Cai, Zhiyuan Xu, Yiyang Wang, Yuxiang Lu, Junyi Li, Shuyang Chen, Yuan Gao, Xin Tao, Pengfei Wan, Hengshuang Zhao
分类: cs.CV
发布日期: 2026-08-13 (更新: 2026-08-14)
备注: project page: https://kxding.github.io/project/PlayWorld/
🔗 代码/项目: GITHUB
💡 一句话要点
提出PlayWorld基准以解决长时间目标评估的模型比较问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 视频世界模型 长时间目标 多模态代理 模型评估 交互保真度 几何一致性 虚拟现实 机器人导航
📋 核心要点
- 现有视频世界模型在长时间目标的交互评估中缺乏有效的比较方法，导致模型性能难以量化。
- 本文提出PlayWorld基准，通过多模态代理玩家与世界模型交互，评估模型在长时间目标下的表现。
- 实验表明，现有模型在空间一致性和状态演变方面存在显著不足，亟需改进以满足长时间交互需求。
📝 摘要（中文）
视频世界模型通过当前观察和用户动作模拟未来状态。尽管近期系统在视频一致性和动作可控性方面表现出色，但在交互模型的公平比较上仍面临挑战。为此，本文引入了多模态代理玩家与世界模型交互，提出PlayWorld基准，提供171个场景以评估模型在几何一致性、交互保真度、视野外演变和洞察演变等四个核心维度的表现。实验结果表明，当前模型在长时间交互目标上仍不可靠，特别是在空间一致性和持久状态演变方面。代码和数据可在https://github.com/kxding/PlayWorld获取。
🔬 方法详解
问题定义：本文旨在解决视频世界模型在长时间目标评估中的比较问题。现有方法在交互模型的评估中缺乏统一标准，导致模型间的性能难以直接比较。
核心思路：通过引入多模态代理玩家与世界模型进行交互，针对特定的长时间目标进行评估，提供一种新的比较框架。这样的设计能够更真实地模拟人类玩家的行为，从而更全面地评估模型的表现。
技术框架：PlayWorld基准包含171个场景，每个场景都有明确的目标。评估模型时，主要从几何一致性、交互保真度、视野外演变和洞察演变四个维度进行分析。此外，还引入了视频质量和可控性的基本能力指标。
关键创新：最重要的创新在于引入多模态代理玩家的交互方式，使得模型评估不再依赖固定的动作序列，从而提高了评估的灵活性和准确性。与现有方法相比，这种方式能够更好地反映模型在真实场景中的表现。
关键设计：在模型评估中，采用了多种损失函数来衡量不同维度的表现，确保评估的全面性。同时，设计了适应性强的网络结构，以支持复杂的交互场景和长时间目标的实现。具体的参数设置和网络结构细节在论文中有详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果显示，当前的世界模型在长时间交互目标下的表现仍不理想，特别是在空间一致性和状态演变方面，模型的可靠性不足。具体而言，模型在几何一致性和交互保真度的评分上普遍低于预期，显示出改进的必要性。
🎯 应用场景
该研究的潜在应用领域包括游戏开发、虚拟现实和机器人导航等。通过提供更可靠的模型评估标准，PlayWorld能够帮助研究人员和开发者优化其世界模型，提升用户交互体验，推动相关技术的进步和应用。
📄 摘要（原文）
Video world models simulate future states conditioned on current observations and user actions. Recent systems have demonstrated impressive video consistency and action controllability over long sequences. However, fairly comparing these interactive models remains challenging. In practice, a human player typically evaluates a world model by pursuing long-horizon objectives through interaction. For example, a user may turn around 360 degrees to see whether the environment remains consistent, or walk into the water and inspect whether realistic water ripples are generated. The action sequence required to achieve the same objective may vary substantially between models, making fixed action-conditioned evaluation unsuitable for cross-model comparison. To address this, we employ multi-modal Agent Players to interact with world models toward specified long-horizon objectives. Building on this paradigm, we introduce PlayWorld, a benchmark providing 171 scenarios, each with a specified objective. To evaluate performance thoroughly, we assess models along four core dimensions: geometry consistency, interaction fidelity, out-of-sight evolution, and insight evolution. In addition, we incorporate basic ability metrics for video quality and controllability. Experiments across nine state-of-the-art world models reveal that current models remain unreliable on long-horizon interactive objectives, particularly in maintaining spatial consistency and persistent state evolution. Code and data are available at https://github.com/kxding/PlayWorld.