PlayWorld: Benchmarking World Models with Agent Players over Long-Horizon Objectives
作者: Kaixin Ding, Xi Chen, Minghong Cai, Zhiyuan Xu, Yiyang Wang, Yuxiang Lu, Junyi Li, Shuyang Chen, Yuan Gao, Xin Tao, Pengfei Wan, Hengshuang Zhao
分类: cs.CV
发布日期: 2026-08-13
备注: project page: https://kxding.github.io/project/PlayWorld/
🔗 代码/项目: GITHUB
💡 一句话要点
提出PlayWorld基准以解决长时间目标评估问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 长时间目标 视频世界模型 多模态代理 模型评估 空间一致性 交互保真度 虚拟环境
📋 核心要点
- 现有视频世界模型在长时间目标评估中缺乏有效的比较方法，导致模型性能难以量化。
- 本文提出PlayWorld基准，通过多模态代理玩家与世界模型交互，评估模型在长时间目标上的表现。
- 实验显示，当前的世界模型在空间一致性和状态演变方面存在显著不足，亟需改进。
📝 摘要（中文）
视频世界模型通过当前观察和用户行为模拟未来状态。尽管近期系统在视频一致性和动作可控性方面表现出色，但在交互模型的公平比较上仍然面临挑战。为了解决这一问题，本文引入了多模态代理玩家与世界模型交互，以实现特定的长时间目标。我们构建了PlayWorld基准，提供171个场景，每个场景都有明确的目标，并从几何一致性、交互保真度、视野外演变和洞察演变等四个核心维度评估模型性能。实验结果表明，当前模型在长时间交互目标上仍然不可靠，尤其是在空间一致性和持续状态演变方面。
🔬 方法详解
问题定义：本文旨在解决视频世界模型在长时间目标评估中的比较困难，现有方法无法有效量化不同模型的性能，尤其是在交互性和一致性方面的挑战。
核心思路：通过引入多模态代理玩家与世界模型进行交互，针对特定的长时间目标进行评估，确保评估过程更贴近人类玩家的真实体验。
技术框架：PlayWorld基准包含171个场景，每个场景设定明确目标。评估模型时，从几何一致性、交互保真度、视野外演变和洞察演变四个维度进行综合分析，同时考虑视频质量和可控性等基本能力指标。
关键创新：引入多模态代理玩家的交互方式是本文的核心创新，与传统的固定动作评估方法相比，能够更全面地反映模型的实际表现和用户体验。
关键设计：在评估过程中，设置了多个关键参数，包括动作序列的多样性和目标的复杂性，以确保评估的全面性和公正性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，当前的世界模型在长时间交互目标上的表现仍然不可靠，尤其是在空间一致性和状态演变方面，模型的表现普遍低于预期。具体而言，模型在维持空间一致性方面的成功率低于50%，显示出显著的改进空间。
🎯 应用场景
该研究的潜在应用领域包括游戏开发、虚拟现实和机器人导航等。通过提供一个标准化的评估基准，研究者和开发者可以更有效地比较和改进世界模型，从而推动相关技术的进步和应用。未来，PlayWorld可能成为评估交互式模型的行业标准，促进更高质量的虚拟环境生成。
📄 摘要（原文）
Video world models simulate future states conditioned on current observations and user actions. Recent systems have demonstrated impressive video consistency and action controllability over long sequences. However, fairly comparing these interactive models remains challenging. In practice, a human player typically evaluates a world model by pursuing long-horizon objectives through interaction. For example, a user may turn around 360 degrees to see whether the environment remains consistent, or walk into the water and inspect whether realistic water ripples are generated. The action sequence required to achieve the same objective may vary substantially between models, making fixed action-conditioned evaluation unsuitable for cross-model comparison. To address this, we employ multi-modal Agent Players to interact with world models toward specified long-horizon objectives. Building on this paradigm, we introduce PlayWorld, a benchmark providing 171 scenarios, each with a specified objective. To evaluate performance thoroughly, we assess models along four core dimensions: geometry consistency, interaction fidelity, out-of-sight evolution, and insight evolution. In addition, we incorporate basic ability metrics for video quality and controllability. Experiments across nine state-of-the-art world models reveal that current models remain unreliable on long-horizon interactive objectives, particularly in maintaining spatial consistency and persistent state evolution. Code and data are available at https://github.com/kxding/PlayWorld.