StatePlay: State-Aware Game World Models for Mechanics-Consistent Generation

📄 arXiv: 2607.26754v1 📥 PDF

作者: Zijun Lin, Zeqing Wang, Cheston Tan, Bihan Wen, Yeying Jin

分类: cs.CV

发布日期: 2026-07-29

备注: Project Page: https://jimntu.github.io/stateplay_page/

💡 一句话要点

提出StatePlay以解决游戏世界模型中状态一致性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 游戏世界模型 状态感知 机制一致性 视觉内容生成 混合变换器 动态系统建模 人工智能 机器学习

📋 核心要点

  1. 现有的游戏世界模型在生成视觉内容时未能有效考虑游戏的状态动态，导致生成的内容可能不符合游戏规则。
  2. 本文提出的StatePlay模型通过联合预测视觉内容和游戏状态，解决了状态一致性的问题，确保生成内容符合游戏机制。
  3. 实验结果显示，StatePlay在状态预测上表现优异，且在生成的游戏回放中机制保真度提升了18.6%，验证了其有效性。

📝 摘要（中文）

近年来的游戏世界模型能够根据玩家的动作生成视觉上真实且互动的环境。然而，游戏不仅仅由像素定义，还受到明确的机制控制，这些机制依赖于精确的内部状态，如生命值、技能计量和计时器。现有模型在缺乏状态动态建模的情况下，可能生成视觉上合理但违反游戏规则的内容。为此，本文提出了StatePlay，一种新颖的状态感知游戏世界模型，能够联合预测视觉内容和游戏状态，从而促进机制一致的生成。实验结果表明，StatePlay在状态预测上实现了平均归一化L1距离低于0.06，并且相比于没有显式状态建模的模型，我们的方法在生成的游戏回放中提高了18.6%的机制保真度。总体而言，我们的工作强调了状态感知游戏世界建模的重要性，推动了从像素级真实向完整且机械忠实的游戏生成的进展。

🔬 方法详解

问题定义：本文旨在解决现有游戏世界模型在生成过程中未能考虑状态动态的问题，导致生成内容可能违反游戏机制的现象。

核心思路：StatePlay模型通过联合预测视觉内容和游戏状态，确保生成的内容在视觉上真实且符合游戏的状态依赖规则。这样的设计使得模型能够在生成过程中考虑到内部状态的变化，从而提高生成内容的机制一致性。

技术框架：StatePlay采用混合变换器（MoT）架构，包含两个主要分支：一个用于视觉内容生成，另一个用于状态预测。两个分支之间通过跨模态交互进行信息共享，确保状态预测能够有效指导视觉帧的生成。

关键创新：StatePlay的主要创新在于其状态感知能力，通过联合建模视觉和状态信息，显著提高了生成内容的机制保真度。这一方法与传统的仅依赖视觉信息的模型形成鲜明对比。

关键设计：在模型设计中，每个分支都采用了特定的优化目标，以适应其模态特性。此外，模型的损失函数设计考虑了状态预测的准确性和视觉内容的质量，确保生成结果的综合性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，StatePlay在状态预测方面的平均归一化L1距离低于0.06，且在生成的游戏回放中，相较于没有显式状态建模的模型，机制保真度提升了18.6%。这些结果验证了StatePlay在生成机制一致内容方面的有效性。

🎯 应用场景

StatePlay模型在游戏开发、虚拟现实和增强现实等领域具有广泛的应用潜力。通过提供机制一致的游戏内容生成，开发者可以创建更加真实和互动的游戏体验。此外，该模型的设计理念也可以扩展到其他需要状态建模的动态系统中，推动相关领域的研究与应用。

📄 摘要（原文）

Recent game world models can generate visually realistic and interactive environments conditioned on player actions. However, games are not defined by pixels alone; they are governed by explicit mechanics, namely state-dependent rules that control health reduction, skill activation, and game termination. These mechanics depend on precise internal states, such as health points, skill meters, and timers, which are tightly coupled with visual observations and determine how gameplay evolves. Without modeling these state dynamics, existing game world models may generate visually plausible rollouts but violate the underlying game rules. In this paper, we propose StatePlay, a novel state-aware game world model that jointly predicts visual content and game states to promote mechanics-consistent generation. StatePlay adopts a mixture-of-transformers (MoT)-style architecture that preserves specialized visual and state representations while enabling cross-modal interaction, allowing predicted states to guide frame generation. Each branch is further optimized with a distinct objective suited to its modality. Experiments show that StatePlay achieves an average normalized L1 distance below 0.06 for state prediction. Furthermore, compared with models without explicit state modeling, our method improves mechanics fidelity in generated game rollouts by 18.6%. Overall, our work highlights the importance of state-aware game world modeling and advances beyond pixel-level realism toward complete and mechanically faithful game generation.