Marionette: Predicting World States, Rendering Geometry, Painting Appearance

📄 arXiv: 2608.14530v1 📥 PDF

作者: Zian Meng, Zhen Li, Chuanhao Li, Qiang Li, Kaipeng Zhang

分类: cs.CV, cs.AI

发布日期: 2026-08-14

备注: Project page: https://alayalab.github.io/Marionette/

💡 一句话要点

提出Marionette以解决长时间序列生成中的一致性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion)

关键词: 交互式游戏 世界状态建模 几何渲染 可控生成 长时间序列

📋 核心要点

  1. 现有方法在长时间序列生成中，容易出现一致性和可控性不足的问题，导致生成的视觉内容不稳定。
  2. 论文提出Marionette，通过显式建模世界状态，并将几何计算分离，提升了生成内容的可控性和一致性。
  3. 实验结果显示，Marionette的预测世界状态可直接控制，且通过引入地形碰撞器和分离限制，显著减少了角色间的穿透现象。

📝 摘要（中文）

交互式游戏世界模型通常直接在像素或潜在空间中自回归视觉观察，导致姿态、几何和遮挡等结构属性隐式维护。随着时间的推移，这些潜在世界属性的错误会累积，使得一致性和可控性变得脆弱。本文提出Marionette，通过显式建模演变的世界状态，将精确的几何计算委托给固定的零参数渲染器，并让神经模型合成外观。Marionette的实验结果表明，预测的世界状态是可直接控制的，并且长时间行为可以在状态中修复。

🔬 方法详解

问题定义：本文旨在解决交互式游戏中长时间序列生成的一致性和可控性问题。现有方法在生成过程中容易出现潜在属性错误的累积，导致生成内容不稳定。

核心思路：Marionette通过显式建模世界状态，使用零参数渲染器进行几何计算，从而将生成外观的任务交给神经网络，确保生成内容的结构性和可控性。

技术框架：整体架构分为三个主要模块：第一，采用两阶段自回归动态模型预测276维的3D世界状态；第二，使用零参数图形桥将预测状态转换为姿态控制视频；第三，控制条件的视频扩散观察模型合成逼真的RGB观察。

关键创新：Marionette的主要创新在于将世界状态的显式建模与零参数渲染相结合，避免了潜在属性错误的累积，与传统方法相比，提升了生成内容的可控性和一致性。

关键设计：在设计中，采用276维的世界状态表示，包括多实体关节骨架、度量根轨迹和旋转；引入地形碰撞器和分离限制以减少角色间的穿透现象，确保生成内容的物理合理性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Marionette的预测世界状态可直接控制，强迫不匹配的动作流导致根对齐关节误差变化31%。引入地形碰撞器和分离限制后，角色间的穿透现象减少了66%，且生成的外观与记录的姿态模型在FVD上仅有微小差异（831对比799）。

🎯 应用场景

Marionette的研究成果在交互式游戏、虚拟现实和动画制作等领域具有广泛的应用潜力。通过提高生成内容的一致性和可控性，该方法可以为开发者提供更灵活的工具，以创建更加真实和互动的虚拟环境，未来可能推动游戏设计和动画制作的变革。

📄 摘要（原文）

Interactive game world models typically autoregress visual observations directly in pixel or latent space, forcing structured properties such as pose, geometry, and occlusion to be implicitly maintained by the same generative sequence. Over long horizons, errors in these latent world properties accumulate, making consistency and controllability fragile. We explicitly model the evolving world state, delegate exact geometric computation to a fixed, zero-parameter renderer, and leave the neural model to synthesize appearance. We instantiate this idea as Marionette, a world model for interactive games with articulated characters. First, a two-stage autoregressive dynamics model predicts an explicit and interpretable 276-dimensional 3D world state comprising multi-entity articulated skeletons, metric root trajectories, and rotations. Second, a zero-parameter graphics bridge converts the predicted state into pose-control videos, computing world-space geometry and occlusion in closed form. Third, a control-conditioned video-diffusion observation model synthesizes photorealistic RGB observations from the resulting structured controls. Our experiments establish two properties of Marionette. First, the predicted world state is directly controllable. Forcing a mismatched action stream changes root-aligned joint error by 31% across 48 held-out segments. Second, long-horizon behaviour is determined in the state, and can be repaired there. Left free, the two generated characters drift to 21.2 m apart (recorded sessions stay near 5 m) and a third of frames show ground penetration. Two rules imposed on the explicit state, a terrain collider and a separation cap, cut penetration by 66% and keep the pair engaged, with no change to the observation model. Routing appearance through the predicted state costs no fidelity we can detect, at an FVD of 831 against 799 for recorded pose.