VisualPatchWorld: Code World Models as Latent Structured Representations for Planning
作者: Jiaxin Bai, Jiaxuan Xiong
分类: cs.CL, cs.RO
发布日期: 2026-07-28
🔗 代码/项目: GITHUB
💡 一句话要点
提出VisualPatchWorld以解决世界模型构建的挑战
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 世界模型 动态建模 模型预测控制 机器人规划 代码表示 人工智能 机器学习
📋 核心要点
- 现有的世界模型方法在动态建模上存在隐含性和构建复杂性的问题，难以实现高效的规划。
- VisualPatchWorld通过将世界动态表示为代码，利用短期探测选择定性动态形式，并通过状态-动作轨迹拟合参数，提供了一种新的解决方案。
- VPW在规划成功率上达到了69.0%，相比于最强基线提升了23.5个百分点，尤其在选择正确动态形式时效果显著。
📝 摘要（中文）
不同研究领域对世界模型的定义各异，但共同目标是捕捉在行动下世界的演变，以支持感知、模拟和规划。现有的神经预测器和物理引擎各有优缺点，前者依赖数据但动态形式隐含，后者可编辑但难以大规模构建。本文提出VisualPatchWorld（VPW），通过选择定性动态形式并利用状态-动作轨迹最小化多步预测误差来拟合参数，从而将世界动态表示为代码。VPW在与先前代码基础的世界模型比较中，取得了69.0%的平均规划成功率，超越最强基线23.5个百分点，尤其在选择正确的定性动态时表现出显著优势。
🔬 方法详解
问题定义：本文旨在解决现有世界模型在动态建模上的隐含性和构建复杂性问题，导致规划效率低下。
核心思路：VisualPatchWorld通过将世界动态表示为代码，首先选择定性动态形式，然后利用状态-动作轨迹最小化多步预测误差来拟合参数，从而实现动态建模的透明性和可编辑性。
技术框架：VPW的整体架构包括选择定性动态形式、参数拟合和模型预测控制三个主要模块。首先，通过短期探测选择合适的动态形式；接着，利用历史数据拟合该形式的参数；最后，生成的程序可用于模型预测控制。
关键创新：VPW的主要创新在于将世界动态建模转化为代码形式，使得模型不仅可用于规划，还能被直接检查和编辑。这一方法与传统的隐含动态模型和复杂的物理引擎形成鲜明对比。
关键设计：在设计中，VPW采用了多步预测误差作为损失函数，通过优化算法调整动态模型的参数，确保模型在实际应用中的有效性和准确性。
🖼️ 关键图片
📊 实验亮点
VPW在与先前代码基础的世界模型比较中，取得了69.0%的平均规划成功率，超越最强基线23.5个百分点。尤其在选择正确的定性动态形式时，VPW展现出显著的优势，接近真实物理引擎的成功率。
🎯 应用场景
VisualPatchWorld的研究成果在机器人导航、抓取控制等领域具有广泛的应用潜力。通过提供透明且可编辑的动态模型，研究者和工程师可以更高效地进行规划和决策，推动智能系统的自主性和灵活性。
📄 摘要（原文）
Different research lines use the term world model in different ways, yet they share a common aim: to capture how the world evolves under action in a form that supports perception, simulation, and planning. Two prominent realizations are neural predictors that learn dynamics in continuous vector spaces, and hand-built physics engines that expose explicit state and physical laws. Neural predictors scale from data but leave the form of the dynamics implicit; physics engines are inspectable and editable but difficult to construct at scale. We introduce VisualPatchWorld (VPW), which represents world dynamics as code. VPW first selects a qualitative dynamical form with short active probes, then fits that form's free parameters from recorded state-action traces by minimizing multi-step prediction error. The resulting programs can be rolled forward like a simulator, inspected in source form, and used inside model-predictive control; image-derived scene graphs can supply the live state at replan time. Across comparisons with prior code-based world models, VPW attains 69.0% mean planning success and exceeds the strongest code baseline by 23.5 points. The largest gains arise when choosing the correct qualitative dynamics is essential. Under the same planner, the induced models approach ground-truth engine success on navigation and grasp-rich control; a residual gap remains for contact-rich pushing, and checking a shortlist of promising plans in the engine closes most of that gap. These results establish a practical route toward automatically constructed code world models that are useful for planning. Code is available at https://github.com/HKBU-KnowComp/VisualPatchWorld/.