OPINE-World: Programmatic World Modeling with Ontology-error-Prioritized Interactive Exploration

📄 arXiv: 2607.01531 📥 PDF

作者: David Courtis, Wenhao Li, Scott Sanner

分类: cs.AI, cs.LG

发布日期: 2026-07-05

💡 一句话要点

提出OPINE-World以解决程序合成世界建模的挑战

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 程序合成 世界建模 智能体学习 贝叶斯方法 动态环境 对象中心模型 游戏AI 自主学习

📋 核心要点

  1. 现有的程序合成世界模型主要在结构化状态世界中应用，缺乏对像素渲染环境的灵活假设能力。
  2. OPINE-World通过两个协作智能体的循环机制，在线学习对象中心的程序化世界模型，提升了数据效率和重用性。
  3. 在ARC-AGI-3基准测试中，OPINE-World无需每个游戏单独训练，成功解决了80%的游戏，展现出较高的行动效率。

📝 摘要（中文）

从交互中学习环境行为是构建适应不熟悉任务的智能体的核心。深度网络学习的世界模型灵活但数据需求高，且在训练分布之外迁移效果差。本文提出的OPINE-World通过与环境的交互在线学习对象中心的程序化世界模型，结合假设与测试的循环，利用贝叶斯的本体误差引导探索。实验表明，OPINE-World在ARC-AGI-3基准上解决了25个游戏中的20个，且在行动效率上达到了78.4的得分，超越了人类基线。

🔬 方法详解

问题定义：本文旨在解决现有程序合成世界模型在像素渲染环境中的适应性不足，尤其是在对象结构假设灵活性方面的挑战。现有方法在数据需求和迁移能力上存在显著不足。

核心思路：OPINE-World通过两个智能体的协作机制，分别负责环境交互和模型合成，利用贝叶斯方法引导探索，从而实现在线学习和模型的动态更新。

技术框架：整体架构包括两个主要模块：一是执行环境交互的智能体，二是负责程序合成和模型验证的智能体。两者通过假设-测试循环进行协作，确保模型的准确性和适应性。

关键创新：最重要的创新在于引入了本体误差的贝叶斯度量，作为探索的引导机制，使得模型在面对复杂环境时能够灵活调整和优化。

关键设计：在模型设计中，采用了反例引导的归纳合成（CEGIS）方法，结合重放验证和基于模型的规划，确保模型的高效性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在ARC-AGI-3基准测试中，OPINE-World成功解决了25个游戏中的20个，展现出显著的行动效率，得分达到78.4，超越了人类基线，证明了其在技能获取效率上的优势。

🎯 应用场景

OPINE-World的研究成果在智能体学习、机器人导航和游戏AI等领域具有广泛的应用潜力。通过提高模型的适应性和数据效率，该方法能够帮助智能体在复杂和动态的环境中更好地执行任务，推动自主学习和决策的进步。

📄 摘要（原文）

Learning how an environment behaves from interaction is central to building agents that adapt to unfamiliar tasks. World models learned with deep networks are flexible but data-hungry and transfer poorly beyond their training distribution. Program-synthesized world models, written as source code by LLMs and refined through counterexample-guided inductive synthesis (CEGIS), are instead data-efficient and reusable, yet they have been demonstrated mainly on structured-state worlds with a given object vocabulary, and a single program search does not scale to pixel-rendered environments whose object structure must be hypothesized flexibly. We introduce OPINE-World, an LLM agent that learns an object-centric programmatic world model online from interaction. OPINE-World couples two cooperating agents in a loop of hypothesis and test, one acting in the environment and one synthesizing the model in code with replay verification and model-based planning, and it steers exploration with a Bayesian measure of object-type adequacy we call ontology error. We evaluate OPINE-World on ARC-AGI-3, a benchmark for skill-acquisition efficiency in which the object vocabulary, the goal, and the action semantics are withheld. OPINE-World solves 20 of 25 games without per-game training and reaches an action-efficiency score of 78.4 against the human baseline.