Slots, Transitions, Loops: Learning Composable World Models for ARC

📄 arXiv: 2606.12316v1 📥 PDF

作者: Gege Gao, Bernhard Schölkopf, Andreas Geiger

分类: cs.CV

发布日期: 2026-06-10

💡 一句话要点

提出Loop-OWM以解决ARC规则学习问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 规则学习 视觉符号化 世界建模 对象中心 循环模型 深度学习 ARC测试

📋 核心要点

  1. 现有方法主要通过语言或符号程序表达ARC规则，难以有效捕捉视觉符号化特征。
  2. 论文提出Loop-OWM，通过对象中心的世界建模架构学习可组合的规则过渡，增强了模型的表达能力。
  3. 实验结果显示，Loop-OWM在ARC-1和ARC-2上表现优于现有基线，且参数使用更为高效。

📝 摘要（中文）

ARC测试中，模型需从少量输入输出示例中推断隐藏规则并应用于新查询。尽管许多方法通过语言、代码或符号程序表达ARC规则，但ARC本身是视觉符号化的：规则表现为对象、颜色、形状和空间关系的网格过渡。我们提出了Loop-OWM，一种对象中心的世界建模架构，学习这些规则作为结构化状态上的可组合过渡。它结合了颜色原型槽、基于示例的任务总结和具有密集传播及槽条件修正的循环过渡模型。在ARC-1和ARC-2上，Loop-OWM在参数相当或更少的情况下超越了非循环和循环基线。这些结果表明，ARC规则不仅可以作为语言描述或搜索程序学习，还可以作为视觉符号世界状态上的过渡学习。

🔬 方法详解

问题定义：论文旨在解决ARC测试中规则学习的挑战，现有方法在捕捉视觉符号化特征方面存在不足，难以有效推断规则。

核心思路：Loop-OWM通过对象中心的世界建模架构，学习规则作为结构化状态上的可组合过渡，增强了模型对视觉信息的理解和应用能力。

技术框架：Loop-OWM的整体架构包括颜色原型槽、示例条件的任务总结和循环过渡模型，采用密集传播和槽条件修正的方式进行信息处理。

关键创新：Loop-OWM的主要创新在于其循环过渡模型的设计，使得规则学习不仅限于语言描述，而是通过视觉符号状态的过渡进行学习，显著提升了模型的表现。

关键设计：在模型设计中，采用了颜色原型槽来表示对象特征，示例条件任务总结用于指导学习过程，同时通过循环结构实现信息的高效传播和修正。具体的损失函数和参数设置在实验中进行了优化，以确保模型的高效性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Loop-OWM在ARC-1和ARC-2上均超越了非循环和循环基线，且在参数使用上更为高效，展示了其在规则学习中的优越性。具体而言，Loop-OWM在性能上实现了显著提升，验证了其设计的有效性。

🎯 应用场景

该研究的潜在应用领域包括教育、游戏设计和机器人学习等，能够帮助模型更好地理解和应用规则，提升智能体在复杂环境中的决策能力。未来，Loop-OWM有望在更广泛的视觉推理任务中发挥重要作用。

📄 摘要（原文）

ARC tests in-context rule induction: given a few input-output demonstrations, a model must infer the hidden rule and apply it to a new query. While many approaches express ARC rules through language, code, or symbolic programs, ARC itself is visual-symbolic: rules appear as grid transitions over objects, colors, shapes, and spatial relations. We introduce Loop-OWM, an object-centric world-modeling architecture that learns these rules as composable transitions over structured states. It combines color-prototype slots, demonstration-conditioned task summaries, and a looped transition model with dense propagation and slot-conditioned correction. On both ARC-1 and ARC-2, Loop-OWM outperforms non-looped and looped baselines with comparable or fewer parameters. These results suggest that ARC rules can be learned not only as language descriptions or searched programs, but also as transitions over visual-symbolic world states.