AGI Maze Prediction Datasets: A Compact Benchmark for Learning World Dynamics with Transformers
作者: Alexey Potapov
分类: cs.LG, cs.AI
发布日期: 2026-09-02
💡 一句话要点
提出AGI迷宫预测数据集以研究Transformer的世界动态学习
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 动态建模 Transformer 工作记忆 迷宫预测 序列预测 智能代理 环境理解
📋 核心要点
- 核心问题：现有方法在动态建模中面临挑战，难以有效区分可转移的动态与简单的记忆转移。
- 方法要点：提出AGI迷宫预测数据集，利用程序生成的网格世界进行动态学习，评估Transformer及其他模型的性能。
- 实验或效果：伪视频空间记忆Transformer在固定时间范围任务上实现完美验证准确率，显著提升序列文本追踪预测性能。
📝 摘要（中文）
世界建模需要预测模型来维护和更新内部状态，以便合理推理行动的后果。本文介绍了AGI迷宫预测数据集和基准，这是一个轻量级的受控测试平台，用于研究Transformer及其他预测模型的这一能力。该基准源自程序生成的状态网格世界，包含逐步转移预测、固定时间范围状态预测和序列文本观察预测。通过源迷宫不重叠的训练和验证分割，以及贪婪的精确匹配评估，区分了可转移的基于动作的动态学习与在熟悉布局中记忆转移。我们建立了从头开始的字节级Transformer基线，并与两种增强工作记忆的架构进行了比较。
🔬 方法详解
问题定义：本文旨在解决在动态建模中，现有方法难以有效区分可转移的基于动作的动态与简单的记忆转移的问题。现有方法往往依赖于熟悉的布局，导致模型在新环境中的泛化能力不足。
核心思路：论文提出AGI迷宫预测数据集，利用程序生成的状态网格世界，设计了一种轻量级的受控测试平台，以研究Transformer及其他预测模型在动态学习中的能力。通过引入源迷宫不重叠的训练和验证分割，能够更好地评估模型的泛化能力。
技术框架：整体架构包括逐步转移预测、固定时间范围状态预测和序列文本观察预测三个主要模块。每个模块都通过特定的评估协议进行测试，以确保模型在不同任务上的表现。
关键创新：最重要的技术创新点在于引入了伪视频空间记忆Transformer，该模型能够从输入地图初始化二维潜在工作空间，并根据行动历史进行更新，而无需接收中间地图、位置或状态标签。这一设计使得模型在特定任务上表现优异。
关键设计：在模型设计中，采用了字节级Transformer作为基线，并与增强工作记忆的架构进行比较。伪视频空间记忆Transformer在固定时间范围任务上实现了完美的验证准确率，且在序列文本追踪预测中显著提升了性能。
🖼️ 关键图片
📊 实验亮点
实验结果显示，伪视频空间记忆Transformer在固定时间范围任务上达到了完美的验证准确率，而字节级和非结构化记忆基线模型未能达到这一水平。此外，该模型在序列文本追踪预测中的性能显著提升，表明结构化工作记忆的有效性。
🎯 应用场景
该研究的潜在应用领域包括机器人导航、智能代理和游戏AI等，能够帮助这些系统更好地理解和预测环境动态，从而做出更为合理的决策。未来，该基准可能推动更复杂的动态建模研究，促进智能体在未知环境中的适应能力。
📄 摘要（原文）
World modeling requires a predictive model to maintain and update an internal state adequate for reasoning about the consequences of actions. We introduce the AGI Maze Prediction Datasets and Benchmark, a lightweight controlled testbed for studying this capability in Transformers and other predictive models. Derived from procedurally generated, stateful grid worlds, the benchmark comprises per-step transition prediction, fixed-horizon state prediction, and sequential textual-observation prediction. Source-maze-disjoint training and validation splits, together with greedy exact-match evaluation, distinguish learning transferable action-conditioned dynamics from memorizing transitions in familiar layouts. We establish from-scratch byte-level Transformer baselines and compare them with two working-memory-augmented architectures. A generic auxiliary latent-memory Transformer can fit some training sets perfectly but does not consistently improve held-out performance. In contrast, a pseudo-video spatial-memory Transformer initializes a two-dimensional latent workspace from the input map and updates it from action history without receiving intermediate maps, positions, or state labels. Under the same data, objectives, and evaluation protocol, this model reaches perfect validation accuracy on selected fixed-horizon tasks where the byte and unstructured-memory baselines do not, and substantially improves sequential text-trace prediction. These results suggest that structured, task-aligned working memory can be more useful than additional latent capacity alone. More broadly, we argue that language grounding is mediated by persistent data structures and computations over them; the benchmark offers a compact setting for testing architectures that couple textual interfaces to learned structured state.