AGI Maze as a Benchmark Framework for World-Modeling Agents
作者: Alexey Potapov
分类: cs.AI
发布日期: 2026-07-01
💡 一句话要点
提出AGI Maze框架以解决世界建模代理的评估问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 世界建模 迷宫任务 智能代理 基准测试
📋 核心要点
- 现有的大型语言模型在处理部分可观察和状态保持的环境时，无法有效生成持久的世界表示，导致推理能力受限。
- AGI Maze框架通过提供简单的网格迷宫任务，允许代理学习和利用世界状态表示，旨在克服现有方法的局限性。
- 初步实验表明，基础LLMs在简单迷宫中表现不佳，而引入的基线代理通过使用历史消息作为工作记忆有所改善，但仍未达到理想效果。
📝 摘要（中文）
大型语言模型（LLMs）作为强大的模式补全系统，其默认操作模式——从静态上下文中预测下一个标记，无法可靠地产生持久且可操作的外部世界表示。许多看似“推理”的文本任务在环境部分可观察、状态保持且需要记忆和对隐藏状态的结构化假设时变得更加困难。AGI Maze是一个轻量级框架，用于构建此类环境，无需高维感知输入。它提供了一系列基于网格的迷宫任务，具有干净的API和多种难度等级。目标是创建基准测试，要求代理学习和使用世界状态表示，而不仅仅是推断可用观察的局部规则。我们对几种基础LLMs在简单迷宫上的初步评估显示，它们在LLM推理时未能内部表示迷宫。我们还引入了一个基线代理，允许使用消息历史作为工作记忆，在代理运行时构建观察描述。尽管这可以提高性能，但对于LLM代理来说，即使在足够人类的步数预算内，仍然不足以可靠地解决小迷宫。
🔬 方法详解
问题定义：论文要解决的问题是大型语言模型在部分可观察和状态保持的环境中，无法有效生成持久的世界表示，导致推理能力不足。现有方法在处理复杂环境时面临挑战，尤其是在需要记忆和结构化假设的情况下。
核心思路：论文的核心解决思路是构建AGI Maze框架，通过提供一系列简单的网格迷宫任务，促使代理学习和利用世界状态表示，而不仅仅是依赖于局部观察的推断。这种设计旨在提高代理在复杂环境中的表现。
技术框架：AGI Maze框架的整体架构包括多个模块，首先是迷宫环境的构建模块，提供不同难度的任务；其次是代理的设计模块，允许代理使用历史消息作为工作记忆；最后是评估模块，用于测试代理在不同迷宫中的表现。
关键创新：最重要的技术创新点在于AGI Maze框架的设计，使得代理能够在没有高维感知输入的情况下，学习和使用世界状态表示。这与现有方法的本质区别在于，后者通常依赖于直接的观察推断，而AGI Maze强调了内在表示的重要性。
关键设计：在设计上，AGI Maze框架采用了清晰的API，允许用户轻松构建和调整迷宫任务的难度。此外，基线代理的设计允许使用历史消息作为工作记忆，这一设计在一定程度上提升了代理的表现，但仍需进一步优化以达到更高的解决能力。
🖼️ 关键图片
📊 实验亮点
实验结果显示，基础LLMs在简单迷宫任务中的表现不佳，未能有效内部表示迷宫。引入的基线代理通过使用历史消息作为工作记忆有所改善，但仍未能在给定的步数预算内解决小迷宫，表明现有方法的局限性。
🎯 应用场景
该研究的潜在应用领域包括智能代理的开发、机器人导航、游戏AI以及教育领域的智能教学系统。通过提供一个标准化的评估框架，AGI Maze可以帮助研究人员更好地理解和改进代理的世界建模能力，推动人工智能的进步。
📄 摘要（原文）
Large language models (LLMs) are powerful pattern-completion systems, but their default operating mode - predicting the next token from a static context - does not reliably produce persistent, manipulable representations of an external world. Many tasks that look like "reasoning" in text become substantially harder once the environment is partially observable, stateful, and requires memory and structured hypotheses about hidden state. AGI Maze is a lightweight framework for building such environments without requiring high-dimensional sensory inputs. It provides a family of grid-based maze tasks with a clean API and multiple difficulty regimes. The goal is to create benchmarks where agents must learn and use world state representations, not just infer a local rule over readily provided observations. We provide an initial evaluation of several vanilla LLMs on simple mazes showing that they fail to represent mazes internally at LLM inference time. We also introduce a baseline agent, which is allowed to use its message history as a working memory to construct descriptions of observations at agentic runtime. Although this can improve performance, it is still insufficient for an LLM agent to reliably solve even small mazes within a step budget that is more than enough for humans.