MANGO: A Benchmark for Evaluating Mapping and Navigation Abilities of Large Language Models

📄 arXiv: 2403.19913v2 📥 PDF

作者: Peng Ding, Jiading Fang, Peng Li, Kangrui Wang, Xiaochen Zhou, Mo Yu, Jing Li, Matthew R. Walter, Hongyuan Mei

分类: cs.CL, cs.AI, cs.LG, cs.RO

发布日期: 2024-03-29 (更新: 2024-08-08)

备注: COLM 2024 camera-ready

🔗 代码/项目: GITHUB

💡 一句话要点

提出MANGO基准以评估大语言模型的映射与导航能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 映射能力 导航能力 基准测试 文本游戏 人工智能 自然语言处理

📋 核心要点

  1. 现有的大型语言模型在映射和导航任务上表现不佳，尤其是在处理文本游戏时。
  2. 本文提出MANGO基准，通过设计特定的迷宫和问题，评估语言模型的映射与导航能力。
  3. 实验结果显示，GPT-4在此基准上表现不佳，指出了其在相关任务中的潜在改进空间。

📝 摘要（中文）

近年来，大型语言模型如ChatGPT和GPT-4在多种自然语言处理任务中表现出色。本文提出了MANGO基准，用于评估这些模型在文本基础上的映射和导航能力。MANGO基准包含53个迷宫，每个迷宫配有一个遍历路径，任务是回答与迷宫相关的映射和导航问题。尽管这些问题对人类来说很简单，但即使是最先进的GPT-4在回答这些问题时表现不佳。实验表明，强大的映射和导航能力将有助于语言模型在相关下游任务中的表现。MANGO基准将促进未来在提升语言模型映射和导航能力方面的研究。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在文本基础的映射和导航任务中的不足，尤其是在回答与迷宫相关的问题时，现有模型的表现远低于人类水平。

核心思路：通过构建MANGO基准，设计53个迷宫及其对应的遍历路径，模型需回答基于这些路径的导航问题，从而评估其映射能力。

技术框架：MANGO基准的整体架构包括迷宫设计、问题生成和答案评估三个主要模块。每个迷宫都配有一条遍历路径，模型通过阅读路径信息回答问题。

关键创新：MANGO基准的创新在于其专注于文本游戏中的映射和导航能力评估，填补了现有基准在这一领域的空白。

关键设计：在设计过程中，迷宫的复杂性、问题的多样性以及评估标准的明确性都是关键因素，确保了基准的有效性和挑战性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，尽管GPT-4是当前最先进的语言模型，但在MANGO基准上其表现仍然不佳，表明其在处理映射和导航任务时存在明显的短板。这一发现为未来的研究指明了方向。

🎯 应用场景

该研究的潜在应用领域包括游戏AI、智能助手和自动化导航系统。通过提升语言模型的映射与导航能力，可以显著改善其在复杂环境中的决策能力，进而推动相关领域的技术进步。

📄 摘要（原文）

Large language models such as ChatGPT and GPT-4 have recently achieved astonishing performance on a variety of natural language processing tasks. In this paper, we propose MANGO, a benchmark to evaluate their capabilities to perform text-based mapping and navigation. Our benchmark includes 53 mazes taken from a suite of textgames: each maze is paired with a walkthrough that visits every location but does not cover all possible paths. The task is question-answering: for each maze, a large language model reads the walkthrough and answers hundreds of mapping and navigation questions such as "How should you go to Attic from West of House?" and "Where are we if we go north and east from Cellar?". Although these questions are easy to humans, it turns out that even GPT-4, the best-to-date language model, performs poorly at answering them. Further, our experiments suggest that a strong mapping and navigation ability would benefit large language models in performing relevant downstream tasks, such as playing textgames. Our MANGO benchmark will facilitate future research on methods that improve the mapping and navigation capabilities of language models. We host our leaderboard, data, code, and evaluation program at https://mango.ttic.edu and https://github.com/oaklight/mango/.