Large Language Models Are Neurosymbolic Reasoners

📄 arXiv: 2401.09334v1 📥 PDF

作者: Meng Fang, Shilong Deng, Yudi Zhang, Zijing Shi, Ling Chen, Mykola Pechenizkiy, Jun Wang

分类: cs.CL, cs.AI

发布日期: 2024-01-17

备注: Accepted by AAAI 2024

💡 一句话要点

提出大型语言模型作为符号推理者以解决文本游戏中的符号任务

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 符号推理 文本游戏 自然语言处理 人工智能代理

📋 核心要点

  1. 现有方法在处理符号推理任务时存在局限性，尤其是在复杂的文本游戏场景中表现不佳。
  2. 论文提出了一种新的LLM代理，能够有效处理文本游戏中的符号挑战，并通过自然语言进行交互。
  3. 实验结果显示，该LLM代理在符号任务中的平均表现达到88%，显著提升了符号推理能力。

📝 摘要（中文）

本论文探讨了大型语言模型（LLMs）作为符号推理者的潜在应用，特别是在文本游戏中，这些游戏是自然语言能力代理的重要基准，涉及数学、地图阅读、排序和常识应用等符号任务。我们设计了一种LLM代理，旨在应对这些符号挑战并实现游戏目标。通过初始化代理并提供观察和有效动作集，代理能够选择行动并与游戏环境互动。实验结果表明，该方法显著增强了LLMs作为自动化符号推理代理的能力，在涉及符号任务的文本游戏中，平均表现达到了88%。

🔬 方法详解

问题定义：本论文旨在解决大型语言模型在符号推理任务中的应用问题，现有方法在复杂文本游戏中缺乏有效的符号推理能力。

核心思路：我们设计了一种LLM代理，通过初始化和角色设定，使其能够接收观察和有效动作，从而在文本游戏中进行符号推理。

技术框架：整体架构包括初始化LLM代理、接收游戏观察、获取有效动作和符号模块，最后选择行动并与环境互动。

关键创新：本研究的主要创新在于将LLM与符号推理结合，形成了一种新的代理模型，能够在文本游戏中有效处理符号任务。

关键设计：在设计中，我们设置了特定的符号模块，并优化了代理的输入输出流程，以确保其在复杂环境中的表现。具体的参数设置和损失函数设计尚未详细披露。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，所提出的LLM代理在符号任务中的平均表现达到了88%，相较于现有基线有显著提升，展示了其在文本游戏中的有效性。

🎯 应用场景

该研究的潜在应用领域包括教育、游戏开发和人工智能助手等，能够提升机器在复杂环境中的符号推理能力，具有重要的实际价值和未来影响。

📄 摘要（原文）

A wide range of real-world applications is characterized by their symbolic nature, necessitating a strong capability for symbolic reasoning. This paper investigates the potential application of Large Language Models (LLMs) as symbolic reasoners. We focus on text-based games, significant benchmarks for agents with natural language capabilities, particularly in symbolic tasks like math, map reading, sorting, and applying common sense in text-based worlds. To facilitate these agents, we propose an LLM agent designed to tackle symbolic challenges and achieve in-game objectives. We begin by initializing the LLM agent and informing it of its role. The agent then receives observations and a set of valid actions from the text-based games, along with a specific symbolic module. With these inputs, the LLM agent chooses an action and interacts with the game environments. Our experimental results demonstrate that our method significantly enhances the capability of LLMs as automated agents for symbolic reasoning, and our LLM agent is effective in text-based games involving symbolic tasks, achieving an average performance of 88% across all tasks.