AutoGPT+P: Affordance-based Task Planning with Large Language Models

📄 arXiv: 2402.10778v2 📥 PDF

作者: Timo Birr, Christoph Pohl, Abdelrahman Younes, Tamim Asfour

分类: cs.RO, cs.AI

发布日期: 2024-02-16 (更新: 2024-07-23)

备注: 13 pages, 18 pages including references and appendix, 5 figures

DOI: 10.15607/RSS.2024.XX.112

💡 一句话要点

提出AutoGPT+P以解决动态任务规划中的信息捕捉问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 任务规划 大型语言模型 可供性 符号规划 智能系统 机器人技术 自然语言处理

📋 核心要点

  1. 现有方法在动态捕捉任务规划初始状态方面存在不足，影响了规划的准确性和灵活性。
  2. AutoGPT+P通过结合基于可供性的场景表示与规划系统，能够处理复杂任务并支持符号规划。
  3. 实验结果显示，AutoGPT+P在SayCan指令集上成功率达到98%，在新数据集上也取得79%的成功率，显著提升了规划性能。

📝 摘要（中文）

近年来，任务规划领域通过结合大型语言模型（LLMs）与经典规划算法，提升了模型的泛化能力。然而，这些方法在动态捕捉任务规划问题的初始状态方面面临挑战。为此，本文提出了AutoGPT+P系统，结合了基于可供性（affordance）的场景表示与规划系统。可供性涵盖了代理在环境及其对象上的行动可能性，从而使得基于可供性的场景表示能够支持任意对象的符号规划。AutoGPT+P能够根据用户用自然语言指定的任务推导并执行计划，且在处理闭合世界假设下的规划任务时表现出色。该方法在新的数据集上也取得了79%的成功率，超越了当前最先进的LLM规划方法SayCan的81%成功率。

🔬 方法详解

问题定义：本文旨在解决动态任务规划中初始状态捕捉不足的问题。现有方法在处理复杂场景和不完整信息时表现不佳，限制了其应用范围。

核心思路：AutoGPT+P的核心思路是结合基于可供性的场景表示与规划系统，利用可供性来推导规划域，从而实现对任意对象的符号规划。这种设计使得系统能够更好地理解环境和对象的交互。

技术框架：AutoGPT+P的整体架构包括三个主要模块：可供性场景表示模块、规划推导模块和执行模块。可供性场景表示模块负责对象检测和对象-可供性映射的生成，规划推导模块则基于用户输入生成计划，执行模块负责执行生成的计划。

关键创新：AutoGPT+P的关键创新在于其基于可供性的场景表示，结合了对象检测与ChatGPT生成的对象-可供性映射。这一创新使得系统能够在处理不完整信息时提供替代方案或部分计划，显著提升了规划的灵活性和准确性。

关键设计：在技术细节上，AutoGPT+P采用了自动纠正语义和语法错误的规划工具，确保生成的计划在逻辑上是合理的。此外，系统的参数设置和损失函数设计经过优化，以提高规划的成功率和执行效率。

📊 实验亮点

实验结果表明，AutoGPT+P在SayCan指令集上的成功率达到98%，显著高于当前最先进的LLM规划方法SayCan的81%。此外，在新创建的数据集上，AutoGPT+P也取得了79%的成功率，展示了其在处理复杂任务时的有效性。

🎯 应用场景

AutoGPT+P在机器人任务规划、智能助手和自动化系统等领域具有广泛的应用潜力。通过提升任务规划的灵活性和准确性，该系统能够更好地支持复杂场景下的决策制定，推动智能系统的实际应用和发展。

📄 摘要（原文）

Recent advances in task planning leverage Large Language Models (LLMs) to improve generalizability by combining such models with classical planning algorithms to address their inherent limitations in reasoning capabilities. However, these approaches face the challenge of dynamically capturing the initial state of the task planning problem. To alleviate this issue, we propose AutoGPT+P, a system that combines an affordance-based scene representation with a planning system. Affordances encompass the action possibilities of an agent on the environment and objects present in it. Thus, deriving the planning domain from an affordance-based scene representation allows symbolic planning with arbitrary objects. AutoGPT+P leverages this representation to derive and execute a plan for a task specified by the user in natural language. In addition to solving planning tasks under a closed-world assumption, AutoGPT+P can also handle planning with incomplete information, e. g., tasks with missing objects by exploring the scene, suggesting alternatives, or providing a partial plan. The affordance-based scene representation combines object detection with an automatically generated object-affordance-mapping using ChatGPT. The core planning tool extends existing work by automatically correcting semantic and syntactic errors. Our approach achieves a success rate of 98%, surpassing the current 81% success rate of the current state-of-the-art LLM-based planning method SayCan on the SayCan instruction set. Furthermore, we evaluated our approach on our newly created dataset with 150 scenarios covering a wide range of complex tasks with missing objects, achieving a success rate of 79% on our dataset. The dataset and the code are publicly available at https://git.h2t.iar.kit.edu/birr/autogpt-p-standalone.