ADaPT: As-Needed Decomposition and Planning with Language Models

📄 arXiv: 2311.05772v2 📥 PDF

作者: Archiki Prasad, Alexander Koller, Mareike Hartmann, Peter Clark, Ashish Sabharwal, Mohit Bansal, Tushar Khot

分类: cs.AI, cs.CL, cs.LG

发布日期: 2023-11-08 (更新: 2024-04-08)

备注: NAACL 2024 (findings) camera-ready. Project Page: https://allenai.github.io/adaptllm

💡 一句话要点

提出ADaPT以解决复杂任务规划与执行问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 任务规划 子任务分解 动态适应 智能决策

📋 核心要点

  1. 现有方法在处理复杂任务时，无法有效执行子任务，导致任务失败的风险增加。
  2. ADaPT方法通过按需分解复杂子任务，动态调整以适应任务复杂性和LLM能力，从而提高执行成功率。
  3. 实验结果显示，ADaPT在多个数据集上显著提升了成功率，验证了其有效性和优越性。

📝 摘要（中文）

大型语言模型（LLMs）在需要规划和适应环境的交互式决策任务中越来越受到重视。现有方法在处理复杂任务时存在不足，无法有效执行子任务可能导致任务失败。为了解决这些问题，本文提出了按需分解与规划（ADaPT）的方法，该方法在LLM无法执行子任务时，明确地按需分解复杂子任务。ADaPT能够递归地分解子任务，以适应任务复杂性和LLM的能力。实验结果表明，ADaPT在多个基准测试中显著优于现有方法，成功率提高了28.3%（ALFWorld）、27%（WebShop）和33%（TextCraft）。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在复杂任务中的规划与执行问题。现有方法在面对复杂子任务时，往往无法有效执行，导致整体任务失败。

核心思路：ADaPT方法的核心在于按需分解复杂子任务，只有在LLM无法执行时才进行分解，从而提高任务的成功率和适应性。

技术框架：ADaPT的整体架构包括任务识别、子任务分解和执行三个主要模块。首先识别任务的复杂性，然后根据LLM的能力动态分解子任务，最后执行分解后的子任务。

关键创新：ADaPT的最大创新在于其动态分解机制，能够根据任务复杂性和LLM的执行能力进行调整，与传统的静态规划方法形成鲜明对比。

关键设计：在设计上，ADaPT采用递归分解策略，结合多层次的任务分解，确保在不同复杂度的任务中都能有效执行。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ADaPT在多个基准测试中表现优异，ALFWorld成功率提高28.3%，WebShop提高27%，TextCraft提高33%。这些结果表明，ADaPT在复杂任务处理中的有效性和优势，显著超越了现有强基线。

🎯 应用场景

ADaPT方法在复杂任务的自动化决策和执行中具有广泛的应用潜力，尤其适用于机器人控制、智能助手和游戏AI等领域。其动态适应能力将提升这些系统在复杂环境中的表现，推动智能系统的进一步发展。

📄 摘要（原文）

Large Language Models (LLMs) are increasingly being used for interactive decision-making tasks requiring planning and adapting to the environment. Recent works employ LLMs-as-agents in broadly two ways: iteratively determining the next action (iterative executors) or generating plans and executing sub-tasks using LLMs (plan-and-execute). However, these methods struggle with task complexity, as the inability to execute any sub-task may lead to task failure. To address these shortcomings, we introduce As-Needed Decomposition and Planning for complex Tasks (ADaPT), an approach that explicitly plans and decomposes complex sub-tasks as-needed, i.e., when the LLM is unable to execute them. ADaPT recursively decomposes sub-tasks to adapt to both task complexity and LLM capability. Our results demonstrate that ADaPT substantially outperforms established strong baselines, achieving success rates up to 28.3% higher in ALFWorld, 27% in WebShop, and 33% in TextCraft -- a novel compositional dataset that we introduce. Through extensive analysis, we illustrate the importance of multilevel decomposition and establish that ADaPT dynamically adjusts to the capabilities of the executor LLM as well as to task complexity.