Plan of Thoughts: Heuristic-Guided Problem Solving with Large Language Models

📄 arXiv: 2404.19055v1 📥 PDF

作者: Houjun Liu

分类: cs.CL

发布日期: 2024-04-29

备注: 7 pages, 2 figures

💡 一句话要点

提出基于POMDP的多步推理问题解决方案

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多步推理 语言模型 部分可观察马尔可夫决策过程 启发式搜索 在线求解器 复杂任务分解 AI决策支持

📋 核心要点

  1. 现有语言模型在多步推理任务中表现不佳，无法有效处理复杂问题。
  2. 本文提出通过部分可观察马尔可夫决策过程（POMDP）来实现多步问题解决，利用语言模型的自我反思作为启发式搜索。
  3. 在24游戏任务中，采用在线POMDP求解器POMCP，成功率达到89.4%，显著优于以往方法。

📝 摘要（中文）

尽管语言模型在零-shot推理任务中表现出色，但在需要多步推理的问题上表现不佳。以往的方法通过将复杂任务分解为子任务，并利用深度优先搜索等规划方法来生成解决方案。本文提出了一种基于部分可观察马尔可夫决策过程（POMDP）的规划方法，利用语言模型对状态价值的反思作为搜索启发式，并通过在线POMDP求解器POMCP在24游戏任务中取得了89.4%的成功率，优于现有方法，同时在任意时刻性能上也优于固定树搜索。这些贡献使现代语言模型能够更有效地分解和解决大规模推理任务。

🔬 方法详解

问题定义：本文旨在解决语言模型在多步推理任务中的不足，现有方法通常依赖于将任务分解为子任务，但效果有限。

核心思路：通过将多步推理问题建模为部分可观察马尔可夫决策过程（POMDP），并利用语言模型对状态价值的反思作为启发式搜索，提升问题解决的效率和效果。

技术框架：整体流程包括任务分解、状态评估和决策制定三个主要模块。首先将复杂任务分解为子任务，然后利用POMDP框架进行状态评估，最后通过启发式搜索生成解决方案。

关键创新：最重要的创新在于将语言模型的自我反思引入到POMDP框架中，形成了一种新的启发式搜索机制，与传统的树搜索方法相比，能够更有效地处理多步推理任务。

关键设计：在设计中，采用了在线POMDP求解器POMCP，优化了状态评估的效率，并在参数设置上进行了调整，以适应不同复杂度的任务。

🖼️ 关键图片

img_0

📊 实验亮点

在24游戏任务中，本文的方法实现了89.4%的成功率，相较于以往方法有显著提升。同时，该方法在任意时刻的性能表现也优于传统的固定树搜索，展示了更好的灵活性和效率。

🎯 应用场景

该研究的潜在应用领域包括教育、游戏AI和复杂决策支持系统。通过提升语言模型在多步推理任务中的表现，可以为智能助手、自动化决策和人机交互等领域带来更高的智能化水平，未来可能推动更复杂的AI系统的发展。

📄 摘要（原文）

While language models (LMs) offer significant capability in zero-shot reasoning tasks across a wide range of domains, they do not perform satisfactorily in problems which requires multi-step reasoning. Previous approaches to mitigate this involves breaking a larger, multi-step task into sub-tasks and asking the language model to generate proposals ("thoughts") for each sub-task and using exhaustive planning approaches such as DFS to compose a solution. In this work, we leverage this idea to introduce two new contributions: first, we formalize a planning-based approach to perform multi-step problem solving with LMs via Partially Observable Markov Decision Processes (POMDPs), with the LM's own reflections about the value of a state used as a search heuristic; second, leveraging the online POMDP solver POMCP, we demonstrate a superior success rate of 89.4% on the Game of 24 task as compared to existing approaches while also offering better anytime performance characteristics than fixed tree-search which is used previously. Taken together, these contributions allow modern LMs to decompose and solve larger-scale reasoning tasks more effectively.