Thought of Search: Planning with Language Models Through The Lens of Efficiency

📄 arXiv: 2404.11833v3 📥 PDF

作者: Michael Katz, Harsha Kokel, Kavitha Srinivas, Shirin Sohrabi

分类: cs.AI

发布日期: 2024-04-18 (更新: 2026-01-22)

备注: Accepted at NeurIPS 2024, https://papers.nips.cc/paper_files/paper/2024/hash/fa080fe0f218871faec1d8ba20e491d5-Abstract-Conference.html

DOI: 10.52202/079017-4395

💡 一句话要点

提出高效的语言模型规划方法以解决搜索问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 规划算法 搜索问题 健全性 完整性 效率提升 自动化决策

📋 核心要点

  1. 现有的基于大型语言模型的规划方法在健全性和完整性方面存在不足，导致效率低下。
  2. 本文提出了一种新的高效规划方法，能够同时保持算法的健全性和完整性，解决现有方法的缺陷。
  3. 通过在多个搜索问题上的实验，展示了该方法在准确性和效率上的显著提升，达到100%的准确率。

📝 摘要（中文）

在计算机科学中，算法的健全性、完整性和复杂性是重要的研究属性。然而，近期提出的基于大型语言模型（LLM）的规划方法在这些方面的分析较少。本文填补了这一空白，分析了LLM在规划中的这些属性，并指出当前趋势在追求效率的同时放弃了健全性和完整性。我们提出了一种显著更高效的方法，能够同时保持健全性和完整性。通过在四个代表性搜索问题上的示例比较，我们展示了使用LLM生成搜索组件代码的方式，可以在仅少量调用LLM的情况下实现100%的准确率。我们呼吁研究界关注健全且完整的LLM方法，以维护计算资源的合理使用。

🔬 方法详解

问题定义：本文旨在解决现有基于大型语言模型的规划方法在健全性和完整性方面的不足，尤其是在追求效率的过程中，导致算法性能下降的问题。

核心思路：我们提出了一种新的方法，通过使用LLM生成搜索组件的代码，来提高规划的效率，同时确保算法的健全性和完整性。这种设计旨在减少对LLM的调用次数，从而降低计算资源的消耗。

技术框架：整体架构包括数据输入、LLM调用、代码生成和搜索执行四个主要模块。首先，输入数据被处理并传递给LLM，LLM生成相应的搜索代码，最后执行搜索并返回结果。

关键创新：本文的核心创新在于通过LLM生成代码的方式，显著提高了搜索问题的解决效率，同时保持了算法的健全性和完整性。这与现有方法的根本区别在于，后者往往在追求效率时牺牲了这些重要属性。

关键设计：在方法设计中，我们关注了LLM的调用频率，优化了输入数据的处理流程，并设计了适当的损失函数以确保生成代码的准确性和有效性。

📊 实验亮点

实验结果表明，采用新方法在四个代表性搜索问题上实现了100%的准确率，并且仅需少量的LLM调用，相较于现有文献中的LLM解决方案，效率显著提升，展示了该方法的优越性。

🎯 应用场景

该研究的潜在应用领域包括自动化规划、智能搜索引擎和机器人路径规划等。通过提高规划效率和准确性，能够在多个行业中实现更高效的资源利用和决策支持，具有重要的实际价值和未来影响。

📄 摘要（原文）

Among the most important properties of algorithms investigated in computer science are soundness, completeness, and complexity. These properties, however, are rarely analyzed for the vast collection of recently proposed methods for planning with large language models. In this work, we alleviate this gap. We analyse these properties of using LLMs for planning and highlight that recent trends abandon both soundness and completeness for the sake of inefficiency. We propose a significantly more efficient approach that can, at the same time, maintain both soundness and completeness. We exemplify on four representative search problems, comparing to the LLM-based solutions from the literature that attempt to solve these problems. We show that by using LLMs to produce the code for the search components we can solve the entire datasets with 100\% accuracy with only a few calls to the LLM. We argue for a responsible use of compute resources; urging research community to investigate sound and complete LLM-based approaches that uphold efficiency.