StrategyLLM: Large Language Models as Strategy Generators, Executors, Optimizers, and Evaluators for Problem Solving

📄 arXiv: 2311.08803v4 📥 PDF

作者: Chang Gao, Haiyun Jiang, Deng Cai, Shuming Shi, Wai Lam

分类: cs.CL

发布日期: 2023-11-15 (更新: 2024-11-09)

备注: NeurIPS 2024

💡 一句话要点

提出StrategyLLM以解决现有提示方法的通用性与一致性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 策略生成 归纳推理 演绎推理 任务一致性 少量学习 自动化决策

📋 核心要点

  1. 现有的提示方法在通用性和一致性方面存在显著不足，难以适应不同任务实例。
  2. 本文提出的StrategyLLM框架通过归纳和演绎推理，生成可推广的少量提示，提升了模型的表现。
  3. 实验结果显示，StrategyLLM在多个任务上超越了基线方法，尤其在算法推理和符号推理上提升显著。

📝 摘要（中文）

现有的提示方法普遍存在通用性和一致性不足的问题，通常依赖于特定实例的解决方案，难以推广到其他实例，并且在所选的少量示例中缺乏任务级一致性。为了解决这些局限性，本文提出了一个综合框架StrategyLLM，使大型语言模型能够进行归纳推理，从特定任务实例中推导出通用策略，并进行演绎推理，将这些通用策略应用于特定任务示例，从而构建可推广且一致的少量提示。实验结果表明，StrategyLLM在13个数据集的4个挑战性任务上超越了需要人工标注解决方案的竞争基线CoT-SC，且无需人工干预，表现出色。

🔬 方法详解

问题定义：本文旨在解决现有提示方法在通用性和一致性上的不足，现有方法往往依赖于特定实例，难以推广到其他任务实例。

核心思路：StrategyLLM通过引入归纳推理和演绎推理，使大型语言模型能够从特定任务中提取通用策略，并将其应用于具体任务，从而提高提示的有效性和一致性。

技术框架：该框架包含四个主要模块：策略生成器、执行器、优化器和评估器。这些模块协同工作，生成、评估并选择适合特定任务的策略。

关键创新：StrategyLLM的创新在于其综合性框架，能够实现从实例到策略的转换，并在多个任务上展示出优越的性能，与传统方法相比具有更强的通用性。

关键设计：在设计中，采用了多种大型语言模型作为基础，结合特定的损失函数和优化策略，以确保生成的策略在不同任务上均能保持高效性和一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，StrategyLLM在13个数据集的4个任务上均表现优异，尤其在算法推理任务中，准确率从73.7%提升至85.0%，在符号推理任务中从30.0%提升至79.2%，展现出显著的性能提升。

🎯 应用场景

StrategyLLM的潜在应用场景包括教育、自动化决策支持和智能助手等领域。通过提升大型语言模型在复杂任务中的表现，该框架能够为多种实际问题提供高效的解决方案，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Most existing prompting methods suffer from the issues of generalizability and consistency, as they often rely on instance-specific solutions that may not be applicable to other instances and lack task-level consistency across the selected few-shot examples. To address these limitations, we propose a comprehensive framework, StrategyLLM, allowing LLMs to perform inductive reasoning, deriving general strategies from specific task instances, and deductive reasoning, applying these general strategies to particular task examples, for constructing generalizable and consistent few-shot prompts. It employs four LLM-based agents: strategy generator, executor, optimizer, and evaluator, working together to generate, evaluate, and select promising strategies for a given task. Experimental results demonstrate that StrategyLLM outperforms the competitive baseline CoT-SC that requires human-annotated solutions on 13 datasets across 4 challenging tasks without human involvement, including math reasoning (34.2\% $\rightarrow$ 38.8\%), commonsense reasoning (70.3\% $\rightarrow$ 72.5\%), algorithmic reasoning (73.7\% $\rightarrow$ 85.0\%), and symbolic reasoning (30.0\% $\rightarrow$ 79.2\%). Further analysis reveals that StrategyLLM is applicable to various LLMs and demonstrates advantages across numerous scenarios.