Prompt Engineering a Prompt Engineer

📄 arXiv: 2311.05661v3 📥 PDF

作者: Qinyuan Ye, Maxamed Axmed, Reid Pryzant, Fereshte Khani

分类: cs.CL, cs.AI, cs.LG

发布日期: 2023-11-09 (更新: 2024-07-03)

备注: Accepted to ACL 2024 Findings. Camera-ready version

💡 一句话要点

提出PE2方法以优化大语言模型的提示工程

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 提示工程 大语言模型 复杂推理 元提示 任务优化

📋 核心要点

  1. 现有的提示工程方法在复杂推理和错误分析方面存在局限，难以有效优化模型性能。
  2. 本文提出PE2方法，通过引入详细描述、上下文规范和逐步推理模板，增强了元提示的推理能力。
  3. 实验结果表明，PE2在MultiArith和GSM8K任务上分别提升了6.3%和3.1%，并在反事实任务上超越了竞争基线6.9%。

📝 摘要（中文）

提示工程是优化大型语言模型在定制任务上表现的关键任务，然而现有方法在复杂推理方面存在不足。本文提出了一种新方法PE2，通过在元提示中加入详细描述、上下文规范和逐步推理模板，显著提升了模型的提示生成能力。实验结果显示，PE2在多个语言任务上表现优异，超越了现有基线，尤其在复杂任务的多步骤计划和错误提示修正方面展现了强大的能力。

🔬 方法详解

问题定义：本文旨在解决现有提示工程方法在复杂推理和错误分析方面的不足，导致模型性能优化受限。

核心思路：PE2方法通过在元提示中加入详细描述、上下文信息和逐步推理模板，增强了模型的推理能力，从而提高提示生成的质量和效果。

技术框架：PE2的整体架构包括三个主要模块：详细描述模块、上下文规范模块和逐步推理模板模块，这些模块协同工作以生成高效的提示。

关键创新：PE2的创新在于将复杂推理能力注入到元提示中，显著提升了提示的生成质量，与传统方法相比，能够更好地处理复杂任务。

关键设计：在PE2中，详细描述模块提供任务背景信息，上下文规范模块确保提示的相关性，逐步推理模板则引导模型进行系统性思考，确保生成的提示更具针对性和有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

PE2在多个语言任务上的实验结果显示，其提示生成能力显著优于传统方法，具体表现为在MultiArith任务上提升6.3%，在GSM8K任务上提升3.1%，并在反事实任务上超越竞争基线6.9%。

🎯 应用场景

PE2方法具有广泛的应用潜力，尤其在教育、客服和内容生成等领域，可以帮助用户更好地与大型语言模型进行交互，提升任务完成的效率和准确性。未来，PE2可能推动更多智能应用的发展，提升人机交互的智能化水平。

📄 摘要（原文）

Prompt engineering is a challenging yet crucial task for optimizing the performance of large language models on customized tasks. It requires complex reasoning to examine the model's errors, hypothesize what is missing or misleading in the current prompt, and communicate the task with clarity. While recent works indicate that large language models can be meta-prompted to perform automatic prompt engineering, we argue that their potential is limited due to insufficient guidance for complex reasoning in the meta-prompt. We fill this gap by infusing into the meta-prompt three key components: detailed descriptions, context specification, and a step-by-step reasoning template. The resulting method, named PE2, exhibits remarkable versatility across diverse language tasks. It finds prompts that outperform "let's think step by step" by 6.3% on MultiArith and 3.1% on GSM8K, and outperforms competitive baselines on counterfactual tasks by 6.9%. Further, we show that PE2 can make targeted and highly specific prompt edits, rectify erroneous prompts, and induce multi-step plans for complex tasks.