A Survey on Prompting Techniques in LLMs

📄 arXiv: 2312.03740v2 📥 PDF

作者: Prabin Bhandari

分类: cs.CL, cs.AI

发布日期: 2023-11-28 (更新: 2024-04-16)

备注: 10 pages, 4 Figures

💡 一句话要点

综述大语言模型中的提示技术以提升NLP任务表现

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 提示技术 自然语言处理 文献综述 开放问题 系统分类

📋 核心要点

  1. 现有方法在引导大语言模型输出方面存在不足，无法充分发挥其潜力。
  2. 论文提出了一种分类法，对多种提示技术进行系统性总结，以便更好地利用LLMs的能力。
  3. 通过对现有文献的综述，识别出提示技术中的开放问题，为未来研究提供了新的方向。

📝 摘要（中文）

自回归大语言模型（LLMs）已彻底改变自然语言处理的格局。预训练与提示的范式取代了传统的预训练与微调方法，成为许多下游NLP任务的主流。这一转变主要得益于LLMs及其创新的提示技术。LLMs因其庞大的参数量和丰富的数据集而在多种下游任务中展现出巨大潜力。然而，为了充分发挥其潜力，必须引导其输出朝向预期结果。提示技术通过提供特定的输入或指令来引导LLMs，已成为实现这一目标的重要工具。本文讨论了多种提示技术，并基于分类法对现有文献进行了简要综述，同时识别了自回归LLMs中提示领域的一些开放问题，为未来研究提供了方向。

🔬 方法详解

问题定义：论文要解决的问题是如何有效引导自回归大语言模型的输出，以实现预期的结果。现有方法在这一点上存在局限性，无法充分利用LLMs的潜力。

核心思路：论文的核心思路是通过建立提示技术的分类法，系统性地总结和分析现有的提示方法，以便更好地指导LLMs的输出。这样的设计旨在为研究者提供清晰的框架，从而促进对提示技术的深入理解和应用。

技术框架：整体架构包括对现有文献的分类、总结和分析，主要模块包括提示技术的分类、文献综述和开放问题的识别。通过这些模块，研究者可以快速了解不同提示技术的优缺点及其适用场景。

关键创新：最重要的技术创新点在于提出了一种系统化的分类法，对提示技术进行全面的梳理和分析。这与现有方法的本质区别在于，现有研究往往缺乏系统性和全面性，难以为后续研究提供有效指导。

关键设计：在分类法中，论文对不同提示技术的参数设置、适用场景和效果进行了详细分析，确保研究者能够在实际应用中做出明智的选择。

🖼️ 关键图片

fig_0

📊 实验亮点

论文通过对多种提示技术的分类和分析，识别出若干开放问题，为未来研究提供了新的方向。尽管具体的性能数据在摘要中未提及，但通过系统化的综述，研究者可以更有效地选择和应用提示技术，从而提升LLMs的性能。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理的各个方面，如文本生成、问答系统和对话系统等。通过优化提示技术，可以显著提升LLMs在这些任务中的表现，具有重要的实际价值和广泛的应用前景。未来，随着提示技术的不断发展，可能会推动更智能的对话系统和自动化内容生成工具的出现。

📄 摘要（原文）

Autoregressive Large Language Models have transformed the landscape of Natural Language Processing. Pre-train and prompt paradigm has replaced the conventional approach of pre-training and fine-tuning for many downstream NLP tasks. This shift has been possible largely due to LLMs and innovative prompting techniques. LLMs have shown great promise for a variety of downstream tasks owing to their vast parameters and huge datasets that they are pre-trained on. However, in order to fully realize their potential, their outputs must be guided towards the desired outcomes. Prompting, in which a specific input or instruction is provided to guide the LLMs toward the intended output, has become a tool for achieving this goal. In this paper, we discuss the various prompting techniques that have been applied to fully harness the power of LLMs. We present a taxonomy of existing literature on prompting techniques and provide a concise survey based on this taxonomy. Further, we identify some open problems in the realm of prompting in autoregressive LLMs which could serve as a direction for future research.