The Butterfly Effect of Altering Prompts: How Small Changes and Jailbreaks Affect Large Language Model Performance

📄 arXiv: 2401.03729v3 📥 PDF

作者: Abel Salinas, Fred Morstatter

分类: cs.CL, cs.AI

发布日期: 2024-01-08 (更新: 2024-04-01)

💡 一句话要点

探讨提示变更对大型语言模型性能的影响

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 提示设计 文本分类 数据标注 模型性能

📋 核心要点

  1. 现有方法在提示构造上缺乏系统性研究，导致LLM的输出结果不稳定。
  2. 论文通过对多种文本分类任务进行提示变体实验，探讨提示构造对LLM决策的影响。
  3. 实验结果表明，微小的提示变化会显著改变LLM的回答，且特定格式请求会导致数据标注的灾难性后果。

📝 摘要（中文）

大型语言模型（LLMs）在多个领域和任务中被广泛用于数据标注。通过简单的提示，实践者能够快速获得所需的响应。本文探讨了提示构造的变化是否会影响LLM的最终决策。研究发现，即使是微小的扰动，例如在提示末尾添加空格，也可能导致LLM改变答案。此外，请求以XML格式响应和常见的越狱提示可能对LLM标注的数据产生重大影响。

🔬 方法详解

问题定义：本文旨在研究提示构造的变化如何影响大型语言模型（LLM）的决策，现有方法在这一方面的研究较少，导致LLM的输出结果不一致。

核心思路：通过系统地改变提示的构造，观察这些变化如何影响LLM的回答，旨在揭示提示设计对模型性能的敏感性。

技术框架：研究采用多种文本分类任务作为实验基础，设计了一系列不同的提示变体，并对LLM的输出进行比较分析。主要模块包括提示设计、模型响应收集和结果分析。

关键创新：本研究的创新点在于揭示了提示构造的微小变化（如添加空格）对LLM决策的重大影响，这在现有文献中尚未得到充分重视。

关键设计：实验中对提示的具体构造进行了细致设计，包括提示的语言、格式（如XML）和越狱策略等，以观察其对LLM输出的影响。具体参数设置和实验条件在论文中详细列出。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，提示的微小变化会导致LLM输出的显著差异。例如，在某些任务中，仅通过在提示末尾添加空格，模型的回答就发生了变化。此外，使用XML格式请求的结果与常规提示相比，标注准确性出现了显著下降，表明提示设计的重要性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、数据标注和人机交互等。通过优化提示构造，可以提高LLM在特定任务中的表现，进而提升自动化数据处理的效率和准确性。未来，该研究可能推动更智能的提示设计工具的发展。

📄 摘要（原文）

Large Language Models (LLMs) are regularly being used to label data across many domains and for myriad tasks. By simply asking the LLM for an answer, or ``prompting,'' practitioners are able to use LLMs to quickly get a response for an arbitrary task. This prompting is done through a series of decisions by the practitioner, from simple wording of the prompt, to requesting the output in a certain data format, to jailbreaking in the case of prompts that address more sensitive topics. In this work, we ask: do variations in the way a prompt is constructed change the ultimate decision of the LLM? We answer this using a series of prompt variations across a variety of text classification tasks. We find that even the smallest of perturbations, such as adding a space at the end of a prompt, can cause the LLM to change its answer. Further, we find that requesting responses in XML and commonly used jailbreaks can have cataclysmic effects on the data labeled by LLMs.