Black-Box Prompt Optimization: Aligning Large Language Models without Model Training

📄 arXiv: 2311.04155v3 📥 PDF

作者: Jiale Cheng, Xiao Liu, Kehan Zheng, Pei Ke, Hongning Wang, Yuxiao Dong, Jie Tang, Minlie Huang

分类: cs.CL

发布日期: 2023-11-07 (更新: 2024-06-21)

备注: Accepted to ACL 2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出黑箱提示优化方法以解决大语言模型对人类意图的对齐问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 提示优化 人机对齐 黑箱方法 模型无关

📋 核心要点

  1. 现有的对齐方法主要依赖于对大型语言模型进行额外训练，成本高且某些模型无法进行此类训练。
  2. 本文提出黑箱提示优化（BPO）方法，通过优化用户提示来实现对大型语言模型的对齐，而无需更新模型参数。
  3. 实验结果表明，BPO对齐的ChatGPT胜率提高22%，GPT-4提高10%，且在与PPO或DPO结合时表现更佳。

📝 摘要（中文）

大型语言模型（LLMs）在多种应用中取得了显著成功，但通常与人类意图的对齐不足，亟需改进。现有的对齐方法主要依赖于进一步训练模型，但这种训练通常需要昂贵的计算资源，且某些模型（如GPT）无法进行用户需求的训练。本文提出了一种不同的视角——黑箱提示优化（BPO），通过优化用户提示以适应LLMs的输入理解，从而在不更新模型参数的情况下更好地实现用户意图。BPO利用人类偏好来优化提示，表现优于传统的提示工程方法。实验结果显示，BPO对齐的ChatGPT在胜率上比原版提高了22%，而GPT-4的提升为10%。此外，BPO对齐的LLMs在与PPO和DPO对齐的同类模型中表现更佳，并且与PPO或DPO结合时还能带来额外的性能提升。

🔬 方法详解

问题定义：本文旨在解决大型语言模型与人类意图对齐不足的问题。现有方法依赖于额外训练，成本高且某些模型无法进行用户需求的训练。

核心思路：论文提出黑箱提示优化（BPO）方法，通过优化用户输入的提示，使其更符合大型语言模型的输入理解，从而实现更好的对齐效果。该方法不需要对模型参数进行更新，降低了计算成本。

技术框架：BPO的整体架构包括用户提示的收集、偏好学习和提示优化三个主要模块。首先，收集用户的输入提示和反馈；其次，利用这些反馈学习用户偏好；最后，基于学习到的偏好优化提示，以提高模型的响应质量。

关键创新：BPO的主要创新在于其黑箱特性，使得用户可以在不直接接触模型内部参数的情况下，通过优化提示来实现对齐。这与传统的需要模型训练的对齐方法本质上不同。

关键设计：在BPO中，关键设计包括用户偏好的建模方法、提示优化算法以及损失函数的设计，以确保优化过程能够有效反映用户的真实意图。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，BPO对齐的ChatGPT在胜率上比原版提高了22%，而GPT-4的提升为10%。此外，BPO对齐的模型在与PPO和DPO对齐的同类模型中表现更佳，结合PPO或DPO时还能带来额外的性能提升。

🎯 应用场景

该研究的潜在应用领域包括智能助手、客户服务和教育等场景，能够帮助大型语言模型更好地理解和响应用户需求，提升用户体验。未来，BPO方法可能会在更多领域得到应用，推动人机交互的进一步发展。

📄 摘要（原文）

Large language models (LLMs) have shown impressive success in various applications. However, these models are often not well aligned with human intents, which calls for additional treatments on them; that is, the alignment problem. To make LLMs better follow user instructions, existing alignment methods primarily focus on further training them. However, the extra training of LLMs is usually expensive in terms of GPU computing; even worse, some LLMs are not accessible for user-demanded training, such as GPTs. In this work, we take a different perspective -- Black-Box Prompt Optimization (BPO) -- to perform alignments. The idea is to optimize user prompts to suit LLMs' input understanding, so as to best realize users' intents without updating LLMs' parameters. BPO leverages human preferences to optimize prompts, thus making it superior to LLM (e.g., ChatGPT) as a prompt engineer. Moreover, BPO is model-agnostic, and the empirical results demonstrate that the BPO-aligned ChatGPT yields a 22% increase in the win rate against its original version and 10% for GPT-4. Notably, the BPO-aligned LLMs can outperform the same models aligned by PPO and DPO, and it also brings additional performance gains when combining BPO with PPO or DPO. Code and datasets are released at https://github.com/thu-coai/BPO.