Efficient Prompt Optimization Through the Lens of Best Arm Identification

📄 arXiv: 2402.09723v3 📥 PDF

作者: Chengshuai Shi, Kun Yang, Zihan Chen, Jundong Li, Jing Yang, Cong Shen

分类: stat.ML, cs.AI, cs.CL, cs.LG

发布日期: 2024-02-15 (更新: 2024-05-30)

💡 一句话要点

提出TRIPLE框架以在预算约束下优化提示选择

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 提示优化 多臂老虎机 最佳臂识别 预算约束 自然语言处理 智能对话系统

📋 核心要点

  1. 现有提示优化方法主要关注候选提示的生成，缺乏对选择过程中的成本考虑，导致效率低下。
  2. 本文提出TRIPLE框架，通过将提示优化与多臂老虎机中的最佳臂识别相结合，在预算约束下高效选择提示。
  3. 实验结果显示，TRIPLE在多个任务上相较于基线方法显著提升了性能，同时满足了预算限制。

📝 摘要（中文）

大型语言模型（LLMs）在指令跟随能力上的显著表现引发了对自动寻找优质提示的兴趣，即提示优化。现有方法主要集中在候选提示的生成策略上，而对选择方法的关注较少，尤其是在选择过程中产生的成本（如访问LLM和评估响应）未被明确考虑。为了解决这一限制，本文提出了TRIPLE框架，以在明确的预算约束下高效执行提示选择。TRIPLE建立在提示优化与多臂老虎机中的固定预算最佳臂识别（BAI-FB）之间的新联系上，能够系统性地利用BAI-FB的丰富工具箱，并结合提示优化的独特特性。在多个广泛采用的任务上进行的广泛实验表明，TRIPLE在满足预算限制的同时，显著提高了性能。

🔬 方法详解

问题定义：本文旨在解决现有提示优化方法在选择阶段未考虑成本的问题，导致效率低下和资源浪费。

核心思路：TRIPLE框架通过将提示优化与固定预算最佳臂识别（BAI-FB）相结合，利用多臂老虎机的理论工具，优化提示选择过程。

技术框架：TRIPLE框架包括提示生成、提示评估和选择三个主要模块。首先生成候选提示，然后评估其性能，最后在预算约束下选择最佳提示。

关键创新：TRIPLE的创新在于将提示优化问题形式化为多臂老虎机中的最佳臂识别问题，系统性地引入了预算约束的考虑，提升了选择效率。

关键设计：在TRIPLE中，设计了明确的预算管理策略，优化了评估过程中的参数设置，并采用了适应性选择机制，以提高整体性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，TRIPLE在多个任务上相较于基线方法提升了性能，具体表现为在预算限制下，性能提升幅度达到20%以上，展示了其在提示优化领域的有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的提示优化、智能对话系统和自动化内容生成等。通过高效的提示选择，TRIPLE能够显著提升模型的响应质量和效率，具有广泛的实际价值和深远的未来影响。

📄 摘要（原文）

The remarkable instruction-following capability of large language models (LLMs) has sparked a growing interest in automatically finding good prompts, i.e., prompt optimization. Most existing works follow the scheme of selecting from a pre-generated pool of candidate prompts. However, these designs mainly focus on the generation strategy, while limited attention has been paid to the selection method. Especially, the cost incurred during the selection (e.g., accessing LLM and evaluating the responses) is rarely explicitly considered. To overcome this limitation, this work provides a principled framework, TRIPLE, to efficiently perform prompt selection under an explicit budget constraint. TRIPLE is built on a novel connection established between prompt optimization and fixed-budget best arm identification (BAI-FB) in multi-armed bandits (MAB); thus, it is capable of leveraging the rich toolbox from BAI-FB systematically and also incorporating unique characteristics of prompt optimization. Extensive experiments on multiple well-adopted tasks using various LLMs demonstrate the remarkable performance improvement of TRIPLE over baselines while satisfying the limited budget constraints. As an extension, variants of TRIPLE are proposed to efficiently select examples for few-shot prompts, also achieving superior empirical performance.