PRompt Optimization in Multi-Step Tasks (PROMST): Integrating Human Feedback and Heuristic-based Sampling

📄 arXiv: 2402.08702v4 📥 PDF

作者: Yongchao Chen, Jacob Arkin, Yilun Hao, Yang Zhang, Nicholas Roy, Chuchu Fan

分类: cs.CL, cs.AI, cs.HC, cs.RO

发布日期: 2024-02-13 (更新: 2024-10-03)

备注: 62 pages, 14 figures, Published in EMNLP 2024 Main

期刊: EMNLP 2024 Main (The 2024 Conference on Empirical Methods on Natural Language Processing )

🔗 代码/项目: GITHUB | PROJECT_PAGE

💡 一句话要点

提出PROMST框架以优化多步骤任务中的提示生成

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 提示优化 大型语言模型 人类反馈 启发式模型 多步骤任务 自动化系统

📋 核心要点

  1. 现有方法在多步骤任务中面临提示内容复杂、步骤影响难以评估及个体偏好差异等挑战。
  2. 本文提出的PROMST框架结合人类反馈和启发式模型，自动优化提示生成过程。
  3. 实验结果显示，PROMST在11个多步骤任务中显著提升性能，平均提高10.6%-29.3%。

📝 摘要（中文）

提示优化旨在为大型语言模型（LLM）找到最佳提示以完成特定任务。尽管LLM在单步骤任务中表现良好，但多步骤任务引入了新的挑战，如提示内容复杂性、步骤影响评估困难以及个体偏好的多样性。为此，本文提出了一种新的LLM驱动的离散提示优化框架PROMST，结合人类反馈规则自动提供改进建议，并利用学习的启发式模型高效采样提示候选。实验表明，该方法在11个代表性多步骤任务中显著优于现有方法，平均提升10.6%-29.3%。

🔬 方法详解

问题定义：本文旨在解决多步骤任务中提示优化的复杂性和人类反馈不足的问题。现有方法在处理复杂提示内容和评估步骤影响时存在明显不足。

核心思路：PROMST框架通过整合人类设计的反馈规则和学习的启发式模型，自动生成改进建议，从而优化提示生成过程。这样的设计使得系统能够更好地适应多样化的任务需求。

技术框架：该框架主要包括两个模块：人类反馈模块和启发式模型模块。人类反馈模块用于收集和分析用户反馈，而启发式模型则用于预测提示性能并高效采样候选提示。

关键创新：PROMST的核心创新在于结合了人类反馈和启发式采样，显著提高了提示优化的效率和效果。这一方法与传统的人工设计提示方法相比，具有更高的自动化程度和适应性。

关键设计：在设计中，采用了特定的损失函数来评估提示的有效性，并通过多轮迭代优化提示内容。同时，启发式模型的训练过程也考虑了多步骤任务的特性，以提高预测准确性。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果显示，PROMST在11个多步骤任务中平均提升了10.6%-29.3%的性能，相较于现有的最佳方法表现出显著优势。这一结果表明，PROMST在自动提示优化领域具有重要的参考价值。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动化客服和教育技术等。通过优化多步骤任务中的提示生成，PROMST能够提升用户体验和任务完成效率，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Prompt optimization aims to find the best prompt to a large language model (LLM) for a given task. LLMs have been successfully used to help find and improve prompt candidates for single-step tasks. However, realistic tasks for agents are multi-step and introduce new challenges: (1) Prompt content is likely to be more extensive and complex, making it more difficult for LLMs to analyze errors, (2) the impact of an individual step is difficult to evaluate, and (3) different people may have varied preferences about task execution. While humans struggle to optimize prompts, they are good at providing feedback about LLM outputs; we therefore introduce a new LLM-driven discrete prompt optimization framework PRompt Optimization in Multi-Step Tasks (PROMST) that incorporates human-designed feedback rules to automatically offer direct suggestions for improvement. We also use an extra learned heuristic model that predicts prompt performance to efficiently sample from prompt candidates. This approach significantly outperforms both human-engineered prompts and several other prompt optimization methods across 11 representative multi-step tasks (an average 10.6\%-29.3\% improvement to current best methods on five LLMs respectively). We believe our work can serve as a benchmark for automatic prompt optimization for LLM-driven multi-step tasks. Datasets and Codes are available at https://github.com/yongchao98/PROMST. Project Page is available at https://yongchao98.github.io/MIT-REALM-PROMST.