GLaPE: Gold Label-agnostic Prompt Evaluation and Optimization for Large Language Model

📄 arXiv: 2402.02408v2 📥 PDF

作者: Xuanchang Zhang, Zhuosheng Zhang, Hai Zhao

分类: cs.CL, cs.LG

发布日期: 2024-02-04 (更新: 2024-12-02)

备注: EMNLP 2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出GLaPE以解决大语言模型提示评估依赖金标准标签的问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 提示评估 自一致性 金标准标签 自然语言处理 提示优化 无监督学习

📋 核心要点

  1. 现有方法在提示评估中依赖手动标注的金标准标签，限制了其普适性和应用范围。
  2. 本文提出GLaPE，通过自一致性评估提示，减少对金标准标签的依赖，提升评估的普适性。
  3. 实验显示，GLaPE在六个推理任务上优化的提示效果与传统方法相当，且无需金标准标签。

📝 摘要（中文）

尽管大型语言模型（LLMs）取得了快速进展，但其任务性能仍对提示设计敏感。现有方法在评估提示时严重依赖手动标注的金标准标签，限制了其广泛应用。为此，本文提出了一种金标准标签无关的提示评估方法（GLaPE），通过自一致性作为初始评估分数，进而优化相同答案的提示得分。实验结果表明，GLaPE在缺乏金标准标签的情况下，仍能提供与准确性一致的可靠评估，并在六个流行推理任务上，基于GLaPE的提示优化效果与基于准确性的提示相当。

🔬 方法详解

问题定义：本文旨在解决大型语言模型提示评估中对金标准标签的依赖问题。现有方法依赖手动标注的金标准标签来计算任务准确性，限制了其广泛应用和通用性。

核心思路：论文提出的GLaPE方法通过自一致性作为初始评估分数，进而优化相同答案的提示得分，从而减少对金标准标签的依赖。这样的设计基于自一致性与答案准确性之间的相关性。

技术框架：GLaPE的整体架构包括两个主要阶段：首先，计算每个提示的自一致性得分；其次，对产生相同答案的提示进行得分优化，以确保它们之间的一致性。

关键创新：GLaPE的核心创新在于其金标准标签无关的评估机制，利用自一致性作为评估标准，与传统依赖金标准标签的方法本质上不同。

关键设计：在实现中，GLaPE通过设计特定的得分优化算法，确保相同答案的提示得分相互一致，具体的参数设置和损失函数设计在实验中进行了详细验证。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GLaPE在六个流行推理任务上优化的提示效果与基于准确性的提示相当，且在缺乏金标准标签的情况下，依然能提供可靠的评估。这一方法展示了在无标签环境下进行有效提示优化的潜力。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的提示优化、对话系统、自动问答等场景。通过减少对金标准标签的依赖，GLaPE能够在更多实际应用中实现高效的提示评估和优化，提升模型的实际表现和适用性。

📄 摘要（原文）

Despite the rapid progress of large language models (LLMs), their task performance remains sensitive to prompt design. Recent studies have explored leveraging the LLM itself as an optimizer to identify optimal prompts that maximize task accuracy. However, when evaluating prompts, such approaches heavily rely on elusive manually annotated gold labels to calculate task accuracy for each candidate prompt, which hinders the widespread implementation and generality. To overcome the limitation, this work proposes a gold label-agnostic prompt evaluation (GLaPE) to alleviate dependence on gold labels. Motivated by the observed correlation between self-consistency and the accuracy of the answer, we adopt self-consistency as the initial evaluation score. Subsequently, we refine the scores of prompts producing identical answers to be mutually consistent. Experimental results show that GLaPE provides reliable evaluations uniform with accuracy, even in the absence of gold labels. Moreover, on six popular reasoning tasks, our GLaPE-based prompt optimization yields effective prompts comparable to accuracy-based ones. The code is publicly available at https://github.com/thunderous77/GLaPE.