Instruction-Following Evaluation for Large Language Models

📄 arXiv: 2311.07911v1 📥 PDF

作者: Jeffrey Zhou, Tianjian Lu, Swaroop Mishra, Siddhartha Brahma, Sujoy Basu, Yi Luan, Denny Zhou, Le Hou

分类: cs.CL, cs.AI, cs.LG

发布日期: 2023-11-14

🔗 代码/项目: GITHUB

💡 一句话要点

提出指令跟随评估基准以解决大型语言模型评估标准化问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 指令跟随 评估基准 可验证指令 自然语言处理

📋 核心要点

  1. 现有的评估方法缺乏标准化，人工评估成本高且难以复现，自动评估可能存在偏见。
  2. 提出指令跟随评估（IFEval），专注于可验证指令，构建了约500个提示以进行评估。
  3. 通过对两种主流LLM的评估，展示了IFEval的有效性和可复现性，提供了新的评估基准。

📝 摘要（中文）

大型语言模型（LLMs）的一项核心能力是遵循自然语言指令。然而，目前对这种能力的评估缺乏标准化：人工评估成本高、速度慢且难以客观复现，而基于LLM的自动评估可能存在偏见或受限于评估者LLM的能力。为了解决这些问题，本文提出了指令跟随评估（IFEval），这是一个简单易复现的评估基准，专注于一系列“可验证指令”，如“写超过400字”和“至少提到3次AI关键词”。我们识别了25种可验证指令，并构建了约500个提示，每个提示包含一个或多个可验证指令。我们展示了市场上两种广泛可用的LLM的评估结果。我们的代码和数据可以在https://github.com/google-research/google-research/tree/master/instruction_following_eval找到。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在遵循自然语言指令方面的评估标准化问题。现有方法如人工评估成本高且难以复现，自动评估则可能受到评估者模型能力的限制。

核心思路：提出指令跟随评估（IFEval），通过设计一系列可验证的指令来实现标准化评估。这种方法简单易复现，能够有效评估LLM的指令遵循能力。

技术框架：IFEval的整体架构包括指令设计、提示构建和评估结果分析三个主要模块。首先识别可验证指令，然后构建包含这些指令的提示，最后对LLM进行评估并分析结果。

关键创新：IFEval的主要创新在于引入了可验证指令的概念，并构建了一个系统化的评估基准。这与现有方法的本质区别在于其标准化和可复现性。

关键设计：在设计过程中，识别了25种可验证指令，并构建了约500个提示，确保每个提示都能有效评估LLM的指令遵循能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用IFEval对两种主流LLM进行评估时，能够提供一致且可复现的结果，显著提高了评估的标准化程度。具体性能数据和对比基线在论文中详细列出，展示了IFEval的有效性。

🎯 应用场景

该研究的潜在应用领域包括大型语言模型的开发与评估，尤其在教育、客服和内容生成等行业中，能够提供更为标准化和客观的评估方式。未来，IFEval可能成为LLM评估的行业标准，推动相关技术的进步与应用。

📄 摘要（原文）

One core capability of Large Language Models (LLMs) is to follow natural language instructions. However, the evaluation of such abilities is not standardized: Human evaluations are expensive, slow, and not objectively reproducible, while LLM-based auto-evaluation is potentially biased or limited by the ability of the evaluator LLM. To overcome these issues, we introduce Instruction-Following Eval (IFEval) for large language models. IFEval is a straightforward and easy-to-reproduce evaluation benchmark. It focuses on a set of "verifiable instructions" such as "write in more than 400 words" and "mention the keyword of AI at least 3 times". We identified 25 types of those verifiable instructions and constructed around 500 prompts, with each prompt containing one or more verifiable instructions. We show evaluation results of two widely available LLMs on the market. Our code and data can be found at https://github.com/google-research/google-research/tree/master/instruction_following_eval