When Benchmarks are Targets: Revealing the Sensitivity of Large Language Model Leaderboards

📄 arXiv: 2402.01781v2 📥 PDF

作者: Norah Alzahrani, Hisham Abdullah Alyahya, Yazeed Alnumay, Sultan Alrashed, Shaykhah Alsubaie, Yusef Almushaykeh, Faisal Mirza, Nouf Alotaibi, Nora Altwairesh, Areeb Alowisheq, M Saiful Bari, Haidar Khan

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-02-01 (更新: 2024-07-03)

备注: updated with ACL 2024 camera ready version

🔗 代码/项目: GITHUB

💡 一句话要点

揭示大语言模型排行榜对基准敏感性的问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 基准评估 模型排名 混合评分 自然语言处理 评估方法 系统实验

📋 核心要点

  1. 现有的大语言模型排行榜对细微变化极为敏感，可能导致误导性的模型选择。
  2. 论文通过系统实验揭示了基准扰动对模型排名的影响，并提出混合评分方法作为解决方案。
  3. 实验结果显示，微小的基准变化可导致模型排名变化高达8位，强调了评估方法的改进需求。

📝 摘要（中文）

基于基准排名的大语言模型（LLM）排行榜常用于指导模型选择，但我们展示了这一做法的潜在风险。现有排行榜中，LLM的相对性能对细微变化高度敏感。我们通过系统实验，发现对流行的多项选择题基准（如MMLU）进行微小扰动，例如选择顺序或答案选择方法的变化，会导致排名变化高达8位。我们的分析提出了多项最佳实践建议，包括混合评分方法的优势，强调了依赖简单基准评估的风险，并为现有基准的更稳健评估方案指明了方向。

🔬 方法详解

问题定义：本论文旨在解决现有大语言模型排行榜对细微基准变化的敏感性问题。现有方法未能考虑这些细微变化可能导致的排名波动，可能误导模型选择。

核心思路：论文通过系统实验分析多项选择题基准的扰动，揭示其对模型排名的影响，并提出混合评分方法作为改进方案，以提高评估的稳健性。

技术框架：研究分为三个主要阶段：首先，识别并分类基准扰动；其次，进行系统实验以评估这些扰动对模型排名的影响；最后，提出最佳实践建议，包括混合评分方法。

关键创新：最重要的创新点在于系统性地揭示了基准扰动对模型排名的影响，并提出了混合评分方法，显著提高了评估的可靠性。这与现有方法的单一评分机制形成鲜明对比。

关键设计：在实验中，采用了多种扰动方式，包括选择顺序的变化和答案选择方法的不同，评估了这些变化对模型排名的具体影响，并提出了相应的最佳实践建议。实验结果表明，混合评分方法在多个基准上表现出更高的稳定性和可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，针对流行的多项选择题基准，微小的扰动导致模型排名变化高达8位。通过采用混合评分方法，模型评估的稳定性显著提高，表明该方法在多个基准上优于传统单一评分机制。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理模型的开发与评估，尤其是在需要高可靠性的模型选择场景中。通过改进评估方法，研究能够帮助开发者更准确地选择和优化大语言模型，提升实际应用效果。未来，该研究可能推动更为稳健的评估标准的建立，促进整个领域的进步。

📄 摘要（原文）

Large Language Model (LLM) leaderboards based on benchmark rankings are regularly used to guide practitioners in model selection. Often, the published leaderboard rankings are taken at face value - we show this is a (potentially costly) mistake. Under existing leaderboards, the relative performance of LLMs is highly sensitive to (often minute) details. We show that for popular multiple-choice question benchmarks (e.g., MMLU), minor perturbations to the benchmark, such as changing the order of choices or the method of answer selection, result in changes in rankings up to 8 positions. We explain this phenomenon by conducting systematic experiments over three broad categories of benchmark perturbations and identifying the sources of this behavior. Our analysis results in several best-practice recommendations, including the advantage of a hybrid scoring method for answer selection. Our study highlights the dangers of relying on simple benchmark evaluations and charts the path for more robust evaluation schemes on the existing benchmarks. The code for this paper is available at https://github.com/National-Center-for-AI-Saudi-Arabia/lm-evaluation-harness.