Sample-Efficient Human Evaluation of Large Language Models via Maximum Discrepancy Competition

📄 arXiv: 2404.08008v2 📥 PDF

作者: Kehua Feng, Keyan Ding, Hongzhi Tan, Kede Ma, Zhihua Wang, Shuangquan Guo, Yuzhou Cheng, Ge Sun, Guozhou Zheng, Qiang Zhang, Huajun Chen

分类: cs.LG, cs.CL, cs.HC

发布日期: 2024-04-10 (更新: 2025-05-29)

备注: 35 pages, 6 figures, Accepted by ACL 2025

🔗 代码/项目: GITHUB

💡 一句话要点

提出基于最大差异竞争的高效人类评估方法以解决LLM评估问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 人类评估 最大差异竞争 样本高效 Elo评分法

📋 核心要点

  1. 现有评估方法在反映人类对自然语言的感知方面存在不足，且全面的人类标注成本高昂。
  2. 提出了一种基于最大差异竞争的样本高效人类评估方法，通过最大化LLM响应之间的语义差异来选择输入指令。
  3. 实验结果显示，该方法能够用少量指令恢复模型排名，并揭示各LLM的优缺点，为未来发展提供指导。

📝 摘要（中文）

大型语言模型（LLMs）的可靠评估面临两个主要挑战：客观指标往往无法反映人类对自然语言的感知，而全面的人类标注成本过高。本文提出了一种基于最大差异（MAD）竞争原则的高效人类评估方法。该方法自动且自适应地选择一组紧凑的输入指令，以最大化LLM响应之间的语义差异。人类评估者对这些配对响应进行三选一的强制选择，并使用Elo评分法将结果聚合为全局排名。我们将该方法应用于比较八种广泛使用的LLM，涵盖科学知识理解、数学推理、创意和功能写作以及代码生成与解释等四个任务。实验结果表明，该评估方法能够用少量MAD选择的指令恢复“黄金标准”的模型排名，揭示各LLM的优缺点，并为未来的LLM发展提供细致的见解。

🔬 方法详解

问题定义：本文旨在解决大型语言模型（LLMs）评估中的两个主要问题：客观评估指标无法准确反映人类感知，且全面的人类标注成本过高。

核心思路：提出基于最大差异（MAD）竞争的评估方法，通过自动选择最大化语义差异的输入指令，减少所需的评估样本量。

技术框架：该方法包括两个主要模块：首先，自动选择一组输入指令以最大化LLM响应之间的语义差异；其次，利用Elo评分法对评估者的选择结果进行聚合，形成全局排名。

关键创新：最重要的创新在于通过最大差异竞争原则实现样本高效评估，显著减少了评估所需的输入指令数量，与传统方法相比具有更高的效率和准确性。

关键设计：在选择输入指令时，采用自适应算法来确保所选指令能够最大化语义差异，评估过程中使用三选一的强制选择方式，并通过Elo评分法进行结果聚合，确保评估结果的可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用MAD选择的少量指令能够有效恢复“黄金标准”的模型排名，且在科学知识理解、数学推理等任务中，能够清晰揭示各LLM的优缺点。该方法在评估效率上相比传统方法有显著提升，展示了其在实际应用中的潜力。

🎯 应用场景

该研究的潜在应用领域包括大型语言模型的评估、优化和开发，尤其是在需要高效且可靠的评估方法的场景中。通过提供更准确的模型排名和性能分析，能够为研究人员和开发者在模型改进和应用选择上提供有价值的指导，推动自然语言处理技术的进步。

📄 摘要（原文）

Reliable evaluation of large language models (LLMs) is impeded by two key challenges: objective metrics often fail to reflect human perception of natural language, and exhaustive human labeling is prohibitively expensive. Here, we propose a sample-efficient human evaluation method for LLMs based on the principle of MAximum Discrepancy (MAD) Competition. Our method automatically and adaptively selects a compact set of input instructions that maximize semantic discrepancy between pairs of LLM responses. Human evaluators then perform three-alternative forced choices on these paired responses, which are aggregated into a global ranking using Elo rating. We apply our approach to compare eight widely used LLMs across four tasks: scientific knowledge understanding, mathematical reasoning, creative and functional writing, and code generation and explanation. Experimental results show that our sample-efficient evaluation method recovers "gold-standard" model rankings with a handful of MAD-selected instructions, reveals respective strengths and weaknesses of each LLM, and offers nuanced insights to guide future LLM development. Code is available at https://github.com/weiji-Feng/MAD-Eval .