Top Leaderboard Ranking = Top Coding Proficiency, Always? EvoEval: Evolving Coding Benchmarks via LLM

📄 arXiv: 2403.19114v1 📥 PDF

作者: Chunqiu Steven Xia, Yinlin Deng, Lingming Zhang

分类: cs.SE, cs.CL, cs.LG, cs.PL

发布日期: 2024-03-28

🔗 代码/项目: GITHUB

💡 一句话要点

提出EvoEval以解决现有编码基准的局限性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 程序合成 编码基准 性能评估 数据泄露 动态演化 多样性问题 智能编程工具

📋 核心要点

  1. 现有的编码基准在数量和多样性上存在明显不足，导致评估结果的可靠性受到质疑。
  2. EvoEval通过演化现有基准，创建了一个多样化的程序合成基准套件，以全面评估LLMs的编码能力。
  3. 实验结果显示，使用EvoEval时，LLMs的性能平均下降39.4%，揭示了现有基准的潜在过拟合问题。

📝 摘要（中文）

随着大型语言模型（LLMs）在代码生成任务中的广泛应用，现有的手工编码基准存在数量和多样性不足的问题。此外，许多基准由于流行和老旧，容易出现数据泄露，影响评估的可靠性。为了解决这一问题，本文提出了EvoEval，一个通过演化现有基准以覆盖不同目标领域的程序合成基准套件。研究表明，与标准基准相比，EvoEval的性能下降显著，平均下降39.4%，并揭示了现有基准的潜在过拟合问题。EvoEval不仅提供了全面的基准，还能随着LLMs的发展不断演化问题，保持其前沿性。

🔬 方法详解

问题定义：本文旨在解决现有编码基准在数量和多样性上的不足，以及由于数据泄露导致的评估不可靠性。现有基准无法全面反映大型语言模型（LLMs）的程序合成能力。

核心思路：EvoEval的核心思路是通过演化现有的编码基准，创建一个涵盖不同领域和问题类型的综合性基准套件，以便更准确地评估LLMs的性能。这样的设计旨在避免现有基准的局限性，提供更具挑战性和多样化的测试。

技术框架：EvoEval的整体架构包括多个阶段：首先，分析现有基准的不足之处；其次，基于这些不足，设计新的问题和任务；最后，构建一个包含多样化问题的基准套件，以便进行全面评估。主要模块包括问题生成、性能评估和结果分析。

关键创新：EvoEval的关键创新在于其动态演化能力，能够根据LLMs的发展不断更新和扩展问题集。这与传统静态基准的本质区别在于，EvoEval能够适应技术进步，保持评估的前沿性和有效性。

关键设计：在设计EvoEval时，重点考虑了问题的多样性和复杂性，确保涵盖不同类型的编程任务。此外，采用了多种评估指标，以全面反映LLMs在不同场景下的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，与标准基准HumanEval相比，使用EvoEval时LLMs的性能平均下降39.4%，下降幅度在19.6%至47.7%之间。这一结果揭示了现有基准的潜在过拟合问题，并导致LLMs排名的显著变化，强调了EvoEval在评估中的重要性。

🎯 应用场景

EvoEval的潜在应用领域包括教育、软件开发和自动化测试等。通过提供更全面的编码能力评估，EvoEval可以帮助开发者和研究人员更好地理解和改进LLMs的性能，推动智能编程工具的发展。未来，EvoEval还可以不断演化，以适应快速变化的技术环境，保持其实际价值。

📄 摘要（原文）

LLMs have become the go-to choice for code generation tasks, with an exponential increase in the training, development, and usage of LLMs specifically for code generation. To evaluate the ability of LLMs on code, both academic and industry practitioners rely on popular handcrafted benchmarks. However, prior benchmarks contain only a very limited set of problems, both in quantity and variety. Further, due to popularity and age, many benchmarks are prone to data leakage where example solutions can be readily found on the web and thus potentially in training data. Such limitations inevitably lead us to inquire: Is the leaderboard performance on existing benchmarks reliable and comprehensive enough to measure the program synthesis ability of LLMs? To address this, we introduce EvoEval -- a program synthesis benchmark suite created by evolving existing benchmarks into different targeted domains for a comprehensive evaluation of LLM coding abilities. Our study on 51 LLMs shows that compared to the high performance obtained on standard benchmarks like HumanEval, there is a significant drop in performance (on average 39.4%) when using EvoEval. Additionally, the decrease in performance can range from 19.6% to 47.7%, leading to drastic ranking changes amongst LLMs and showing potential overfitting of existing benchmarks. Furthermore, we showcase various insights, including the brittleness of instruction-following models when encountering rewording or subtle changes as well as the importance of learning problem composition and decomposition. EvoEval not only provides comprehensive benchmarks, but can be used to further evolve arbitrary problems to keep up with advances and the ever-changing landscape of LLMs for code. We have open-sourced our benchmarks, tools, and complete LLM generations at https://github.com/evo-eval/evoeval