The Fault in our Stars: Quality Assessment of Code Generation Benchmarks

📄 arXiv: 2404.10155v3 📥 PDF

作者: Mohammed Latif Siddiq, Simantika Dristi, Joy Saha, Joanna C. S. Santos

分类: cs.SE, cs.LG

发布日期: 2024-04-15 (更新: 2024-09-04)

备注: Accepted at the 24th IEEE International Conference on Source Code Analysis and Manipulation(SCAM 2024) Research Track

💡 一句话要点

评估代码生成基准的质量以提升模型性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 代码生成 基准评估 质量问题 大型语言模型 性能提升 数据污染 软件工程 模型评估

📋 核心要点

  1. 现有代码生成基准存在质量问题，可能导致对模型性能的误判。
  2. 本文通过分析3566个提示，识别并修复基准中的质量问题，以提升模型评估的准确性。
  3. 修复后，Python代码生成性能有所提升，但Java代码生成性能提升不明显，且发现了数据污染问题。

📝 摘要（中文）

大型语言模型（LLMs）在软件工程师中越来越受欢迎。开发有效的代码生成LLMs的一个关键方面是使用稳健的基准来评估这些模型。质量问题的评估基准可能会导致对性能的错误认知。本文首次研究了用于比较不同代码生成模型性能的基准中的提示质量。我们分析了9个代码生成基准中的3566个提示，以识别其中的质量问题，并探讨修复这些问题是否会影响模型性能。研究发现，现有基准主要集中在Python和编码练习上，缺乏足够的上下文依赖性来挑战模型，同时存在拼写和语法错误、表达不清等问题。修复这些问题能提升Python代码生成的性能，但对Java代码生成的影响不显著。我们还发现GPT-3.5-Turbo和CodeGen-2.5模型可能存在数据污染问题。

🔬 方法详解

问题定义：本文旨在解决现有代码生成基准中提示质量不高的问题，现有方法未能充分考虑提示的清晰度和准确性，导致评估结果不可靠。

核心思路：通过分析和修复基准中的质量问题，提升模型评估的有效性和可信度，确保模型性能评估的准确性。

技术框架：研究首先对9个代码生成基准中的3566个提示进行分析，识别出拼写、语法和表达不清等问题，随后进行修复，并评估修复前后的模型性能变化。

关键创新：本文首次系统性地研究了代码生成基准提示的质量，提出了修复策略，显著提高了Python代码生成的性能，填补了该领域的研究空白。

关键设计：在修复过程中，重点关注拼写和语法错误的纠正，确保提示能够清晰表达开发者的意图，同时采用适当的文档风格，以提高提示的整体质量。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，修复后的基准在Python代码生成任务中显著提升了模型性能，但对Java代码生成的影响不明显。此外，发现GPT-3.5-Turbo和CodeGen-2.5模型存在数据污染问题，可能影响其评估的可靠性。

🎯 应用场景

该研究的潜在应用领域包括代码生成工具的开发和评估，尤其是在自动化软件开发和智能编程助手等场景中。通过提升基准的质量，可以更准确地评估和优化代码生成模型，从而提高软件开发的效率和质量。未来，这一研究可能推动更高效的编程工具和技术的出现。

📄 摘要（原文）

Large Language Models (LLMs) are gaining popularity among software engineers. A crucial aspect of developing effective code generation LLMs is to evaluate these models using a robust benchmark. Evaluation benchmarks with quality issues can provide a false sense of performance. In this work, we conduct the first-of-its-kind study of the quality of prompts within benchmarks used to compare the performance of different code generation models. To conduct this study, we analyzed 3,566 prompts from 9 code generation benchmarks to identify quality issues in them. We also investigated whether fixing the identified quality issues in the benchmarks' prompts affects a model's performance. We also studied memorization issues of the evaluation dataset, which can put into question a benchmark's trustworthiness. We found that code generation evaluation benchmarks mainly focused on Python and coding exercises and had very limited contextual dependencies to challenge the model. These datasets and the developers' prompts suffer from quality issues like spelling and grammatical errors, unclear sentences to express developers' intent, and not using proper documentation style. Fixing all these issues in the benchmarks can lead to a better performance for Python code generation, but not a significant improvement was observed for Java code generation. We also found evidence that GPT-3.5-Turbo and CodeGen-2.5 models may have data contamination issues.