Bugs in Large Language Models Generated Code: An Empirical Study

📄 arXiv: 2403.08937v2 📥 PDF

作者: Florian Tambon, Arghavan Moradi Dakhel, Amin Nikanjam, Foutse Khomh, Michel C. Desmarais, Giuliano Antoniol

分类: cs.SE, cs.AI

发布日期: 2024-03-13 (更新: 2024-03-18)

备注: 47 pages, 7 figures

💡 一句话要点

识别大型语言模型生成代码中的错误模式以提升代码质量

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 代码生成 错误模式 软件工程 质量保证 自动化工具 代码审查

📋 核心要点

  1. 现有的LLM生成代码工具在实际应用中产生的错误尚未被深入研究，影响了代码的可靠性和质量。
  2. 本文通过分析LLM生成代码中的错误，提出了一种分类法来识别和理解这些错误模式，以便更好地进行质量控制。
  3. 研究结果表明，识别出的10种错误模式在LLM生成的代码中普遍存在，为后续的质量保证技术提供了实证基础。

📝 摘要（中文）

大型语言模型（LLMs）在代码生成方面引起了广泛关注，能够根据提供的提示生成多种编程语言的代码。然而，LLM生成的代码同样容易出现错误，这些错误尚未得到充分研究。本文分析了从三种主流LLM（CodeGen、PanGu-Coder和Codex）生成的代码中收集的333个错误，识别出10种独特的错误模式，并通过对34名LLM从业者和研究者的在线调查验证了这些模式的显著性和普遍性。这些发现为开发有效的LLM生成代码质量保证技术提供了基础。

🔬 方法详解

问题定义：本文旨在解决LLM生成代码中存在的错误问题，现有方法未能充分识别和分类这些错误，导致代码质量难以保证。

核心思路：通过对LLM生成代码中的错误进行系统分析，识别出10种独特的错误模式，并建立分类体系，以帮助开发者更好地理解和处理这些错误。

技术框架：研究首先收集了333个LLM生成的代码错误样本，然后对这些样本进行分类，最后通过在线调查验证错误模式的有效性和普遍性。

关键创新：本文的创新在于提出了一种系统的错误模式分类法，涵盖了从语法错误到逻辑错误的多种类型，填补了LLM生成代码错误研究的空白。

关键设计：在错误模式的识别过程中，研究者设计了详细的分类标准，并通过与LLM从业者的反馈进行验证，确保分类的准确性和实用性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

研究识别出的10种错误模式包括误解、语法错误、低级错误等，调查结果显示这些错误在LLM生成的代码中普遍存在。参与者普遍认可这些模式的显著性，为后续的质量保证技术提供了实证支持。

🎯 应用场景

该研究的成果可广泛应用于软件工程领域，尤其是在自动代码生成工具的开发和优化中。通过识别和分类LLM生成代码中的错误，开发者可以更有效地进行代码审查和质量控制，从而提升软件的可靠性和安全性。此外，这些发现也为未来的研究提供了重要的基础，推动LLM技术的进一步发展。

📄 摘要（原文）

Large Language Models (LLMs) for code have gained significant attention recently. They can generate code in different programming languages based on provided prompts, fulfilling a long-lasting dream in Software Engineering (SE), i.e., automatic code generation. Similar to human-written code, LLM-generated code is prone to bugs, and these bugs have not yet been thoroughly examined by the community. Given the increasing adoption of LLM-based code generation tools (e.g., GitHub Copilot) in SE activities, it is critical to understand the characteristics of bugs contained in code generated by LLMs. This paper examines a sample of 333 bugs collected from code generated using three leading LLMs (i.e., CodeGen, PanGu-Coder, and Codex) and identifies the following 10 distinctive bug patterns: Misinterpretations, Syntax Error, Silly Mistake, Prompt-biased code, Missing Corner Case, Wrong Input Type, Hallucinated Object, Wrong Attribute, Incomplete Generation, and Non-Prompted Consideration. The bug patterns are presented in the form of a taxonomy. The identified bug patterns are validated using an online survey with 34 LLM practitioners and researchers. The surveyed participants generally asserted the significance and prevalence of the bug patterns. Researchers and practitioners can leverage these findings to develop effective quality assurance techniques for LLM-generated code. This study sheds light on the distinctive characteristics of LLM-generated code.