Iterative Refinement of Project-Level Code Context for Precise Code Generation with Compiler Feedback

📄 arXiv: 2403.16792v3 📥 PDF

作者: Zhangqian Bi, Yao Wan, Zheng Wang, Hongyu Zhang, Batu Guan, Fangxin Lu, Zili Zhang, Yulei Sui, Hai Jin, Xuanhua Shi

分类: cs.CL, cs.SE

发布日期: 2024-03-25 (更新: 2024-06-11)

💡 一句话要点

提出CoCoGen以解决项目特定上下文不足的问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 代码生成 大型语言模型 编译器反馈 静态分析 项目上下文 自动化编程 软件开发

📋 核心要点

  1. 现有的LLM在生成代码时常常忽视项目特定的上下文信息，导致生成代码的准确性和实用性不足。
  2. CoCoGen通过静态分析识别生成代码与项目上下文的不匹配，并利用编译器反馈迭代修复这些错误，从而提高代码生成的准确性。
  3. 实验结果显示，CoCoGen在项目上下文依赖的代码生成上提升超过80%，并且在性能上优于现有的检索基线方法。

📝 摘要（中文）

大型语言模型（LLMs）在自动代码生成方面取得了显著进展。然而，LLM生成的代码可能在API使用、类、数据结构或缺少项目特定信息方面存在错误。由于许多项目特定上下文无法适应LLM的提示，我们需要寻找方法让模型探索项目级代码上下文。本文提出了CoCoGen，这是一种利用编译器反馈来改进LLM生成代码的新方法。CoCoGen首先利用静态分析识别生成代码与项目上下文之间的不匹配，然后通过从代码库中提取的信息迭代对识别出的错误进行对齐和修复。我们将CoCoGen与两个代表性的LLM（GPT-3.5-Turbo和Code Llama）集成，并应用于Python代码生成。实验结果表明，CoCoGen在生成依赖于项目上下文的代码方面显著提升了原始LLM的性能，超过80%的提升，并且始终优于现有的基于检索的代码生成基线。

🔬 方法详解

问题定义：本文旨在解决LLM生成代码时缺乏项目特定上下文的问题。现有方法往往无法充分利用项目的上下文信息，导致生成代码的质量和准确性不足。

核心思路：CoCoGen的核心思路是通过静态分析和编译器反馈来识别和修复生成代码中的错误，从而使生成的代码更符合项目的实际需求。这样的设计使得模型能够在生成代码时考虑到更多的上下文信息。

技术框架：CoCoGen的整体架构包括两个主要模块：首先是静态分析模块，用于识别生成代码与项目上下文之间的差异；其次是迭代修复模块，利用从代码库中提取的信息对识别出的错误进行修复。

关键创新：CoCoGen的主要创新在于结合了编译器反馈与静态分析，使得模型能够在生成代码时动态调整，从而显著提高了代码的准确性。这与传统的基于检索的方法有本质区别，后者往往依赖于静态的上下文信息。

关键设计：在设计中，CoCoGen采用了特定的损失函数来衡量生成代码与项目上下文的匹配度，并优化了网络结构以提高模型的学习能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CoCoGen在生成依赖于项目上下文的代码方面提升超过80%，显著优于原始LLM和现有的基于检索的代码生成基线。这一结果展示了CoCoGen在实际应用中的有效性和优势。

🎯 应用场景

CoCoGen的研究成果在软件开发、自动化测试和代码审查等领域具有广泛的应用潜力。通过提高代码生成的准确性，开发者可以更高效地生成符合项目需求的代码，减少后期调试和维护的成本。此外，该方法还可以为未来的智能编程助手提供技术支持，推动编程自动化的发展。

📄 摘要（原文）

Large Language Models (LLMs) have shown remarkable progress in automated code generation. Yet, LLM-generated code may contain errors in API usage, class, data structure, or missing project-specific information. As much of this project-specific context cannot fit into the prompts of LLMs, we must find ways to allow the model to explore the project-level code context. We present CoCoGen, a new code generation approach that uses compiler feedback to improve the LLM-generated code. CoCoGen first leverages static analysis to identify mismatches between the generated code and the project's context. It then iteratively aligns and fixes the identified errors using information extracted from the code repository. We integrate CoCoGen with two representative LLMs, i.e., GPT-3.5-Turbo and Code Llama (13B), and apply it to Python code generation. Experimental results show that CoCoGen significantly improves the vanilla LLMs by over 80% in generating code dependent on the project context and consistently outperforms the existing retrieval-based code generation baselines.