EVOR: Evolving Retrieval for Code Generation

📄 arXiv: 2402.12317v2 📥 PDF

作者: Hongjin Su, Shuyang Jiang, Yuhang Lai, Haoyuan Wu, Boao Shi, Che Liu, Qian Liu, Tao Yu

分类: cs.CL, cs.AI

发布日期: 2024-02-19 (更新: 2024-12-03)

备注: Retrieval-augmented code generation

💡 一句话要点

提出EVOR以解决静态知识库限制的问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 检索增强生成 代码生成 大型语言模型 知识库 动态更新 编程语言 机器学习

📋 核心要点

  1. 现有的检索增强代码生成方法依赖静态知识库，限制了模型在特定领域的适应能力。
  2. 本文提出EVOR，通过查询和知识库的同步演化，增强了代码生成的灵活性和准确性。
  3. 实验结果显示，EVOR在执行准确率上比现有方法提高了两到四倍，展示了其优越性。

📝 摘要（中文）

近年来，检索增强生成（RAG）在代码生成中取得了成功。然而，现有的检索增强代码生成（RACG）方法使用静态知识库，限制了大型语言模型（LLMs）在知识不足领域的适应能力。本文提出了一种新颖的管道EVOR，采用查询和多样化知识库的同步演化。在需要外部知识解决代码生成任务的两个真实场景中，我们编制了四个与频繁更新的库和长尾编程语言相关的新数据集EVOR-BENCH。大量实验表明，EVOR的执行准确率比其他方法提高了两到四倍。我们展示了EVOR的灵活性，可以与其他方法结合以实现进一步改进。进一步分析表明，EVOR受益于查询和文档的同步演化以及知识库中的多样化信息源。我们希望我们的研究能够激发对未来高级RACG管道设计的更多见解。

🔬 方法详解

问题定义：本文旨在解决现有检索增强代码生成方法中静态知识库的局限性，导致模型在特定领域的适应能力不足。

核心思路：EVOR通过实现查询和知识库的同步演化，动态更新知识库，从而提高代码生成的准确性和灵活性。这样的设计使得模型能够更好地适应快速变化的编程环境。

技术框架：EVOR的整体架构包括查询生成模块、知识库更新模块和代码生成模块。查询生成模块负责生成针对特定任务的查询，知识库更新模块则根据最新信息动态更新知识库，最后代码生成模块利用更新后的知识库生成代码。

关键创新：EVOR的主要创新在于同步演化机制，使得查询和知识库能够实时适应变化，这与传统方法的静态知识库形成鲜明对比。

关键设计：在设计中，EVOR采用了多样化的信息源和动态更新策略，确保知识库的时效性和相关性。具体的参数设置和损失函数设计尚未详细披露，待进一步研究验证。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，EVOR在执行准确率上比Reflexion和DocPrompting等方法提高了两到四倍，显示出其在代码生成任务中的显著优势。这一成果为检索增强代码生成领域提供了新的思路和方法。

🎯 应用场景

EVOR的研究成果在软件开发、自动化测试和编程教育等领域具有广泛的应用潜力。通过提供更准确的代码生成，开发者可以提高工作效率，减少错误率。此外，EVOR的灵活性使其能够适应快速变化的技术环境，具有重要的实际价值和未来影响。

📄 摘要（原文）

Recently the retrieval-augmented generation (RAG) has been successfully applied in code generation. However, existing pipelines for retrieval-augmented code generation (RACG) employ static knowledge bases with a single source, limiting the adaptation capabilities of Large Language Models (LLMs) to domains they have insufficient knowledge of. In this work, we develop a novel pipeline, EVOR, that employs the synchronous evolution of both queries and diverse knowledge bases. On two realistic settings where the external knowledge is required to solve code generation tasks, we compile four new datasets associated with frequently updated libraries and long-tail programming languages, named EVOR-BENCH. Extensive experiments demonstrate that EVOR achieves two to four times of execution accuracy compared to other methods such as Reflexion (Shinn et al., 2024), DocPrompting (Zhou et al., 2023), etc. We demonstrate that EVOR is flexible and can be easily combined with them to achieve further improvement. Further analysis reveals that EVOR benefits from the synchronous evolution of queries and documents and the diverse information sources in the knowledge base. We hope that our studies will inspire more insights into the design of advanced RACG pipelines in future research. Our model, code, and data are available at https://arks-codegen.github.io.