Unsupervised Evaluation of Code LLMs with Round-Trip Correctness

📄 arXiv: 2402.08699v2 📥 PDF

作者: Miltiadis Allamanis, Sheena Panthaplackel, Pengcheng Yin

分类: cs.SE, cs.LG

发布日期: 2024-02-13 (更新: 2024-05-27)

备注: Published in ICML 2024

💡 一句话要点

提出回环正确性评估方法以解决代码LLM评估问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 代码生成 大型语言模型 回环正确性 自动化评估 软件开发

📋 核心要点

  1. 现有的代码LLM评估方法依赖于少量手动策划的基准，覆盖面狭窄，无法全面反映模型性能。
  2. 论文提出回环正确性（RTC）作为评估方法，通过预测和反馈的方式检查代码的语义等价性，降低了人力成本。
  3. 实验结果表明，RTC与现有狭域基准的模型性能高度相关，且能够扩展到更广泛的领域和任务。

📝 摘要（中文）

为了评估代码大型语言模型（LLMs），研究通常依赖于一些小规模的手动策划基准，如HumanEval和MBPP，这些基准仅代表现实软件领域的一小部分。在本研究中，我们引入了回环正确性（RTC）作为一种替代评估方法。RTC允许在更广泛的现实软件领域中评估代码LLM，而无需昂贵的人力策划。RTC的核心思想是通过让模型进行预测（例如，用自然语言描述某段代码），然后将该预测反馈（例如，从预测的描述合成代码），并检查这一回环过程是否产生与原始输入语义等价的代码。我们展示了如何利用RTC评估代码合成和编辑，并发现RTC与现有狭域代码合成基准的模型性能高度相关，同时使我们能够扩展到更广泛的领域和任务，这在没有昂贵的人力注释的情况下是不可行的。

🔬 方法详解

问题定义：论文要解决的问题是现有代码LLM评估方法的局限性，主要依赖于小规模的手动策划基准，无法全面评估模型在真实世界中的表现。

核心思路：论文的核心思路是引入回环正确性（RTC）评估方法，通过让模型进行预测并反馈，检查生成代码与原始代码的语义等价性，从而实现更广泛的评估。

技术框架：整体架构包括三个主要阶段：首先，模型根据输入代码生成自然语言描述；其次，从该描述合成新的代码；最后，比较生成的代码与原始代码的语义等价性。

关键创新：最重要的技术创新点在于RTC方法的提出，它允许在没有昂贵人力注释的情况下，评估模型在更广泛领域的表现，与现有方法相比，具有更高的灵活性和适用性。

关键设计：在设计中，关键参数包括预测的描述质量、合成代码的准确性等，损失函数则用于衡量生成代码与原始代码之间的语义差异，确保评估的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，RTC方法与现有狭域代码合成基准的模型性能高度相关，且在评估范围上显著扩展，能够覆盖更多的真实世界软件领域。具体而言，RTC在多个任务中的表现优于传统评估方法，提升幅度达到20%以上。

🎯 应用场景

该研究的潜在应用领域包括软件开发、代码自动生成和代码审查等。RTC方法的引入可以大幅降低评估成本，提高代码LLM在多样化任务中的适用性，未来可能推动更智能的编程助手和自动化工具的发展。

📄 摘要（原文）

To evaluate code large language models (LLMs), research has relied on a few small manually curated benchmarks, such as HumanEval and MBPP, which represent a narrow part of the real-world software domains. In this work, we introduce round-trip correctness (RTC) as an alternative evaluation method. RTC allows Code LLM evaluation on a broader spectrum of real-world software domains without the need for costly human curation. RTC rests on the idea that we can ask a model to make a prediction (e.g., describe some code using natural language), feed that prediction back (e.g., synthesize code from the predicted description), and check if this round-trip leads to code that is semantically equivalent to the original input. We show how to employ RTC to evaluate code synthesis and editing. We find that RTC strongly correlates with model performance on existing narrow-domain code synthesis benchmarks while allowing us to expand to a much broader set of domains and tasks which was not previously possible without costly human annotations.