Large Language Models as Test Case Generators: Performance Evaluation and Enhancement

📄 arXiv: 2404.13340v1 📥 PDF

作者: Kefan Li, Yuan Yuan

分类: cs.SE, cs.AI

发布日期: 2024-04-20

💡 一句话要点

提出TestChain框架以提升LLMs在测试用例生成中的性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大规模语言模型 测试用例生成 自动化测试 多代理框架 ReAct格式 Python解释器 代码质量保障

📋 核心要点

  1. 现有方法在测试用例生成中表现不佳，尤其是在面对复杂问题时，LLMs的计算和推理能力受到限制。
  2. 本文提出的TestChain框架通过解耦测试输入和输出的生成，利用ReAct格式的对话链与Python解释器交互，从而提高生成的测试用例质量。
  3. 实验结果显示，TestChain在LeetCode-hard数据集上相比基线有显著提升，特别是使用GPT-4时，准确性提高了13.84%。

📝 摘要（中文）

大规模语言模型（LLMs）在代码生成方面取得了显著进展，但在测试用例生成的研究中相对较少。现有研究主要集中在利用LLMs生成的测试用例来增强代码生成，而LLMs在独立测试用例生成中的性能尚未得到全面评估。为此，本文通过大量实验探讨LLMs生成高质量测试用例的能力，发现随着问题难度的增加，现有LLMs在生成正确测试用例方面存在显著困难。为了解决这一问题，本文提出了一种名为TestChain的多代理框架，该框架将测试输入和输出的生成解耦，并通过与Python解释器的交互来提高测试输出的准确性。实验结果表明，TestChain在测试用例的准确性上显著优于基线，特别是使用GPT-4作为基础模型时，在LeetCode-hard数据集上提高了13.84%。

🔬 方法详解

问题定义：本文旨在解决LLMs在测试用例生成中的性能不足，尤其是在面对高难度问题时，现有方法的生成能力受到限制，导致生成的测试用例质量不高。

核心思路：提出TestChain框架，通过将测试输入和输出的生成过程解耦，利用与Python解释器的交互来提高测试输出的准确性。这种设计旨在克服LLMs在推理和计算上的局限性。

技术框架：TestChain框架包括两个主要模块：测试输入生成模块和测试输出生成模块。输入模块负责生成测试用例的输入数据，而输出模块则通过与Python解释器的交互生成相应的输出。

关键创新：TestChain的核心创新在于其多代理架构和ReAct格式的对话链设计，使得LLMs能够更有效地与外部环境（如Python解释器）进行交互，从而提高生成的测试用例的准确性。与现有方法相比，TestChain在生成过程中的灵活性和准确性有显著提升。

关键设计：在设计中，TestChain采用了特定的参数设置和损失函数，以优化测试用例的生成质量。此外，框架的网络结构经过精心设计，以确保不同模块之间的高效协作。具体的参数设置和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，TestChain在测试用例生成的准确性上显著优于基线，特别是在使用GPT-4作为基础模型时，在LeetCode-hard数据集上实现了13.84%的准确性提升。这一结果展示了TestChain框架在复杂问题测试用例生成中的有效性和优势。

🎯 应用场景

该研究的潜在应用领域包括软件测试、自动化测试工具开发和代码质量保障等。通过提高测试用例生成的准确性，TestChain能够帮助开发者更有效地发现和修复代码中的潜在缺陷，从而提升软件的可靠性和安全性。未来，该框架有望在更广泛的编程语言和应用场景中得到应用，推动自动化测试技术的发展。

📄 摘要（原文）

Code generation with Large Language Models (LLMs) has been extensively studied and achieved remarkable progress. As a complementary aspect to code generation, test case generation is of crucial importance in ensuring the quality and reliability of code. However, using LLMs as test case generators has been much less explored. Current research along this line primarily focuses on enhancing code generation with assistance from test cases generated by LLMs, while the performance of LLMs in test case generation alone has not been comprehensively examined. To bridge this gap, we conduct extensive experiments to study how well LLMs can generate high-quality test cases. We find that as the problem difficulty increases, state-of-the-art LLMs struggle to generate correct test cases, largely due to their inherent limitations in computation and reasoning. To mitigate this issue, we further propose a multi-agent framework called \emph{TestChain} that decouples the generation of test inputs and test outputs. Notably, TestChain uses a ReAct format conversation chain for LLMs to interact with a Python interpreter in order to provide more accurate test outputs. Our results indicate that TestChain outperforms the baseline by a large margin. Particularly, in terms of the accuracy of test cases, TestChain using GPT-4 as the backbone achieves a 13.84\% improvement over the baseline on the LeetCode-hard dataset.