Comprehensive Evaluation and Insights into the Use of Large Language Models in the Automation of Behavior-Driven Development Acceptance Test Formulation

📄 arXiv: 2403.14965v1 📥 PDF

作者: Shanthi Karpurapu, Sravanthy Myneni, Unnati Nettur, Likhit Sagar Gajja, Dave Burke, Tom Stiehm, Jeffery Payne

分类: cs.SE, cs.AI

发布日期: 2024-03-22

DOI: 10.1109/ACCESS.2024.3391815

💡 一句话要点

提出基于大语言模型的BDD验收测试自动生成方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 行为驱动开发 大语言模型 自动化测试 软件工程 敏捷开发

📋 核心要点

  1. 现有的BDD方法在自动化验收测试生成方面存在效率低下和错误率高的问题。
  2. 本文提出利用大语言模型（LLMs）自动化生成BDD验收测试，采用零样本和少样本提示技术。
  3. 实验结果显示，GPT-3.5和GPT-4生成的测试准确率高，且少样本提示技术显著提升了生成质量。

📝 摘要（中文）

行为驱动开发（BDD）是一种促进开发者、QA分析师和利益相关者之间协作的敏捷测试方法。本文提出了一种新颖的方法，通过使用大语言模型（LLMs）来自动化验收测试生成。研究采用零样本和少样本提示评估了GPT-3.5、GPT-4、Llama-2-13B和PaLM-2等LLMs。结果表明，GPT-3.5和GPT-4生成的BDD验收测试无错误且性能更佳。少样本提示技术通过引入示例进行上下文学习，显示出更高的准确性。此外，研究还考察了语法错误、验证准确性及LLMs的比较分析，揭示了其在增强BDD实践中的有效性。尽管如此，研究也承认了所提方法的局限性，并强调该方法可以支持协作的BDD过程，为未来的自动化BDD验收测试生成研究创造机会。

🔬 方法详解

问题定义：本文旨在解决现有BDD方法在验收测试生成中的低效率和高错误率问题。现有方法往往依赖人工编写测试用例，导致时间成本高且易出错。

核心思路：论文的核心思路是利用大语言模型（LLMs）自动生成BDD验收测试，通过零样本和少样本提示技术提高生成的准确性和效率。这样的设计旨在减少人工干预，提高测试生成的自动化程度。

技术框架：整体架构包括数据集构建、提示技术设计、LLMs选择及评估过程。首先，构建适合BDD的测试用例数据集；其次，设计有效的提示以引导LLMs生成测试用例；最后，评估生成结果的准确性和有效性。

关键创新：最重要的技术创新在于将大语言模型应用于BDD验收测试生成，并通过少样本提示技术显著提升生成的准确性。这与传统的手动编写测试用例方法形成了鲜明对比。

关键设计：在参数设置上，选择了多种LLMs（如GPT-3.5和GPT-4），并采用了特定的损失函数和评估指标来衡量生成测试的质量。提示设计中引入了上下文示例，以增强模型的学习能力。

📊 实验亮点

实验结果显示，GPT-3.5和GPT-4在生成BDD验收测试时均表现出无错误的生成能力，且在准确性上优于传统方法。特别是，少样本提示技术使得生成的测试用例准确率显著提升，验证准确性达到了更高水平。

🎯 应用场景

该研究的潜在应用领域包括软件开发、测试自动化以及敏捷开发流程中的协作工具。通过自动化生成BDD验收测试，可以显著提高开发效率，减少人为错误，进而提升软件质量。未来，该方法还可扩展至其他类型的测试生成和软件开发流程优化。

📄 摘要（原文）

Behavior-driven development (BDD) is an Agile testing methodology fostering collaboration among developers, QA analysts, and stakeholders. In this manuscript, we propose a novel approach to enhance BDD practices using large language models (LLMs) to automate acceptance test generation. Our study uses zero and few-shot prompts to evaluate LLMs such as GPT-3.5, GPT-4, Llama-2-13B, and PaLM-2. The paper presents a detailed methodology that includes the dataset, prompt techniques, LLMs, and the evaluation process. The results demonstrate that GPT-3.5 and GPT-4 generate error-free BDD acceptance tests with better performance. The few-shot prompt technique highlights its ability to provide higher accuracy by incorporating examples for in-context learning. Furthermore, the study examines syntax errors, validation accuracy, and comparative analysis of LLMs, revealing their effectiveness in enhancing BDD practices. However, our study acknowledges that there are limitations to the proposed approach. We emphasize that this approach can support collaborative BDD processes and create opportunities for future research into automated BDD acceptance test generation using LLMs.