Applying Large Language Models API to Issue Classification Problem
作者: Gabriel Aracena, Kyle Luster, Fabio Santos, Igor Steinmacher, Marco A. Gerosa
分类: cs.SE, cs.AI, cs.CL, cs.LG
发布日期: 2024-01-09
备注: 4 pages, 1 figure, NLBSE and ICSE conference submission, ACM formatted, pre print
💡 一句话要点
提出基于GPT的自动化问题分类方法以解决软件工程中的优先级问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 缺陷分类 优先级排序 生成预训练变换器 自动化处理 软件工程 少量样本微调
📋 核心要点
- 现有方法在缺陷报告的手动分类上效率低下，难以满足快速发展的软件工程需求。
- 本研究提出了一种基于GPT的自动化缺陷优先级排序方法，旨在减少对大规模训练数据的依赖。
- 实验结果表明，该方法在缺陷类型预测上取得了93.2%的精度和95%的召回率，表现优异。
📝 摘要（中文）
有效的缺陷报告优先级排序在软件工程中至关重要，以优化资源分配并及时解决关键问题。然而，手动分类缺陷报告既繁琐又缺乏可扩展性。许多开源软件项目采用自动化流程来处理此任务，但通常依赖于大量数据集进行充分训练。本研究旨在提出一种自动化方法，确保在小数据集上也能可靠地进行缺陷优先级排序。我们的方法利用生成预训练变换器（GPT）的能力，开发出一种可靠的基于GPT的方案，能够在减少训练数据的情况下准确标记和优先排序缺陷报告。通过减少对大量数据的依赖并专注于少量样本的微调，我们的方法为软件工程中的缺陷优先级排序提供了更可及和高效的解决方案。我们的模型在个别项目中预测缺陷类型的精度达到93.2%，召回率为95%，F1分数为89.3%。
🔬 方法详解
问题定义：本研究解决的是在软件工程中缺陷报告的优先级排序问题。现有方法依赖于大量数据进行训练，导致手动分类效率低下且难以扩展。
核心思路：论文核心思路是利用生成预训练变换器（GPT）模型，通过少量样本微调实现高效的缺陷报告分类，旨在提高分类的准确性和可靠性。
技术框架：整体架构包括数据预处理、模型训练和评估三个主要模块。首先对缺陷报告进行清洗和标注，然后使用GPT进行训练，最后通过精度、召回率和F1分数评估模型性能。
关键创新：最重要的技术创新在于通过少量样本的微调实现高效分类，显著降低了对大规模数据集的依赖，与传统方法形成鲜明对比。
关键设计：在模型训练中，采用了特定的损失函数以优化分类效果，并通过调整超参数来提升模型的泛化能力。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提出的基于GPT的模型在缺陷类型预测中实现了93.2%的精度、95%的召回率和89.3%的F1分数，表现出色。这些结果表明，该方法在小数据集上的有效性，显著提升了缺陷报告的分类效率。
🎯 应用场景
该研究的潜在应用领域包括开源软件项目的缺陷管理、软件开发生命周期中的问题追踪和优先级排序。通过自动化缺陷分类，开发团队可以更有效地分配资源，快速响应关键问题，从而提高软件质量和用户满意度。未来，该方法有望推广到其他领域的自动化问题分类任务中。
📄 摘要（原文）
Effective prioritization of issue reports is crucial in software engineering to optimize resource allocation and address critical problems promptly. However, the manual classification of issue reports for prioritization is laborious and lacks scalability. Alternatively, many open source software (OSS) projects employ automated processes for this task, albeit relying on substantial datasets for adequate training. This research seeks to devise an automated approach that ensures reliability in issue prioritization, even when trained on smaller datasets. Our proposed methodology harnesses the power of Generative Pre-trained Transformers (GPT), recognizing their potential to efficiently handle this task. By leveraging the capabilities of such models, we aim to develop a robust system for prioritizing issue reports accurately, mitigating the necessity for extensive training data while maintaining reliability. In our research, we have developed a reliable GPT-based approach to accurately label and prioritize issue reports with a reduced training dataset. By reducing reliance on massive data requirements and focusing on few-shot fine-tuning, our methodology offers a more accessible and efficient solution for issue prioritization in software engineering. Our model predicted issue types in individual projects up to 93.2% in precision, 95% in recall, and 89.3% in F1-score.