Which AI Technique Is Better to Classify Requirements? An Experiment with SVM, LSTM, and ChatGPT

📄 arXiv: 2311.11547v2 📥 PDF

作者: Abdelkarim El-Hajjami, Nicolas Fafin, Camille Salinesi

分类: cs.AI, cs.SE

发布日期: 2023-11-20 (更新: 2024-04-16)

💡 一句话要点

比较SVM、LSTM与ChatGPT在需求分类中的表现

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 需求分类 自然语言处理 大型语言模型 支持向量机 长短期记忆网络 少样本学习 实证评估

📋 核心要点

  1. 现有的需求分类方法在不同需求类别上的表现不均衡，缺乏普适性。
  2. 本文通过实证评估ChatGPT与传统分类方法的性能，探索其在需求分类中的应用潜力。
  3. 实验结果显示，少样本学习在零样本表现较差的情况下能够显著提升分类效果。

📝 摘要（中文）

近年来，大型语言模型如ChatGPT在自然语言处理任务中展现出卓越的能力，尤其是在需求工程领域的需求分类中引起了越来越多的关注。本文对两种ChatGPT模型（gpt-3.5-turbo和gpt-4）在零样本和少样本设置下进行广泛的实证评估，并与传统分类方法（支持向量机和长短期记忆网络）进行了比较。研究结果表明，没有一种技术能够在所有类型的需求类别中表现最佳，少样本设置主要在零样本结果显著较低的情况下表现出优势。

🔬 方法详解

问题定义：本文旨在解决需求分类中不同AI技术的有效性问题，现有方法在处理多样化需求类别时存在性能不均衡的挑战。

核心思路：通过对比ChatGPT与传统分类方法（SVM和LSTM），评估其在零样本和少样本设置下的分类能力，以寻找最佳实践。

技术框架：研究采用了五个不同的数据集，分别应用SVM、LSTM、gpt-3.5-turbo和gpt-4进行分类，分析各模型在不同设置下的表现。

关键创新：本研究的创新在于将大型语言模型应用于需求分类，并系统性地比较其与传统方法的优劣，填补了这一领域的研究空白。

关键设计：在实验中，使用了标准的分类评估指标，设置了不同的超参数以优化模型性能，并对比了零样本与少样本学习的效果。实验设计确保了结果的可靠性与可重复性。

📊 实验亮点

实验结果显示，在五个数据集上，ChatGPT在少样本设置下的表现优于传统方法，尤其是在零样本结果较低的情况下，少样本学习能够显著提升分类准确率。具体性能数据尚未披露，但研究表明没有单一最佳技术适用于所有需求类别。

🎯 应用场景

该研究的潜在应用领域包括软件需求分析、项目管理和智能助手等。通过提升需求分类的准确性，能够有效支持需求工程师在需求获取和管理过程中的决策，进而提高软件开发的效率与质量。未来，随着模型的不断优化，可能会在更广泛的领域内实现自动化需求分析。

📄 摘要（原文）

Recently, Large Language Models like ChatGPT have demonstrated remarkable proficiency in various Natural Language Processing tasks. Their application in Requirements Engineering, especially in requirements classification, has gained increasing interest. This paper reports an extensive empirical evaluation of two ChatGPT models, specifically gpt-3.5-turbo, and gpt-4 in both zero-shot and few-shot settings for requirements classification. The question arises as to how these models compare to traditional classification methods, specifically Support Vector Machine and Long Short-Term Memory. Based on five different datasets, our results show that there is no single best technique for all types of requirement classes. Interestingly, the few-shot setting has been found to be beneficial primarily in scenarios where zero-shot results are significantly low.