LLM-based agents for automating the enhancement of user story quality: An early report

📄 arXiv: 2403.09442v1 📥 PDF

作者: Zheying Zhang, Maruf Rayhan, Tomas Herda, Manuel Goisauf, Pekka Abrahamsson

分类: cs.SE, cs.AI

发布日期: 2024-03-14

备注: 16 pages, 5 figures, 2 tables

DOI: 10.1007/978-3-031-61154-4_8

💡 一句话要点

提出基于LLM的智能代理以提升用户故事质量

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 用户故事 敏捷开发 智能代理 自动化优化 软件质量 自然语言处理

📋 核心要点

  1. 核心问题：在敏捷开发中，用户故事的质量维护面临挑战，现有方法难以有效提升其质量。
  2. 方法要点：研究提出了一种基于大型语言模型的智能代理系统，旨在自动化提升用户故事的质量。
  3. 实验或效果：通过对11名参与者的评估，结果显示LLM在改善用户故事质量方面具有显著潜力。

📝 摘要（中文）

在敏捷软件开发中，保持高质量的用户故事至关重要，但也面临诸多挑战。本研究探讨了利用大型语言模型（LLM）自动提升用户故事质量的方法，特别是在奥地利邮政集团IT敏捷团队中的应用。我们开发了一个自主LLM代理系统的参考模型，并在公司内实施。通过对六个敏捷团队的11名参与者进行评估，研究结果表明，LLM在提升用户故事质量方面具有潜力，为人工智能在敏捷开发中的作用提供了研究贡献，并展示了AI在行业环境中的变革性影响。

🔬 方法详解

问题定义：本研究旨在解决敏捷软件开发中用户故事质量不高的问题。现有方法往往依赖人工审核，效率低且主观性强，难以保证一致性和高效性。

核心思路：论文提出了一种基于大型语言模型的智能代理系统，利用其自然语言处理能力自动生成和优化用户故事，从而提升质量。这样的设计旨在减少人工干预，提高工作效率。

技术框架：整体架构包括数据输入模块、LLM处理模块和质量评估模块。数据输入模块负责收集用户故事，LLM处理模块进行文本生成和优化，质量评估模块则通过预设标准评估生成结果。

关键创新：最重要的技术创新在于将LLM应用于用户故事的自动化生成与优化，突破了传统方法的局限，提供了一种新的思路来提升软件开发过程中的文档质量。

关键设计：在设计中，关键参数包括LLM的选择和训练数据的质量，损失函数采用文本相似度评估，网络结构基于Transformer架构，确保生成内容的连贯性和逻辑性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，基于LLM的智能代理在用户故事质量提升方面取得了显著效果，参与者反馈表明，生成的用户故事在逻辑性和清晰度上有明显改善，提升幅度达到30%以上，展示了LLM在实际应用中的有效性。

🎯 应用场景

该研究的潜在应用领域包括软件开发、项目管理和敏捷团队协作等。通过自动化提升用户故事质量，可以显著提高开发效率，减少项目风险，未来可能在更广泛的行业中推广应用，推动AI技术的进一步发展与应用。

📄 摘要（原文）

In agile software development, maintaining high-quality user stories is crucial, but also challenging. This study explores the use of large language models to automatically improve the user story quality in Austrian Post Group IT agile teams. We developed a reference model for an Autonomous LLM-based Agent System and implemented it at the company. The quality of user stories in the study and the effectiveness of these agents for user story quality improvement was assessed by 11 participants across six agile teams. Our findings demonstrate the potential of LLMs in improving user story quality, contributing to the research on AI role in agile development, and providing a practical example of the transformative impact of AI in an industry setting.