Can LLMs Generate Architectural Design Decisions? -An Exploratory Empirical study
作者: Rudra Dhar, Karthik Vaidhyanathan, Vasudeva Varma
分类: cs.SE, cs.AI, cs.LG
发布日期: 2024-03-04
备注: This paper has been accepted to IEEE ICSA 2024 (Main Track - Research Track)
💡 一句话要点
探索使用大型语言模型生成建筑设计决策
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 建筑知识管理 建筑决策记录 大型语言模型 GPT T5 设计决策生成 探索性研究 软件开发
📋 核心要点
- 现有建筑决策记录（ADR）在软件开发中的采用缓慢，主要受到时间限制和不一致采纳的挑战。
- 本文通过探索性研究，利用大型语言模型（LLMs）生成ADR，旨在填补这一采用差距。
- 实验结果显示，GPT-4在0-shot设置下生成的设计决策相关且准确，但未达到人类水平，GPT-3.5和Flan-T5在特定设置下表现相似。
📝 摘要（中文）
建筑知识管理（AKM）涉及对建筑决策和设计信息的有序处理，其中建筑决策记录（ADR）是重要的文档，记录关键设计决策。尽管ADR的好处显著，但在软件开发中的采用进展缓慢，主要由于时间限制和不一致的采纳。本文通过探索性研究，调查了大型语言模型（LLMs）在给定决策背景下生成ADR的可行性。研究使用了基于GPT和T5的模型，结果表明在0-shot设置下，GPT-4能够生成相关且准确的设计决策，尽管未达到人类水平。此外，GPT-3.5在few-shot设置中表现相似，而经过微调的Flan-T5也能取得可比结果。研究表明LLMs能够生成设计决策，但仍需进一步研究以实现人类水平的生成并建立标准化的广泛采用。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在建筑决策记录（ADR）生成中的有效性问题，现有方法在时间和一致性方面存在不足。
核心思路：通过探索性研究，利用GPT和T5模型生成ADR，评估其在不同设置下的表现，以期提高ADR的生成效率和质量。
技术框架：研究采用了0-shot、few-shot和微调方法，整体流程包括模型选择、数据准备和生成决策记录的评估。
关键创新：本研究的创新在于首次系统性地评估LLMs在ADR生成中的应用，尤其是不同模型在生成质量上的比较。
关键设计：使用了GPT-4、GPT-3.5和Flan-T5等模型，设置了不同的训练参数和损失函数，确保生成的设计决策在相关性和准确性上达到最佳效果。
🖼️ 关键图片
📊 实验亮点
实验结果表明，在0-shot设置下，GPT-4生成的设计决策相关且准确，尽管未达到人类水平。GPT-3.5在few-shot设置中表现出色，且经过微调的Flan-T5也能取得可比结果，显示出不同模型在ADR生成中的潜力。
🎯 应用场景
该研究的潜在应用领域包括软件开发、建筑设计和项目管理等，能够提高建筑决策记录的生成效率，促进团队协作与透明度。未来，随着技术的进步，LLMs在建筑知识管理中的应用可能会更加广泛，推动行业标准化。
📄 摘要（原文）
Architectural Knowledge Management (AKM) involves the organized handling of information related to architectural decisions and design within a project or organization. An essential artifact of AKM is the Architecture Decision Records (ADR), which documents key design decisions. ADRs are documents that capture decision context, decision made and various aspects related to a design decision, thereby promoting transparency, collaboration, and understanding. Despite their benefits, ADR adoption in software development has been slow due to challenges like time constraints and inconsistent uptake. Recent advancements in Large Language Models (LLMs) may help bridge this adoption gap by facilitating ADR generation. However, the effectiveness of LLM for ADR generation or understanding is something that has not been explored. To this end, in this work, we perform an exploratory study that aims to investigate the feasibility of using LLM for the generation of ADRs given the decision context. In our exploratory study, we utilize GPT and T5-based models with 0-shot, few-shot, and fine-tuning approaches to generate the Decision of an ADR given its Context. Our results indicate that in a 0-shot setting, state-of-the-art models such as GPT-4 generate relevant and accurate Design Decisions, although they fall short of human-level performance. Additionally, we observe that more cost-effective models like GPT-3.5 can achieve similar outcomes in a few-shot setting, and smaller models such as Flan-T5 can yield comparable results after fine-tuning. To conclude, this exploratory study suggests that LLM can generate Design Decisions, but further research is required to attain human-level generation and establish standardized widespread adoption.