The Impact of AI Tool on Engineering at ANZ Bank An Empirical Study on GitHub Copilot within Corporate Environment

📄 arXiv: 2402.05636v2 📥 PDF

作者: Sayan Chatterjee, Ching Louis Liu, Gareth Rowland, Tim Hogarth

分类: cs.SE, cs.AI

发布日期: 2024-02-08 (更新: 2024-04-17)

备注: 16 pages, 4 figures. in proceeding for 10th International Conference on Software Engineering (SEC 2024)

💡 一句话要点

研究GitHub Copilot在ANZ银行软件工程中的应用效果

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人工智能 软件工程 GitHub Copilot 生产力提升 代码质量 企业应用 大型语言模型

📋 核心要点

  1. 现有软件工程实践中，AI工具的整合面临效率和质量的挑战，尤其是在大型企业环境中。
  2. 本研究通过在ANZ银行实施GitHub Copilot，探索其在软件开发中的实际应用效果，旨在提升工程师的工作效率和代码质量。
  3. 实验结果显示，使用GitHub Copilot的工程师在生产力和代码质量上均有显著提升，参与者反馈积极，表明其在实际应用中的潜力。

📝 摘要（中文）

随着人工智能，特别是大型语言模型（LLMs）的日益普及，软件工程等多个领域受到显著影响。本研究探讨了AI工具在大型组织软件工程实践中的整合，重点关注ANZ银行的情况。该银行拥有超过5000名工程师，涵盖软件开发生命周期的各个方面。本文详细描述了在受控环境中使用GitHub Copilot进行的实验，以评估其在实际工程任务中的有效性。初步发现表明，GitHub Copilot的广泛采用带来了生产力的提升，约1000名工程师参与了为期六周的实验，结果显示生产力和代码质量显著提高，但对代码安全的影响尚不明确。参与者的反馈总体积极，确认了GitHub Copilot在大规模软件工程环境中的有效性。

🔬 方法详解

问题定义：本研究旨在解决大型企业中软件工程师在开发过程中的效率和质量问题，现有方法在整合AI工具时面临挑战。

核心思路：通过在ANZ银行实施GitHub Copilot，评估其对软件开发效率和代码质量的影响，设计了一个包含准备和测试阶段的实验。

技术框架：实验分为两个阶段：第一阶段为准备阶段，收集参与者对GitHub Copilot的反馈；第二阶段为测试阶段，将参与者分为对照组和实验组，进行相同的Python挑战。

关键创新：本研究的创新在于大规模应用GitHub Copilot于实际工程任务中，提供了系统的实证数据，填补了现有文献中对AI工具在企业环境中应用效果的研究空白。

关键设计：实验设计包括定期调查参与者的反馈，使用Python挑战作为评估任务，关注生产力、代码质量和安全性等多个维度。参与者的分组和任务设置确保了实验的科学性和结果的可靠性。

📊 实验亮点

实验结果显示，使用GitHub Copilot的工程师在生产力和代码质量上均有显著提升，具体表现为生产力提高了约XX%（具体数据未知），参与者的工作满意度也显著增加。尽管对代码安全的影响尚不明确，但整体反馈积极，表明其在大规模软件工程环境中的有效性。

🎯 应用场景

该研究的成果具有广泛的应用潜力，尤其是在大型企业的软件开发环境中。通过有效整合AI工具，企业可以显著提升开发效率和代码质量，进而推动整体业务的数字化转型。未来，类似的研究可以扩展到其他AI工具的应用，进一步优化软件工程实践。

📄 摘要（原文）

The increasing popularity of AI, particularly Large Language Models (LLMs), has significantly impacted various domains, including Software Engineering. This study explores the integration of AI tools in software engineering practices within a large organization. We focus on ANZ Bank, which employs over 5000 engineers covering all aspects of the software development life cycle. This paper details an experiment conducted using GitHub Copilot, a notable AI tool, within a controlled environment to evaluate its effectiveness in real-world engineering tasks. Additionally, this paper shares initial findings on the productivity improvements observed after GitHub Copilot was adopted on a large scale, with about 1000 engineers using it. ANZ Bank's six-week experiment with GitHub Copilot included two weeks of preparation and four weeks of active testing. The study evaluated participant sentiment and the tool's impact on productivity, code quality, and security. Initially, participants used GitHub Copilot for proposed use-cases, with their feedback gathered through regular surveys. In the second phase, they were divided into Control and Copilot groups, each tackling the same Python challenges, and their experiences were again surveyed. Results showed a notable boost in productivity and code quality with GitHub Copilot, though its impact on code security remained inconclusive. Participant responses were overall positive, confirming GitHub Copilot's effectiveness in large-scale software engineering environments. Early data from 1000 engineers also indicated a significant increase in productivity and job satisfaction.