Beyond Code: The Multidimensional Impacts of Large Language Models in Software Development

📄 arXiv: 2506.22704v2 📥 PDF

作者: Sardar Bonabi, Sarah Bana, Vijay Gurbaxani, Tingting Nian

分类: econ.GN, cs.AI

发布日期: 2025-06-28 (更新: 2025-07-01)

💡 一句话要点

探讨大型语言模型在软件开发中的多维影响

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 开源软件 软件开发 知识共享 技能获取 生产力提升 自然实验

📋 核心要点

  1. 现有方法在软件开发中未能充分利用大型语言模型的潜力，尤其是在开源软件领域。
  2. 论文通过实证研究探讨LLMs如何通过代码开发、知识共享和技能获取影响OSS开发者的工作。
  3. 研究发现，LLMs的使用显著提高了开发者的生产力、知识共享和技能获取，尤其对不同经验水平的开发者影响不同。

📝 摘要（中文）

大型语言模型（LLMs）有望显著影响软件开发，尤其是在开源软件（OSS）领域。本文首先概述了LLMs通过代码开发、协作知识转移和技能发展等机制对OSS的影响。通过对意大利临时禁止ChatGPT的自然实验进行实证分析，采用双向固定效应的差异中的差异框架，研究了意大利、法国和葡萄牙的88,022名OSS开发者的数据。研究发现，使用ChatGPT可以提高开发者的生产力6.4%、知识共享9.6%和技能获取8.4%。这些收益因用户经验水平而异：初学者主要体验到生产力的提升，而更有经验的开发者则更能从知识共享和技能获取中受益。此外，LLM辅助学习高度依赖上下文，在技术复杂、碎片化或快速发展的环境中，收益最大。研究结果为管理实践提供了重要启示：战略性地部署LLMs可以加速初学者的入职和生产力，增强中级开发者的知识共享与协作，并支持快速技能获取，从而提升组织的长期生产力和灵活性。

🔬 方法详解

问题定义：本文旨在探讨大型语言模型如何影响开源软件开发者的工作，现有方法未能全面评估LLMs在生产力、知识共享和技能获取方面的作用。

核心思路：通过对意大利ChatGPT禁令的自然实验，采用差异中的差异分析框架，比较意大利与法国、葡萄牙的OSS开发者，以评估LLMs的影响。

技术框架：研究采用双向固定效应模型，分析来自GitHub的88,022名开发者的数据，重点关注生产力、知识共享和技能获取三个维度。

关键创新：本研究的创新在于通过自然实验方法，实证验证了LLMs在OSS开发中的多维影响，尤其是不同经验水平开发者的差异化收益。

关键设计：研究设计中，使用了双向固定效应模型，控制了国家和时间的影响，确保结果的稳健性和可靠性。

📊 实验亮点

实验结果显示，接入ChatGPT的开发者生产力提高了6.4%，知识共享提升了9.6%，技能获取增加了8.4%。初学者主要受益于生产力提升，而经验丰富的开发者则在知识共享和技能获取方面获得更大收益。这些结果表明LLMs在OSS开发中的重要性和潜力。

🎯 应用场景

该研究的潜在应用领域包括软件开发培训、团队协作和知识管理。通过有效利用大型语言模型，组织可以提升开发者的学习效率和生产力，进而增强团队的整体表现和适应能力。未来，随着技术的不断进步，LLMs在软件开发中的应用将更加广泛，可能会改变开发者的工作方式和学习路径。

📄 摘要（原文）

Large language models (LLMs) are poised to significantly impact software development, especially in the Open-Source Software (OSS) sector. To understand this impact, we first outline the mechanisms through which LLMs may influence OSS through code development, collaborative knowledge transfer, and skill development. We then empirically examine how LLMs affect OSS developers' work in these three key areas. Leveraging a natural experiment from a temporary ChatGPT ban in Italy, we employ a Difference-in-Differences framework with two-way fixed effects to analyze data from all OSS developers on GitHub in three similar countries, Italy, France, and Portugal, totaling 88,022 users. We find that access to ChatGPT increases developer productivity by 6.4%, knowledge sharing by 9.6%, and skill acquisition by 8.4%. These benefits vary significantly by user experience level: novice developers primarily experience productivity gains, whereas more experienced developers benefit more from improved knowledge sharing and accelerated skill acquisition. In addition, we find that LLM-assisted learning is highly context-dependent, with the greatest benefits observed in technically complex, fragmented, or rapidly evolving contexts. We show that the productivity effects of LLMs extend beyond direct code generation to include enhanced collaborative learning and knowledge exchange among developers, dynamics that are essential for gaining a holistic understanding of LLMs' impact in OSS. Our findings offer critical managerial implications: strategically deploying LLMs can accelerate novice developers' onboarding and productivity, empower intermediate developers to foster knowledge sharing and collaboration, and support rapid skill acquisition, together enhancing long-term organizational productivity and agility.