LLMs and Stack Overflow Discussions: Reliability, Impact, and Challenges

📄 arXiv: 2402.08801v2 📥 PDF

作者: Leuson Da Silva, Jordan Samhi, Foutse Khomh

分类: cs.SE, cs.AI

发布日期: 2024-02-13 (更新: 2025-06-20)

备注: 63 pages, 11 figures

DOI: 10.1016/j.jss.2025.112541

💡 一句话要点

分析LLMs在Stack Overflow中的可靠性与挑战

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 Stack Overflow 生成式AI 用户活动 技术支持 人类专家

📋 核心要点

  1. 现有方法面临的核心问题是LLMs在某些技术领域的可靠性不足，且用户在Stack Overflow上的活跃度显著下降。
  2. 论文通过实证研究，利用LLMs对Stack Overflow的问题进行解答，旨在量化其可靠性并识别失败原因。
  3. 实验结果显示，尽管LLMs在某些方面挑战人类专家，但在特定领域仍未表现出超越人类的能力。

📝 摘要（中文）

自2022年11月ChatGPT发布以来，该平台对Stack Overflow这一开发者问答平台产生了深远影响。ChatGPT能够即时生成类人回答，引发了开发者社区对人类驱动平台在生成式AI时代角色的讨论。本文通过实证研究分析Stack Overflow的问题，并使用大型语言模型（LLMs）进行解答，旨在量化LLMs的可靠性、识别其失败原因、测量用户活动的演变以及比较不同LLMs。研究结果表明，尽管ChatGPT和LLaMA在某些领域挑战人类专业知识，但在其他领域并未超越人类，同时用户发帖活动显著下降。我们还讨论了这些发现对LLMs使用和开发的影响，并为未来用户和研究者面临的挑战提供了指导。

🔬 方法详解

问题定义：本文旨在解决LLMs在Stack Overflow中回答问题的可靠性及其对人类专家的挑战。现有方法未能充分评估LLMs的表现及其对用户活动的影响。

核心思路：通过实证分析Stack Overflow上的问题，结合LLMs的回答，量化其可靠性并探讨其在技术领域的应用潜力。

技术框架：研究分为几个主要模块：数据收集（从Stack Overflow提取问题）、LLMs回答生成（使用ChatGPT和LLaMA）、结果分析（评估回答的准确性和用户活动变化）。

关键创新：本研究的创新在于系统性地比较不同LLMs的表现，并量化其对人类专家的挑战，填补了现有文献中的空白。

关键设计：在实验中，设置了多个评估指标，如回答的准确性、用户发帖频率等，采用定量分析方法来评估LLMs的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ChatGPT和LLaMA在某些领域的回答准确率接近人类专家，但在特定技术问题上仍存在不足。用户在Stack Overflow的发帖活动显著下降，表明LLMs的崛起对传统问答平台的影响。

🎯 应用场景

该研究的潜在应用领域包括软件开发教育、技术支持以及自动化问答系统。通过提升LLMs的可靠性，可以为开发者提供更高效的技术支持，未来可能改变人类与AI协作的方式。

📄 摘要（原文）

Since its release in November 2022, ChatGPT has shaken up Stack Overflow, the premier platform for developers queries on programming and software development. Demonstrating an ability to generate instant, human-like responses to technical questions, ChatGPT has ignited debates within the developer community about the evolving role of human-driven platforms in the age of generative AI. Two months after ChatGPT release, Meta released its answer with its own Large Language Model (LLM) called LLaMA: the race was on. We conducted an empirical study analyzing questions from Stack Overflow and using these LLMs to address them. This way, we aim to (i) quantify the reliability of LLMs answers and their potential to replace Stack Overflow in the long term; (ii) identify and understand why LLMs fail; (iii) measure users activity evolution with Stack Overflow over time; and (iv) compare LLMs together. Our empirical results are unequivocal: ChatGPT and LLaMA challenge human expertise, yet do not outperform it for some domains, while a significant decline in user posting activity has been observed. Furthermore, we also discuss the impact of our findings regarding the usage and development of new LLMs and provide guidelines for future challenges faced by users and researchers.