An Empirical Study of OpenAI API Discussions on Stack Overflow

📄 arXiv: 2505.04084v1 📥 PDF

作者: Xiang Chen, Jibin Wang, Chaoyang Gao, Xiaolin Ju, Zhanqi Cui

分类: cs.SE, cs.AI

发布日期: 2025-05-07

💡 一句话要点

通过分析Stack Overflow讨论揭示OpenAI API使用挑战

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: OpenAI API Stack Overflow 大型语言模型 提示工程 主题建模 软件开发 实证研究

📋 核心要点

  1. 现有研究未深入探讨开发者在使用OpenAI API时面临的具体挑战，尤其是在提示工程和成本管理方面。
  2. 通过分析Stack Overflow的讨论，论文手动将内容分类并识别出与OpenAI API相关的九个类别及其挑战。
  3. 研究结果为开发者和研究人员提供了实用建议，帮助他们更好地应对OpenAI API的使用难题。

📝 摘要（中文）

大型语言模型（LLMs）的快速发展，尤其是OpenAI的GPT系列，已显著影响自然语言处理、软件开发等多个领域。然而，OpenAI API引入了与传统API不同的独特挑战，如提示工程的复杂性、基于令牌的成本管理和非确定性输出等。为填补这一研究空白，本文首次对来自Stack Overflow的2874条OpenAI API相关讨论进行了全面的实证研究。研究首先分析了这些讨论的受欢迎程度和难度，并将其手动分类为九个OpenAI API相关类别，通过主题建模分析识别出与每个类别相关的具体挑战。基于实证发现，本文最终提出了针对开发者、LLM供应商和研究人员的可行性建议。

🔬 方法详解

问题定义：本文旨在解决开发者在使用OpenAI API时遇到的具体挑战，现有研究未能充分探讨这些问题，尤其是提示工程和成本管理的复杂性。

核心思路：通过对Stack Overflow上2874条相关讨论的实证分析，手动分类并识别出不同类别的具体挑战，以填补现有文献的空白。

技术框架：研究首先对讨论的受欢迎程度和难度进行分析，随后进行手动分类，最后通过主题建模分析识别出每个类别的挑战。

关键创新：本研究首次对OpenAI API的使用挑战进行全面的实证分析，提供了系统的分类和具体的挑战识别，与现有方法相比，更加细致和实用。

关键设计：研究采用了手动分类和主题建模相结合的方法，确保了对讨论内容的准确理解和挑战的有效识别。

📊 实验亮点

研究发现，OpenAI API相关讨论的受欢迎程度和难度各异，具体挑战包括提示设计的复杂性和输出的不确定性。通过主题建模，识别出的主要挑战为开发者提供了实用的指导，帮助他们在实际应用中减少困惑和错误。

🎯 应用场景

该研究的潜在应用领域包括软件开发、教育和医疗等多个行业，能够帮助开发者更有效地利用OpenAI API，提升其在实际应用中的效率和效果。未来，研究结果也可能推动相关工具和文档的改进，以更好地支持开发者。

📄 摘要（原文）

The rapid advancement of large language models (LLMs), represented by OpenAI's GPT series, has significantly impacted various domains such as natural language processing, software development, education, healthcare, finance, and scientific research. However, OpenAI APIs introduce unique challenges that differ from traditional APIs, such as the complexities of prompt engineering, token-based cost management, non-deterministic outputs, and operation as black boxes. To the best of our knowledge, the challenges developers encounter when using OpenAI APIs have not been explored in previous empirical studies. To fill this gap, we conduct the first comprehensive empirical study by analyzing 2,874 OpenAI API-related discussions from the popular Q&A forum Stack Overflow. We first examine the popularity and difficulty of these posts. After manually categorizing them into nine OpenAI API-related categories, we identify specific challenges associated with each category through topic modeling analysis. Based on our empirical findings, we finally propose actionable implications for developers, LLM vendors, and researchers.