Sophistication in GenAI Use: Field Evidence from a Large Firm

📄 arXiv: 2608.27364v1 📥 PDF

作者: Nicholas J. Hallman, Zachary T. Kowaleski, Anu Puvvada, Jaime J. Schmidt

分类: cs.AI, econ.GN

发布日期: 2026-08-27

备注: 59 pages, 4 figures, 8 tables. Includes Appendix A (variable definitions), Appendix B (supplementary tables), and Online Appendix C (meta prompts)

💡 一句话要点

研究生成性AI使用的复杂性及其影响因素

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 生成性AI 员工使用 复杂性分析 职能差异 企业管理 数据分析 培训效果

📋 核心要点

  1. 现有研究未能充分揭示生成性AI在企业后勤员工中的使用复杂性及其影响因素。
  2. 通过分析大量员工与AI模型的交互数据，研究揭示了不同职能和员工级别在AI使用上的差异。
  3. 研究结果显示，复杂性在不同职能间差异显著，且未见随时间或培训而改善，提示管理者需关注复杂性提升的挑战。

📝 摘要（中文）

本研究探讨了大型企业后勤员工在生成性AI（genAI）使用中的复杂性差异。通过分析713,564个员工提示及其对应的语言模型响应，发现高级员工的使用更为复杂，且不同职能间的复杂性差异显著，尤其在战略、数字创新和项目管理领域表现突出。此外，研究未发现随着时间推移或正式AI培训后复杂性有显著改善，表明复杂性使用的改变较为困难。这些发现为管理者提供了改进结果的依据，也为未来研究提供了数据支持。

🔬 方法详解

问题定义：本研究旨在解决生成性AI在大型企业后勤员工使用中的复杂性差异问题。现有方法未能充分识别影响AI使用复杂性的因素，导致管理者难以制定有效的培训和应用策略。

核心思路：通过分析713,564个员工提示及其AI响应，研究探讨了员工级别和职能对AI使用复杂性的影响，强调了高级员工的领域专业知识如何与AI能力互补。

技术框架：研究采用数据分析方法，首先收集员工与AI的交互数据，然后对不同职能和员工级别的使用复杂性进行比较分析，最后总结出影响因素和管理建议。

关键创新：本研究的创新在于通过大规模数据分析揭示了生成性AI使用的复杂性差异，尤其是强调了职能间的显著差异和高级员工的优势，这在现有文献中尚属首次。

关键设计：研究中使用了大量的交互数据，分析了不同职能（如战略、数字创新、项目管理）和员工级别对AI使用复杂性的影响，未发现培训后复杂性显著改善，提示管理者需重新审视培训效果。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

研究发现，高级员工在生成性AI使用中表现出更高的复杂性，尤其在战略、数字创新和项目管理等职能中。此外，尽管进行了正式的AI培训，复杂性并未随时间显著改善，这一发现为管理者提供了重要的实践指导。

🎯 应用场景

本研究的发现可广泛应用于企业管理和人力资源开发领域，帮助管理者识别和提升员工在生成性AI使用中的复杂性，从而优化工作流程和决策过程。未来，企业可以基于研究结果制定更有效的AI培训和应用策略，以提升整体工作效率和创新能力。

📄 摘要（原文）

We study how sophistication in generative AI (genAI) use varies among the back-office workforce of a large firm. Using proprietary data, we observe 713,564 employee prompts and their corresponding large language model responses from nearly 4,000 back-office employees across 15 functional areas over eight months in 2025. We document three main findings. First, senior employees exhibit more sophisticated genAI use, consistent with domain expertise complementing genAI capabilities. Second, sophistication varies considerably across functions and is highest in Strategy, Digital Innovation, and Project Management, three groups that share a focus on firmwide strategic initiatives and organizational change. Third, we observe neither improvements in sophistication over time nor lasting improvements following formal AI training, suggesting that sophisticated use can be difficult to change. Together, our study provides measures of and insights into sophisticated genAI use that managers can use to improve outcomes and that researchers can use in future research.