The GPT Surprise: Offering Large Language Model Chat in a Massive Coding Class Reduced Engagement but Increased Adopters Exam Performances
作者: Allen Nie, Yash Chandak, Miroslav Suzara, Ali Malik, Juliette Woodrow, Matt Peng, Mehran Sahami, Emma Brunskill, Chris Piech
分类: cs.CY, cs.AI, cs.CL, stat.AP
发布日期: 2024-04-25 (更新: 2025-07-15)
备注: 32 pages. Published at L@S 2025
💡 一句话要点
研究大型语言模型在编程教育中的影响与挑战
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 编程教育 随机对照试验 学生参与度 教育技术
📋 核心要点
- 现有研究较少探讨通用大型语言模型对学生学习的具体影响，尤其是在编程教育领域。
- 通过对5831名学生进行随机对照试验，研究提供了GPT-4聊天界面的使用情况及其对学习效果的影响。
- 结果显示，尽管使用GPT-4的学生考试表现有所提高，但整体参与率却显著下降，尤其在不同国家间存在差异。
📝 摘要（中文）
大型语言模型（LLMs）正在迅速被广泛应用于各种学习场景，尤其是通过如ChatGPT和Copilot等通用聊天界面。尽管这些工具在全球范围内对学生和教师都很可及，但关于其对学生学习影响的研究相对较少。本文通过对5831名来自146个国家的学生进行的大规模随机对照试验，探讨了GPT-4聊天界面对编程教育的影响。结果显示，尽管使用该工具的学生在考试表现上有所提升，但整体上，GPT-4的推广导致了考试参与率的显著下降，尤其是在某些国家的学生中。研究表明，LLMs在编程课程中的应用可能带来积极效果，但也可能对学生的参与度产生负面影响，未来的影响尚不明确。
🔬 方法详解
问题定义：本文旨在探讨大型语言模型（LLMs）在编程教育中的应用对学生学习效果的影响，尤其是其对学生参与度的潜在负面影响。现有方法缺乏对通用工具在学习中的具体效果评估。
核心思路：通过大规模随机对照试验，研究分析了GPT-4聊天界面的使用对学生考试表现和参与度的影响，旨在揭示LLMs在教育中的双重效应。
技术框架：研究设计包括对5831名学生的随机分组，其中部分学生获得GPT-4的访问权限，评估其在在线编程课程中的表现和参与情况。
关键创新：该研究首次系统性地评估了通用大型语言模型在编程教育中的应用效果，揭示了其对学生参与度的潜在负面影响，与以往研究主要关注工具效能的视角有所不同。
关键设计：实验中对参与者的国家、使用工具的频率及其考试成绩进行了详细记录和分析，确保数据的全面性和准确性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，使用GPT-4的学生在考试表现上有显著提升，但整体考试参与率却下降了，尤其是在低人类发展指数国家的学生中，参与率有所增加。这表明LLMs的应用具有复杂的影响，需进一步研究其长期效果。
🎯 应用场景
该研究的结果为教育工作者和政策制定者提供了重要的参考，尤其是在如何有效整合大型语言模型到编程教育中的策略。未来，LLMs可能在教育领域发挥更大作用，但需谨慎考虑其对学生参与度的影响，以优化学习体验。
📄 摘要（原文）
Large language models (LLMs) are quickly being adopted in a wide range of learning experiences, especially via ubiquitous and broadly accessible chat interfaces like ChatGPT and Copilot. This type of interface is readily available to students and teachers around the world, yet relatively little research has been done to assess the impact of such generic tools on student learning. Coding education is an interesting test case, both because LLMs have strong performance on coding tasks, and because LLM-powered support tools are rapidly becoming part of the workflow of professional software engineers. To help understand the impact of generic LLM use on coding education, we conducted a large-scale randomized control trial with 5,831 students from 146 countries in an online coding class in which we provided some students with access to a chat interface with GPT-4. We estimate positive benefits on exam performance for adopters, the students who used the tool, but over all students, the advertisement of GPT-4 led to a significant average decrease in exam participation. We observe similar decreases in other forms of course engagement. However, this decrease is modulated by the student's country of origin. Offering access to LLMs to students from low human development index countries increased their exam participation rate on average. Our results suggest there may be promising benefits to using LLMs in an introductory coding class, but also potential harms for engagement, which makes their longer term impact on student success unclear. Our work highlights the need for additional investigations to help understand the potential impact of future adoption and integration of LLMs into classrooms.