"It's not like Jarvis, but it's pretty close!" -- Examining ChatGPT's Usage among Undergraduate Students in Computer Science
作者: Ishika Joshi, Ritvik Budhiraja, Harshal D Akolekar, Jagat Sesh Challa, Dhruv Kumar
分类: cs.HC, cs.AI
发布日期: 2023-11-16 (更新: 2024-01-05)
备注: Accepted in ACE 2024: https://aceconference2024.github.io/aceconference2024/ We thank Shamik Sinha, Palak Bhardwaj, Rayyan Hussain, Kashvi Panvanda, Sidhartha Garg, Shagun Yadav, Yash Chillar, and Sourav Goyal for their assistance in the development of questionnaires, as well as their involvement in conducting selected interviews
💡 一句话要点
研究本科生如何利用ChatGPT辅助计算机科学学习
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 计算机科学教育 学生调查 ChatGPT 学习辅助 教育技术 用户体验
📋 核心要点
- 现有研究主要由教师和研究人员进行，缺乏对学生实际使用LLMs的深入了解。
- 本研究通过调查和访谈，聚焦本科生如何利用ChatGPT，旨在揭示其使用中的优势与挑战。
- 研究结果显示，超过57%的学生对ChatGPT持积极态度，但也指出了多项需解决的挑战。
📝 摘要（中文）
大型语言模型（LLMs）如ChatGPT和Google Bard在学术界引起了广泛关注。以往的研究主要由教师和研究人员进行，未考虑学生的实际使用情况。本研究采用以学生为中心的方法，深入了解本科计算机科学学生如何利用ChatGPT。通过学生调查和访谈，我们获得了关于ChatGPT的优势、挑战及改进建议的宝贵见解。研究发现，超过57%的学生对使用ChatGPT作为课程辅助工具持积极态度，但也指出了需要解决的多项挑战，以确保ChatGPT在学生中的长期接受度。该研究结果对其他LLMs及其在计算机教育中的角色具有更广泛的启示。
🔬 方法详解
问题定义：本研究旨在解决对本科生使用ChatGPT的理解不足，现有研究多集中于教师视角，未能反映学生的真实体验和需求。
核心思路：通过结合学生调查和访谈的方法，全面了解学生在学习过程中如何使用ChatGPT，分析其带来的益处与面临的挑战。
技术框架：研究采用定量与定性相结合的方式，首先通过问卷收集数据，然后进行深入访谈，以获取更深层次的见解。主要模块包括问卷设计、数据收集、数据分析和结果讨论。
关键创新：本研究的创新在于采用学生第一的视角，填补了以往研究中教师主导的视角空白，从而为理解LLMs在教育中的应用提供了新的视角。
关键设计：问卷设计涵盖了使用频率、功能满意度、遇到的困难等多个维度，访谈则深入探讨了学生对ChatGPT的具体看法和建议。
🖼️ 关键图片
📊 实验亮点
研究发现，超过57%的本科生对ChatGPT在课程任务中的应用持积极态度，表明其在学习辅助中的潜力。同时，研究也揭示了多项挑战，如使用中的技术障碍和对生成内容的信任问题，这些问题需要进一步解决以促进其广泛应用。
🎯 应用场景
该研究的结果为教育工作者和课程设计者提供了宝贵的见解，帮助他们更好地理解学生在学习过程中如何利用大型语言模型。未来，这些发现可以指导如何优化LLMs的使用，以提高计算机科学教育的效果，促进学生的学习体验。
📄 摘要（原文）
Large language models (LLMs) such as ChatGPT and Google Bard have garnered significant attention in the academic community. Previous research has evaluated these LLMs for various applications such as generating programming exercises and solutions. However, these evaluations have predominantly been conducted by instructors and researchers, not considering the actual usage of LLMs by students. This study adopts a student-first approach to comprehensively understand how undergraduate computer science students utilize ChatGPT, a popular LLM, released by OpenAI. We employ a combination of student surveys and interviews to obtain valuable insights into the benefits, challenges, and suggested improvements related to ChatGPT. Our findings suggest that a majority of students (over 57%) have a convincingly positive outlook towards adopting ChatGPT as an aid in coursework-related tasks. However, our research also highlights various challenges that must be resolved for long-term acceptance of ChatGPT amongst students. The findings from this investigation have broader implications and may be applicable to other LLMs and their role in computing education.