Investigation of the effectiveness of applying ChatGPT in Dialogic Teaching Using Electroencephalography

📄 arXiv: 2403.16687v5 📥 PDF

作者: Jiayue Zhang, Yiheng Liu, Wenqi Cai, Lanlan Wu, Yali Peng, Jingjing Yu, Senqing Qi, Taotao Long, Bao Ge

分类: cs.CY, cs.AI, physics.ed-ph

发布日期: 2024-03-25 (更新: 2024-06-11)

💡 一句话要点

探讨ChatGPT在对话教学中的应用效果

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 对话教学 人工智能 大型语言模型 教育技术 认知活动 知识迁移 ChatGPT 教学创新

📋 核心要点

  1. 现有的对话教学方法中，人工智能的应用尚未充分发挥其潜力，尤其是在知识迁移和创造力方面。
  2. 本研究通过将ChatGPT与传统教学结合，探索其在对话教学中的有效性，旨在提升学生的学习体验。
  3. 实验结果显示，虽然ChatGPT在认知活动上表现良好，但在知识应用和迁移能力上仍有待提高，提示需优化其教学角色。

📝 摘要（中文）

近年来，人工智能技术的快速发展，尤其是大型语言模型（LLMs）如ChatGPT的出现，为教育领域的应用带来了重要前景。LLMs能够理解知识、回答问题并考虑上下文，从而为对话教学提供支持。本研究招募了34名本科生，随机分为实验组和对照组，实验组使用ChatGPT进行对话教学，对照组则与人类教师互动。研究结果显示，两组在知识保留测试中的得分相当，但与ChatGPT对话的学生在迁移测试中的表现较低。脑电图数据表明，使用ChatGPT的学生认知活动水平较高，表明其有助于建立知识基础并激发认知活动，但在促进知识应用和创造力方面的优势不明显。因此，ChatGPT在信息相关课程的对话教学中无法完全胜任教学任务，结合传统教师可能是更理想的方案。

🔬 方法详解

问题定义：本研究旨在探讨ChatGPT在对话教学中的有效性，尤其是其在知识迁移和创造力方面的不足。现有方法主要依赖人类教师，缺乏对AI辅助教学的深入研究。

核心思路：通过将ChatGPT引入对话教学场景，研究其对学生学习效果的影响，尤其是认知活动和知识应用能力的提升。设计上考虑了AI与人类教师的协同作用。

技术框架：研究分为两个主要阶段：首先，招募34名本科生并随机分为实验组和对照组；其次，分别使用ChatGPT和人类教师进行对话教学，最后通过测试评估学习效果。

关键创新：本研究的创新在于将大型语言模型应用于对话教学，并通过脑电图数据分析学生的认知活动，揭示了AI在教学中的潜力与局限。

关键设计：实验中使用了标准化的知识保留和迁移测试，脑电图数据用于评估学生的认知活动水平，确保了数据的可靠性和有效性。实验组与对照组的设计使得结果具备可比性。

📊 实验亮点

实验结果显示，使用ChatGPT的学生在知识保留测试中与人类教师组得分相当，但在迁移测试中表现较低，提示AI在知识应用方面的不足。脑电图数据表明，ChatGPT组的学生认知活动水平较高，显示出其在知识基础构建中的潜力。

🎯 应用场景

该研究的潜在应用领域包括高等教育、在线学习平台和智能教育工具的开发。通过结合AI与传统教学，能够为学生提供更全面的学习支持，提升教学质量，未来可能推动教育模式的变革。

📄 摘要（原文）

In recent years, the rapid development of artificial intelligence technology, especially the emergence of large language models (LLMs) such as ChatGPT, has presented significant prospects for application in the field of education. LLMs possess the capability to interpret knowledge, answer questions, and consider context, thus providing support for dialogic teaching to students. Therefore, an examination of the capacity of LLMs to effectively fulfill instructional roles, thereby facilitating student learning akin to human educators within dialogic teaching scenarios, is an exceptionally valuable research topic. This research recruited 34 undergraduate students as participants, who were randomly divided into two groups. The experimental group engaged in dialogic teaching using ChatGPT, while the control group interacted with human teachers. Both groups learned the histogram equalization unit in the information-related course "Digital Image Processing". The research findings show comparable scores between the two groups on the retention test. However, students who engaged in dialogue with ChatGPT exhibited lower performance on the transfer test. Electroencephalography data revealed that students who interacted with ChatGPT exhibited higher levels of cognitive activity, suggesting that ChatGPT could help students establish a knowledge foundation and stimulate cognitive activity. However, its strengths on promoting students. knowledge application and creativity were insignificant. Based upon the research findings, it is evident that ChatGPT cannot fully excel in fulfilling teaching tasks in the dialogue teaching in information related courses. Combining ChatGPT with traditional human teachers might be a more ideal approach. The synergistic use of both can provide students with more comprehensive learning support, thus contributing to enhancing the quality of teaching.