A Large-Scale Real-World Evaluation of LLM-Based Virtual Teaching Assistant

📄 arXiv: 2506.17363v1 📥 PDF

作者: Sunjun Kweon, Sooyohn Nam, Hyunseung Lim, Hwajung Hong, Edward Choi

分类: cs.CY, cs.AI

发布日期: 2025-06-20

备注: ACL 2025 Industry Track

🔗 代码/项目: GITHUB

💡 一句话要点

开发基于大语言模型的虚拟教学助理以提升课堂学习效果

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 虚拟教学助理 大语言模型 教育技术 学生互动 实证研究 人工智能教育 学习效果

📋 核心要点

  1. 现有的虚拟教学助理在真实课堂中的有效性和接受度缺乏实证研究，导致其实际影响不明确。
  2. 本研究开发了一种基于大语言模型的虚拟教学助理，并在真实课堂中进行大规模部署和评估。
  3. 通过对学生与VTA的互动分析，发现其在学习过程中的作用与传统人类教师的互动存在显著差异。

📝 摘要（中文）

基于大语言模型（LLM）的虚拟教学助理（VTA）有潜力通过提供即时反馈和促进多轮互动来增强学生学习。然而，关于其在真实课堂中的有效性和接受度的实证研究仍然有限，导致其实际影响尚不明确。本研究开发了一种基于LLM的VTA，并在一门包含477名研究生的人工智能编程入门课程中进行部署。我们通过在课程不同阶段进行三轮全面调查，评估学生对VTA表现的看法如何随时间演变。此外，我们分析了3869对学生与VTA的互动，以识别常见问题类型和参与模式，并将这些互动与传统的学生与人类教师的互动进行比较，以评估VTA在学习过程中的作用。通过大规模实证研究和互动分析，我们评估了在真实课堂中部署VTA的可行性，并识别了更广泛采用的关键挑战。最后，我们发布了VTA系统的源代码，以促进AI驱动教育的未来发展。

🔬 方法详解

问题定义：本研究旨在解决基于大语言模型的虚拟教学助理在真实课堂中的有效性和接受度不足的问题。现有方法缺乏实证数据，无法评估其实际影响。

核心思路：本研究的核心思路是通过在真实课堂中部署VTA，并通过多轮调查和互动分析，系统评估其对学生学习的影响和接受度。这样的设计旨在提供实证支持，以推动VTA的广泛应用。

技术框架：整体架构包括VTA系统的开发、在课程中的部署、学生反馈的收集和分析，以及与传统教学方式的比较。主要模块包括用户交互界面、反馈机制和数据分析模块。

关键创新：本研究的关键创新在于通过大规模实证研究，系统评估了VTA在真实课堂中的应用效果，并识别了影响其接受度的关键因素。这与现有方法的主要区别在于其实证基础和大规模数据分析。

关键设计：在设计中，VTA系统采用了先进的自然语言处理技术，设置了多种交互模式，并通过用户反馈不断优化其响应质量。关键参数包括模型的训练数据、交互频率和反馈机制的设计。

📊 实验亮点

实验结果表明，VTA在学生互动中表现出较高的参与度和满意度。与传统人类教师的互动相比，VTA能够提供更快速的反馈，提升了学生的学习效率。具体数据表明，学生对VTA的接受度在课程进行中逐步提高，显示出其在教学中的潜力。

🎯 应用场景

该研究的潜在应用领域包括高等教育、在线学习平台和教育技术产品开发。通过提供即时反馈和个性化学习支持，VTA可以显著提升学生的学习体验和学习效果，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Virtual Teaching Assistants (VTAs) powered by Large Language Models (LLMs) have the potential to enhance student learning by providing instant feedback and facilitating multi-turn interactions. However, empirical studies on their effectiveness and acceptance in real-world classrooms are limited, leaving their practical impact uncertain. In this study, we develop an LLM-based VTA and deploy it in an introductory AI programming course with 477 graduate students. To assess how student perceptions of the VTA's performance evolve over time, we conduct three rounds of comprehensive surveys at different stages of the course. Additionally, we analyze 3,869 student--VTA interaction pairs to identify common question types and engagement patterns. We then compare these interactions with traditional student--human instructor interactions to evaluate the VTA's role in the learning process. Through a large-scale empirical study and interaction analysis, we assess the feasibility of deploying VTAs in real-world classrooms and identify key challenges for broader adoption. Finally, we release the source code of our VTA system, fostering future advancements in AI-driven education: \texttt{https://github.com/sean0042/VTA}.