How Teachers Can Use Large Language Models and Bloom's Taxonomy to Create Educational Quizzes
作者: Sabina Elkins, Ekaterina Kochmar, Jackie C. K. Cheung, Iulian Serban
分类: cs.CL, cs.AI
发布日期: 2024-01-11 (更新: 2025-11-04)
备注: 8 pages, 8 figures. Accepted to the main track of the EAAI-24: The 14th Symposium on Educational Advances in Artificial Intelligence
💡 一句话要点
基于大语言模型与布鲁姆分类法生成教育测验题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 问题生成 大语言模型 布鲁姆分类法 教育技术 自然语言处理 测验设计 教师反馈
📋 核心要点
- 现有的QG方法往往未考虑教师和学生的实际需求，缺乏有效的设计和验证。
- 本文提出了一种结合布鲁姆分类法的基于大语言模型的QG方法，旨在生成符合学习目标的问题。
- 实验结果显示，教师更愿意使用自动生成的问题，且这些问题在质量上与手写版本无显著差异，甚至有所提升。
📝 摘要（中文）
问题生成（QG）是自然语言处理中的一项任务，在教育领域具有广泛的潜在应用。然而，现有的QG系统往往缺乏教师和学生的实际反馈。本文提出了一种基于大语言模型的QG方法，结合布鲁姆分类法生成学习目标导向的问题。通过多项实验，结果表明教师更倾向于使用自动生成的问题来编写测验，且这些测验的质量与手写版本相当，甚至在某些指标上有所提升，展示了QG在课堂中的大规模应用潜力。
🔬 方法详解
问题定义：本文旨在解决现有QG方法缺乏教师和学生反馈的问题，导致生成的问题不符合实际教学需求。
核心思路：通过结合布鲁姆分类法，利用大语言模型生成与学习目标一致的问题，从而提高问题生成的相关性和有效性。
技术框架：整体架构包括数据收集、问题生成、教师反馈收集和质量评估四个主要模块。首先，依据布鲁姆分类法定义学习目标，然后使用大语言模型生成问题，最后通过教师反馈进行质量评估。
关键创新：本研究的创新点在于将布鲁姆分类法与大语言模型结合，生成符合教育需求的问题，克服了传统QG方法的局限性。
关键设计：在技术细节上，设置了特定的学习目标参数，采用了适应性损失函数来优化生成问题的质量，网络结构则基于现有的预训练语言模型进行微调。
🖼️ 关键图片
📊 实验亮点
实验结果显示，教师在使用自动生成的问题编写测验时，表现出更高的偏好，且这些测验的质量与手写版本相当，甚至在某些情况下有所提升，表明QG在教育中的有效性和可行性。
🎯 应用场景
该研究的潜在应用领域包括中小学教育、高等教育及在线学习平台。通过自动生成符合教学目标的问题，教师可以节省时间并提高测验的质量，从而提升学生的学习效果。未来，该方法有望在教育技术领域得到更广泛的应用，推动个性化学习的发展。
📄 摘要（原文）
Question generation (QG) is a natural language processing task with an abundance of potential benefits and use cases in the educational domain. In order for this potential to be realized, QG systems must be designed and validated with pedagogical needs in mind. However, little research has assessed or designed QG approaches with the input from real teachers or students. This paper applies a large language model-based QG approach where questions are generated with learning goals derived from Bloom's taxonomy. The automatically generated questions are used in multiple experiments designed to assess how teachers use them in practice. The results demonstrate that teachers prefer to write quizzes with automatically generated questions, and that such quizzes have no loss in quality compared to handwritten versions. Further, several metrics indicate that automatically generated questions can even improve the quality of the quizzes created, showing the promise for large scale use of QG in the classroom setting.