Automated Generation of Multiple-Choice Cloze Questions for Assessing English Vocabulary Using GPT-turbo 3.5

📄 arXiv: 2403.02078v1 📥 PDF

作者: Qiao Wang, Ralph Rose, Naho Orita, Ayaka Sugawara

分类: cs.CL

发布日期: 2024-03-04

期刊: Mika Hämäläinen, Emily Öhman, Flammie Pirinen, Khalid Alnajjar, So Miyagawa, Yuri Bizzoni, Niko Partanen, and Jack Rueter. 2023. Proc. of the Joint 3rd International Conference on NLP4DH and 8th IWCLUL. ACL, Tokyo, Japan, edition

💡 一句话要点

提出基于GPT-turbo 3.5的自动生成多项选择填空题方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自动化生成 多项选择题 语言模型 词汇测试 教育技术 GPT-3.5 填空题生成

📋 核心要点

  1. 现有的多项选择填空题生成方法耗时耗力，难以满足教师和大规模语言项目的需求。
  2. 本文提出的VocaTT引擎通过GPT自动生成填空题，简化了题目创建过程，提高了效率。
  3. 实验结果显示，生成句子的良好性为75%，词选项的适合率为66.85%，显著优于之前的方法。

📝 摘要（中文）

评估语言学习者词汇掌握情况的常用方法是通过多项选择填空题进行测试。然而，测试题目的创建对于教师或大规模语言项目而言是一项繁琐的工作。本文评估了一种利用大型语言模型（LLM）自动生成此类问题的新方法。VocaTT（词汇教学与训练）引擎使用Python编写，包含三个基本步骤：预处理目标词汇列表、利用GPT生成句子和候选词选项，最后选择合适的词选项。通过生成60个针对学术词汇的问题进行效率测试，结果显示句子的良好性达75%，而适合的词选项为66.85%。相比于之前未利用GPT能力的生成器，本文方法显著提升了生成质量。

🔬 方法详解

问题定义：本文旨在解决多项选择填空题生成的低效问题，现有方法往往需要教师手动创建，耗时且难以规模化。

核心思路：通过利用GPT-turbo 3.5模型，自动生成填空题，减少人工干预，提高生成效率和质量。

技术框架：VocaTT引擎的整体架构包括三个主要模块：首先是预处理目标词汇列表，其次是利用GPT生成包含目标词的句子及候选词选项，最后是选择合适的词选项以形成完整的填空题。

关键创新：本研究的创新点在于将大型语言模型应用于填空题生成，显著提升了生成内容的质量和适用性，与传统手动生成方法相比，效率大幅提高。

关键设计：在生成过程中，采用了特定的参数设置和损失函数来优化生成句子的结构，同时对候选词选项进行了筛选，以确保其语义和语法的正确性。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果显示，生成的句子良好性达75%，适合的词选项为66.85%。与之前未利用GPT的生成器相比，本文方法在生成质量上有显著提升，表明大型语言模型在教育领域的应用潜力。

🎯 应用场景

该研究的潜在应用领域包括语言学习平台、在线教育系统及考试机构，能够有效提升词汇测试的自动化水平，减轻教师负担，促进个性化学习。未来，该方法还可扩展到其他语言或领域的自动化测试中，具有广泛的实际价值。

📄 摘要（原文）

A common way of assessing language learners' mastery of vocabulary is via multiple-choice cloze (i.e., fill-in-the-blank) questions. But the creation of test items can be laborious for individual teachers or in large-scale language programs. In this paper, we evaluate a new method for automatically generating these types of questions using large language models (LLM). The VocaTT (vocabulary teaching and training) engine is written in Python and comprises three basic steps: pre-processing target word lists, generating sentences and candidate word options using GPT, and finally selecting suitable word options. To test the efficiency of this system, 60 questions were generated targeting academic words. The generated items were reviewed by expert reviewers who judged the well-formedness of the sentences and word options, adding comments to items judged not well-formed. Results showed a 75% rate of well-formedness for sentences and 66.85% rate for suitable word options. This is a marked improvement over the generator used earlier in our research which did not take advantage of GPT's capabilities. Post-hoc qualitative analysis reveals several points for improvement in future work including cross-referencing part-of-speech tagging, better sentence validation, and improving GPT prompts.