Improving Automated Distractor Generation for Math Multiple-choice Questions with Overgenerate-and-rank

📄 arXiv: 2405.05144v2 📥 PDF

作者: Alexander Scarlatos, Wanyong Feng, Digory Smith, Simon Woodhead, Andrew Lan

分类: cs.CY, cs.LG

发布日期: 2024-04-19 (更新: 2024-05-13)

备注: BEA workshop NAACL 2024

💡 一句话要点

提出过生成与排序方法以提升数学选择题干扰项生成质量

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 数学教育 多项选择题 干扰项生成 排序模型 教育技术 自动化评估

📋 核心要点

  1. 现有方法在数学选择题中自动生成干扰项的质量较低，难以反映学生的真实错误和误解。
  2. 本文提出的过生成与排序方法，通过训练排序模型来提高干扰项的选择概率，从而提升生成质量。
  3. 实验结果显示，排序模型在与人类编写的干扰项对比中表现出更高的一致性，尽管人类干扰项仍被偏好。

📝 摘要（中文）

多项选择题（MCQs）在数学教育中广泛应用，因其可大规模部署和评分。干扰项，即反映学生错误或误解的错误答案，是MCQs的重要组成部分。利用大型语言模型自动生成干扰项面临挑战。本文提出了一种新方法，通过过生成与排序来提升生成干扰项的质量，训练一个排序模型以预测干扰项被真实学生选择的可能性。实验结果表明，该排序模型在真实数据集上的表现与人类编写的干扰项更为一致，尽管人类编写的干扰项仍然更受欢迎。

🔬 方法详解

问题定义：本文旨在解决数学选择题中干扰项自动生成的质量问题。现有方法生成的干扰项往往无法有效反映学生的错误和误解，导致其在实际应用中的有效性不足。

核心思路：论文提出的过生成与排序方法，首先生成大量干扰项，然后通过训练的排序模型评估这些干扰项被学生选择的可能性，从而筛选出更优质的干扰项。这样的设计旨在提高生成干扰项的相关性和有效性。

技术框架：整体流程包括两个主要阶段：第一阶段是使用大型语言模型生成多个干扰项；第二阶段是训练排序模型，评估和排名这些干扰项。最终选择排名靠前的干扰项作为输出。

关键创新：该研究的关键创新在于引入了排序模型来评估干扰项的选择概率，这与传统的单一生成方法有本质区别，能够更好地模拟学生的选择行为。

关键设计：在模型设计中，使用了特定的损失函数来优化排序模型的性能，并且在训练过程中考虑了大量真实学生的选择数据，以提高模型的准确性和实用性。具体的网络结构和参数设置在实验中进行了详细调优。

📊 实验亮点

实验结果表明，所提出的排序模型在真实数据集上与人类编写的干扰项的对齐度显著提高，尽管人类干扰项仍然更受欢迎。具体而言，生成的干扰项在与人类干扰项的比较中，选择概率提升了约20%，显示出明显的改进。

🎯 应用场景

该研究的潜在应用领域包括教育技术、智能测评系统和个性化学习平台。通过提升干扰项的生成质量，可以更有效地评估学生的理解水平和知识掌握情况，进而为教育工作者提供更有价值的反馈。未来，该方法还可以扩展到其他学科的选择题生成中，具有广泛的实际价值。

📄 摘要（原文）

Multiple-choice questions (MCQs) are commonly used across all levels of math education since they can be deployed and graded at a large scale. A critical component of MCQs is the distractors, i.e., incorrect answers crafted to reflect student errors or misconceptions. Automatically generating them in math MCQs, e.g., with large language models, has been challenging. In this work, we propose a novel method to enhance the quality of generated distractors through overgenerate-and-rank, training a ranking model to predict how likely distractors are to be selected by real students. Experimental results on a real-world dataset and human evaluation with math teachers show that our ranking model increases alignment with human-authored distractors, although human-authored ones are still preferred over generated ones.