Automatic Generation and Evaluation of Reading Comprehension Test Items with Large Language Models
作者: Andreas Säuberli, Simon Clematide
分类: cs.CL
发布日期: 2024-04-11 (更新: 2024-05-20)
备注: Accepted for publication at the 3rd Workshop on Tools and Resources for People with REAding DIfficulties (READI) at LREC-COLING 2024; correction after publication: swapped "guessing setting" and "comprehension setting" in Section 4.5
💡 一句话要点
利用大型语言模型自动生成和评估阅读理解测试题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 阅读理解 大型语言模型 自动评估 教育技术 文本信息量
📋 核心要点
- 现有的阅读理解测试题创建方法耗时且难以保证质量，限制了其在教育等领域的广泛应用。
- 本文提出利用大型语言模型生成和评估阅读理解测试题，开发了新的评估协议和文本信息量度量。
- 实验结果表明，GPT-4在零样本生成设置下的表现优于Llama 2，且其自动评估结果与人工标注者高度一致。
📝 摘要（中文）
阅读理解测试在教育和文本可理解性评估等多个领域中应用广泛。然而，手动创建这些测试题并确保其质量既困难又耗时。本文探讨了如何利用大型语言模型（LLMs）生成和评估多项选择的阅读理解题目。我们编制了一个德语阅读理解题目的数据集，并开发了一种新的人工与自动评估协议，包括一种基于可猜测性和可回答性的文本信息量度量。通过评估Llama 2和GPT-4生成的题目质量，结果表明两者在零样本设置下均能生成可接受质量的题目，但GPT-4的表现明显优于Llama 2。此外，我们还展示了LLMs可以通过引导题目响应进行自动评估，结果显示GPT-4的评估结果与人工标注者最为接近。总体而言，LLMs的零样本生成方法为生成和评估阅读理解测试题提供了有前景的解决方案，尤其适用于数据量较少的语言。
🔬 方法详解
问题定义：本文旨在解决手动创建和评估阅读理解测试题的困难与低效问题，现有方法难以保证题目的质量和一致性。
核心思路：通过利用大型语言模型（LLMs）自动生成和评估阅读理解测试题，降低人工成本并提高题目质量。设计新评估协议以确保生成题目的有效性和可靠性。
技术框架：整体流程包括数据集的构建、题目生成、人工与自动评估的实施。主要模块包括数据集准备、模型选择（Llama 2和GPT-4）、生成题目和评估协议的应用。
关键创新：引入了一种新的评估协议和文本信息量度量，基于可猜测性和可回答性，提供了一种新的视角来评估生成题目的质量。与传统方法相比，能够更好地适应不同语言的需求。
关键设计：在模型选择中，使用了Llama 2和GPT-4，并在生成过程中设置了特定的参数以优化题目的质量。评估过程中，结合了人工标注和模型自动评估的结果，以确保评估的全面性和准确性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，GPT-4在零样本生成设置下生成的阅读理解测试题质量明显优于Llama 2，且其自动评估结果与人工标注者的相似度最高。这表明LLMs在阅读理解测试题生成和评估中的有效性，具有重要的应用前景。
🎯 应用场景
该研究的潜在应用领域包括教育、语言学习和文本简化等。通过自动生成和评估阅读理解测试题，可以大幅提高测试题的创建效率，降低教育工作者的负担，促进个性化学习和评估的实现。未来，该方法还可能扩展到其他语言和领域，推动教育技术的发展。
📄 摘要（原文）
Reading comprehension tests are used in a variety of applications, reaching from education to assessing the comprehensibility of simplified texts. However, creating such tests manually and ensuring their quality is difficult and time-consuming. In this paper, we explore how large language models (LLMs) can be used to generate and evaluate multiple-choice reading comprehension items. To this end, we compiled a dataset of German reading comprehension items and developed a new protocol for human and automatic evaluation, including a metric we call text informativity, which is based on guessability and answerability. We then used this protocol and the dataset to evaluate the quality of items generated by Llama 2 and GPT-4. Our results suggest that both models are capable of generating items of acceptable quality in a zero-shot setting, but GPT-4 clearly outperforms Llama 2. We also show that LLMs can be used for automatic evaluation by eliciting item reponses from them. In this scenario, evaluation results with GPT-4 were the most similar to human annotators. Overall, zero-shot generation with LLMs is a promising approach for generating and evaluating reading comprehension test items, in particular for languages without large amounts of available data.