Large Language Models As MOOCs Graders

📄 arXiv: 2402.03776v4 📥 PDF

作者: Shahriar Golchin, Nikhil Garuda, Christopher Impey, Matthew Wenger

分类: cs.CL, cs.AI

发布日期: 2024-02-06 (更新: 2024-03-01)

备注: v1.3 preprint

💡 一句话要点

利用大型语言模型改进MOOC作业评分

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 MOOC 自动评分 同行评分 教育技术 零-shot学习 评分标准

📋 核心要点

  1. 现有的同行评分方法在可靠性和有效性方面存在不足，难以满足大规模在线课程的需求。
  2. 本研究提出利用大型语言模型（LLMs）替代同行评分，采用零-shot链式思维提示技术进行评分。
  3. 实验结果显示，结合教师提供的答案和评分标准的Zero-shot-CoT生成的评分与教师评分更为一致，尤其在课程内容明确的情况下。

📝 摘要（中文）

大规模开放在线课程（MOOCs）为全球学习者提供了免费的教育机会。然而，由于学生人数众多，单一教师几乎无法评估每位学生的写作作业，导致同行评分成为常用方法。尽管方便，但同行评分在可靠性和有效性方面常常不足。本文探讨了利用大型语言模型（LLMs）替代MOOC中的同行评分的可行性，重点研究了GPT-4和GPT-3.5在三个不同课程中的应用。研究结果表明，结合教师提供的答案和评分标准的零-shot链式思维提示技术（Zero-shot-CoT）能生成更符合教师评分的结果，尤其在评分标准明确的学科中展现出自动评分系统的潜力。

🔬 方法详解

问题定义：本文旨在解决MOOC中同行评分的可靠性和有效性不足的问题。现有的同行评分方法难以应对大规模学生作业的评估需求。

核心思路：研究提出利用大型语言模型（LLMs）替代同行评分，特别是通过零-shot链式思维提示技术（Zero-shot-CoT）来提高评分的一致性和准确性。

技术框架：整体架构包括三个主要模块：1) 课程内容和评分标准的准备；2) LLM的提示设计，采用三种不同的提示方式；3) 评分结果的评估与比较。

关键创新：最重要的创新在于将Zero-shot-CoT与教师提供的答案和评分标准结合使用，从而提高了评分的准确性和一致性，与传统的同行评分方法相比，显著提升了评分的可靠性。

关键设计：在提示设计中，采用了三种不同的提示方式，包括结合教师答案的Zero-shot-CoT、结合教师答案和评分标准的Zero-shot-CoT，以及结合教师答案和LLM生成评分标准的Zero-shot-CoT。

📊 实验亮点

实验结果表明，结合教师提供的答案和评分标准的Zero-shot-CoT生成的评分与教师评分的吻合度显著提高，尤其在课程内容明确的情况下，显示出较传统同行评分方法的明显优势。

🎯 应用场景

该研究的潜在应用领域包括大规模在线课程的自动评分系统，尤其是在具有明确评分标准的学科中。通过提高评分的效率和一致性，能够减轻教师的负担，提升在线教育的质量和可及性。未来，该方法可能会推广到其他教育领域，促进教育公平。

📄 摘要（原文）

Massive open online courses (MOOCs) unlock the doors to free education for anyone around the globe with access to a computer and the internet. Despite this democratization of learning, the massive enrollment in these courses means it is almost impossible for one instructor to assess every student's writing assignment. As a result, peer grading, often guided by a straightforward rubric, is the method of choice. While convenient, peer grading often falls short in terms of reliability and validity. In this study, using 18 distinct settings, we explore the feasibility of leveraging large language models (LLMs) to replace peer grading in MOOCs. Specifically, we focus on two state-of-the-art LLMs: GPT-4 and GPT-3.5, across three distinct courses: Introductory Astronomy, Astrobiology, and the History and Philosophy of Astronomy. To instruct LLMs, we use three different prompts based on a variant of the zero-shot chain-of-thought (Zero-shot-CoT) prompting technique: Zero-shot-CoT combined with instructor-provided correct answers; Zero-shot-CoT in conjunction with both instructor-formulated answers and rubrics; and Zero-shot-CoT with instructor-offered correct answers and LLM-generated rubrics. Our results show that Zero-shot-CoT, when integrated with instructor-provided answers and rubrics, produces grades that are more aligned with those assigned by instructors compared to peer grading. However, the History and Philosophy of Astronomy course proves to be more challenging in terms of grading as opposed to other courses. Finally, our study reveals a promising direction for automating grading systems for MOOCs, especially in subjects with well-defined rubrics.