Can Large Language Models Automatically Score Proficiency of Written Essays?

📄 arXiv: 2403.06149v2 📥 PDF

作者: Watheq Mansour, Salam Albatarni, Sohaila Eltanbouly, Tamer Elsayed

分类: cs.CL, cs.AI

发布日期: 2024-03-10 (更新: 2024-04-16)

备注: V2 (published version of LREC-COLING 2024)

💡 一句话要点

利用大型语言模型自动评分写作能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自动化评分 大型语言模型 作文评估 教育技术 提示工程 机器学习

📋 核心要点

  1. 现有的自动化作文评分方法在有效性上仍存在不足，无法满足教育需求。
  2. 本文通过测试大型语言模型的能力，探索其在自动评分中的应用潜力，采用了提示工程技术。
  3. 实验结果表明，ChatGPT在评分表现上略优于Llama，且两者均能提供有价值的反馈，帮助提升作文质量。

📝 摘要（中文）

尽管过去50年提出了多种自动化作文评分（AES）方法，但其有效性仍有待提高。本文测试了大型语言模型（LLMs）在分析和评分写作作文方面的能力。我们实验了两个流行的LLMs，即ChatGPT和Llama，旨在评估它们在此任务中的表现，并与现有最先进模型进行比较。通过设计四种不同的提示，我们发现选择合适的提示对模型和任务性质有很大影响。实验结果显示，ChatGPT在AES中略有优势，尽管与最先进模型相比存在性能差距，但它们仍能提供反馈以提升作文质量，可能对教师和学生都有帮助。

🔬 方法详解

问题定义：本文旨在解决自动化作文评分（AES）中存在的有效性不足的问题。现有方法在准确性和反馈质量上存在明显的局限性，无法满足教育领域的需求。

核心思路：论文的核心思路是利用大型语言模型（LLMs）强大的语言理解能力，通过设计不同的提示来优化其在作文评分任务中的表现。这样的设计旨在充分发挥LLMs的潜力，以提高评分的准确性和反馈质量。

技术框架：整体架构包括数据准备、模型选择、提示设计和评分评估四个主要模块。首先，使用ASAP数据集进行训练和测试；其次，选择ChatGPT和Llama作为实验模型；然后，设计四种不同的提示以引导模型进行评分；最后，通过比较模型输出与真实评分进行评估。

关键创新：最重要的技术创新点在于通过提示工程优化LLMs在作文评分中的应用，尤其是根据任务性质和模型特性选择合适的提示，这一方法与传统的评分模型有本质区别。

关键设计：在实验中，设计了四种不同的提示，针对不同的写作特征进行评分。同时，采用了标准的评分指标来评估模型的表现，包括准确性和反馈质量等。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果显示，ChatGPT在自动化作文评分中表现略优于Llama，二者的平均评分性能相近。尽管与最先进模型相比存在一定的性能差距，但它们在提供反馈方面表现出色，能够有效提升作文质量，为教师和学生提供实用的支持。

🎯 应用场景

该研究的潜在应用领域包括教育技术、在线学习平台和作文辅导工具。通过利用大型语言模型进行自动评分，可以为教师提供高效的评分工具，同时帮助学生获得及时的反馈，从而提升写作能力。未来，这种技术可能会在教育评估中发挥更大的作用，推动个性化学习的发展。

📄 摘要（原文）

Although several methods were proposed to address the problem of automated essay scoring (AES) in the last 50 years, there is still much to desire in terms of effectiveness. Large Language Models (LLMs) are transformer-based models that demonstrate extraordinary capabilities on various tasks. In this paper, we test the ability of LLMs, given their powerful linguistic knowledge, to analyze and effectively score written essays. We experimented with two popular LLMs, namely ChatGPT and Llama. We aim to check if these models can do this task and, if so, how their performance is positioned among the state-of-the-art (SOTA) models across two levels, holistically and per individual writing trait. We utilized prompt-engineering tactics in designing four different prompts to bring their maximum potential to this task. Our experiments conducted on the ASAP dataset revealed several interesting observations. First, choosing the right prompt depends highly on the model and nature of the task. Second, the two LLMs exhibited comparable average performance in AES, with a slight advantage for ChatGPT. Finally, despite the performance gap between the two LLMs and SOTA models in terms of predictions, they provide feedback to enhance the quality of the essays, which can potentially help both teachers and students.