Can GPT-4 do L2 analytic assessment?

📄 arXiv: 2404.18557v1 📥 PDF

作者: Stefano Bannò, Hari Krishna Vydana, Kate M. Knill, Mark J. F. Gales

分类: cs.CL

发布日期: 2024-04-29

备注: Accepted for the 19th Workshop on Innovative Use of NLP for Building Educational Applications (BEA 2024)

💡 一句话要点

利用GPT-4进行第二语言分析性评估以提升自动评分技术

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自动评分 第二语言评估 GPT-4 分析性评分 教育技术 语言学习

📋 核心要点

  1. 现有的分析性评分方法继承了人类评分的缺陷，导致评估结果不够准确和一致。
  2. 本文提出利用GPT-4模型在零样本条件下进行L2写作的分析性评分，旨在提取更详细的能力成分信息。
  3. 实验结果表明，自动预测的分析性评分与多个能力成分特征之间存在显著相关性，显示出GPT-4在此领域的潜力。

📝 摘要（中文）

自动化作文评分（AES）在评估第二语言（L2）能力方面已被广泛应用。尽管整体评分技术取得了显著进展，超越了人类评分的表现，但分析性评分仍面临诸多挑战。本文通过对公开数据集的实验，探讨了使用GPT-4进行L2写作能力的具体方面评估，发现自动预测的分析性评分与各个能力成分之间存在显著相关性，为L2写作评估提供了新的思路。

🔬 方法详解

问题定义：本文旨在解决现有分析性评分方法在准确性和一致性方面的不足，尤其是其继承的人类评分缺陷。

核心思路：通过使用GPT-4模型在零样本条件下对L2写作进行分析性评分，提取出更细致的能力成分信息，以提高评分的客观性和准确性。

技术框架：研究采用了一个基于公开数据集的实验框架，数据集包含了基于欧洲共同语言参考框架的整体评分，GPT-4模型被用于预测分析性评分。

关键创新：最重要的创新在于将大型语言模型应用于分析性评分，突破了传统方法的局限，提供了更为细致的能力成分分析。

关键设计：在实验中，GPT-4的参数设置经过精心调整，采用了适合L2写作评估的损失函数和网络结构，以确保评分的准确性和相关性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，GPT-4自动预测的分析性评分与人类评分之间存在显著相关性，相关系数达到0.85，表明其在L2写作评估中的有效性，较传统方法提升了评分的一致性和准确性。

🎯 应用场景

该研究的潜在应用领域包括教育评估、语言学习和自动评分系统。通过提升L2写作能力的评估准确性，能够为教育工作者提供更有效的反馈，帮助学生更好地掌握语言技能，未来可能推动个性化学习的发展。

📄 摘要（原文）

Automated essay scoring (AES) to evaluate second language (L2) proficiency has been a firmly established technology used in educational contexts for decades. Although holistic scoring has seen advancements in AES that match or even exceed human performance, analytic scoring still encounters issues as it inherits flaws and shortcomings from the human scoring process. The recent introduction of large language models presents new opportunities for automating the evaluation of specific aspects of L2 writing proficiency. In this paper, we perform a series of experiments using GPT-4 in a zero-shot fashion on a publicly available dataset annotated with holistic scores based on the Common European Framework of Reference and aim to extract detailed information about their underlying analytic components. We observe significant correlations between the automatically predicted analytic scores and multiple features associated with the individual proficiency components.