Applying Large Language Models and Chain-of-Thought for Automatic Scoring

📄 arXiv: 2312.03748v2 📥 PDF

作者: Gyeong-Geon Lee, Ehsan Latif, Xuansheng Wu, Ninghao Liu, Xiaoming Zhai

分类: cs.CL, cs.AI

发布日期: 2023-11-30 (更新: 2024-02-16)

💡 一句话要点

利用大语言模型和思维链实现自动评分以解决教育评估问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 自动评分 思维链 教育评估 提示工程 机器学习 GPT-4 学生表现

📋 核心要点

  1. 现有的自动评分工具在可及性、技术复杂性和可解释性方面存在诸多挑战，限制了其在教育中的应用。
  2. 本研究提出结合大语言模型和思维链的自动评分方法，通过六种提示工程策略提升评分准确性。
  3. 实验结果显示，少量学习和CoT结合上下文信息显著提高了评分准确性，GPT-4在多个任务中表现优于GPT-3.5。

📝 摘要（中文）

本研究探讨了大语言模型（LLMs），特别是GPT-3.5和GPT-4，结合思维链（CoT）在自动评分学生科学评估回答中的应用。我们旨在克服以往人工智能自动评分工具在可及性、技术复杂性和缺乏可解释性方面的挑战。通过包含1650个学生回答的六个评估任务的数据集，我们采用了六种提示工程策略进行自动评分。结果表明，少量学习（acc = 0.67）优于零样本学习（acc = 0.60），提升幅度为12.6%。当CoT与上下文题干和评分标准结合使用时，显著提高了评分准确性，尤其在不同熟练度类别中表现出更均衡的准确性。

🔬 方法详解

问题定义：本研究旨在解决现有自动评分工具在可及性和准确性方面的不足，尤其是如何有效评分学生的科学回答。

核心思路：通过结合大语言模型和思维链，利用提示工程策略提升评分的准确性和可解释性，特别是在不同熟练度的学生回答中。

技术框架：整体架构包括数据集准备、提示工程策略设计、模型训练与评估。具体步骤为：构建包含1650个学生回答的数据集，设计六种评分策略，使用GPT-3.5和GPT-4进行评分。

关键创新：本研究的创新在于将思维链与上下文题干和评分标准结合使用，显著提高了评分的准确性，尤其是在不同熟练度的评分任务中。

关键设计：采用零样本和少量学习策略，结合上下文信息进行提示设计，使用单次贪婪采样和集成投票核采样策略优化模型性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，少量学习策略的准确率达到67%，相比零样本学习提升了12.6%。当思维链与上下文题干和评分标准结合使用时，评分准确性显著提高，尤其在零样本学习中提升了13.44%。GPT-4在多个评分任务中表现优于GPT-3.5，提升幅度达到8.64%。

🎯 应用场景

该研究的潜在应用领域包括教育评估、在线学习平台和智能教育工具。通过提高自动评分的准确性和可解释性，能够帮助教师更有效地评估学生表现，并为教育决策提供数据支持，未来可能推动教育评估的智能化进程。

📄 摘要（原文）

This study investigates the application of large language models (LLMs), specifically GPT-3.5 and GPT-4, with Chain-of-Though (CoT) in the automatic scoring of student-written responses to science assessments. We focused on overcoming the challenges of accessibility, technical complexity, and lack of explainability that have previously limited the use of artificial intelligence-based automatic scoring tools among researchers and educators. With a testing dataset comprising six assessment tasks (three binomial and three trinomial) with 1,650 student responses, we employed six prompt engineering strategies to automatically score student responses. The six strategies combined zero-shot or few-shot learning with CoT, either alone or alongside item stem and scoring rubrics. Results indicated that few-shot (acc = .67) outperformed zero-shot learning (acc = .60), with 12.6% increase. CoT, when used without item stem and scoring rubrics, did not significantly affect scoring accuracy (acc = .60). However, CoT prompting paired with contextual item stems and rubrics proved to be a significant contributor to scoring accuracy (13.44% increase for zero-shot; 3.7% increase for few-shot). We found a more balanced accuracy across different proficiency categories when CoT was used with a scoring rubric, highlighting the importance of domain-specific reasoning in enhancing the effectiveness of LLMs in scoring tasks. We also found that GPT-4 demonstrated superior performance over GPT -3.5 in various scoring tasks when combined with the single-call greedy sampling or ensemble voting nucleus sampling strategy, showing 8.64% difference. Particularly, the single-call greedy sampling strategy with GPT-4 outperformed other approaches.