Human-AI Collaborative Essay Scoring: A Dual-Process Framework with LLMs
作者: Changrong Xiao, Wenxing Ma, Qingping Song, Sean Xin Xu, Kunpeng Zhang, Yufang Wang, Qi Fu
分类: cs.CL, cs.AI
发布日期: 2024-01-12 (更新: 2024-06-15)
💡 一句话要点
提出基于LLMs的人机协作作文评分系统以解决反馈不足问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 自动化评分 大型语言模型 人机协作 教育技术 写作反馈 双重过程理论
📋 核心要点
- 现有的自动化作文评分方法在反馈及时性和个性化方面存在不足，尤其在缺乏人类教师的情况下。
- 本研究提出了一种基于大型语言模型的双重过程框架，旨在提供准确的评分和高质量的反馈，同时减轻评分错误。
- 实验结果表明，该系统不仅能自动评分，还能提升人类评分者的效率，尤其在模型信心较低的情况下表现更佳。
📝 摘要（中文）
及时且个性化的反馈对第二语言学习者至关重要，尤其在缺乏人类教师时。本研究探讨了大型语言模型（LLMs）在自动化作文评分（AES）中的有效性。通过对公共和私有数据集的广泛实验，我们发现LLMs在性能上虽未超越传统的最先进评分模型，但在一致性、泛化能力和可解释性方面表现突出。我们提出了一种基于开源LLM的AES系统，受到双重过程理论的启发。该系统提供准确的评分和高质量的反馈，至少与微调的专有LLMs相当，并能缓解评分错误。此外，我们还进行了人机共同评分实验，发现该系统不仅自动化了评分过程，还提升了人类评分者的表现和效率，尤其是在模型信心较低的作文中。这些结果突显了LLMs在教育领域促进有效人机协作的潜力，可能通过AI生成的反馈改变学习体验。
🔬 方法详解
问题定义：本论文旨在解决现有自动化作文评分系统在反馈及时性和个性化方面的不足，尤其是在缺乏人类教师的情况下，学习者难以获得有效反馈的问题。
核心思路：论文提出了一种基于大型语言模型（LLMs）的双重过程框架，旨在通过人机协作的方式，提供准确的评分和高质量的反馈，进而提升学习者的写作能力。
技术框架：整体架构包括数据预处理、模型训练、评分生成和反馈提供四个主要模块。首先，利用公共和私有数据集进行模型训练，然后通过人机协作的方式进行评分和反馈生成。
关键创新：最重要的技术创新点在于结合了双重过程理论，提出了一种新颖的人机协作评分机制，使得LLMs在评分过程中不仅能自动化评分，还能辅助人类评分者提升效率。
关键设计：在模型设计上，采用了开源LLM，并进行了针对性微调。损失函数设计考虑了评分一致性和可解释性，确保生成的反馈具有高质量和实用性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提出的系统在评分一致性和可解释性方面表现优异，尽管在性能上未超越传统模型，但在人机协作评分中显著提升了人类评分者的效率，尤其在模型信心较低的作文中，提升幅度明显。
🎯 应用场景
该研究的潜在应用领域包括教育技术、在线学习平台和语言学习应用。通过提供及时且个性化的反馈，能够显著提升第二语言学习者的写作能力和学习体验，未来可能在教育行业产生深远影响。
📄 摘要（原文）
Receiving timely and personalized feedback is essential for second-language learners, especially when human instructors are unavailable. This study explores the effectiveness of Large Language Models (LLMs), including both proprietary and open-source models, for Automated Essay Scoring (AES). Through extensive experiments with public and private datasets, we find that while LLMs do not surpass conventional state-of-the-art (SOTA) grading models in performance, they exhibit notable consistency, generalizability, and explainability. We propose an open-source LLM-based AES system, inspired by the dual-process theory. Our system offers accurate grading and high-quality feedback, at least comparable to that of fine-tuned proprietary LLMs, in addition to its ability to alleviate misgrading. Furthermore, we conduct human-AI co-grading experiments with both novice and expert graders. We find that our system not only automates the grading process but also enhances the performance and efficiency of human graders, particularly for essays where the model has lower confidence. These results highlight the potential of LLMs to facilitate effective human-AI collaboration in the educational context, potentially transforming learning experiences through AI-generated feedback.