Creating and Evaluating K-12 GenAI Assessment Graders Through Context Engineering
作者: Zewei Tian, Alex Liu, Lief Esbenshade, Michael Xiao, Zachary Zhang, Yulia Lápicus, Thomas Han, Kevin He, Min Sun
分类: cs.CY, cs.AI, cs.HC
发布日期: 2026-06-12
💡 一句话要点
提出基于生成AI的K-12评估评分系统以提升教育评估效率
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 生成AI 教育评估 自动评分 标准化评分 机器学习
📋 核心要点
- 现有的自动评分系统在教育评估中面临效率和准确性不足的挑战，尤其是在多样化的学科和评分标准下。
- 本文提出了一种基于生成AI的评分系统，利用上下文和提示工程，结合商业可用的基础模型来实现标准化评分。
- 实验结果表明，LLM评分者在数学和科学评估中与人类评分者达成了显著一致，尤其是使用参数更多的基础模型时。
📝 摘要（中文）
将大型语言模型（LLMs）整合到教育评估中，代表了课堂评分实践的变革。尽管自动评分系统和机器学习技术已存在数十年，生成AI（GenAI）使教育工作者能够以前所未有的效率和规模实施基于标准的评分（SBG）。本文探讨了理论基础，并评估了一种使用商业可用基础模型的LLM评分系统，通过上下文和提示工程对学生作业进行评分。基于马萨诸塞州综合评估系统（MCAS）数据的实证研究显示，LLM评分者在数学和科学评估中与人类评分者之间达成了显著一致，而在英语语言艺术（ELA）中的表现则有所不同，表明通用基础模型在特定上下文中可以有效评分。教师和学生反馈的进一步分析显示，AI生成的叙述反馈受到强烈接受，但对数字评分持怀疑态度，表明LLMs更适合作为形成性工具而非总结性评估者。我们的研究结果表明，精心设计的混合模型能够结合AI效率与教师判断，减轻工作负担，提高反馈质量，并支持公平的评估实践，而不取代专业知识。
🔬 方法详解
问题定义：本文旨在解决传统教育评估中自动评分系统效率低和准确性不足的问题，尤其是在多学科评分标准下的挑战。
核心思路：通过结合生成AI和上下文提示工程，设计一种基于大型语言模型的评分系统，以提高评分的标准化和一致性。
技术框架：整体架构包括数据收集、模型选择、上下文设计、评分执行和反馈生成等主要模块，确保评分过程的系统性和有效性。
关键创新：最重要的创新在于利用生成AI的上下文工程，提升了评分系统在特定学科中的适应性和准确性，与传统评分方法相比，显著提高了评分一致性。
关键设计：在模型选择上，使用了Claude Sonnet 4、Haiku 4.5、GPT-5和GPT-5 Mini等基础模型，并通过精细的提示设计和参数调优，优化了评分的准确性和反馈质量。
🖼️ 关键图片
📊 实验亮点
实验结果显示，基于大型语言模型的评分者在数学和科学评估中与人类评分者的Quadratic Weighted Kappa（QWK）和Proportional Reduction in Mean-Squared Error（PRMSE）达成了显著一致，尤其是使用参数更多的模型时，表现出更高的评分一致性和准确性。
🎯 应用场景
该研究的潜在应用领域包括K-12教育评估、在线学习平台以及教育技术产品的开发。通过提高评分效率和反馈质量，能够为教师减轻工作负担，并为学生提供更具针对性的学习建议，推动教育公平和个性化学习的发展。
📄 摘要（原文）
The integration of large language models (LLMs) into educational assessment represents a transformative shift in classroom grading practices. While automated scoring systems and machine learning techniques have existed for decades, generative AI (GenAI) now enables educators to implement standards-based grading (SBG) with unprecedented efficiency and scale. This paper examines the theoretical foundations and evaluates an LLM grader that uses commercially available foundation models with context and prompt engineering to score student work against a rubric. Drawing on an empirical interrater agreement study using Massachusetts Comprehensive Assessment System (MCAS) data, we observed the Quadratic Weighted Kappa (QWK) and Proportional Reduction in Mean-Squared Error (PRMSE) across mathematics, science, and ELA, using Claude Sonnet 4, Haiku 4.5, GPT-5, and GPT-5 Mini. The results demonstrate that LLM graders, especially when based on foundational models with more parameters, achieve substantial agreement with human raters in mathematics and science assessments, while the performances vary in ELA, suggesting generic foundation models can be effective at scoring in given contexts. Additional analysis of teacher and student feedback reveals strong acceptance of AI-generated narrative feedback but skepticism toward numerical scores, suggesting that LLMs function most effectively as formative tools rather than summative evaluators. Our findings indicate that thoughtfully designed hybrid models that combine AI efficiency with teacher judgment can reduce workload, enhance feedback quality, and support equitable assessment practices without displacing professional expertise.