LLM-as-Judge in Education: A Curriculum-Grounded Marking Pipeline
作者: Xiwei Xu, Chen Wang, Jacky Jiang, Phil Yang, Qian Fu, Mohan Dhall, Wenjie Zhang, Liming Zhu
分类: cs.AI, cs.SE
发布日期: 2026-06-16
💡 一句话要点
提出课程基础的LLM评估管道以支持教育评估
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 生成式人工智能 大型语言模型 教育评估 课程基础 自动评分
📋 核心要点
- 现有方法在高风险考试准备中缺乏系统性，难以有效结合课程标准与评分要求。
- 论文提出了一种课程基础的LLM评估管道，通过结构化的评分标准和评分准则来支持问题级评分。
- 初步评估显示，该管道的评分结果与人类导师相当，且提供的评分理由更具可追溯性。
📝 摘要（中文）
生成式人工智能和大型语言模型（LLMs）在问题生成和自动评估中的应用日益增加。然而，在高风险考试的准备中，部署LLMs不仅需要提示工程，还需要系统地将模型输出与教育当局发布的课程材料和评分指南相结合。本文提出了一种课程基础的、可配置的LLM评估管道，旨在支持大学入学考试的准备。该管道识别问题的相关主题、子主题和认知需求，并组装可验证的授权背景以支持LLM的判断。初步评估表明，该管道的评分结果与人类导师相当，同时提供的理由更易追溯至授权的课程材料和评分标准。
🔬 方法详解
问题定义：本文旨在解决在高风险考试准备中，如何有效利用LLMs进行评分的问题。现有方法往往缺乏系统性，难以将模型输出与课程标准和评分要求结合起来。
核心思路：论文提出的解决方案是构建一个课程基础的LLM评估管道，系统地将模型输出与授权的课程材料和评分标准相结合，以提高评分的一致性和透明度。
技术框架：该管道包括多个模块，首先通过生成问题特定的评分标准来捕捉对表现的结构化期望，然后根据这些标准评估学生的回答。整个流程分为识别主题、生成评分标准和评估学生回答三个主要阶段。
关键创新：最重要的技术创新在于将课程意图通过具体的教学大纲材料进行操作化，确保LLM的判断基于授权的课程内容和评分标准。这一设计显著提高了评分的透明度和一致性。
关键设计：管道设计中包括了具体的评分标准生成、认知需求分析等关键步骤，确保评分过程的系统性和可靠性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，提出的LLM评估管道在评分结果上与人类导师相当，且其评分理由更具可追溯性。初步评估显示，该管道的评分一致性和透明度显著提升，为教育评估提供了新的解决方案。
🎯 应用场景
该研究的潜在应用领域包括高等教育的考试准备、在线学习平台以及教育评估系统。通过将LLM与课程标准结合，能够提高评分的效率和准确性，未来可能在教育领域产生广泛影响。
📄 摘要（原文）
Generative AI and large language models (LLMs) are increasingly applied to question generation and automated assessment. However, deploying LLMs in preparation for high-stakes exams requires more than prompt engineering; it demands software pipelines that systematically ground model outputs in authorised curriculum artefacts and marking guidelines issued by education authorities. This paper presents a curriculum-grounded, configurable LLM-as-Judge pipeline for question-level marking, co-developed with an industrial partner, to support exam preparation for university admission. The pipeline identifies the relevant topics, subtopics, and cognitive demand of a question, and assembles verifiable and authorised context to support LLM judgement. Curriculum intent is operationalised through concrete syllabus artefacts, including prescribed verbs and outcomes, performance band descriptors, glossary definitions, and marking-guideline principles. A staged LLM workflow is employed to first generate question-specific rubrics, capturing structured expectations of performance, and then derive and evaluate marking criteria used to allocate marks to student responses. This design improves consistency, transparency, and alignment with official marking practices. Preliminary evaluation shows that the proposed LLM-as-Judge pipeline delivers marking outcomes comparable to human tutors, while yielding justifications that are more traceable to authorised curriculum artefacts and marking standards. The pipeline has also been integrated into an online study platform, where early deployment data provide initial insights into operational usage and manual overrides.