Automated grading of Linux/bash examinations using large language models: a four-level cognitive taxonomy approach
作者: Manuel Alonso-Carracedo, Ruben Fernandez-Boullon, Pedro Celard, Francisco J. Rodriguez-Martinez, Lorena Otero-Cerdeira
分类: cs.AI, cs.CL, cs.CY
发布日期: 2026-07-02
💡 一句话要点
利用大型语言模型实现Linux/bash考试的自动评分
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 自动评分 大型语言模型 Linux bash 认知分类法 教育技术 计算机科学教育
📋 核心要点
- 现有的命令行考试评分方法难以处理学生人数增加带来的评分压力，且传统的自动评分系统无法有效应对部分得分和语法变异。
- 本文提出了一种基于四级认知分类法的评分框架，利用大型语言模型对Linux/bash命令响应进行自动评分，旨在提高评分的准确性和一致性。
- 实验结果显示，Gemini 3.0 Pro在使用评分标准引导提示时与专家评分的一致性最高，且评分准确性随着问题复杂度的增加而下降。
📝 摘要（中文）
在计算机教育中，命令行考试的可扩展和可靠评分仍然是一个挑战，尤其是在学生人数不断增加的情况下，人工评分变得困难，而基于规则的自动评分系统无法处理部分得分、等效解或语法变异。本文评估了四种前沿大型语言模型（GPT、Claude Opus、Gemini和GLM）在评分短文本Linux/bash命令响应时是否能够接近专家判断。研究采用了一个结合认知复杂性和操作影响的四级认知分类法，涵盖从信息检索（L1）到基本文件操作（L2）、结构化操作（L3）和高级系统管理（L4）。实验结果表明，Gemini 3.0 Pro在使用评分标准引导提示时达到了最高的人机一致性，且模型在评分复杂问题时的表现存在显著差异。
🔬 方法详解
问题定义：本文旨在解决在计算机教育中，尤其是Linux/bash命令考试的自动评分面临的挑战，包括人工评分的高负担和现有自动评分系统的局限性。
核心思路：研究通过引入大型语言模型，结合四级认知分类法，评估其在评分短文本命令响应时的表现，以期提高评分的可靠性和准确性。
技术框架：整体流程包括数据收集、模型选择、评分标准设计和实验评估。具体步骤为：收集1200个真实的学生响应，使用四种大型语言模型进行评分，并与专家评分进行比较。
关键创新：本研究的创新在于采用四级认知分类法来评估问题复杂性，并通过结构化提示优化模型的评分能力，与传统的评分方法相比，提供了更系统的评估框架。
关键设计：在实验中，使用了两种提示变体：最小基线和增强评分标准的版本。Gemini 3.0 Pro在使用增强提示时表现最佳，且评分一致性随着问题复杂度的增加而显著下降。
🖼️ 关键图片
📊 实验亮点
实验结果表明，Gemini 3.0 Pro在使用评分标准引导提示时与专家评分的一致性最高，ICC(3,1)为0.888，平均绝对误差（MAE）为0.10，Bland-Altman偏差为-0.014，显示出结构化提示对评分一致性的显著提升。
🎯 应用场景
该研究的潜在应用领域包括计算机科学教育、在线学习平台和自动化评估系统。通过实现更高效的自动评分，教育机构可以减轻教师的评分负担，并提高学生反馈的及时性和准确性，未来可能推动教育评估的智能化进程。
📄 摘要（原文）
Scalable and reliable grading of command-line examinations remains a challenge in computing education, where rising enrolments make manual marking difficult and rule-based autograders cannot handle partial credit, equivalent solutions, or syntactic variation. This paper evaluates whether four frontier Large Language Models (GPT, Claude Opus, Gemini, and GLM) can approximate expert judgment when grading short Linux/bash command responses. The study adopts a four-level cognitive taxonomy that combines cognitive complexity and operational impact, ranging from information retrieval (L1) and basic file manipulation (L2) to structural operations (L3) and advanced system management (L4). The models were tested with two prompt variants, a minimal baseline and a rubric-enhanced version, on 1200 real responses from second-year Computer Engineering students independently graded by three expert instructors. Gemini~3.0 Pro with rubric-guided prompting achieved the highest human-AI agreement (ICC(3,1) = 0.888, MAE = 0.10, Bland-Altman bias = -0.014). Agreement declined consistently as taxonomy level increased, with the largest discrepancies at higher levels. Across all models, rubric quality had a larger effect than provider choice, with structured prompts consistently improving agreement. These results show that question complexity is a reliable predictor of the difficulty LLMs face in grading accurately, and they establish a principled, taxonomy-based framework for determining which questions are suitable for AI-assisted grading and which require human review, while also providing a transferable evaluation protocol and prompt templates.