Automated grading of Linux/bash examinations using large language models: a four-level cognitive taxonomy approach
作者: Manuel Alonso-Carracedo, Ruben Fernandez-Boullon, Pedro Celard, Francisco J.Rodriguez-Martinez, Lorena Otero-Cerdeira
分类: cs.AI, cs.CL, cs.CY
发布日期: 2026-07-05
💡 一句话要点
利用大型语言模型实现Linux/bash考试的自动评分
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 自动评分 大型语言模型 Linux bash 认知分类法 计算机教育 评分一致性
📋 核心要点
- 现有的命令行考试评分方法面临人工评分困难和规则基础自动评分无法处理复杂情况的挑战。
- 论文提出通过四级认知分类法，结合大型语言模型来自动评分Linux/bash命令响应，旨在提高评分的准确性和效率。
- 实验结果显示，Gemini 3.0 Pro在评分一致性上表现最佳，且评分标准的质量对模型表现影响显著。
📝 摘要（中文）
在计算机教育中，命令行考试的可扩展和可靠评分仍然是一个挑战，尤其是在学生人数不断增加的情况下，人工评分变得困难，而基于规则的自动评分系统无法处理部分得分、等效解或语法变异。本文评估了四种前沿大型语言模型（GPT、Claude Opus、Gemini和GLM）在评分短篇Linux/bash命令响应时是否能够接近专家判断。研究采用了一个结合认知复杂性和操作影响的四级认知分类法，涵盖信息检索（L1）、基本文件操作（L2）、结构操作（L3）和高级系统管理（L4）。实验结果表明，Gemini 3.0 Pro在使用评分标准引导提示时达到了最高的人机一致性，且问题复杂性是预测LLM评分准确性的可靠指标。
🔬 方法详解
问题定义：论文要解决的问题是如何在计算机教育中实现对Linux/bash考试的自动评分，现有方法面临人工评分效率低和规则基础自动评分无法处理复杂情况的痛点。
核心思路：论文的核心解决思路是利用大型语言模型结合四级认知分类法来评估学生的命令行响应，从而提高评分的准确性和一致性。
技术框架：整体架构包括数据收集、模型选择、提示设计和评分评估四个主要模块。首先收集1200个真实的学生响应，然后使用不同的提示对模型进行测试，最后通过专家评分进行评估。
关键创新：最重要的技术创新点在于采用四级认知分类法来系统性地评估问题的复杂性，并通过结构化提示提高模型的评分一致性，这与现有的简单评分方法有本质区别。
关键设计：在实验中，采用了两种提示变体：最小基线和增强评分标准的版本。Gemini 3.0 Pro在使用评分标准引导提示时达到了最高的人机一致性，且评分标准的质量对模型表现的影响大于模型选择。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Gemini 3.0 Pro在使用评分标准引导提示时达到了最高的人机一致性（ICC(3,1) = 0.888，MAE = 0.10），并且随着认知分类法级别的提高，评分一致性逐渐下降，表明问题复杂性是影响评分准确性的关键因素。
🎯 应用场景
该研究的潜在应用领域包括计算机科学教育中的自动评分系统，能够有效减轻教师的评分负担，提高评分效率和准确性。未来，该方法还可扩展到其他编程语言或技术领域的考试评分中，具有广泛的实际价值。
📄 摘要（原文）
Scalable and reliable grading of command-line examinations remains a challenge in computing education, where rising enrolments make manual marking difficult and rule-based autograders cannot handle partial credit, equivalent solutions, or syntactic variation. This paper evaluates whether four frontier Large Language Models (GPT, Claude Opus, Gemini, and GLM) can approximate expert judgment when grading short Linux/bash command responses. The study adopts a four-level cognitive taxonomy that combines cognitive complexity and operational impact, ranging from information retrieval (L1) and basic file manipulation (L2) to structural operations (L3) and advanced system management (L4). The models were tested with two prompt variants, a minimal baseline and a rubric-enhanced version, on 1200 real responses from second-year Computer Engineering students independently graded by three expert instructors. Gemini~3.0 Pro with rubric-guided prompting achieved the highest human-AI agreement (ICC(3,1) = 0.888, MAE = 0.10, Bland-Altman bias = -0.014). Agreement declined consistently as taxonomy level increased, with the largest discrepancies at higher levels. Across all models, rubric quality had a larger effect than provider choice, with structured prompts consistently improving agreement. These results show that question complexity is a reliable predictor of the difficulty LLMs face in grading accurately, and they establish a principled, taxonomy-based framework for determining which questions are suitable for AI-assisted grading and which require human review, while also providing a transferable evaluation protocol and prompt templates.