LLMs as Teaching Assistants for Mathematics Exam Grading: Reliability, and Practical Usability

📄 arXiv: 2607.01247 📥 PDF

作者: Aastha Sapkota, M. G. Sarwar Murshed

分类: cs.CY, cs.AI

发布日期: 2026-07-05

💡 一句话要点

评估大型语言模型作为数学考试评分助手的可靠性与实用性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 数学考试 评分助手 部分得分 教育技术 自动化评分 模型评估

📋 核心要点

  1. 开放式数学考试评分困难，现有方法在部分得分标准应用和反馈一致性上存在不足。
  2. 本文提出使用六种大型语言模型，比较严格与宽松两种评分策略以提高评分一致性。
  3. 实验结果显示，宽松评分策略有效降低了模型的平均问题级别误差，提升了评分的可靠性。

📝 摘要（中文）

开放式数学考试因其能够评估推理、证明构建、算法思维和中间步骤的沟通能力而具有重要价值。然而，由于需要一致地应用部分得分标准并提供反馈，这类考试在大规模评分时面临挑战。本文评估了六种现代大型语言模型（LLM）作为本科离散数学考试的评分助手，比较了两种评分策略。研究结果表明，采用宽松的部分得分提示可以降低每个模型的平均问题级别误差，尤其是ChatGPT 5.5 Thinking（LIBERAL）在平均问题级别MAE上表现最佳。

🔬 方法详解

问题定义：本文旨在解决开放式数学考试评分的一致性和可靠性问题，现有方法在应用部分得分标准时常常导致过于严格的扣分，未能充分识别有效的部分推理。

核心思路：通过评估六种大型语言模型（LLM），并比较严格与宽松的评分策略，旨在提高评分的准确性和实用性，帮助教师更好地反馈学生的误解。

技术框架：研究采用了六种LLM配置，分别为Gemini 3.1 Pro Extended、Gemini 3.5 Flash、ChatGPT 5.5 Pro Extended、ChatGPT 5.5 Thinking、Claude Pro Opus 4.7和Claude Sonnet 4.6，评估其在本科离散数学考试中的表现。评分策略分为BASELINE和LIBERAL，分别对应严格和宽松的评分标准。

关键创新：本研究的创新点在于引入宽松的部分得分提示，显著降低了模型的评分误差，尤其是在问题级别的MAE和RMSE上表现突出。

关键设计：在实验中，采用了均方根误差（RMSE）、平均绝对误差（MAE）等指标来评估模型的评分性能，特别关注了人类评分的一致性和模型的反馈能力。通过不同的提示设计，优化了模型的评分策略。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，采用宽松评分策略的ChatGPT 5.5 Thinking模型在平均问题级别MAE上达到了1.87，RMSE为2.53，表现优于其他模型。同时，Gemini 3.1 Pro Extended在总分MAE和RMSE上分别为8.00和10.66，显示出良好的评分一致性。

🎯 应用场景

该研究的潜在应用领域包括教育技术、自动化评分系统和智能教学助手。通过提高评分的可靠性和实用性，能够帮助教师更有效地评估学生的数学能力，并为学生提供更有针对性的反馈，促进学习效果的提升。未来，随着模型的不断优化，可能会在更广泛的学科领域中应用。

📄 摘要（原文）

Open-ended mathematics exams are valuable because they assess reasoning, proof construction, algorithmic thinking, and communication of intermediate steps. They are also difficult to grade at scale because instructors must apply partial-credit rubrics consistently while giving feedback that helps students repair misconceptions. This paper evaluates six contemporary large language model (LLM) configurations, Gemini 3.1 Pro Extended, Gemini 3.5 Flash, ChatGPT 5.5 Pro Extended, ChatGPT 5.5 Thinking, Claude Pro Opus 4.7, and Claude Sonnet 4.6, as grading assistants for an undergraduate discrete mathematics examination. The study compares two grading policies. The BASELINE policy uses a stricter rubric-following prompt that emphasizes explicit evidence and complete justification. The LIBERAL policy was added after preliminary grading showed that the baseline condition sometimes applied harsh point deductions and failed to recognize valid partial reasoning. Agreement with human grading is measured at both the question and exam-total levels using mean absolute error, root mean squared error, normalized root mean squared error, Pearson correlation, and exact agreement. The results show that liberal partial-credit prompting reduces average question-level error for every evaluated model family. ChatGPT 5.5 Thinking (LIBERAL) has the lowest average question-level MAE (1.87) and RMSE (2.53), while Gemini 3.1 Pro Extended (LIBERAL) has the lowest total-score MAE (8.00) and RMSE (10.66). However, the strongest total-score Pearson correlation occurs under Gemini 3.1 Pro Extended (BASELINE) at 0.58, showing that point calibration and rank preservation remain distinct goals. We also report practical usability observations.