LLMs Struggle to Measure What Distinguishes Students of Different Proficiency Levels: A Study of Item Discrimination in Reading Comprehension Assessment

📄 arXiv: 2606.18709v1 📥 PDF

作者: Han Chen, Ming Li, Chenguang Wang, Yijun Liang, Dawei Zhou, Hong jiao, Tianyi Zhou

分类: cs.CL

发布日期: 2026-06-17

💡 一句话要点

评估LLMs在阅读理解评估中区分学生能力的能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 项目区分 教育评估 心理测量 经典测试理论 响应校准 能力测量

📋 核心要点

  1. 核心问题：现有研究未能有效评估LLMs在区分不同能力学生方面的能力，尤其是在项目区分的测量上存在不足。
  2. 方法要点：本研究采用直接区分预测和基于响应的CTT校准两种方法，评估LLMs在零样本设置下的表现。
  3. 实验或效果：实验结果显示，最佳模型的斯皮尔曼相关系数仅为0.152，基于响应的CTT校准达到0.241，表明当前LLMs在项目区分上仍存在挑战。

📝 摘要（中文）

项目区分是教育评估的基本心理测量特性，衡量一个项目是否能有效区分高能力与低能力学生。尽管已有研究探讨了大型语言模型（LLMs）能否估计项目难度，但其能否捕捉项目区分仍不明确。本研究评估了42个专有和开放权重的LLMs在零样本设置下的表现，采用直接区分预测和基于响应的经典测试理论（CTT）校准两种互补方法。结果显示，直接预测与人类校准的区分度对齐较弱，最佳模型的斯皮尔曼相关系数仅为0.152，而基于响应的CTT校准提供了更强但仍有限的信号，所有角色的合成响应池达到0.241的斯皮尔曼相关系数。这些发现突显了项目区分作为LLM心理测量评估中的一个开放挑战。当前LLMs包含非随机的区分相关信号，但尚未可靠地捕捉评估项目如何区分人类学生。

🔬 方法详解

问题定义：本研究旨在解决大型语言模型（LLMs）在教育评估中无法有效捕捉项目区分能力的问题。现有方法主要集中在项目难度的估计，但对项目区分的理解和测量仍显不足。

核心思路：本研究提出通过两种互补的方法来评估LLMs的项目区分能力，分别是直接区分预测和基于响应的CTT校准。这种设计旨在全面评估模型在区分不同能力学生方面的有效性。

技术框架：整体架构包括两个主要模块：第一，直接区分预测模块，模型从项目内容中直接估计区分值；第二，基于响应的CTT校准模块，将LLM的回答视为合成学生响应，计算区分分数。

关键创新：本研究的创新之处在于首次系统性地评估LLMs在项目区分方面的能力，并通过两种不同的方法提供了对比分析，揭示了当前LLMs在此领域的局限性。

关键设计：在实验中，使用了42个不同的LLMs进行评估，采用斯皮尔曼相关系数作为性能指标，直接预测的损失函数和响应校准的参数设置经过精心设计，以确保结果的可靠性和有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，直接预测的最佳模型仅达到0.152的斯皮尔曼相关系数，而基于响应的CTT校准方法则提高至0.241，尽管仍然有限。这些结果强调了LLMs在项目区分能力上的挑战，提示未来研究需进一步探索改进方向。

🎯 应用场景

该研究的潜在应用领域包括教育评估、智能测评系统和个性化学习平台。通过提高LLMs在项目区分能力上的表现，可以更好地支持教育工作者在学生能力评估和教学策略制定中的决策，从而提升教育质量和学习效果。

📄 摘要（原文）

Item discrimination is a fundamental psychometric property of educational assessment, which measures whether an item meaningfully distinguishes students with higher proficiency from students with lower proficiency. While various existing works have explored whether large language models (LLMs) can estimate item difficulty, it remains unclear whether they can capture item discrimination. In this work, we evaluate 42 proprietary and open-weight LLMs in zero-shot settings using two complementary approaches: direct discrimination prediction, where models explicitly estimate an item's discrimination value from its content, and response-based Classical Test Theory (CTT) calibration, where LLM answers are treated as synthetic student responses to compute discrimination scores. Our results show that direct prediction yields weak alignment with human-calibrated discrimination: the best-performing model reaches only a Spearman correlation of 0.152. Response-based CTT calibration provides a stronger but still limited signal, with the all-persona synthetic respondent pool reaching a Spearman correlation of 0.241. These findings highlight item discrimination as an open challenge for LLM-based psychometric evaluation: current LLMs contain non-random discrimination-relevant signal, but they do not yet reliably capture how assessment items distinguish human students.