What Makes Medical Examination Items Difficult? Using Large Language Models to Explore Patterns Associated With Empirical Item Difficulty

📄 arXiv: 2610.39373v1 📥 PDF

作者: Xiaomeng Xiong, Marcus Walker, Yanlin Jiang

分类: cs.CL, cs.AI

发布日期: 2026-10-29

💡 一句话要点

利用大语言模型探索医学考试项目难度的模式

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 医学考试 难度研究 大语言模型 经验难度 可解释性 模型评估 教育技术

📋 核心要点

  1. 现有医学考试项目难度研究主要集中在预测，而缺乏对经验难度相关模式的深入分析。
  2. 本研究通过大语言模型引导生成难度标准，探索其对模型判断的影响，旨在识别可解释的难度模式。
  3. 实验结果显示，标准指导改变了模型对难度尺度的使用，但未能一致改善判断性能，尤其在成对比较中表现出不同的敏感性。

📝 摘要（中文）

医学考试项目的难度研究主要集中在预测上，而非识别与经验难度相关的可解释模式。本研究利用经验难度标签引导大语言模型（LLMs）生成难度标准，并考察标准指导对LLM难度判断的影响。通过分析美国医学执照考试（USMLE）和医师助理国家认证考试（PANCE）的训练项目及其经验难度估计，Claude Opus 5为绝对和成对难度判断生成了独立的标准。研究发现，诱导的标准未将表面特征视为主要难度来源，而是识别出多个模式，包括线索收敛、误导性线索和选项竞争。结果表明，标签引导的标准诱导的价值在于从经验难度数据中生成可解释、可测试的假设，而非可靠地改善难度判断。

🔬 方法详解

问题定义：本研究旨在解决医学考试项目难度研究中缺乏可解释模式识别的问题。现有方法主要关注难度预测，未能深入分析影响难度的具体因素。

核心思路：通过使用经验难度标签引导大语言模型生成难度标准，研究如何通过标准指导改善模型的难度判断，探索难度的可解释性。

技术框架：整体流程包括数据收集（USMLE和PANCE的训练项目及其经验难度）、标准诱导（使用Claude Opus 5生成绝对和成对难度标准）以及模型评估（在无指导和有指导条件下比较不同模型的表现）。

关键创新：本研究的创新在于将大语言模型与经验难度标签结合，生成可解释的难度标准，揭示了影响医学考试难度的潜在模式，与传统的难度预测方法形成对比。

关键设计：在模型训练中，采用了不同的标准引导策略，评估了模型在绝对和成对判断中的表现，特别关注了模型对难度尺度的使用和判断顺序的敏感性。实验中使用了多种商业和开源模型进行对比。

📊 实验亮点

实验结果显示，在绝对判断中，标准指导促进了尺度的更广泛使用，并改善了粗粒度一致性，但未能一致提高排名顺序。在成对比较中，不同模型和考试的效果差异明显，判断对呈现顺序的敏感性增强，表明标准指导的复杂性和多样性。

🎯 应用场景

该研究的潜在应用领域包括医学教育和考试设计，通过识别影响考试难度的因素，可以帮助教育者优化考试内容，提高学生的学习效果。此外，生成的可解释标准也可用于进一步的研究和测试开发，推动医学教育的进步。

📄 摘要（原文）

Research on medical item difficulty has largely focused on prediction rather than on identifying interpretable patterns associated with empirical difficulty. This study used empirical difficulty labels to guide large language models (LLMs) in inducing difficulty rubrics and examined how rubric guidance affected LLM difficulty judgments. Using training items and their empirical difficulty estimates from the United States Medical Licensing Examination (USMLE) and the Physician Assistant National Certifying Examination (PANCE), Claude Opus 5 induced separate rubrics for absolute and pairwise difficulty judgment. None of the induced rubrics treated surface features, such as stem length, option count, or images, as major sources of difficulty. Several patterns emerged across both examinations, including cue convergence, misleading cues, and option competition, although their specific forms differed. Retrieval of knowledge that could not be derived from the stem was particularly prominent in the PANCE rubrics, whereas the USMLE rubrics placed greater emphasis on integrating multiple clinical cues. We compared commercial and open-weight LLMs on held-out items under unguided and rubric-guided conditions. Rubric guidance changed how models used the difficulty scale but did not consistently improve performance. In absolute judgments, guidance encouraged broader use of the scale and generally improved coarse-grained agreement, without consistently improving rank ordering. In pairwise comparisons, its effects varied across models and examinations, and judgments became more sensitive to presentation order. These findings suggest that the value of label-guided rubric induction may lie more in generating interpretable, testable hypotheses from empirical difficulty data than in reliably improving difficulty judgments.